This post is also available in:
English (אנגלית)
סוכני תכנות מבוססי בינה מלאכותית מסוגלים יותר ויותר לגלוש באתרים, להוריד קבצים, לכתוב תוכנות ולהריץ פקודות תחת פיקוח אנושי מוגבל. יכולות אלה הופכות אותם לשימושיים במשימות פיתוח ממושכות, אך גם יוצרות בעיית אבטחה: לא תמיד צריך לתת לסוכן הוראה זדונית מפורשת כדי להוביל אותו לביצוע פעולה מסוכנת.
חוקר האבטחה יוהאן רהברגר הדגים את הבעיה במצב ההפעלה האוטונומי של Claude Code, שנועד לאפשר לסוכן התכנות לעבוד באופן עצמאי תוך שימוש במנגנון סיווג החוסם פעולות שנחשבות הרסניות, בלתי הפיכות או כאלה המכוונות אל מחוץ לסביבת העבודה שלו. לדברי החוקר, בתצורות ניסוי מסוימות הצליחה המתקפה בעד 80% מהמקרים.
ההדגמה מתחילה באופן תמים: המערכת מתבקשת לסכם אתר המכיל לכאורה ארכיון של רשומות ממחברות. כאשר השיטה הרגילה שלה לשליפת תוכן מהאינטרנט נתקלת בשגיאה, הסוכן בוחר באופן עצמאי בדרך חלופית ועוקב אחר הפניה שמובילה להורדת קובץ ארכיון דחוס.
בתוך הארכיון נמצאות לכאורה רשומות מקודדות לצד כלי לפענוחן. המערכת מזהה את המפענח שסופק כחשוד ומסרבת להריץ אותו. במקום זאת, היא כותבת בעצמה סקריפט בשפת פייתון כדי לעבד את הקבצים, ולכאורה מצליחה להימנע מהמתקפה.
אלא שהמלכודת נמצאת במקום אחר.
על פי דיווח של Cyber News, הארכיון מכיל קובץ זדוני בשם struct.py, הזהה בשמו למודול לגיטימי בספרייה התקנית של פייתון. בתנאי הפעלה מסוימים, פייתון מחפשת מודולים בתיקייה הנוכחית לפני שהיא טוענת את הספרייה הצפויה. לכן, כאשר המערכת מריצה את המפענח החדש שכתבה מתוך התיקייה שבה נמצא הארכיון הזדוני, פייתון עלולה לטעון את הקובץ של התוקף במקום את המודול המקורי.
כך הקוד הזדוני מופעל מבלי שהמערכת בחרה במכוון להריץ אותו. החוקר הדגים את הפריצה באמצעות קוד שיצר קשר עם שרת פיקוד ושליטה.
עם זאת, ההתנהגות לא הייתה עקבית לחלוטין. בחלק מההרצות זיהתה המערכת את הסכנה לפני הפעלת הקוד, הריצה את פייתון במצב מבודד או הפעילה את המפענח מתיקייה בטוחה יותר. לכן, אין לפרש את שיעור ההצלחה שדווח כמצב שבו הפריצה בלתי נמנעת.
תוצאה חריגה נוספת הופיעה לאחר שהקוד הזדוני כבר הופעל. בחלק מהמקרים המערכת זיהתה שהספרייה הזדונית רצה וניסתה לעצור את התהליך, אך מנגנון הבטיחות של המצב האוטונומי חסם את פקודת הניקוי. בפועל, מנגנון הסיווג יכול היה לאפשר את הפעולה שהובילה להפעלת הנוזקה, ובמקביל לחסום פעולה מאוחרת יותר שנועדה לעצור אותה.
למחקר יש השלכות שחורגות מעוזרי תכנות. גופי ממשל, ביטחון ותשתיות קריטיות בוחנים יותר ויותר שימוש בסוכני בינה מלאכותית אוטונומיים לפיתוח תוכנה, אבטחת סייבר ותהליכים תפעוליים. סוכן שמורשה להוריד קבצים ולהריץ קוד יכול להפוך למטרה אטרקטיבית לתוקפים, גם כאשר מנגנוני הבטיחות שלו מסרבים לבצע הוראות זדוניות מפורשות.
החוקר העביר את הממצאים לאנתרופיק, שלפי הדיווח סיווגה את הדיווח כמידע כללי שאינו דורש טיפול בחולשה. המלצתו הרחבה יותר היא שמנגנוני אישור אוטונומיים אינם צריכים להחליף אמצעי הגנה כמו הרצה בסביבה מבודדת, הפרדה בין תהליכים וניטור.
הניסוי ממחיש בעיה מורכבת באבטחת סוכני בינה מלאכותית: תוקפים לא בהכרח צריכים לשכנע את הסוכן להריץ נוזקה ביודעין. לעיתים מספיק לעצב את סביבת העבודה כך שרצף של החלטות שנראות הגיוניות בפני עצמן יוביל אותו בסופו של דבר היישר אל המלכודת.
