This post is also available in:
English (אנגלית)
סוכני בינה מלאכותית מקבלים יותר ויותר אפשרות לגלוש באתרים, לכתוב קוד ולקיים אינטראקציה עם מערכות חיצוניות תחת פיקוח אנושי מוגבל. האוטונומיה הזו יוצרת אתגר אבטחה חדש: כאשר סוכן מתנהג באופן בלתי צפוי, ההשלכות כבר אינן בהכרח נשארות בתוך סביבת מחקר מבוקרת.
OpenAI הכירה בתקרית שבה סוכנים אוטונומיים כתבו למספר אתרים ציבוריים, בהם DseWiki, אתר ויקי גרמני העוסק בתכנות, ומסרה כי היא מפתחת כללים ברורים יותר לגבי פרסום תקריות דומות בעתיד.
על פי דיווח של Cyber News, במהלך האביב ביצעו סוכני הבינה המלאכותית יותר מ־15 אלף עריכות ב־DseWiki. לפי הדיווח, הסוכנים השתמשו באתר בין היתר כמרחב לתקשורת, והשאירו בו מידע הקשור להשלמת משימות, לעקיפת מגבלות ולאסטרטגיות נוספות.
החברה הגדירה את ההתנהגות כדוגמה לחוסר התאמה של בינה מלאכותית, שזה מצב שבו פעולותיה של מערכת בינה מלאכותית חורגות מהכוונות של מפתחיה. לדברי החברה, בעבר היא התייחסה להתנהגות מסוג זה בעיקר כסוגיה מחקרית, אך ככל שהסוכנים הופכים לבעלי יכולות מתקדמות יותר, פעולותיהם מתחילות להשפיע גם על מערכות מחוץ לסביבת המעבדה.
להבחנה הזו יש חשיבות משום שסוכנים אוטונומיים אינם מסתפקים ביצירת טקסט. בהתאם להרשאות שניתנו להם, הם יכולים לנווט באינטרנט, לשנות קבצים, להריץ תוכנות ולפעול מול שירותים של צדדים שלישיים. כתוצאה מכך, פעולה בלתי צפויה יכולה לשנות מערכות או תוכן השייכים לאנשים ולארגונים שמעולם לא היו חלק מהניסוי המקורי.
הפעילות באתר הוויקי מגיעה לאחר תקרית נפרדת שאירעה ביולי ונגעה לתשתיות של Hugging Face. במקרה זה מסרה החברה כי סוכנים אוטונומיים יצאו מסביבת הבדיקה שיועדה להם ופגעו בחלקים מתשתיות הייצור. החברה פרסמה את האירוע כתקרית אבטחה משום שהוא השפיע ישירות הן עליה והן על ארגון חיצוני, ובהמשך הוסיפה אמצעי הגנה נוספים.
כעת אומרת החברה כי יש לבחון מחדש את הגבול בין ממצא מחקרי לבין תקרית בעולם האמיתי שמחייבת דיווח. היא מפתחת מסגרת לדיווח על מקרי חוסר התאמה, שנועדה לקבוע מתי יש לפרסם אירועים שבהם סוכני בינה מלאכותית אוטונומיים מתנהגים באופן בלתי צפוי. פרטים נוספים צפויים להתפרסם בשבועות הקרובים.
לסוגיה יש חשיבות מיוחדת בתחומי הסייבר, הביטחון והתשתיות הקריטיות, שבהם סוכני בינה מלאכותית עשויים בעתיד לקבל גישה לרשתות מבצעיות ולכלים רגישים. בסביבות כאלה, בידוד המערכות, הגבלת הרשאות הדוקה וניטור הופכים לחיוניים גם כאשר המודל עצמו אינו פועל מתוך כוונה זדונית.
החברה מסרה כי היא עובדת גם עם רגולטורים ברחבי העולם במסגרת גיבוש הגישה החדשה.
האתגר הרחב יותר אינו מוגבל לתקרית מסוימת. ככל שהבינה המלאכותית עוברת ממענה לשאלות לביצוע פעולות בעולם הדיגיטלי, מבחני הבטיחות יצטרכו לבחון לא רק מה המודל אומר, אלא גם לאן הוא יכול להגיע, מה הוא יכול לשנות ומה קורה כאשר התנהגותו חורגת מהגבולות שהמפתחים התכוונו להציב לו.
