This post is also available in:
English (אנגלית)
ככל שארגונים מתחילים להפעיל צוותים של סוכני בינה מלאכותית לביצוע משימות מורכבות, אבטחת הסייבר של המערכות הללו הופכת לאתגר משמעותי יותר. במערכות מרובות סוכנים, מספר מודלי שפה גדולים יכולים להחליף מידע, לחלק ביניהם משימות ולהשתמש בכלים חיצוניים תחת פיקוח אנושי מוגבל. שיתוף הפעולה הזה הופך אותם ליעילים, אך גם יוצר נקודת תורפה: פגיעה בסוכן אחד עלולה לאפשר למידע זדוני או להתנהגות עוינת להתפשט במערכת כולה.
חוקרים בהובלת Worcester Polytechnic Institute פיתחו מסגרת אבטחה בשם AcMAS, הנוקטת גישה שונה לזיהוי מתקפות מסוג זה. במקום לבחון רק את הדברים שסוכן הבינה המלאכותית אומר או מייצר, המסגרת מנטרת את הפעילות המספרית המתרחשת בתוך המודל בזמן שהוא מעבד מידע.
מנגנוני הגנה קיימים בוחנים בדרך כלל הנחיות, תשובות או דפוסי תקשורת בין הסוכנים. הבעיה היא שגם מודל שנפרץ יכול להמשיך לייצר טקסט שנראה הגיוני ותקין לחלוטין. המערכת החדשה מנתחת במקום זאת אקטיבציות עצביות(Neural Activations) , שהם אותות מספריים פנימיים הנוצרים כאשר מידע עובר דרך הרשת העצבית של מודל השפה. מתקפה שמשנה בעדינות את אופן עיבוד המידע של המודל עשויה להשפיע על הדפוסים הללו גם כאשר הפלט שלו נראה רגיל.
על פי דיווח של TechXplore, בשלב הראשון המערכת לומדת כיצד נראית הפעילות הפנימית של סוכן בזמן פעולה תקינה. לאחר מכן, בזמן שמערכת מרובת הסוכנים פועלת, המסגרת בוחנת כל סוכן פעיל בנפרד ומודדת עד כמה דפוס האקטיבציות שלו חורג מקו הבסיס שנלמד. כאשר הסטייה גדולה מספיק, הסוכן מסומן כחשוד בפגיעה או בהשתלטות.
הגישה המקומית הזו גם מייתרת את הצורך לשחזר ולנתח כל תקשורת המתרחשת בין הסוכנים. הדבר שימושי במיוחד במערכות אסינכרוניות, שבהן סוכני בינה מלאכותית מבצעים משימות כאשר המידע הדרוש הופך לזמין, במקום לפעול כולם במחזורים מתואמים.
אולם זיהוי האיום הוא רק מחצית מהפתרון. במקום לנתק מיד סוכן חשוד, שהיא פעולה שעלולה להסיר יכולת חשובה מהמערכת כולה , המסגרת מנסה לתקן את פעילותו. המערכת מתערבת ברמת האקטיבציות ומכוונת מצבים פנימיים חריגים בחזרה לעבר דפוסים המזוהים עם פעילות תקינה, כאשר עוצמת ההתערבות מותאמת למידת הסטייה שזוהתה.
החוקרים בחנו את השיטה בחמש סביבות בדיקה, מול שלוש משפחות של מתקפות ובמערכות שכללו בין 8 ל־80 סוכנים. בהשוואה לשיטות בסיס המבוססות על גרפים, המסגרת שיפרה את ציון ה־F1 לזיהוי ב־0.22 במערכות סינכרוניות וב־0.55 במערכות אסינכרוניות. מנגנון ההתמודדות שלה השיג שיעור השלמת משימות של 0.97, תוך הפחתת שיעור ההצלחה של המתקפות שנמדדו ל־0.03.
לטכנולוגיה עשויים להיות בעתיד יישומים משמעותיים בתחומי הביטחון וביטחון הפנים. מערכות צבאיות, מודיעיניות ותשתיות קריטיות עשויות להשתמש בצוותים של סוכני בינה מלאכותית לצורך ניתוח מידע מחיישנים, ניהול פעולות סייבר או תיאום בין פלטפורמות אוטונומיות. היכולת לזהות סוכן שנפרץ לפני שהוא משפיע על יתר הרשת עשויה לספק שכבת אבטחה נוספת וחשובה למערכות מסוג זה.
בשלב זה מדובר עדיין באב־טיפוס מחקרי מוקדם. המערכת דורשת גישה לאקטיבציות הפנימיות של המודל, ולכן מתאימה בעיקר למודלים בעלי משקולות פתוחות או למערכות המופעלות על גבי תשתיות הנשלטות בידי הארגון. בהמשך מתכננים החוקרים לבחון רשתות גדולות יותר המשלבות סוגים שונים של מודלים, וכן תוקפים שינסו להסוות במכוון את הפעילות הפנימית החריגה שלהם.
המחקר המלא פורסם כאן.
