This post is also available in:
English (אנגלית)
מתן יכולת לסוכני בינה מלאכותית לבצע בדיקות אבטחת סייבר יוצר אתגר משמעותי של בידוד ושליטה. מערכת אוטונומית יכולה לקבל הוראה לאתר חולשות, לבדוק סיסמאות ולהשיג מידע מוגן בתוך סביבת ניסוי מבוקרת, אך אותן יכולות הופכות למסוכנות כאשר הסוכן טועה ומזהה מערכת אמיתית כחלק מהתרגיל.
לפי דיווחים, זה בדיוק מה שקרה במהלך הערכת אבטחת סייבר של Gemini מבית גוגל. במהלך בדיקות מבוקרות שערכה חברת אבטחת הבינה המלאכותית הישראלית Irregular, המערכת ניגשה למערכות השייכות לשלוש חברות אמיתיות.
התקריות התרחשו בחודש מאי במהלך תרגיל "תפוס את הדגל", סוג של אתגר סייבר שבו המשתתפים מנסים לאתר חולשות ולהשיג מידע מוגדר ממערכות ניסוי. הבינה המלאכותית הייתה אמורה לתקוף תוכנות השייכות לחברה פיקטיבית שנוצרה במיוחד לצורך ההערכה.
אלא שהארגון הבדיוני נשא שם זהה לזה של עסק אמיתי. אף שהמודל לא היה אמור לקבל גישה לאינטרנט, הוא הצליח להגיע לרשת הציבורית והחל להתייחס למערכות אמיתיות כאילו היו חלק מסביבת הניסוי.
על פי דיווח של Cyber News, המערכת איתרה מידע שהיה זמין לציבור וניסתה להשתמש בפרטי גישה כדי להיכנס לאתרים שאותם זיהתה בטעות כמטרות לגיטימיות.
באחת התקריות, שעליה דיווח The Wall Street Journal, הצליחה הבינה המלאכותית להיכנס למערכת מוגנת לאחר שניסתה סיסמאות שונות. בשני מקרים נוספים היא איתרה פרטי גישה שנחשפו בפומבי במאגרים מקוונים והשתמשה בהם כדי להיכנס למערכות של חברות.
החברה מסרה כי המודל נעצר בכל אחד מהמקרים. בהמשך עודכנו הארגונים שנפגעו, ו־Irregular מסרה כי הכשלים בתהליך הבדיקה שאפשרו את האירועים תוקנו.
התקריות ממחישות הבדל חשוב בין צ'אטבוטים רגילים לבין סוכני בינה מלאכותית. צ'אטבוט עשוי לספק תשובה שגויה; סוכן המצויד בכלים יכול לפעול על בסיס הנחה שגויה. אם עומדים לרשותו גישה לרשת, פרטי התחברות או יכולות לבדיקת מערכות סייבר, טעות בזיהוי המערכת שאותה הוא מורשה לבדוק עלולה ליצור השלכות מחוץ לסביבת הניסוי.
לסוגיה הזו יש חשיבות מיוחדת בתחומי הביטחון והתשתיות הקריטיות. בעתיד, סוכני בינה מלאכותית עשויים לשמש לאיתור חולשות, לאוטומציה של בדיקות חדירה ולסיוע בהגנה על רשתות צבאיות וממשלתיות. שימושים כאלה דורשים גבולות טכניים ברורים לגבי המערכות שאליהן הסוכן יכול לגשת, פרטי ההתחברות שבהם הוא רשאי להשתמש והפעולות שמחייבות אישור אנושי.
המקרים הללו אינם יוצאי דופן, OpenAI ו־Anthropic דיווחו בנפרד על תקריות שבהן סוכני בינה מלאכותית הגיעו למערכות אמיתיות שלא היו אמורות להיות חלק מבדיקות הסייבר.
לכן, הלקח החוזר אינו נוגע דווקא למודל מסוים, אלא ליכולת לבודד ולהגביל אותו. סוכני סייבר מתקדמים יכולים להאיץ בדיקות הגנתיות, אך סביבת ההפעלה שלהם חייבת לאכוף בפועל את המגבלות שמופיעות בהוראות.
להגיד לבינה המלאכותית לאיזו רשת אסור להיכנס הוא אמצעי הגנה אחד. למנוע ממנה מבחינה טכנית להגיע לאותה רשת מלכתחילה הוא אמצעי חזק הרבה יותר.
