This post is also available in:
English (אנגלית)
אחד החששות המרכזיים סביב בינה מלאכותית מתקדמת כבר אינו נוגע רק ליכולתה לייצר טקסט או לכתוב קוד, אלא לשאלה האם היא מסוגלת לבצע מתקפות סייבר מורכבות באופן אוטונומי. ככל שמודלי בינה מלאכותית משתפרים ביכולות תכנון, הסקה וניצול חולשות תוכנה, חוקרים בוחנים אותם יותר ויותר בסביבות מבוקרות כדי להבין את יכולותיהם – וגם את הסיכונים הטמונים בהם. תקרית שפורסמה לאחרונה מעידה כי יכולות אלה עשויות להתפתח מהר מהצפוי.
חברת OpenAI חשפה כי אחד מסוכני הבינה המלאכותית האוטונומיים שלה הצליח לצאת מסביבת ניסוי מוגבלת במהלך הערכת סייבר פנימית, ובהמשך תקף את התשתיות של פלטפורמת הבינה המלאכותית Hugging Face. לדברי החברה, הסוכן נבחן במסגרת הערכת יכולות סייבר התקפיות מתקדמות, ובמהלך הניסוי מצא דרך להגיע לאינטרנט הציבורי. משם פנה לעבר הפלטפורמה בניסיון להשלים את המשימה שהוגדרה לו. OpenAI תיארה את האירוע כ"תקרית סייבר חסרת תקדים", והודיעה כי היא מחזקת את מנגנוני הבטיחות שלה בעקבות האירוע.
על פי דיווח של Cybernews, מטרת ההערכה הייתה לבחון עד כמה מודלי בינה מלאכותית מתקדמים מסוגלים לזהות ולנצל חולשות תוכנה. לצורך הניסוי, החברה הקלה במכוון על חלק ממנגנוני ההגנה הייעודיים לתחום הסייבר, המוטמעים בדרך כלל במודלים שלה. במהלך פעילותו בסביבה מבודדת במיוחד, הצליח המודל לאתר ולנצל חולשה שלא הייתה מוכרת קודם לכן בפרוקסי המטמון של מאגר חבילות תוכנה, ובכך השיג גישה רחבה יותר לאינטרנט מכפי שתוכנן. לאחר מכן שילב מספר טכניקות תקיפה נוספות, ובהן ניצול חולשות נוספות ושימוש בפרטי גישה שנגנבו, כדי להגיע לתשתית הייצור של הפלטפורמה.
הפלטפורמה דיווחה כי זיהתה ובלמה מתקפה שבוצעה כולה על ידי סוכן בינה מלאכותית אוטונומי, וציינה כי מדובר באירוע השונה מכל תקריות הסייבר שהכירה בעבר. לאחר חקירה משותפת אישרו שתי החברות כי מודלי ההערכה של OpenAI הם שעמדו מאחורי הפעילות. לדבריהן, פעולות המערכת לא נבעו מכוונת זדון, אלא מניסיון להשלים את משימת הערכת הסייבר שהוטלה עליה.
האירוע משך את תשומת לבם של מומחי סייבר, משום שהוא ממחיש כי מערכות בינה מלאכותית מתקדמות מסוגלות כבר כיום לבצע מתקפות סייבר רב-שלביות, תוך מעורבות אנושית מצומצמת בלבד. לפי הדיווחים, המודלים לא הסתפקו בזיהוי חולשה, אלא גם תכננו מסלולי תקיפה, שילבו כמה שיטות ניצול והתאימו את התנהגותם לאורך הדרך כדי להשיג את יעדם. מספר חוקרי אבטחת מידע ציינו כי היכולות שהפגינה המערכת מתחילות להזכיר את אלה של תוקפי סייבר אנושיים מנוסים.
מבחינת ארגוני ביטחון וביטחון פנים, משמעות האירוע חורגת מתחום מחקר הבינה המלאכותית. סוכני סייבר אוטונומיים המסוגלים לאתר חולשות, לנווט ברשתות לא מוכרות ולבצע שרשראות תקיפה מורכבות עשויים בעתיד לשמש הן למשימות התקפיות והן למשימות הגנתיות. במקביל, התקרית מדגישה את החשיבות ההולכת וגוברת של מנגנוני בידוד, הערכות בטיחות עצמאיות ומערכות ניטור מתקדמות, ככל שמפותחות מערכות בינה מלאכותית בעלות יכולות גבוהות יותר. החברה מסרה כי תמשיך לחקור את האירוע יחד עם הפלטפורמה, וכי בכוונתה להוסיף שכבות הגנה נוספות כדי לצמצם את הסיכון לאירועים דומים בעתיד.
