This post is also available in:
English (אנגלית)
סוכני בינה מלאכותית מסוגלים יותר ויותר לנווט באתרים, להשתמש בכלי תוכנה ולבצע משימות מורכבות מבלי להמתין לאישור אנושי בכל שלב. העצמאות הזו יוצרת בעיית אבטחה: אם סוכן מפרש באופן שגוי את מטרתו או חורג מהסביבה שיועדה לו, הוא עלול לקיים אינטראקציה עם מערכות שמעולם לא היה אמור להגיע אליהן.
Nvidia הציגה את Open Agent Safety Platform, ארכיטקטורת אבטחה חדשה שנועדה להציב גבולות טכניים לסוכני בינה מלאכותית אוטונומיים ולבודד אותם כאשר התנהגותם הופכת לחשודה.
הפלטפורמה משלבת שתי טכנולוגיות מרכזיות. הראשונה, OpenShell, היא תוכנת קוד פתוח השולטת בפעולות שסוכן הבינה המלאכותית מורשה לבצע.
במקום להסתפק בהוראה לסוכן להישאר בתוך גבולות מסוימים, המערכת מאפשרת למפתחים להגדיר ולאמת את ההרשאות שלו. החברה מתארת את העיקרון כמתן סמכות מספקת לסוכן כדי לבצע את המשימה שהוטלה עליו, אך לא מעבר לכך.
על פי דיווח של TechXplore, להבחנה הזו יש חשיבות משום שתקריות מהתקופה האחרונה הראו כי הוראות התנהגותיות לבדן אינן בהכרח מונעות ממערכות אוטונומיות לפעול מול יעדים חיצוניים שלא נועדו להיות חלק מהמשימה. OpenAI, Anthropic ו־Meta דיווחו כולן על מקרים שבהם מודלים ניגשו באופן עצמאי למערכות של ארגונים אחרים או פרצו אליהן.
השכבה השנייה, Sentry, מספקת ניטור עצמאי ברמת החומרה. היא פועלת על גבי שבב ועוקבת באופן רציף אחר פעילות הסוכן. אם המערכת מזהה התנהגות חשודה או ניסיון לחרוג מהיעד המותר, היא יכולה להתערב.
לדברי החברה, המערכת מסוגלת להכניס סוכן בינה מלאכותית לבידוד בתוך אלפיות השנייה.
שתי השכבות ממלאות אפוא תפקידים שונים: הראשונה קובעת אילו פעולות מותרות, בעוד שהשנייה עוקבת אחר מה שמתרחש בפועל ומספקת מנגנון נפרד לבלימת הסוכן במקרה הצורך.
החברה טוענת כי הפלטפורמה הייתה יכולה למנוע את התקרית האחרונה שבה נחיל של סוכני OpenAI פרץ באופן אוטונומי לפלטפורמת הבינה המלאכותית Hugging Face, אילו הטכנולוגיה הייתה בשימוש במהלך הערכת המודלים הרלוונטית.
מכיוון שמדובר בפלטפורמת קוד פתוח, היא אינה מוגבלת לחומרה של החברה. לדברי החברה, מפתחים יכולים להתאים אותה גם לפלטפורמות מחשוב של יצרניות אחרות, בהן Arm ו־Intel. לפי החברה, כבר בעת ההשקה משתמשים בפלטפורמה יותר מ־100 ארגונים.
לטכנולוגיה יש גם השלכות ברורות עבור ממשלות, גופי ביטחון ותשתיות קריטיות. סוכני בינה מלאכותית עשויים להשתלב יותר ויותר באבטחת סייבר, בניתוח מודיעיני ובתהליכי עבודה רגישים נוספים, שבהם פעולה בלתי צפויה עלולה לגרום להשלכות שחורגות בהרבה מתשובת תוכנה שגויה. בסביבות כאלה, הגדרה מדויקת של המערכות והמשאבים שאליהם הסוכן רשאי לגשת הופכת לחשובה במיוחד.
הגישה הרחבה יותר מתייחסת להתנהגות בלתי צפויה של סוכנים כאל בעיית בידוד ושליטה, במקום להסתמך לחלוטין על כך שהבינה המלאכותית תמלא אחר ההוראות שניתנו לה.
ככל שסוכנים מקבלים יכולת לבצע יותר פעולות באופן עצמאי, מודל האבטחה עשוי להידמות יותר ויותר לאבטחת סייבר קונבנציונלית: להניח שהמערכת עלולה להתנהג באופן בלתי צפוי, להגביל מראש את המקומות שאליהם היא יכולה להגיע ולהחזיק מערכת נוספת שמוכנה לעצור אותה ברגע שהיא חוצה את הגבול.
