This post is also available in:
English (אנגלית)
ככל שעוזרי בינה מלאכותית משתלבים יותר ויותר בתהליכי עבודה יומיומיים, הם מטפלים בכמויות גדולות של מידע רגיש; ממסמכים פנימיים ועד נתונים אישיים. מצב זה יוצר אתגר אבטחה חדש: הבטחה שהמידע המשותף עם מערכות AI יישאר בתוך הפלטפורמה. פגיעות שנחשפה לאחרונה מדגימה כיצד ההנחה הזו עלולה להתערער בתנאים מסוימים.
הבעיה כללה שיטה שבאמצעותה ניתן היה להעביר מידע מתוך שיחה עם ChatGPT של OpenAI אל מחוץ למערכת מבלי שהמשתמש יהיה מודע לכך. בהדגמה מבוקרת, חוקרים הראו כי פרומפט זדוני אח, המוסווה כהנחיה תמימה או כתבנית, יכול להפוך שיחה מתמשכת למקור לדליפת מידע. לאחר הפעלה, המערכת עלולה לחשוף ללא ידיעתה קלטים של משתמשים, קבצים שהועלו ואפילו סיכומים שנוצרו על ידי הבינה המלאכותית.
המנגנון שעמד בבסיס הפגיעות לא הסתמך על ערוצי העברת מידע קונבנציונליים. במקום זאת, הוא ניצל פונקציה בסיסית של האינטרנט המשמשת לתרגום שמות מתחם לכתובות IP. מכיוון שתהליך זה נחשב לרוב לבעל סיכון נמוך, הוא נותר נגיש גם בסביבה מוגבלת. באמצעות הטמעת מקטעי מידע בתוך בקשות שגרתיות אלה, ניתן היה לשחזר נתונים רגישים מחוץ למערכת, מבלי לעורר התרעות אבטחה רגילות.
על פי דיווח של Cyber News, הייחודיות בגישה זו היא בכך שהיא עקפה מנגנוני הגנה קיימים שנועדו לשלוט באופן ובזמן שבו מידע יוצא מהפלטפורמה. ההגנות התמקדו בעיקר בכוונת המשתמש, למשל חיבור לשירותים חיצוניים, ולא באופן שבו ניתן לנצל תהליכים פנימיים למטרות אחרות. כתוצאה מכך, הפעילות נותרה בלתי נראית למשתמשים ולא דרשה אישור מפורש.
אותה טכניקה יכולה הייתה להיות מיושמת גם על עוזרי AI מותאמים אישית, כלומר משתמשים עלולים היו להיחשף גם ללא הזנת קלט חשוד, רק מעצם האינטראקציה עם כלי שנפגע. החוקרים הדגימו גם אפשרות לאינטראקציה מרחוק, אם כי מוגבלת, עם סביבת ההרצה הפנימית של המערכת.
מנקודת מבט ביטחונית וביטחון פנים, פגיעות מסוג זה מעוררת חששות רחבים יותר. כלי AI משמשים יותר ויותר לניתוח, דיווח ותמיכה מבצעית, ולעיתים כוללים מידע רגיש או מסווג. חולשות ברמת התשתית, במיוחד כאלה שמצליחות לחמוק מגילוי, עלולות להיות מנוצלות לאיסוף מודיעין או להדלפת מידע.
הפגיעות טופלה מאז במסגרת עדכון מערכת, ואין אינדיקציה לניצול בפועל בעולם האמיתי. עם זאת, היא מדגישה את הצורך במודלי אבטחה המתייחסים לא רק לפעולות המשתמש, אלא גם למנגנונים הבסיסיים שעליהם נשענת פעילות הבינה המלאכותית.
