עוזרים חכמים בארגון: כלי יעיל או נקודת תורפה?

This post is also available in: English (אנגלית)

ככל שסוכני בינה מלאכותית אוטונומיים הופכים מתקדמים יותר, כך הם מקבלים גישה עמוקה יותר למערכות המשתמשים. כלים שנועדו לפעול בשם המשתמש – לשלוח מיילים, לגשת לקבצים או לתקשר עם שירותים מקוונים – דורשים לרוב הרשאות נרחבות כדי לתפקד ביעילות. אך רמת אינטגרציה כזו מעלה סוגיות אבטחה משמעותיות.

מיקרוסופט הזהירה כי אין להפעיל את עוזר ה־AI שלה, OpenClaw, על תחנות עבודה אישיות או ארגוניות סטנדרטיות. המערכת מתוכננת לבצע משימות באופן אוטונומי, ולכן נדרשת לגישה מלאה לסביבת המחשב של המשתמש, כולל חשבונות דוא"ל, קבצים מקומיים, שירותים מקוונים ופרטי התחברות. לפי צוות Defender Security Research של החברה, המשמעות היא שנתונים רגישים ואמצעי אימות עלולים להיחשף או להיות מועברים החוצה.

מעבר לגישה לנתונים, העוזר שומר על מצב פנימי מתמשך – מעין "זיכרון" – המשפיע על התנהגותו לאורך זמן. על פי דיווח של Cyber News, חוקרים מזהירים כי ניתן להשפיע על מצב זה אם הסוכן מעבד קלט זדוני, באופן שעלול לגרום לו לפעול לפי הוראות שסופקו על ידי תוקף. בנוסף, אם העוזר מתבקש לאחזר ולהריץ קוד חיצוני, סביבת המארח עצמה עלולה להיפגע.

החברה משווה את הפעלת העוזר להרצת קוד בלתי מהימן בעל גישה קבועה להרשאות. בהתאם לכך, היא ממליצה לארגונים הבוחנים את הכלי לפרוס אותו אך ורק בסביבה מבודדת לחלוטין, כגון מכונה וירטואלית ייעודית או מערכת פיזית נפרדת. סביבת ההרצה צריכה להשתמש בהרשאות מצומצמות ולהגביל גישה לנתונים שאינם רגישים בלבד. בנוסף מומלצים ניטור רציף ותוכנית ברורה לשחזור המערכת במקרה של פגיעה.

שתי קטגוריות סיכון עיקריות זוהו. הראשונה היא הזרקת פקודות עקיפה (indirect prompt injection), שבה הוראות זדוניות מוטמעות בתוכן שהסוכן קורא, ובכך מכוונות בעדינות את פעולותיו או משנות את זיכרונו. השנייה היא "נוזקת מיומנות" (skill malware) – קוד מזיק הנרכש כאשר הסוכן מוריד ומפעיל יכולות חיצוניות.

ממצאי מודיעין איומים עדכניים הצביעו על עשרות אלפי מופעים חשופים של עוזרים מקוונים, שחלקם עשויים להיות פגיעים להרצת קוד מרחוק. עבור ארגוני ביטחון ומפעילי תשתיות קריטיות, האזהרה מדגישה את הצורך להתייחס לסוכני AI אוטונומיים כרכיבים עתירי סיכון – במיוחד כאשר הם מקבלים הרשאות מערכת רחבות.