This post is also available in:
English (אנגלית)
חוקרי אבטחה חשפו שיטה המאפשרת לתוקפים להטעות את עוזר הבינה המלאכותית Gemini של גוגל על ידי הסתרת הוראות בלתי-נראות בתוך הודעות דוא״ל. דרך פרצת האבטחה הזו, שחקנים זדוניים יכולים לשלב פקודות ש-Gemini יפעל לפיהן כאשר הוא מסכם את תוכן המייל – ובכך להוביל משתמשים לקישורי פישינג או למוקדי תמיכה מזויפים.
השיטה מבוססת על טכניקה בשם Injection Prompt, המהווה איום גובר בהקשרים של עוזרי בינה מלאכותית. במקרה זה, חוקרים מחברת האבטחה 0din הדגימו כיצד תוקפים יכולים לשלב טקסט בתוך מייל – תוך שימוש בטריקים של HTML ו-CSS. לדוגמה, על ידי קביעת גודל גופן ל־0 וצבע טקסט ללבן, ניתן להסתיר את ההוראות מהנמען – אך הן עדיין מעובדות על ידי ה-AI.
כאשר המשתמש לוחץ על האפשרות "סכם את הדוא״ל" ב-Gmail, Gemini מפיק תגובה אשר כבר עברה מניפולציה. באחת הדגמות הניסוי, Gemini הציג למשתמש אזהרה כי הסיסמה שלו נפרצה – בצירוף מספר טלפון "לתמיכה", שהוזן בפועל על ידי התוקף. ההודעה נראתה כאילו נשלחה מגוגל עצמה, למרות שמקורה היה בהזרקת תוכן זדוני.
הבעיה נובעת מכך ש-Gemini, כמו מודלי שפה אחרים, מעבד תוכן טקסטואלי מבלי להתחשב באופן מלא בעיצוב חזותי או להבחין בין תוכן שנועד למשתמש לבין הוראות חבויות. תופעות דומות תועדו גם בעוזרים אחרים מבוססי AI.
על פי החוקרים, רמת הסיכון היא בינונית – התוקף יכול לשלוח תוכן מורעל, אך ההתקפה דורשת פעולה מצד המשתמש, כגון לחיצה על כפתור סיכום או בקשת עזרה במסמכים. באותה שיטה ניתן לתקוף גם כלים נוספים ב-Google Workspace כמו Docs, Drive ו-Slides – כל מקום שבו Gemini מעבד טקסט מצד שלישי.
הממצאים מדגישים אתגר רחב יותר: למערכות ה- AIהקיימות חסרים מנגנוני הגנה חזקים לבידוד הקשר או לאימות פקודות מוסתרות. עד שיוטמעו אמצעי הגנה מתקדמים יותר, מומחים ממליצים לנהוג בזהירות בשימוש בעוזרי AI הפונים ישירות למשתמשים.
