שיטת תקיפה חדשה חושפת פרצת אבטחה חמורה במערכות ראייה ממוחשבת מבוססות בינה מלאכותית

This post is also available in: English (אנגלית)

מחקר חדש שפורסם לאחרונה מציג טכניקת תקיפה עוצמתית המסוגלת לשבש את פעולתן של חלק ממערכות הראייה הממוחשבת הנפוצות ביותר בעולם, המבוססות על בינה מלאכותית. השיטה, הנקראת RisingAttacK, מאפשרת לתוקפים לבצע שינויים מזעריים בתמונות דיגיטליות – באופן שכמעט ואינו ניתן לזיהוי בעין אנושית – אך גורם למערכות AI לפרש את התמונה באופן שגוי או להתעלם ממנה לחלוטין.

החוקרים מאוניברסיטת צפון קרוליינה (North Carolina State University) הראו כי התקיפה החדשה עולה בביצועיה על שיטות קודמות, ונמצאה יעילה מול מספר מודלים מובילים בתעשייה בתחום הראייה הממוחשבת. באמצעות זיהוי המאפיינים הוויזואליים הקריטיים ביותר בתמונה, מצליח RisingAttacK להטעות את המודל כך שלא יזהה עצמים שהוא תוכנת באופן ייעודי לאתר.

השלכות הגילוי מטרידות במיוחד, שכן מערכות ראייה ממוחשבת משולבות כיום בסביבות קריטיות כמו רכבים אוטונומיים, מערכות אבחון רפואיות ומערכות אבטחה. תמונה מניפולטיבית אחת עלולה לגרום לרכב אוטונומי להתעלם מתמרור עצור, או לגרום למערכת רפואית לפספס סימני מחלה בסריקת הדמיה.

הטכניקה פועלת על ידי ניתוח רגישות המודל לאלמנטים ויזואליים מסוימים, ולאחר מכן מבצעת שינויים דקים ומדויקים במיוחד באזורים החשובים ביותר בתמונה. שינויים אלו בלתי נראים לאדם, אך מספיקים כדי להטעות את האלגוריתם.

לדוגמה, בתרחיש מעשי, שתי תמונות עשויות להיראות זהות לעין האנושית – שתיהן מציגות הולך רגל באופן ברור. אך בתמונה שעברה עיבוד באמצעות RisingAttacK, המערכת לא תזהה כלל את הדמות.

היבט מטריד נוסף הוא הגמישות של השיטה: המחקר הראה כי ניתן להשבית בעזרתה זיהוי של כל אחת מתוך 20–30 הקטגוריות המרכזיות שמודלים אלו מאומנים לזהות – לרבות רמזורים, כלי רכב, אופניים ואנשים.

החוקרים מדגישים כי חשיפת נקודות התורפה הללו היא שלב הכרחי לפיתוח הגנות חכמות יותר. ככל שתלותנו במערכות אוטונומיות גוברת, כך גובר הצורך להגן על מערכות הבינה המלאכותית מפני מניפולציות מסוכנות – במיוחד בשימושים שבהם טעות בזיהוי עלולה לסכן חיי אדם.