זיהוי תמונה – האם ניתן לרמות את המחשב?

This post is also available in: English (אנגלית)

חוקרים מאוניברסיטת קורנל מצאו כי בדומה לבני אדם, מחשבים המבוססים על למידה חישובית (machine learning) עלולים להיות מוטעים על ידי אשליה אופטית, תופעה בעלת השלכות על נושא האבטחה.

ג'ייסון יוסינסקי בוגר קורנל ועמיתיו מהמעבדה לבינה מלאכותית באוניברסיטת וויומינג יצרו תמונות שנראות לעין האנושית כמו רעש לבן או צורות גיאומטריות מקריות, אולם מזוהות על ידי מחשבים כחפצים מוכרים, במידת ביטחון גבוהה.

על פי האתר של קורנל, ניתן לאמן מחשבים לזהות תמונות על ידי הצגת תמונות של חפצים בצמוד לשמם. המחשב מרכיב מזוויות הראיה הרבות של אותו החפץ מודל שמתאים לכולם ויתאים גם לתמונה חדשה של אותו חפץ שתוצג בפני המחשב.

בשנים האחרונות, הגיעו מדעני המחשב לרמה גבוהה של הצלחה בזיהוי תמונה, באמצעות מערכות DNN (רשתות עצביות עמוקות), המדמות את הסינפסות במוח האנושי על ידי הגדלת הערך של המיקום בזיכרון בכל פעם שהוא מופעל.

רשתות "עמוקות" עושות שימוש במספר שכבות של נוירונים מדומים על מנת להגיע לרמות של הפשטה: רמה אחת מזהה כי התמונה היא של בעל חיים עם ארבע רגלים, רמה אחרת מזהה שמדובר בחתול, ורמה נוספת מצמצמת את הזיהוי לחתול סיאמי.

אולם מחשבים אינם מעבדים תמונה באותו האופן. החוקרים "פיתחו" תמונות בעלות מאפיינים שה-DNN עשוי לייחס להם חשיבות. הם השתמשו בשתי מערכות DNN שכבר פעלו על מאגרי תמונות גדולים. הם החלו עם תמונה אקראית, ובהדרגה עיוותו אותה והראו למערכות כל גרסה חדשה שנוצרה. אם תמונה חדשה זוהתה כשייכת לקטגוריה מסוימת ברמת ביטחון גבוהה מאשר לגבי המקורית, החוקרים הורידו את הגרסה הישנה של התמונה והמשיכו לעוות את התמונה החדשה, עד שבסופו של דבר נוצרו תמונות שזוהו על ידי ה-DNN ב-99% ביטחון אולם לא היו ניתנות לזיהוי על ידי עין אנושית.

"המחקר מראה כי ניתן לשטות במערכת למידה עמוקה וללמד אותה במכוון משהו שקרי", אמר פרד שניידר, פרופ' למחשבים ומומחה לאבטחת מחשבים. "לדבר זה יש פוטנציאל לנזק מכוון, כאשר מלמדים מערכות אוטומטיות תשובות כוזבות לשאלות מסוימות. מערכות רבות ברשת האינטרנט משתמשות בלמידה עמוקה על מנת לנתח ולהסיק ממערכות נתונים גדולות. בהחלט יתכן מצב בו DNN ינוצל על ידי גורם המפרסם באינטרנט על מנת להחליט איזו מודעת פרסומת להציג בפני מישהו בפייסבוק או שסוכנות מודיעין תוכל להחליט אם פעילות מסוימת נחשבת לחשודה".

דפי אינטרנט זדוניים עלולים להכיל תצלומים מזויפים שנועדו לשטות במנועי החיפוש של תמונות או לעקוף סנני "חיפוש בטוח", ציין יוסינסקי, או שתמונות שנראות מופשטות עלולות להתקבל על ידי מערכת זיהוי פנים בתור מבקר מורשה.