תכנית חדשה תפתח הגנות למערכות למידת מכונה

This post is also available in: English (אנגלית)

טכנולוגיית למידת מכונה (ML) הגיעה לשלב יישומי מתקדם בתחומים כמו ייצור יעיל, רפואה, ניתוח מידע בקנה מידה נרחב, תחבורה אוטונומית, ועוד. אולם למרות פריצת הדרך בתחום, אם הטכנולוגיה תיושם בצורה לא הולמת, לרעה או באופן מעוות, למידת מכונה יכולה להסב נזק רב.

לדוגמה, שינויים חזותיים שנעשו בתמרור עצור הצליחו 'לבלבל' מערכת ML ברכב אוטונומי.

בעוד שלאדם הצופה בתמרור עצור לא תהיה שום בעיה לפרש את משמעותו, ה-ML קרא את התמרור כמהירות מוגבלת של 60 קמ"ש במקום עצור. במקרה אמת בו התקפה על מערכת ML יכולה לקרות, הרכב האוטונומי יאיץ אל עבר תמרור העצור ויגרום פוטנציאלית לתוצאות הרסניות. זהו רק מקרה תקיפה אפשרי אחד במערכות ML שהתגלה לאחרונה.

על מנת להתגבר על סיכוני אבטחה כאלו ואחרים, הסוכנות האמריקאית למחקרי ביטחון מתקדמים DARPA יצרה את תכנית ה-GARD – תכנית שמטרתה להבטיח חוסן של בינה מלאכותית נגד הטעייה. התכנית רוצה לפתח דור חדש של הגנות כנגד התקפות הטעייה על מודלים של ML. מאמצי הגנה נוכחיים תוכננו על מנת להתמודד עם התקפות ספציפיות ומוגדרות מראש, ובכך נשארו חשופים להתקפות שחרגו מהפרמטרים שלהם. התכנית מעוניינת לגשת אל הגנת ML בצורה שונה – על ידי פיתוח הגנות רחבות, שיתנו מענה למנעד רחב של אפשרויות תקיפה בכל תרחיש.

"יש צורך קריטי בהגנת ML ככל שהטכנולוגיה הולכת ומשתלבת אל חלק מהתשתיות הבסיסיות שלנו. תכנית ה-GARD רוצה למנוע כאוס עתידי, שעלול להשתולל כאשר שיטות תקיפה יתפתחו לשלב יותר הרסני", לפי phys.org.

תגובת-הנגד החדשנית של GARD בעזרת בינה מלאכותית תתמקד בשלושה יעדים: 1) פיתוח יסודות תיאורטיים בשביל ML ניתן להגנה ולקסיקון של מנגנוני הגנה חדשים המבוססים עליהם; 2) יצירה וניסוי במערכות מוגנות דרך תרחישים שונים; 3) בניית פלטפורמת ניסויים בשביל לאפיין את היכולת של ML להיות מוגן ביחס לתרחישי איום. דרך שלושת אלה, GARD מתכננת לייצר טכנולוגיית ML עמידה בנסיונות הטעיה עם קריטריונים מחמירים שיאמדו את חוסנה.      

ה-GARD תחקור כיוונים שונים להגנות אפשריות, לרבות ביולוגיה. "סוג התרחיש הרחב שאנחנו רוצים לייצר יכול להיראות, לדוגמה, במערכת החיסונית, המזהה תקיפה, מנצחת וזוכרת את התקיפה על מנת ליצור תגובה יותר אפקטיבית במהלך היתקלויות עתידיות."

התכנית תעבוד על מתן מענה לצרכים עכשוויים, אבל גם רואה לעיניה אתגרים עתידיים. תחילה התכנית תתרכז ב-ML המבוסס על תמונה ומשם תמשיך לווידאו, אודיו ומערכות מורכבות יותר – לרבות וריאציות של ריבוי חיישנים וריבוי מודאליות. בנוסף, התכנית תשאף לאבטח מערכות ML המסוגלות לחזות, לבצע החלטות ולהסתגל במהלך תקופת חייהן.