חוקרים פיתחו אלגוריתם שמתגבר על "שכחה קטסטרופלית" ברשתות עצביות

Image provided by pixabay

This post is also available in: English (אנגלית)

רשתות עצביות חוללו מהפכה בתחומים שונים על ידי שליטה במשימות ספציפיות. עם זאת, אתגר משמעותי המכונה "שכחה קטסטרופלית" (catastrophic forgetting) מתעורר כאשר המודלים הללו נדרשים ללמוד מידע חדש. למרות שהם יכולים להסתגל בהצלחה למשימות חדשות, הם מאבדים לעתים קרובות את היכולת לבצע את המשימות המקוריות שלהם. בעיה זו מסבכת את הלמידה המתמשכת הדרושה ליישומים כמו מכוניות אוטונומיות, הדורשות עדכונים קבועים מבלי להצטרך לתכנת מחדש מאפס.

בהשראת הגמישות המדהימה של המוח הביולוגי, חוקרים ב- California Institute of Technology פיתחו אלגוריתם חדשני המאפשר לרשתות עצביות להתעדכן באופן רציף עם נתונים חדשים תוך שמירה על מידע שנלמד בעבר. פריצת דרך זו, הנקראת אלגוריתם Functionally Unvariant Path  (FIP), יכולה לשפר מגוון רב של יישומים.

על פי TechXplore, אלגוריתם FIP פותח במעבדתו של מאט תומסון, פרופסור לביולוגיה חישובית וחוקר במכון מורשת למחקר רפואי. תומסון, יחד עם סטודנט לתואר שני לשעבר גורו רגהוואן, הונע על ידי עבודתו של הפרופסור קרלוס לויס, שחוקר כיצד ציפורים יכולות לחווט מחדש את מוחן כדי לחדש את יכולות השירה שלהן לאחר פציעה מוחית. הם רצו לשכפל יכולת הסתגלות זו ברשתות עצביות מלאכותיות.

אלגוריתם FIP משתמש בטכניקה מתמטית הנקראת גאומטריה דיפרנציאלית, המאפשרת לשנות רשתות עצביות מבלי לאבד נתוני עבר שקודדו בה. גישה זו לא רק מטפלת בסוגיית השכחה הקטסטרופלית, אלא גם משפרת את הפונקציונליות הכוללת של מודלים אלה.

בשנת 2022, רגהוואן ותומסון ייסדו חברה בשם Yurts כדי להמשיך ולפתח את אלגוריתם ה-FIP ולהגדיל את מערכות הלמידה של המכונות בתעשיות שונות. המחקר פורסם ב- Nature Machine Intelligence, ומדגיש את המאמצים השיתופיים של המחברים, כולל סטודנטים לתואר שני סוריה נראיינן הארי ושיצ'ן רקס ליו, ומשתף הפעולה הבינלאומי בהיי תארוואט מאוניברסיטת אלכסנדריה.

עבודה פורצת דרך זו מייצגת זינוק משמעותי קדימה בהפיכת הבינה המלאכותית לסתגלנית וחזקה יותר, ועשויה לשנות את האופן שבו מכונות לומדות ומתפתחות לאורך זמן.