This post is also available in:
English (אנגלית)
יוזמת מחקר מ-Singapore Management University שמה לה למטרה לטפל באחת הבעיות המתמשכות בתחום הבינה המלאכותית: הקושי להעריך כיצד מודלים של בינה מלאכותית מקבלים את החלטותיהם. בעוד שתוכנה מסורתית פועלת לפי הוראות מפורשות, מערכות בינה מלאכותית—ובפרט אלו המבוססות על רשתות נוירונים—פועלות בדרכים שמקשות על ניתוח קונבנציונלי. פער זה מקשה על בדיקה, אימות או הסבר של יישומים מבוססי AI.
הפרויקט, בשם "The Science of Certified AI Systems", נתמך על ידי מימון המחקר בדרגה 3 של ממשלת סינגפור, ומפתח בסיס פורמלי להערכת התנהגות של מערכות AI תוך התמקדות במושגים הפשטה (abstraction), סיבתיות (causality) ויכולת פירוש (interpretability) – מושגים יסודיים בהנדסת תוכנה שעתה נדרש להתאימם למערכות מבוססות למידה מכונה, כך לפי TechXplore.
שלא כמו קוד מסורתי שבו ניתן לעקוב בקלות אחר סיבה ותוצאה, בינה מלאכותית מבססת לעיתים מסקנות על מתאמים שנמצאו במהלך האימון. לדוגמה, שני אנשים בעלי פרופילים דומים עשויים לקבל תוצאות הפוכות במודל אשראי, עקב גורמים חבויים בפרמטרים של המודל. חוסר השקיפות הזה מקשה על הבטחת הוגנות או בטיחות.
כדי להתמודד עם אתגר זה, החוקרים שואפים לפתח כלים מעשיים – כגון סביבות דיבוג (debugging) ובודקי מודלים (model checkers) – שתוכננו במיוחד לרשתות נוירונים. כלים אלו יתמכו בפיתוח תקני הסמכה למערכות AI, בדומה לתקנים הקיימים כיום עבור תוכנה קריטית לבטיחות. כמו כן, החוקרים מתכוונים לגבש הנחיות לפיתוח מערכות בינה מלאכותית בצורה מוסדרת.
מיקוד נוסף של הפרויקט הוא שילוב של מודלים של בינה מלאכותית במערכות בעולם האמיתי. הדבר כולל זיהוי נקודות כשל אפשריות בתהליך הפריסה, והגדרת שיטות עבודה מומלצות לשיפור האמינות. לדוגמה, הבטחה שמודלים בקוד פתוח יכילו תיעוד ברור—כמו תמיכה בחומרה מסוימת או מנגנוני גיבוי—יכולה להפחית משמעותית שגיאות בפריסה מבצעית.
במחקר נלווה, בחנו החוקרים כיצד מודלים ליצירת קוד נוטים לזכור ולשחזר קטעים מתוך נתוני האימון שלהם. תופעה זו מעלה חששות בנוגע לאבטחת מידע וקניין רוחני, במיוחד כאשר המודל מייצר קוד רגיש או קנייני. טכניקה חדשה בשם "machine unlearning" מציעה לצמצם סיכון זה על ידי אימון המודל "לשכוח" נתונים מסוימים מבלי לפגוע ביכולותיו הכלליות.
מאמצים אלו יחד משקפים הכרה הולכת וגוברת בכך שבניית מערכות בינה מלאכותית אמינות דורשת לא רק דיוק, אלא גם בהירות, שליטה ופיקוח—במיוחד ככל שהמערכות הללו עוברות ממעבדות מחקר אל תשתיות קריטיות וכלים מסחריים.
