האם אפשר להשתמש במודל AI כדי לבצע בקרה על מודל AI אחר? DeepMind טוענת שכן

This post is also available in: English (אנגלית)

צוות מחקר של מומחים לבינה מלאכותית מחברת DeepMind של גוגל פיתחו את SAFE – מערכת בינה מלאכותית שנועדה לבדוק ולאמת את התוצאות של מודלי שפה גדולים (כמו ChatGPT או Bard).

מודלי שפה גדולים וצ'אטבוטים זכו לפופולריות עצומה בשנים האחרונות. הם משמשים לכל דבר, החל מתכנון טיול, כתיבת עבודות לבית הספר, פתרון בעיות מתמטיות, ומענה על מגוון רחב של שאלות. עם זאת, יש לכלים האלה בעיה אחת משמעותית, והיא יכולת הדיוק שלהם – משתמשים צריכים לאמת ולבדוק ידנית כל תוצאה שקיבלו ממודלי AI כאלה על מנת להבטיח שהיא נכונה, מה שמפחית מאוד את הערך של הכלים האלה.

על פי Techxplore, החוקרים ב-DeepMind יצרו יישום בינה מלאכותית שיכול לבדוק באופן אוטומטי תשובות שניתנו על ידי מודלי שפה גדולים ולהצביע על אי דיוקים. דרך עיקרית אחת בה משתמשי מודלי שפה גדולים בודקים את אמיתות התוצאות שקיבלו היא פשוט באמצעות חיפוש גוגל כדי למצוא מקורות מתאימים, והחוקרים נקטו את אותה הגישה – הם יצרו מודל שפה גדולה שמפרק את הטענות או העובדות שסיפק המודל המקורי לגורמים, משתמש בגוגל כדי למצוא אתרים בהם ניתן להשתמש לאימות, ולאחר מכן משווה את שתי התשובות כדי לקבוע איזו מדויקת. מערכת זו נקראת Search-Augmented Facetuality Evaluator, או בקיצור SAFE.

כדי לבדוק את יעילות המערכת SAFE, הצוות השתמש בה כדי לאמת כ-16,000 עובדות מתשובות שניתנו על ידי כמה מודלי שפה גדולים. לאחר מכן הם השוו את התוצאות שלהם מול בודקי עובדות אנושיים ומצאו כי מערכת SAFE תאמה את הממצאים של בני האדם ב-72% מהמקרים. כאשר החוקרים בחנו את המקרים בהם הייתה אי הסכמה בין המערכת לבין הבודקים האנושיים, החוקרים מצאו כי מערכת SAFE הייתה הצודקת 76% מהזמן.

DeepMind והצוות פרסמו את הקוד ל-SAFE באתר הקוד הפתוח GitHub, ובכך הפכו אותו לזמין לכל מי שמעוניין להשתמש ביכולות הללו.

הצוות פרסם מאמר על מערכת SAFE בשרת ההדפסה המוקדמת arXiv.