מתחת לפני השטח: חוסר היכולת של בינה מלאכותית להתמודד עם אנלוגיות מורכבות נחשף

This post is also available in: English (אנגלית)

מחקר שנערך לאחרונה באוניברסיטת אמסטרדם ובמכון סנטה פה שופך אור על יכולות החשיבה של בינה מלאכותית (AI), ובמיוחד מודלי שפה גדולים כמו GPT-4. בעוד שהמודלים הללו הפגינו ביצועים מרשימים במשימות חשיבה, המחקר מצביע על כך שההבנה האמיתית של הבינה המלאכותית במושגים מופשטים עדיין עשויה להיות מוגבלת, וחושפת חולשות חשובות כאשר היא מתמודדת עם בעיות שעברו שינוי.

תהליך קוגניטיבי בסיסי אחד שבני אדם משתמשים בו נקרא חשיבה אנלוגית: היכולת לערוך השוואות בין דברים שונים בהתבסס על התכונות המשותפות שלהם. לדוגמה, אנלוגיה קלאסית תהיה: "נעליים הם לרגליים כמו שכובע הוא לראש". בעוד שמודלים של בינה מלאכותית כמו GPT-4 מבצעים היטב משימות אנלוגיה בסיסיות, מחקר זה בוחן האם מודלים אלה יכולים לשכפל גמישות אנושית בחשיבה.

על פי TechXplore, החוקרות, מרתה לואיס ומלאני מיטשל, בחנו בני אדם ומודלי  GPTעל שלושה סוגים של אנלוגיות: רצפי אותיות, מטריצות ספרות ואנלוגיות מבוססות סיפור. התוצאות הראו: בעוד שבני האדם שמרו על ביצועים גבוהים בכל המשימות, מודלי GPT הראו חולשות משמעותיות כאשר הבעיות השתנו, והתגלתה הסתמכות על התאמת תבניות ולא על הבנה אמיתית.

לדוגמה, במטריצות של ספרות, דגמי GPT התקשו כאשר המיקום של המספר החסר השתנה, משימה שלא היוותה אתגר לבני אדם. באופן דומה, באנלוגיות של סיפור, GPT-4 נטה לבחור את התשובה הראשונה לעתים קרובות יותר, בעוד שבני אדם שקלו את ההקשר עמוק יותר. כאשר נוסחו מחדש אלמנטים של סיפור, הביצועים של GPT-4 ירדו, דבר המצביע על ההתמקדות שלו בדמיון ברמת פני השטח ולא בהבנה עמוקה יותר.

המחקר מדגיש נקודה קריטית: בעוד שהבינה המלאכותית יכולה לחקות חשיבה, היכולת שלה להכליל על פני וריאציות היא הרבה פחות חזקה מההכרה האנושית. המחקר מעלה חששות חשובים לגבי השימוש של AI בתהליכי קבלת החלטות, כגון חינוך, חוק ובריאות. בעוד שהבינה המלאכותית הוכיחה את עצמה כשימושית בהקשרים רבים, היא עדיין לא מסוגלת להחליף את ההיגיון והניואנסים שבני אדם מביאים למצבים מורכבים.

המחקר פורסם בכתב העת Transactions on Machine Learning Research.