This post is also available in:
English (אנגלית)
מחקר עדכני מעורר חששות בנוגע לאמינותם של כלים לחיפוש מידע המופעלים באמצעות בינה מלאכותית, ומראה כי רבות מהתשובות שמספקים כלים אלה אינן מגובות על ידי המקורות שהם מצטטים. ממצאי המחקר מרמזים כי למרות שהכלים הללו מהירים ונוחים לשימוש, התוצרים שלהם לעיתים קרובות מחייבים בדיקה מעמיקה יותר.
המחקר, שבוצע על ידי חוקרים ממעבדות Salesforce AI Research, בחן את ביצועיהן של מספר פלטפורמות חיפוש מבוססות בינה מלאכותית – בהן Perplexity, You.com, Bing Chat של מיקרוסופט, ו-GPT-4.5 של OpenAI באמצעות מסגרת הערכה ייעודית בשם DeepTRACE. תהליך הבדיקה כלל למעלה מ-300 שאלות ונבחן על פני שמונה קריטריונים שונים.
לפי אתר TechXplore, התוצאות הצביעו על חוסר עקביות משמעותי. כך למשל, GPT-4.5 הוציא טענות לא מבוססות בכמעט מחצית מהתשובות שניתנו (47%), בעוד ששאר הכלים נעו בין 30% ל-40%. במקרים רבים, הציטוטים שסופקו לא תמכו בטענה כלל – ולעיתים אף היו בלתי קשורים לנושא.
הבדיקה גם בחנה כיצד המערכות הללו מתמודדות עם שני סוגים של שאלות:
- שאלות דיבייט, הכוללות נושאים שנויים במחלוקת או רגישים פוליטית.
- שאלות מבוססות מומחיות, הדורשות ידע מקצועי ומעמיק בתחום מסוים.
בתחום שאלות הדיבייט, תשובות ה-AI נטו להציג עמדה חד-צדדית, תוך התעלמות מהותית מטיעוני נגד. תגובות אלו נמסרו לרוב בטון סמכותי, מה שמעורר חשש מהאפשרות שהן מחזקות דעות קדומות אצל המשתמש ומצמצמות את החשיפה להשקפות מגוונות.
במטרה לוודא את מהימנות הממצאים, נבדקו תוצאות מערכת DeepTRACE על ידי סוקרים אנושיים, אשר אימתו את הנתונים ושיקפו את השימושים הריאליים.
מעבר לזיהוי הליקויים, המחקר מציע גם פתרון מעשי. DeepTRACE מהווה מסגרת פרקטית להערכת אופן פעולתן של מערכות בינה מלאכותית בכל הקשור לאחזור מידע ולדיוק בציטוטים. החוקרים טוענים כי מסגרות מסוג זה חיוניות ככל שכלי ה-AI הופכים להיות חלק בלתי נפרד מתהליכי מידע ציבוריים ומקצועיים.
למרות היתרונות שהבינה המלאכותית מציעה באוטומציה של משימות חיפוש ומחקר, הממצאים מהווים תזכורת לכך שעל המשתמשים לגשת לתשובות בגישה ביקורתית ולוודא את נכונות המקורות – במיוחד כאשר הדיוק חשוב.
ממצאי המחקר המלאים זמינים באתר arXiv כטיוטת פרסום מוקדמת.
