This post is also available in:
English (אנגלית)
צוות של מומחי רובוטיקה מאוניברסיטת סטנפורד ומכון המחקר טויוטה מצא כי כאשר מאמנים רובוטים, הוספת נתוני אודיו לנתונים חזותיים משפרת את כישורי הלמידה שלהם.
הצוות הסביר כי כל אימון שנעשה עם רובוטים מבוססי בינה מלאכותית כרוך בחשיפתם לכמות גדולה של מידע חזותי, תוך התעלמות מכל שמע שעשוי להיות קשור. הם מספרים כי הם תהו אם יעזור לרובוטים לקבל מיקרופונים שיאפשרו להם לאסוף נתוני קול של המשימה או הפעולה אותה הם לומדים לבצע.
הדוגמה שהם סיפקו הייתה פתיחת קופסת דגני בוקר ומילוי קערה – בתרחיש זה, ייתכן שיהיה מועיל לשמוע את הצלילים של הקופסה הנפתחת ואת קול הדגנים הנמזגים לקערה.
על פי Techxplore, הצוות בדק את התאוריה שלהם על ידי תכנון וביצוע של ארבעה ניסויים בלמידה רובוטית – הראשון היה ללמד רובוט להפוך בייגל במחבת טיגון עם מרית, השני היה ללמד רובוט למחוק תמונה על לוח לבן עם מחק, השלישי היה לשפוך קוביות מכוס אחת לכוס אחרת, והרביעי היה לבחור את הגודל הנכון של סרט הדבקה משלוש דגימות ולהשתמש בו כדי להדביק חוט לרצועת פלסטיק.
לרובוט בו השתמשו לכל הניסויים האלה הייתה "יד אחיזה", וכל הניסויים נעשו בשתי דרכים אפשריות: עם וידאו בלבד, ועם וידאו ושמע יחד. לאחר ביצוע כל הניסויים, החוקרים השוו את התוצאות על ידי הערכה של המהירות והקלות בה הרובוטים הצליחו ללמוד ולבצע את המשימות, כמו גם את דיוק המשימה עצמה.
החוקרים מצאו כי הוספת אודיו שיפרה באופן משמעותי את המהירות והדיוק של ביצוע משימות מסוימות, אך לא עזרה לאחרות. לדוגמה, למידה עם מידע אודיו שיפרה באופן דרמטי את היכולת של הרובוט להבין אם יש קוביות בכוס שהוא מחזיק, או עזר לו להבין אם הוא משתמש בכמות הנכונה של לחץ על המחק תוך מחיקת הלוח. עם זאת, הוספת מידע שמע לא עזרה לו לקבוע אם הוא הפך בהצלחה את הבייגל במחבת או אם הסיר את התמונה מהלוח.
הצוות סיכם כי הוספת נתוני שמע לחומר הלימוד עבור רובוטים מבוססי AI יכול לספק תוצאות טובות יותר עבור יישומים מסוימים.
