This post is also available in: enEnglish (אנגלית)

טכנולוגיות זיהוי דיבור ושפה הוא תחום שזוכה להתפתחות מהירה, ונמצא במכשירים מתקדמים כבר כיום, במערכות דיאלוג מתקדמות כמו אלכסה של אמזון וסירי של אפל. אבן דרך משמעותית בפיתוח מערכות דיאלוג מבוססות בינה מלאכותית נמצאת בשילוב יכולות של אינטליגנציה רגשית לטכנולוגיה הקיימת. בדרך זו, תתאפשר יצירה של מערכת שמזהה גם את המצב הרגשי של משתמשיה, בנוסף להבנת השפה, ומסוגלת לגבש תגובה יותר אמפטית שתגביר את חוויית המשתמש ותקרב בין אדם למכונה. 

Multimodal sentiment analysis (ניתוח רגשות רב-תכליתי) היא קבוצת שיטות שגובשו למערכת דיאלוג בינה מלאכותית בעל יכולות זיהוי סנטימנטים. שיטות אלו מאפשרות ניתוח אוטומטי של מצבו הפסיכולוגי של המדבר, וכולל ניתוח של צבע הקול, הבעות הפנים והיציבה – כל אלה חיוניים עבור מערכות בינה מלאכותית ממוקדות באדם. הטכניקה הזו עשויה לקדם אותנו צעד אחד נוסף למערכת בינה מלאכותית עם יכולות מתקדמות, שמצליחות לנתח ולהבין את הרגשות של האדם המשתמש ולייצר תגובה בהתאם. 

עם זאת, כיום רוב שיטות ההערכה הרגשיות מתרכזות בניתוח מידע שניתן לתצפית, ולא כוללים רבדים נוספים של מידע, כמו למשל אותות פיסיולוגיים. מחקר חדש בשיתוף פעולה בין המכון המתקדם למדעים וטכנולוגיה ביפן לבין המכון למחקר מדעי ותעשייתי באוניברסיטת אוסקה שבארה"ב, בחן מה קרה לאחר שאותות פיסיולוגיים נוספו ל-multimodal sentiment analysis  לראשונה כדי לנסות ולהבין טוב יותר איך רגשות עובדים אצל בני אדם, מתוך מטרה ליישם תובנות אלה באלגוריתמים מתקדמים של בינה מלאכותית. ההגיון הוא כי למרות שלבני אדם יש יכולת להסתיר רגשות ברמה חיצונית, יש להם פחות שליטה על תהליכים ביולוגיים כמו קצב לב, שיכולים להסגיר את מצבם האמיתי.  

צוות המחקר ניתח כ-2,500 קטעי דו שיח עם בינה מלאכותית, שנערך בהשתתפות 26 משתתפים, על מנת לקבל הערכה לגבי רמת ההנאה של המשתמשים במהלך השיחות. הצוות עשה שימוש בסט דאטה בשם "Hazumi1911" שמשלב זיהוי דיבור, חיישני צבע קול, זיהוי הבעות פנים ויציבה לצד מנגנון זיהוי תגובה פיסיולוגי. החוקרים מצאו כי המידע על התגובות הביולוגיות בקרב המשתתפים הוכח כיעיל יותר מזה שמופק ע"י זיהוי קול ופנים. בדרך זו, שילוב מידע שפתי ביחד עם מידע על אותות ביולוגיים מאפשר לגבש הערכה מלאה יותר לאחר שיחה עם המערכה, ולראייה – מערכת הבינה המלאכותית הצליחה להגיע להישגים זהים לבני אדם, כך לפי sciencedaily.com.

מכאן ניתן להסיק כי זיהוי אותות פיסיולוגיים בבני אדם עשויים לסלול את הדרך למערכת בינה מלאכותית דיאלוגית מתקדמת, ולמערכות בינה מלאכותית אחרות שיהדקו את הקשר בין אדם למכונה.