This post is also available in:
English (אנגלית)
Meta Reality Labs חשפה משאב חדש פורץ דרך לחוקרי למידת מכונה – ערכת הנתונים HOT3D – שנועדה לשפר את האינטראקציה הרובוטית עם בני אדם ואובייקטים. מערך נתונים פתוח זה, המתמקד במעקב תלת-ממדי של אינטראקציות עם אובייקטים ידניים, נועד להאיץ את ההתקדמות במערכות רובוטיקה, מציאות רבודה (AR) ומציאות מדומה (VR). על ידי אספקת סרטוני וידאו תלת-ממדיים באיכות גבוהה המצולמים מנקודת המבט של אדם בעת שמבצע מגוון של משימות ידניות, ה-HOT3D יכול לשפר באופן משמעותי את יכולות המניפולציה הרובוטית.
מערך הנתונים HOT3D, המוצג במאמר שמפורסם בשרתARXiv , מכיל מעל 833 דקות של קטעי וידאו, בהיקף של יותר מ 3.7 מיליון תמונות, על פי TechXplore. הוא כולל תמונות מרובי פרספקטיבות בצבעי RGB ומונוכרומטים, ומראה 19 אנשים כשהם מקיימים אינטראקציה עם 33 אובייקטים שונים. הנתונים כוללים אותות מולטי-מודאליים חיוניים כגון מבט בעיניים, ענני נקודות סצנה, ואנוטציות מפורטות מאוד, כולל תנוחות תלת-ממדיות של ידיים, אובייקטים ומצלמות, יחד עם מודלים תלת-ממדיים של ידיים ואובייקטים. אוסף עשיר זה של מידע מאפשר לחוקרים ליצור מודלים מדויקים יותר של למידת מכונה עבור אינטראקציות של אובייקט-יד.
משימות מפתח בתוך מערך הנתונים כוללות פעולות פשוטות כמו הרמה והנחה של חפצים, כמו גם התנהגויות מורכבות יותר שנצפו במקרים מהעולם האמיתי, כגון שימוש בכלי מטבח והקלדה על מקלדת. משימות מגוונות אלה, המצולמות, כאמור, מנקודת המבט של המשתמש, מספקות מבט מקיף על המורכבויות של אינטראקציות יד-אובייקט בסביבות היומיום.
מערך הנתונים נאסף באמצעות שני מכשירים מתקדמים של מטא: משקפיים מפרויקט אריה ומשקפי ה-VR Quest 3. המשקפיים של פרויקט אריה עוקבות אחר וידאו, שמע ותנועות עיניים, ומאפשר איסוף נתונים מדויקים על שדה הראייה ומיקומי האובייקטים של המשתמשים. משקפי Quest 3, מכשיר VR זמין מסחרית, תורם על ידי צילום אינטראקציות VRהנראות מציאותיות.
בבדיקות, החוקרים הראו כי מודלים שאומנו באמצעות נתוני HOT3D מנקודות מבט מגוונות הניבו תוצאות טובות יותר מאשר כאלה מנקודת מבט יחיד בשלוש משימות קריטיות: מעקב ידיים תלת-מימדי, הערכת תנוחת אובייקט 6DoF, והרמה של אובייקטים תלת-מימדיים ביד. ממצאים אלה מצביעים על כך שלHOT3D- יש פוטנציאל משמעותי לשפר את הפיתוח של רובוטים, ממשקי אדם-מכונה ויישומים אחרים לראיית מחשב.
ערכת הנתונים HOT3D זמינה כעת להורדה באתר האינטרנט של פרויקט אריה, ומציעה כלי רב ערך לחוקרים ברחבי העולם העובדים על קידום טכנולוגיות ראיית מחשב ורובוטית.
