סרטון משכנע אינו בהכרח תחזית נכונה

באחת הדוגמאות שמציג צוות WorldOracle, רובוט מחטיא אחיזה בפרי, אבל מודל העולם חוזה שהפרי הורם בהצלחה. הפער הזה עומד במרכז מדד חדש למודלי עולם מותני פעולה: מודלים המקבלים תצפית התחלתית ורצף פעולות, ומייצרים סרטון של מה שצפוי להתרחש בעקבותיהן.

לפי הפרסום שסופק, חוקרים מפרינסטון, מאוניברסיטת טקסס באוסטין, מאוניברסיטת טורונטו, מ־NVIDIA ומ־AgiBot פיתחו את המדד במשותף. הם משווים כל תחזית לתיעוד ביצוע אמיתי שהתחיל מאותן תצפיות וכלל את אותו רצף פעולות. גם חיזוי נכון של כישלון, כגון החטאת אחיזה או שפיכה, נחשב לתוצאה נכונה.

הזרוע נעה נכון, החפץ פחות

הצוות מדווח על בחינת שבעה מודלים. בחמשת המודלים שנבדקו על נתוני AgiBot G2 בהפעלה מרחוק, ציוני ההתאמה המרחבית של הזרוע היו גבוהים מציוני החפץ. לדוגמה, Cosmos 3 קיבל 89.4 לזרוע ו־45.4 לחפץ. אלה ציוני המדד, ולא אחוזי הצלחה במשימה.

גם משך התחזית השפיע: ציון WorldOracle-SV של DreamDojo ירד מ־50.56 בבחינת 30 השניות הראשונות ל־27.08 ברצף המלא. GE-Sim 2.0 ירד מ־73.86 ל־63.33. הממצאים מצביעים, לפי הצוות, על הצורך לבדוק אינטראקציות ממושכות ולא להסתפק בקטע קצר שנראה אמין.

מה הבדיקה אינה מוכיחה

מערך ההערכה כולל את AgiBot G2, את YAM ומניפולציה בידיים אנושיות, במשימות כגון קטיף פירות, תליית מגבת, מזיגת מים ומשיכת מגירה. מדובר בהערכת תחזיות מול הקלטות ניסוי, ולא בראיה לפריסה מסחרית או לאמינות תפעולית.

החוקרים מציינים שהשוואה לביצוע מוקלט יחיד אינה מייצגת את כל התוצאות האפשריות, במיוחד בנוזלים ובחפצים גמישים. גם תנאי האימון שונים בין מערכי הבדיקה, ולכן אין להשוות ישירות את ציוניהם כדי להסיק על יכולת הכללה בין גופים רובוטיים.

המקור לכתבה הוא תוכן ממומן מטעם WorldOracle שפורסם ב־The Robot Report. הראיות שסופקו אינן כוללות אימות עצמאי של התוצאות.

המקורות שלנו

המקור, סוג העדות ותאריך הבדיקה זמינים כדי שתוכלו לבדוק בעצמכם.

מצאתם טעות או מידע שהתעדכן? שלחו תיקון. תיקונים מהותיים יתועדו כאן.