האם מודלי שפה-ראייה (VLMs) יכולים להתמודד עם משימות היגיון מרחבי כמו פאזל טאנגרם, שילדים קטנים פותרים בקלות? מחקר חדש מ-arXiv חושף כי מודלים מתקדמים נכשלים נחרצות במשימות כאלה. בניסויים על חמש מודלים מובילים, ממוצע ה-IoU הגיע ל-0.41 במשימות חלק יחיד וירד ל-0.23 בהרכבת שני חלקים – רחוק מיכולות האדם. החוקרים, בהשראת תהליכי חשיבה אנושיים כמו סיבוב מנטלי והתאמה איטרטיבית, פיתחו את TangramSR: מסגרת שיפור עצמי בזמן מבחן ללא עדכון פרמטרים.
TangramSR משלב למידה בהקשר (ICL) עם לולאות משוב מונעות תגמול, המדמות תהליכי ניסוי וטעייה אנושיים. הסוכן המאמת-משפר פועל בלולאות רקורסיביות, שבודקות עקביות גיאומטרית ומשנות תחזיות בהתאם. ללא כל אימון מחדש, המסגרת משפרת את ביצועי ה-VLMs במשימות גיאומטריות רציפות. לדוגמה, במקרים של משולש בינוני, ה-IoU זינק מ-0.63 ל-0.932 – שיפור דרמטי של כ-48%.
המחקר מדגים כשל שיטתי ב-VLMs בהיגיון גיאומטרי רציף, בניגוד לביצועים האנושיים הטובים. בעוד ילדים משלימים משימות טאנגרם בהצלחה, המודלים נתקעים בשל חוסר יכולת בסיבובים מדויקים והתאמות ויזואליות. TangramSR מתמודד עם אתגר מרכזי בשיפור עצמי של AI: שיפור תחזיות בזמן אמת ללא שינוי המודל עצמו.
למנהלי עסקים ישראלים בתחום הטכנולוגיה, הממצאים מצביעים על פוטנציאל עצום. שילוב מנגנוני שיפור כאלה יכול לשפר יישומי AI בהיגיון מרחבי, כמו רובוטיקה, עיצוב תעשייתי ו-AR/VR. בישראל, שבה חברות כמו Mobileye ו-Wiz מובילות ב-AI, טכנולוגיה זו עשויה להאיץ פיתוחים מקומיים. המחקר זמין בקישור אנונימי.
TangramSR הופך הבטחות שיפור עצמי ממעבדה למציאות. עכשיו, כשמודלי AI לומדים להתקן בעצמם, מה ההשלכות על תעשיית ה-AI? מנהלים צריכים לבחון כיצד לשלב מנגנונים כאלה ביישומים עסקיים.