NoReGeo: מבחן חדש חושף מגבלה גיאומטרית ב-LLMs

האם מודלי שפה גדולים כמו GPT-4 באמת 'מבינים' גיאומטריה באופן אינטואיטיבי, או שמא הם מסתמכים רק על חישובים אלגבריים? מחקר חדש מציג את NoReGeo, מבחן חדשני שבודק הבנה גיאומטרית טהורה ללא צורך בחשיבה או חישובים. המבחן כולל 2,500 בעיות גיאומטריות טריוויאליות ב-25 קטגוריות שונות, שנועדו לבחון אם ה-LLMs מקודדים יחסי מיקום מרחביים באופן מובנה. לפי החוקרים, בעיות אלה פתירות דרך הבנה גיאומטרית טבעית בלבד, בהנחה שמיקומי האובייקטים ידועים. תוצאות המבחן חושפות פער משמעותי: אפילו הדגמים המתקדמים ביותר משיגים מקסימום 65% דיוק במשימות סיווג בינארי פשוטות. (72 מילים) NoReGeo שונה ממבחנים קיימים שמתמקדים בגיאומטריה מבוססת חשיבה, שבה הפתרונות נגזרים משיטות אלגבריות. במקום זאת, המבחן בוחן יכולת מודל להכיר תכונות גיאומטריות באופן ישיר, ללא צורך בפתרון משוואות. החוקרים בדקו מגוון רחב של דגמי LLM מתקדמים, כולל מודלים חזיתיים כמו GPT-4. התוצאות מראות כי ההבנה הגיאומטרית אינה מתפתחת באופן טבעי דרך אימון סטנדרטי. ניסויי אפליקציה מראים כי פינטיונינג לבדו אינו מספיק להטמעת היכולת הזו, ודורש גישה מיוחדת מההתחלה. (98 מילים) במבחן NoReGeo, הבעיות מתמקדות ביחסים מרחביים בסיסיים כמו מיקום, צורה ויחסי מידה, ללא צורך בחישובים מתמטיים מורכבים. החוקרים מדווחים כי אפילו הדגמים הטובים ביותר נכשלים ברמה גבוהה במשימות אלה, מה שמעיד על חוסר בקידוד מובנה של מושגים גיאומטריים. לדוגמה, בדיקות סיווג בינארי – כן/לא – חושפות דיוק נמוך יחסית, עם תקרה של 65% בלבד. ממצאים אלה מדגישים כי LLMs נוכחיים חזקים יותר בחיקוי תשובות מאשר בהבנה אמיתית של חלל. (92 מילים) המשמעות העסקית של NoReGeo רבה עבור חברות טכנולוגיה ישראליות המפתחות AI. בתעשיות כמו רובוטיקה, רכב אוטונומי ו-AR/VR, הבנת גיאומטריה טבעית חיונית ליישומים פרקטיים. המחקר מצביע על הצורך בפיתוח שיטות אימון חדשות שישלבו גיאומטריה מראש, במקום להסתמך על אימון כללי. בישראל, שבה סטארט-אפים מובילים בתחום ה-AI, תוצאות כאלה יכולות להניע השקעות במחקר ממוקד. השוואה למבחנים קיימים מראה כי NoReGeo מספק מדד טהור יותר ליכולות מולדות. (88 מילים) ממצאי NoReGeo מסמנים כיוון למחקר עתידי: פיתוח מודלים עם קוגניציה גיאומטרית אמיתית. עבור מנהלי עסקים, זה אומר לבחון בזהירות יישומי LLM בתחומים מרחביים, ולשקול שילוב עם מודולים ייעודיים. השאלה המרכזית: האם נראה פריצת דרך בתחום זה בשנה הקרובה? המבחן זמין כעת ומזמין בדיקות נוספות. (68 מילים)