בעולם שבו מודלי שפה גדולים (LLMs) מנהלים משימות חשיבה מורכבות, שיטות הדקודינג מבוססות דגימה קובעות את ההצלחה. אולם, שיטות מסורתיות כמו התאמת טמפרטורה או קיצור פועלות רק על הסתברויות הטוקנים הבודדים, ומתעלמות מקשרים גיאומטריים במרחב האמבדינגים. חוקרים חושפים כעת תופעה חדשה: צפיפות במרחב האמבדינגים, שבה מסת ההסתברות מתרכזת סביב טוקנים קרובים גיאומטרית. תופעה זו פוגעת באיכות החשיבה, במיוחד במשימות מתמטיות.
הצוות המחקרי מדווח על מדידת הצפיפות במרחב האמבדינגים בגרנולריות מרובות ומגלה קשר סטטיסטי ישיר להצלחה בחשיבה מתמטית מורכבת. צפיפות גבוהה מובילה לבחירה חוזרת של טוקנים דומים, מה שמגביל גיוון ומדיוק. לפי המאמר שפורסם ב-arXiv, התופעה הזו מסבירה חלק ניכר מכשלי הדקודינג במודלים מתקדמים. המחקר בדק זאת על פני מודלים ובנצ'מרקים שונים, ומצא כי צמצום הצפיפות משפר תוצאות משמעותית.
מתוך התובנה הזו נולדה CraEG – שיטת דגימה פלאג-אנד-פליי שמפחיתה צפיפות באמצעות שקלול מודרך גיאומטריה. CraEG אינה דורשת אימון מחדש, פועלת בשלב יחיד ומשתלבת בקלות עם שיטות דגימה סטנדרטיות כמו טמפרטורה או Top-K. השיטה משקללת מחדש את הסתברויות הטוקנים בהתבסס על מרחקים במרחב האמבדינגים, ומבטיחה פיזור טוב יותר של ההסתברות.
השפעת CraEG בולטת בניסויים: שיפורים במדדי איכות, עמידות וגיוון על פני מודלים ובנצ'מרקים מגוונים. במיוחד, היא מצטיינת במשימות חשיבה מורכבות כמו פתרון בעיות מתמטיות, שבהן צפיפות במרחב האמבדינגים גורמת לכשלים תכופים. בהשוואה לשיטות קיימות, CraEG מציעה יתרון בגמישות – ללא צורך בשינויי מודל.
למנהלי עסקים ישראלים בתחום הבינה המלאכותית, CraEG פותחת אפשרויות לשדרוג מיידי של יישומי AI. השיטה יכולה לשפר ביצועי צ'טבוטים, כלי ניתוח נתונים ויישומי אוטומציה. כיצד תשלבו אותה במודלים שלכם? המחקר מדגיש כי התאמה כזו יכולה להגביר יעילות עסקית משמעותית, במיוחד בעידן שבו חשיבה אוטומטית היא יתרון תחרותי.