בעידן שבו דגמי AI נדרשים להיגיון מורכב אך יעיל, עולה השאלה: האם שרשרת מחשבה סמויה (Latent-CoT) באמת מבצעת חישובים צעד אחר צעד, ללא צורך בהפקת הסברים ארוכים? מחקר חדש מאוניברסיטת arXiv בוחן את CODI – דגם מיצוק מורה-תלמיד עם מחשבות רציפות – במשימות היגיון סדרתי של פולינומים. החוקרים משתמשים בכלים מתקדמים כמו פענוח logit-lens, פרובות ליניאריות, ניתוח קשב ותיקון הפעלות כדי לאתר ייצוגי מצבים ביניים ולעקוב אחר ניתובם לקריאה הסופית. התוצאות חושפות תמונה מורכבת.
במשימות דו- ושלושה-קפיצות, CODI יוצר את כל קבוצת מצבי הגשר המלאים, שניתנים לפענוח לאורך עמדות המחשבה הסמויה, בעוד הקלט הסופי עוקב אחר מסלול ישיר נפרד כמעט. הניבויים נוצרים דרך מיזוג מאוחר בגבול סוף-המחשבה. כך, לפי הדיווח, הדגם מצליח לבצע חישוב איטרטיבי נאמן במשימות קצרות. כלים אלה מאפשרים לזהות בדיוק כיצד המידע זורם בשכבות הפנימיות של הדגם, ומספקים תובנות על מנגנוני הלמידה.
לעומת זאת, במשימות ארוכות יותר עם קפיצות רבות, CODI אינו מבצע פריסה סמויה מלאה באופן אמין. במקום זאת, הוא מציג נתיב היגיון סמוי חלקי שמתרכז במתווכים מאוחרים, ומיזג אותם עם הקלט האחרון בעמדת קריאת התשובה. אי-בלציות מראות כי נתיב חלקי זה עלול להתמוטט תחת שינויי משטר, כולל אופטימיזציה קשה יותר. הדיווח מדגיש כי שרשרת מחשבה סמויה בסגנון CODI עלולה להסתמך על אסטרטגיות מקוצרות או דחוסות במקום חישוב איטרטיבי מלא.
המשמעות העסקית משמעותית: עבור מנהלי טכנולוגיה בישראל, ששרשרת מחשבה סמויה מבטיחה דגמים יעילים יותר, חשוב להבין מתי היא עובדת ומתי היא נכשלת. בהשוואה לשיטות מסורתיות שדורשות הסברים ארוכים, Latent-CoT חוסך משאבים, אך המחקר חושף אתגרים בעיצוב יעדים אמינים להיגיון סדרתי. בישראל, שבה חברות כמו Mobileye משקיעות ב-AI אוטונומי, תובנות כאלה יכולות לשפר פיתוח מודלים.
המחקר מדגיש את הצורך בעיצוב יעדים רובוסטיים יותר לשרשרת מחשבה סמויה, ומזהיר מפני קיצורי דרך. מה זה אומר לעתיד? מנהלים צריכים לשקול בדיקות מנגנוניות כדי לוודא היגיון אמיתי בדגמיהם. האם נראה שיפורים מהירים?