האם דגמי שפה גדולים (LLM) באמת מסוגלים לתקן את עצמם? מחקר חדש שפורסם ב-arXiv מגלה פרדוקס מפתיע: דגמים חלשים כמו GPT-3.5, בעלי דיוק של 66%, מצליחים בתיקון עצמי ב-26.8% מהמקרים, בעוד דגמים חזקים כמו DeepSeek (94% דיוק) מצליחים רק ב-16.7%. התוצאה הזו מערערת את ההנחה ששיפור בדיוק מוביל אוטומטית לשיפור בתיקון עצמי, ומצביעה על אתגרים חדשים בפיתוח מערכות AI אוטונומיות.
החוקרים פירקו את תהליך התיקון העצמי לשלוש יכולות משנה: זיהוי שגיאות, איתור מיקום השגיאה ותיקון השגיאה עצמה. בניסויים שנערכו על מאגר GSM8K-Complex עם 500 דוגמאות לכל דגם (סה"כ 346 שגיאות), בדקו שלושה דגמי LLM מרכזיים: GPT-3.5, DeepSeek ו-Claude. התוצאות חשפו הבדלים דרמטיים: שיעורי זיהוי שגיאות נעים בין 10% ל-82% בין הדגמים, אך יכולת הזיהוי לא מנבאת בהכרח הצלחה בתיקון.
פרדוקס הדיוק-תיקון בולט במיוחד: דגמים חלשים מייצרים יותר שגיאות, אך מצליחים לתקן חלק גדול יותר מהן באופן עצמאי – פי 1.6 יותר מדגמים חזקים. דוגמה מפתיעה היא Claude, שמזהה רק 10% מהשגיאות אך מתקן 29% מהן באופן עצמי. בנוסף, מתן רמזים על מיקום השגיאה פגע בביצועים של כל הדגמים, מה שמעיד על מגבלות בתהליך התיקון הפנימי.
החוקרים מציעים את השערת עומק השגיאה: דגמים חזקים מייצרים פחות שגיאות, אך הן עמוקות יותר ועמידות יותר בפני תיקון עצמי. ממצאים אלה מאתגרים את ההנחות הליניאריות לגבי יכולות הדגמים ומצביעים על הצורך בגישות חדשות לעיצוב תהליכי שיפור עצמי. בהשוואה לדגמים אחרים, ההבדלים הארכיטקטוניים משפיעים באופן משמעותי על היכולות המשנה.
ממצאי המחקר משפיעים ישירות על עסקים ישראליים המפתחים יישומי AI, כמו צ'אטבוטים פיננסיים או כלי אוטומציה. מנהלי טכנולוגיה צריכים לשקול שילוב משוב חיצוני במקום להסתמך על תיקון עצמי. מה תהיה ההשפעה על הדור הבא של LLM? קראו את המחקר המלא כדי להבין כיצד להתכונן לשינויים אלה.