פער ההכללה בתכנון LLM: 82% הצלחה בתחום, 0% מחוץ לו

האם מודלי שפה גדולים (LLM) באמת מסוגלים לתכנן באופן כללי, או שמדובר בזיכרון דפוסים תחומיים בלבד? מחקר חדש שפורסם ב-arXiv חושף פער הכללה דרמטי בתכנון מבוסס LLM. החוקרים אימנו מודל בגודל 1.7 מיליארד פרמטרים על 40 אלף זוגות בעיה-תכנית מ-10 תחומים מתחרות IPC 2023. בתנאי תחום פנימי, הדיוק הגיע ל-82.9% תוכניות תקפות, אך בשני תחומים חדשים – אפס אחוזי הצלחה. תוצאות אלה מעלות שאלות קשות על יכולות התכנון האמיתיות של LLM. המחקר בוחן את היכולת לייצר תוכניות תקפות במשימות תכנון PDDL, שבהן LLM fine-tuned מציגים תוצאות מרשימות לכאורה. אולם, כדי לבדוק אם מדובר ביכולת הכללה אמיתית או בהטמעת דפוסים ספציפיים, נבדקה הכללה בין-תחומית. התוצאות מצביעות על קריסה מוחלטת מחוץ לתחומי האימון, מה שמרמז על תלות חזקה בייצוגים שטחיים ולא בהבנה עמוקה של תכנון. כדי לאבחן את הכשל, הוחלו שלוש התערבויות אבחנתיות: אנונימיזציה סימבולית לכל מקרה, סריאליזציה קומפקטית של תוכניות, ואימון מחדש עם תגמול ממאמת VAL כסיגנל חיזוק ממוקד הצלחה. אנונימיזציה וסריאליזציה קומפקטית גרמו לירידה דרמטית בביצועים, למרות שמירה על סמנטיקת התוכנית, וחשפו רגישות גבוהה לייצוגים שטחיים. אימון עם תגמול מאמת השיג רוויה מהירה יותר, אך לא שיפר הכללה בין-תחומית. משמעות הממצאים עולה בקנה אחד עם אתגרים ידועים בהכללה של LLM, במיוחד בתחומי תכנון ואוטומציה. בעוד שבתחומי אימון, הביצועים מגיעים לכ-80%, ההכללה נכשלת לחלוטין. כלים אלה מספקים אמצעים לבדיקת סיבות הפער, וקוראים לפיתוח גישות חדשות לשיפור יכולות תכנון כלליות ב-AI. בישראל, שבה חברות כמו מובילאיי ו-Wiz משקיעות רבות באוטומציה מבוססת AI, תוצאות כאלה חשובות לבחון לפני הטמעה. המחקר מדגיש כי בתצורות הנבדקות, LLM מסתמכים על דפוסים תחומיים ספציפיים ולא על יכולת תכנון ניתנת להעברה. מנהלי עסקים בתחום הטכנולוגיה צריכים לשקול זאת בעת שילוב LLM במערכות תכנון אוטומטיות. מה השלב הבא? האם נזדקק למודלים היברידיים המשלבים ידע סמלי? קראו את המחקר המלא כדי להעמיק.