פוסט מחקר של Google Research: מדפים ריקים או מפתחות אבודים?
בפוסט שפרסמו ניתאי קלדרון וגל יונה, מדעני מחקר ב-Google Research, ב-12 באוגוסט 2026, מוצגת גישה חדשה להבנת שגיאות עובדתיות במודלי שפה גדולים (LLMs). במאמרם "מדפים ריקים או מפתחות אבודים? שחזור הוא צוואר הבקבוק עבור עובדתיות פרמטרית" ("Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality"), החוקרים מציגים את מסגרת "פרופילי הידע" (knowledge profiling) ומדד הערכה חדש בשם WikiProfile, במטרה לקבוע האם מודלי שפה מתקדמים טועים בעובדות משום שהעובדות מעולם לא נשמרו במודל (כשל קידוד, המכונה "מדפים ריקים") או משום שהן מקודדות אך המודל אינו מצליח לגשת אליהן ולשחזר אותן ללא רמזים חיצוניים (כשל שחזור, המכונה "מפתחות אבודים").
לפי הכותבים, הבנת ההבדל בין כשל קידוד לכשל שחזור היא חיונית, שכן שני סוגי הכשלים דורשים פתרונות שונים לחלוטין. כשל קידוד דורש את הגדלת נפח המודל או הרחבת בסיס הנתונים המשמש לאימון, בעוד שכשל שחזור עשוי להצביע על צורך בשימוש בשיטות פוסט-אימון או בשיטות המיושמות בזמן הסקת המסקנות (inference-time) כדי לסייע למודלים לנצל טוב יותר את המידע שכבר מקודד בהם.
מסגרת פרופילי הידע: הגדרות והמשגה
מסגרת פרופילי הידע משנה את יחידת הניתוח משאלות בודדות לעובדות עצמן. במקום לבחון רק האם שאלה ספציפית נענתה נכון, היא מסווגת כל עובדה לאחד מחמישה פרופילים מוגדרים:
- כשל קידוד (encoding failure): העובדה אינה מיוצגת בפרמטרים של המודל.
- כשל שחזור (recall failure): העובדה מקודדת במודל, אך הוא אינו מצליח לשחזר אותה ללא רמזים חיצוניים.
- שחזור ישיר (direct recall): המודל יודע ומספק את העובדה באופן ישיר ללא צורך בהפעלת חשיבה.
- שחזור באמצעות חשיבה (recall with thinking): המודל משחזר את העובדה המקודדת רק כאשר מתאפשר לו לבצע חישובים זמניים (כולל שרשרת מחשבה או במודלים מותאמי חשיבה).
- הסקה ללא קידוד (inference without encoding): המודל עונה נכון על שאלה לגבי עובדה שאינה מקודדת אצלו, באמצעות הסתמכות על עובדות מקודדות אחרות, ביצוע הסקה מרובת-שלבים (multi-hop reasoning) או ניחושים מושכלים, תחת הפעלת מנגנוני חשיבה.
החוקרים מגדירים שלוש התנהגויות מרכזיות לצורך יישום המסגרת:
- קידוד (Encoding): מודל מקודד עובדה אם הוא מסוגל לשחזר אותה בהקשר הדומה לזה של שלב קדם-האימון (pre-training). המחקר מודד זאת באמצעות השלמת טענות (proposition completion) ושאילת שאלות קונטקסטואליות המציבות את המודל בהקשר שבו העובדה מופיעה באופן טבעי, מבלי לגלות את התשובה.
- ידע (Knowledge): מודל יודע עובדה אם הוא מסוגל לענות נכון על שאלות שקולות סמנטית בניסוחים שונים, הכוללים שאלות ישירות והפוכות (למשל, עבור העובדה ש-A הוא B, שאלה ישירה תשאל "מהו B?" בעוד ששאלה הפוכה תשאל "מהו A?").
- שחזור (Recall): מודל משחזר עובדה אם הוא יודע עובדה המקודדת אצלו. שחזור ללא חשיבה מוגדר כשחזור ישיר.
- זיהוי (Recognition): זיהוי העובדה הנכונה כאשר היא מוצגת לצד אפשרויות חלופיות (במשימות רב-ברירה).
מדד WikiProfile: בניית הנתונים ושיטת המחקר
כדי להפוך את מסגרת פרופילי הידע למבצעית, החוקרים פיתחו את WikiProfile, מדד הערכה (benchmark) המורכב מ-2,150 עובדות שמקורן בוויקיפדיה, המהווה מקור מרכזי לנתוני קדם-אימון.
WikiProfile נבנה באמצעות תהליך אוטומטי לחלוטין המבוסס על מודל השפה Gemini-2.5-Pro במצב חשיבה. הנחיות המערכת (prompts) עברו אופטימיזציה ידנית על גבי קבוצת נתונים קטנה שהופרדה מראש. תהליך הפקת העובדות מורכב מחילוץ עובדות מתוך דפי ויקיפדיה, המוגדרות כהיגדים המכילים זוג ישויות מסודר (נושא ומושא), כאשר הנושא מופיע ראשון במסמך.
כל עובדה מצומדת ל-10 משימות: שתי משימות למדידת קידוד, ארבע משימות להערכת ידע (שאלות ישירות והפוכות בניסוחים שונים), וארבע משימות רב-ברירה להערכת זיהוי. יצירת השאלות הישירות וההפוכות נעשית בתהליך תלת-שלבי הכולל יצירה, עידון וסינון, כדי להבטיח שכל שאלה היא חד-משמעית, ספציפית, מינימלית ובעלת תשובה ייחודית אחת. כל השאלות עוברות סינון מבוסס מנוע חיפוש, ובמסגרתו נפסלו מקרים שבהם התקבלו מספר תשובות או נדרשה הבהרה. לאחר הסינון האוטומטי ושלב אימות ידני סופי, נותרו במדד 2,150 עובדות.
הערכת המודלים ותוצאות מרכזיות
המחקר העריך 13 מודלי שפה שונים (ובהם Gemini-2.5-Pro, Gemini-3-Pro, Gemini-3-Flash, GPT-5 ומשפחת מודלי Gemma 3), כאשר כל מודל נבחן הן עם הפעלת מנגנון חשיבה והן בלעדיו. עבור כל מודל, עובדה ומשימה, נדגמו שמונה תגובות, אשר דורגו באופן אוטומטי על ידי מעריכי LLM (LLM autoraters) מונחי-הנחיות, ובסך הכל נותחו כ-4.5 מיליון תגובות.
התוצאה המרכזית העולה מהמחקר היא כי במודלי הקצה המובילים (Gemini-3-Pro, GPT-5 ו-Gemini-2.5-Pro), קידוד העובדות קרוב לרוויה מלאה, אך השחזור רחוק מכך:
- במודלים Gemini-3-Pro ו-GPT-5, בין 95% ל-98% מהעובדות מקודדות בפרמטרים של המודל.
- למרות זאת, המודלים נכשלים בשחזור ישיר (direct recall) של 26% עד 34% מהעובדות הללו.
- גם כאשר מנגנון החשיבה פעיל, המודלים עדיין נכשלים בשחזור של 11% עד 12% מהעובדות המקודדות.
משמעות הדבר היא כי שגיאות עובדתיות במודלים מתקדמים נובעות מחוסר יכולת לגשת בצורה מהימנה לידע שכבר מאוחסן בהם, ולא מהיעדרו. צוואר הבקבוק עבר מרכישת ידע (knowledge acquisition) לניצול ידע (knowledge utilization).
תופעה זו מתחזקת גם תחת ניתוח השפעת קנה המידה (scaling). במשפחת מודלי Gemma 3, מודלים גדולים יותר מציגים ירידה חדה בכשלי קידוד, אך כשלי השחזור נותרים משמעותיים והופכים לחלק הארי של השגיאות הנותרות. כלומר, הגדלת קנה המידה משפרת את מה שהמודל מאחסן בצורה יעילה בהרבה משהיא משפרת את יכולת הגישה שלו למידע זה.
מדוע השחזור נכשל? עובדות נדירות וקללת ההיפוך
התוצאות מצביעות על כך ששחזור עובדות קשור באופן הדוק לתנאים שבהם העובדה נלמדה במהלך האימון. כאשר השאילתה מנוסחת באופן שונה מהקשר האימון, מהניסוח או מסדר המילים המקורי שבו נתקל המודל בעובדה, השחזור הופך לקשה יותר. החוקרים מדגימים זאת בשני מקרים מובהקים:
- עובדות נדירות (rare facts): בעוד שמחקרים קודמים ייחסו את הקושי של מודלים להתמודד עם עובדות ב"זנב הארוך" למגבלות קיבולת של המודל, המחקר הנוכחי מציע תמונה משלימה. בהשוואה בין עובדות בעלות פופולריות נמוכה (20% התחתונים) לעובדות בעלות פופולריות גבוהה (20% העליונים), נמצא כי עובדות נדירות מקודדות בשיעורים הקרובים מאוד לעובדות פופולריות. הפער בקידוד קטן יחסית, אך הפער ביכולת השחזור רחב משמעותית. מכאן, שהמידע על עובדות נדירות רבות אינו חסר בפרמטרים של המודל, אלא פשוט קשה לגישה.
- קללת ההיפוך (reversal curse): תופעה שבה מודלים יודעים ש-"A הוא B" אך מתקשים לענות על "מהו B?". המחקר מראה כי במשימות יצירה פתוחה (שחזור), שאלות הפוכות אכן קשות משמעותית משאלות ישירות. עם זאת, במשימות אימות רב-ברירה (זיהוי), שאלות הפוכות אינן קשות יותר משאלות ישירות, ובמקרים רבים הן אף קלות יותר. הניתוק הזה מעיד כי המידע הדו-כיווני קיים ומקודד במודל, והוא אף מסוגל לזהות אותו, אך הוא מתקשה לשחזר אותו באופן עצמאי כאשר כיוון השאילתה שונה מכיוון הלמידה המקורי. קללת ההיפוך היא בעיית שחזור מובהקת.
חשיבה כמנגנון לשחזור ידע
החוקרים בחנו את תפקידו של מנגנון החשיבה (thinking) בהתגברות על כשלי שחזור. הממצאים מראים כי החשיבה משפרת את השחזור בצורה המשמעותית ביותר דווקא במקומות שבהם השחזור הישיר הוא החלש ביותר: עבור עובדות נדירות ועבור שאלות הפוכות, ובכך היא מצמצמת הן את פער הפופולריות והן את פער הכיווניות.
במודלים מותאמי חשיבה, מנגנון החשיבה מאפשר לשחזר כ-40% עד 65% מהעובדות שהיו מקודדות אך לא ניתנות לשחזור ישיר. מנגד, החשיבה מסייעת בשיעור נמוך בהרבה (5% עד 15% בלבד) עבור עובדות שאינן מקודדות כלל במודל. תבנית זו מוכיחה כי חשיבה משמשת בעיקר כמנגנון המקל על שחזור וגישה למידע קיים, ולא ככלי לייצור תשובות מאפס באמצעות הסקה לוגית מורכבת של עובדות חסרות.
עם זאת, החוקרים מציינים כי הפעלת מנגנון החשיבה אינה חופשית מעלויות, שכן היא כרוכה בעומס חישובי משמעותי, ועדיין לא ברור לחלוטין כיצד לקבוע במדויק מתי על המודל להפעיל מנגנון זה.
מסקנות
המחקר של קלדרון ויונה מציע שינוי תפיסתי בנוגע לשגיאות עובדתיות במודלי שפה מתקדמים. מאחר ששלב הקידוד של עובדות כבר מגיע לרוויה במודלים החדשים, שיפורים נוספים בעובדתיות לא יושגו בהכרח באמצעות הגדלה נוספת של המודלים או הרחבת בסיס הנתונים. המפתח לשיפור העובדתיות בדורות הבאים טמון בניצול טוב יותר של הידע המקודד, כאשר מנגנוני חשיבה מסתמנים ככלי יעיל לצמצום כשלי שחזור אלו.