חשים את העוצמה אך לא את המקור: אינטרוספקציה חלקית במודלי שפה

האם מודלי שפה גדולים מסוגלים לבחון את 'מחשבותיהם' הפנימיות? מחקר חדש שפורסם ב-arXiv בודק את טענותיה של Anthropic, שטענה כי מודלים מתקדמים מזהים ומזכירים בשם 'מושגים' מוזרקים לייצוגי ההפעלה שלהם. החוקרים שחזרו את התוצאות ומצאו כי אפילו מודל קטן יחסית כמו Meta-Llama-3.1-8B-Instruct מצליח בכך ב-20% מהמקרים – בדיוק כפי שדיווחה Anthropic. תוצאה זו מראה שהיכולת אינה שמורה רק למודלים ענקיים. בניסוי הראשון, החוקרים השתמשו בצינור הניסוי המקורי של Anthropic, הכולל שיחה רב-תורית שמאפשרת 'אינטרוספקציה מתפתחת'. המודל זיהה את המושג המוזרק ושמו אותו נכון ב-20% מהמקרים, תוך התאמה מדויקת למספרים שדווחו. זה מדגיש כי התופעה אינה תלויה בגודל המודל בלבד, אלא במבנה השיחה. עם זאת, כשהשינויים היו קלים, היכולת קרסה. החוקרים בדקו שינויים שיטתיים בפרומפט: במקום שיחה חופשית, ביקשו זיהוי מושג מוזרק במבחן רב-ברירה או הבחנה בינארית – האם הוזרק מושג כלל. הביצועים צנחו באופן דרמטי, מה שמעיד על שבירות היכולת. אינטרוספקציה מלאה, שבה המודל לא רק מזהה אלא גם מדווח במדויק, תלויה מאוד בניסוח המדויק של הפרומפט. לעומת זאת, גילו החוקרים משטר מנוגד של אינטרוספקציה חלקית: אותו מודל יכול לסווג את עוצמת המקדם של וקטור המושג המוזרק (חלש / בינוני / חזק / חזק מאוד) בדיוק של עד 70%, הרבה מעל 25% המקרי. תוצאה זו מרשימה ומצביעה על כך שהמודלים מחשבים פונקציה של הייצוגים הפנימיים הבסיסיים שלהם, אך הדיווח העצמי מוגבל ומבוסס פרומפט. ממצאים אלה מחזקים את טענת Anthropic כי מודלי שפה גדולים פועלים על בסיס חישובים של ייצוגים פנימיים במהלך אינטרוספקציה, אך מדגישים את הצרות והרגישות שלה. עבור מנהלי עסקים ישראלים בתחום הבינה המלאכותית, זה אומר שכדאי להיזהר משימוש ביכולות כאלה ליישומים קריטיים, ולבדוק אותן בקפידה עם פרומפטים מגוונים. מה תהיה ההשפעה על פיתוח מודלים עתידיים?