בעידן שבו מודלי שפה גדולים (LLMs) משתלטים על תחומי ה-AI, עולה השאלה: האם הם באמת חכמים כמו בני אדם? מחקר חדש מ-arXiv בודק זאת דרך עדשת האנתרופולוגיה הקוגניטיבית, שמדגישה כי היתרון האנושי טמון ביכולת להסיק את מצבי הידע והכוונות של אחרים. בניגוד לכך, השימפנזים הקרובים ביותר אלינו חסרים יכולת זו. המחקר מציע שתי משימות לבחון אם LLMs מסוגלים לכך.
המשימה הראשונה בודקת אם LLMs מזהים מתי דמויות בסיפור מפגינות ידע שהן לא אמורות להחזיק, דרך פעולותיהן. לדוגמה, האם הדמות יודעת משהו שלא נאמר לה? המשימה השנייה בוחנת אם LLMs יכולים לחזות את הפעולה הבאה של דמות על סמך הידע שלה עצמה, לעומת אמיתות אובייקטיביות שהיא אינה יודעת. אלה משימות בסיסיות להבנת תפיסת נקודת מבט (perspective taking) ומעקב אחר מצב ידע (knowledge state tracking).
לפי הדיווח, רוב מודלי השפה הגדולים המובילים ביותר משיגים ביצועים קרובים לאקראיים בשתי המשימות, והם נחותים בהרבה מבני אדם. זה מעיד על חולשה יסודית ביכולת ההבנה החברתית שלהם, שחיונית ליישומים כמו צ'טבוטים מתקדמים או מערכות AI אוטונומיות.
המשמעות של התוצאות אלה רחבה: בעוד LLMs מצטיינים במשימות זיכרון וחישוב, הם נכשלים בהבנת כוונות ומצבי ידע מורכבים. בהשוואה לשימפנזים, שגם הם אינם מצליחים בכך, המחקר מדגיש כי הדרך ל-AI אנושי יותר דורשת התמקדות ביכולות אלו. עבור מנהלי עסקים בישראל, זה מצביע על צורך זהיר בשילוב LLMs במערכות הדורשות אינטראקציה אנושית.