בעידן שבו בינה מלאכותית כללית (AGI) נראית באופק, פרדיגמות ההערכה הנוכחיות סובלות ממשבר אפיסטמולוגי עמוק. בדיקות סטטיות מודדות רוחב ידע, אך נכשלות בכימות עומק האמונה של המודלים. מחקר חדש מרחיב את תופעת ה-CHOK המזוהה עם שאלות תשובה סטנדרטיות לשלב חשיבה מסוג 2, ומציג את פרויקט אלתיאה – מסגרת פיזיקה קוגניטיבית המשתמשת ברגולריזציה של טיכונוב להפיכת מטריצת הבלבול של השופט. השיטה מאפשרת כימות 'שכנוע קוגניטיבי' במודלי חשיבה מתקדמים.
המחקר, שפורסם ב-arXiv, מציע פרוטוקול פרוקסי סינתטי לאימות ללא נתונים פרטיים חסויים. במחקר פיילוט ראשוני על מודלים מ-2025 כמו DeepSeek-R1 ו-OpenAI o1, נמצא כי מודלי חשיבה פועלים כ'מגן קוגניטיבי', אך עלולים להפגין 'הגזמה הגנתית בחשיבה' (Defensive OverThinking) תחת לחץ עוין. התוצאות מדגישות את הצורך בכלים מדויקים יותר להערכת אמינות.
פרויקט אלתיאה מבוסס על הרחבה של עבודת Simhi et al. (2025), שזיהתה את תופעת CHOKE בשאלות תשובה. כאן, החוקרים מפנים את מטריצת הבלבול באמצעות רגולריזציה מתמטית, ומגדירים מדד שכנוע קוגניטיבי חדש. השיטה נועדה להתמודד עם כשלים בהערכות סטנדרטיות, שמתעלמות מעומק ההרשעה של המודל.
משמעות הממצאים גדולה לעולם ה-AI: בעוד מודלים מתקדמים משפרים חשיבה סיבתית, הם חשופים ללחצים שגורמים להתנהגות לא צפויה. בישראל, שבה חברות כמו Mobileye ו-Wiz משקיעות רבות ב-AI, כלים כאלה חיוניים לבניית אמון בטכנולוגיה. המחקר מדגיש כי שכנוע קוגניטיבי אינו פוגע בבטיחות.
המחקר מציג גם את מדד השכנוע המכוון (S_aligned), המאמת כי רמת ההרשעה אינה פוגעת בשיקולים בטיחותיים. עבודה זו משמשת כתוכנית עבודה למדידת שלמות מדעית של AI. מנהלי עסקים צריכים לשקול אימוץ כלים כאלה בפיתוח מודלים, כדי להבטיח אמינות ארוכת טווח.