האם מודלי השפה הגדולים באמת אמינים כפי שהם נראים? מחקר חדש שפורסם ב-arXiv מציג את מבחן ההתעמקות וההמצאה (DDFT), פרוטוקול חדשני שמודד עמידות אפיסטמית – היכולת לשמור על דיוק עובדתי תחת דחיסה סמנטית מתקדמת והתקפות זיוף. בניגוד לבנצ'מרקים סטטיים כמו MMLU ו-TruthfulQA, שמודדים ידע בתנאים אידיאליים, DDFT חושף חולשות בזמן אמת.
המבחן מבוסס על מודל קוגניטיבי דו-מערכתי: מערכת סמנטית שמייצרת טקסט שוטף ומאמת אפיסטמי שבודק דיוק עובדתי. החוקרים בדקו 9 מודלים מתקדמים ב-8 תחומי ידע, ב-5 רמות דחיסה – סה"כ 1,800 הערכות מפורטות. התוצאות מראות שעמידות אפיסטמית אינה תלויה בגודל המודל: מתאם נמוך עם מספר פרמטרים (r=0.083, p=0.832) או סוג ארכיטקטורה (r=0.153, p=0.695).
המפתח לעמידות הוא יכולת זיהוי שגיאות, שמנבאת ביעילות גבוהה את הביצועים הכוללים (rho=-0.817, p=0.007). מודלים דגל נמצאו שבירים למרות היקפם העצום, בעוד מודלים קטנים יותר הציגו עמידות מפתיעה. זה מאתגר את ההנחה שגודל שווה אמינות ומצביע על צורך בשיטות אימון חדשות.
בעולם העסקי, שבו AI משמש ליישומים קריטיים כמו ניתוח נתונים או ייעוץ, חולשות כאלה עלולות להוביל להחלטות שגויות יקרות. בישראל, שבה חברות כמו Mobileye ו-Wix משלבות AI במהירות, DDFT מספק כלי לבדיקה לפני פריסה, ומאפשר השוואה למתחרים.
המסקנה: עמידות אפיסטמית דורשת דגש על מנגנוני אימות נפרדים. מנהלי טכנולוגיה צריכים לאמץ פרוטוקולים כמו DDFT כדי להבטיח AI אמין. מה תעשו כדי לבדוק את המודלים שלכם?