בעידן שבו מודלי שפה גדולים הופכים למרכיבים במערכות סוכניות מורכבות, אמינות ההערכה הופכת קריטית. תת-סוכנים בלתי אמינים גורמים לשבירות במערכת כולה. אולם, הפרקטיקה הנוכחית מדווחת על דיוק יחיד מריצה אחת, ומסתירה את השונות שמאחורי התוצאות. כתוצאה מכך, קשה להבחין בין שיפור אמיתי ביכולות לבין דגימה מקרית. מחקר חדש מציע לאמץ את מקדם מתאם תוך-מעמדי (ICC), מדד ממדעי המדידה, כדי לתכונן שונות זו.
ICC מפרק את השונות הנצפית לשני מרכיבים: שונות בין-שאילתות (קושי משימה) ושונות תוך-שאילתה (חוסר עקביות של הסוכן). כך ניתן להבין אם התוצאות משקפות יכולת אמיתית או רעש מדידה. החוקרים בדקו את ICC על GAIA (רמות 1-3, המעריכות יכולות סוכניות במורכבות חשיבה משתנה) ועל FRAMES (מעריך אחזור ועובדות על מסמכים מרובים). התוצאות מראות ש-ICC משתנה באופן דרמטי עם מבנה המשימה: במשימות אחזור וחשיבה (FRAMES) הוא נע בין 0.4955 ל-0.7118 בין מודלים, ובמשימות סוכניות (GAIA) בין 0.304 ל-0.774.
במערכות סוכניות, החלטות החלפת תת-סוכן מבוססות על שיפור דיוק אמין רק אם ICC משתפר גם. המחקר מראה ש-ICC מתכנס אחרי 8-16 ניסויים במשימות מובנות ומעל 32 בניסויים חשיבה מורכבים, ומאפשר לקובעי מדיניות לקבוע תקציבי דגימה מבוססי ראיות.
המשמעות לעסקים ישראליים: כשמנהלים בונים מערכות AI אוטומטיות, חוסר עקביות עלול להוביל להפסדים כספיים. ICC מספק כלי להערכה אמינה יותר, במיוחד בתחומים כמו פינטק וביטחון סייבר שבהם אמינות קריטית. בהשוואה לבנצ'מרקים סטנדרטיים, ICC הופך את התחרות מרשימות מנצחים אטומות למדע ניסויי אמין.
החוקרים ממליצים לדווח דיוק לצד ICC ושונות תוך-שאילתה כפרקטיקה סטנדרטית, ומציעים כרטיסי הערכה מעודכנים. קוד המחקר זמין בגיטהאב. מה תקציב הדגימה שלכם לבדיקת סוכני AI?