בעולם שבו מודלי שפה גדולים (LLM) משמשים להערכת מודלים אחרים, חסר לעיתים קרובות ביטחון בתשובותיהם. מחקר פיילוט חדש, שפורסם ב-arXiv, בודק אם מסגור משימת הערכה כמשחק הימורים – שוק חיזוי וירטואלי עם מטבע LLM משלו – משפר את הדיוק ומביא אותות ביטחון מכוילים. החוקרים יצרו 100 שאלות מתמטיקה ולוגיקה עם תשובות ניתנות לאימות. שש מודלי בסיס – שלושה מדור נוכחי ושלושה מדור קודם – ענו על כל השאלות. שלושה מודלי חוזה העריכו, לכל זוג שאלה-מודל בסיס, אם המודל יענה נכון. כל מודל חוזה ביצע סבבים תואמים בשתי תנאים: בקרה (תחזיות פשוטות נכון/לא נכון) ותמריץ (תחזיות בתוספת הימורים של 1-100,000 LLMCoin בתנאי יחס אחיד, מתחילים עם 1,000,000 LLMCoin).
ב-5,400 תחזיות בכל תנאי, סבבי התמריץ הראו דיוק גבוה יותר במעט (81.5% לעומת 79.1%, p=0.089, d=0.86) ולמידה מהירה יותר בין הסבבים (שיפור של 12.0 נקודות אחוז מול 2.9 מסבב 1 ל-4, p=0.011). גולת הכותרת: גודל ההימור משקף את הביטחון. הימורים גדולים ('לוויתנים') של 40,000+ מטבעות צדקו בכ-99% מהמקרים, בעוד הימורים קטנים (<1,000 מטבעות) היו מדויקים רק בכ-74%. לפי הדיווח, ההימורים הווירטואליים לא הפכו את המודלים לחכמים יותר באופן משמעותי – שיפור הדיוק היה צנוע ולא הגיע למשמעות סטטיסטית מלאה – אלא יצרו אות ביטחון קריא, חסר בתפוקות בינאריות כן/לא.
המסגרת הפיננסית הפשוטה הופכת את האמונות הפנימיות של LLM לנראות ושמישות, ומשנה אותם למתקישי סיכונים מודעים. זהו צעד ראשון לקראת מערכות מטא-הערכה ושוקי חיזוי LLM-LLM עתידיים. בהשוואה לשיטות מסורתיות, שבהן הערכות LLM נשארות שחורות, הגישה הזו מציעה שקיפות חדשה.
למנהלי עסקים ישראלים בתחום הטכנולוגיה, התובנה הזו רלוונטית במיוחד: כשמשתמשים ב-LLM להערכת כלים אוטומטיים, ביטחון מדויק יכול למנוע טעויות יקרות. המחקר מדגיש כיצד מנגנון פשוט יכול לשפר את האמינות של AI בעסקים.
הפרוטוקול הזה פותח דלת למחקרים עתידיים. מה אם שוקי חיזוי כאלה יהפכו לסטנדרט בהערכת מודלים? עכשיו זה הזמן לבדוק זאת בעסק שלכם.