בעידן שבו מודלים גדולים של שפה (LLMs) משפרים את יכולות ההיגיון המתמטי באמצעות למידת חיזוק עם תגמול ניתן לאימות (RLVR), הבעיה המרכזית היא התקציב הגדול של שאילתות הדרוש להכשרה. חוקרים חדשים בודקים האם ניתן להשיג ביצועים דומים או טובים יותר באמצעות פחות שאילתות אינפורמטיביות יותר. הם משלבים למידה אקטיבית (AL) בתהליך ה-RlVR, ומגלים ששיטות AL קלאסיות נכשלות כי הן מתעלמות מאי-ודאות אובייקטיבית ומסתמכות רק על אי-ודאות סובייקטיבית.
המחקר מציג מדד חדש של התאמת אי-ודאות, שמודד כמה טוב אי-ודאות סובייקטיבית תואמת לאי-ודאות אובייקטיבית. במצב לא מקוון, ההתאמה נמדדת באמצעות מקדם מתאם נקודה-ביסריאלי (PBC). במצב מקוון, שבו הדגימות מוגבלות והפיצול של התפוקות משתנה, הערכת PBC קשה. לכן, הם מציעים וריאנט מקוון חדש, שמחושב מנורמליזציה של יתרון (advantage) ואי-ודאות סובייקטיבית. מבחינה תיאורטית, הוריאנט המקוון מתאם שלילית באופן קשיח עם PBC הלא מקוון, ומאפשר בחירת דגימות טובה יותר.
בניסויים, השיטה החדשה עולה באופן עקבי על בחירה אקראית ועל שיטות AL קלאסיות. היא משיגה ביצועים שווים לאלו של מערך הנתונים המלא תוך אימון על 30% בלבד מהנתונים, ובכך מפחיתה באופן משמעותי את עלויות ה-RlVR במשימות היגיון. זהו צעד חשוב לקראת הכשרה יעילה יותר של מודלי AI.
השיטה רלוונטית במיוחד לעסקים ישראליים בתחום הטכנולוגיה, שם פיתוח מודלי AI דורש משאבים כבדים. על ידי הפחתת מספר השאילתות הנדרשות, ניתן להוזיל את תהליכי הפיתוח ולקצר זמני שיווק מוצרים מבוססי AI. בהשוואה לשיטות קודמות, התאמת האי-ודאות מבטיחה בחירה מדויקת יותר של דגימות איכותיות, מה שמשפר את יעילות הלמידה.
מה זה אומר למנהלי טכנולוגיה? כדאי לשקול שילוב של מדדי התאמת אי-ודאות בפרויקטי RLVR כדי לחסוך בעלויות ולהגביר ביצועים. המחקר הזה פותח דלתות להכשרה זולה יותר של מודלים מתקדמים – האם אתם מוכנים ליישם?