בעידן שבו מודלי שפה גדולים (LLMs) משמשים בהרחבה לסימולציה של התנהגות אנושית, השיטות המקובלות היום אינן מנצלות במלואן את הפוטנציאל הטמון בהם. מאמר חדש שפורסם ב-arXiv מציג גישה חדשנית: 'אמונת המודל' (Model Belief), מדד המופק מהסתברויות הטוקנים ברמת הפלט של המודל. מדד זה לוכד את תפיסת המודל את חלופות הבחירה בשגרירה אחת בלבד, ומאפשר חילוץ מידע עשיר יותר מאשר בחירת המודל הפשוטה.
המאמר מנסח באופן פורמלי את 'אמונת המודל' ומביא הוכחה מתמטית לכך שהיא שקולה אסימפטוטית לממוצע בחירות המודל – תכונה שאינה טריוויאלית. עם זאת, אמונת המודל מציעה הערכה סטטיסטית יעילה יותר, עם שונות נמוכה יותר וקצב התכנסות מהיר יותר. תכונות דומות מוכחים גם לפונקציות חלקות של אמונת המודל ובחירת המודל, שמשמשות ביישומים שונים.
החוקרים מדגימים את היתרונות במחקר הערכת ביקוש, שבו LLM מדמה תגובות צרכנים למחירים שונים. בסביבות מעשיות עם מספר מוגבל של שגרירות, אמונת המודל מסבירה ומנבאת טוב יותר את בחירת המודל האמיתית בהשוואה לבחירה עצמה, ומפחיתה את החישוב הנדרש להערכות מדויקות בכ-20 פעמים.
הגישה החדשה רלוונטית במיוחד למחקרים מבוססי LLM בתחומי כלכלה, פסיכולוגיה והתנהגות צרכנית, שבהם נדרשת סימולציה מדויקת של התנהגויות אנושיות. בהשוואה לשיטות קיימות, אמונת המודל ממזערת את הצורך במספר רב של שגרירות, מה שחוסך זמן ומשאבים חישוביים יקרים – במיוחד בסביבות עסקיות ישראליות שבהן עלויות ענן גבוהות.
ממצאי המאמר מצביעים על כך שאמונת המודל צריכה להפוך לשיטת ברירת מחדל להפקת נתונים ממודלי שפה גדולים. מנהלי טכנולוגיה ועסקים המסתמכים על סימולציות AI יכולים ליישם זאת מיד כדי לשפר דיוק ויעילות. מה תהיה ההשפעה על המחקר הישראלי בתחום?