בעידן שבו מודלי שפה גדולים (LLM) משיגים תוצאות מדהימות במבחנים מתמטיים, הבנצ'מרקים נתקעים בגלל רעש בנתונים ובשיטות ההערכה. חוקרים מציגים את Omni-MATH-2, גרסה מתוקנת ידנית של מאגר Omni-MATH, שמבטיחה הערכה מדויקת יותר של ביצועי מודלים. המאגר כולל תת-קבוצה נקייה של 4,181 בעיות עם תשובות מדויקות, ותת-קבוצה מתויגת של 247 בעיות לא סטנדרטיות. כל בעיה נבדקה בקפידה כדי להבטיח תקינות LaTeX, פתירות וניתן לאימות, כולל הוספת דיאגרמות חסרים והסרת רעש. תהליך זה מפחית באופן משמעותי את הרעש הנובע מהמאגר ומאפשר מדידה אמינה יותר.
המאגר המתויג מאפשר לבחון גם רעש הנובע משופטי ההערכה. השוואה בין GPT-4o mini לבין Omni-Judge המקורי חושפת פערים משמעותיים בשתי התת-קבוצות. לפי הערות מומחים, Omni-Judge טועה ב-96.4% ממקרי המחלוקת, מה שמעיד על חוסר יכולתו להבדיל בין יכולות מודלים, עוד הרבה לפני נקודת הרוויה של הבנצ'מרק. ככל שהבעיות מסובכות יותר, כך חשובים שופטים מתקדמים יותר כדי למנוע טעויות שמסתירות הבדלים אמיתיים בין מודלים.
המחקר מדגיש כי אף אחד מהשופטים לא מזהה את מצבי הכשל בתת-קבוצה המתויגת, שכוללת בעיות הדורשות הוכחה, הערכה או תמונה. איכות המאגר ואמינות השופטים הם שני גורמים קריטיים לפיתוח בנצ'מרקים מדויקים. Omni-MATH-2 מספק בסיס נקי יותר לבדיקת התקדמות LLM בתחום המתמטיקה, ומזהיר מפני מסקנות שגויות הנובעות משופטים חלשים.
למנהלי עסקים ישראלים בתחום ה-AI, הממצאים הללו רלוונטיים במיוחד. בישראל, שבה סטארט-אפים רבים מפתחים פתרונות מבוססי LLM, שימוש בבנצ'מרקים לא מדויקים עלול להוביל להשקעות מוטעות. Omni-MATH-2 יכול לשמש כלי סטנדרטי לבדיקת מודלים לפני שילוב במערכות אוטומציה פיננסית או מדעית. השוואה לשופטים אחרים מראה צורך בשדרוג כלים קיימים.
המסקנה ברורה: ככל שמודלי AI מתחכמים, הבנצ'מרקים חייבים להתעלות עליהם. האם Omni-MATH-2 יפתור את הבעיה, או שמא נזדקק לשופטים אנושיים? עסקים צריכים לאמץ מאגרים נקיים כאלה כבר היום כדי להעריך ביצועים אמיתיים ולהישאר תחרותיים.