בעידן שבו מודלי AI גדולים מבטיחים חיפוש חכם ואוטונומי, מתברר כי אפילו הטובים שבהם נכשלים במשימות יומיומיות פשוטות לכאורה כמו מציאת מסעדה או שירות מקומי. חוקרים מציגים את LocalSearchBench, בנצ'מרק ראשון מסוגו לבדיקת יכולות חיפוש אג'נטי בשירותי חיים מקומיים. הבנצ'מרק כולל למעלה מ-150,000 רשומות איכותיות מערים ובתי עסק שונים, ומאתגר את המודלים לבצע חשיבה רב-שלבית על פני סוחרים ומוצרים.
LocalSearchBench מתמקד בתחום שירותי חיים מקומיים, כמו אוכל, שירותים ובתי עסק קרובים, שבו שאילתות המשתמשים מעורפלות ומצריכות ניתוח רב-מסלולי. הבנצ'מרק בנוי על 300 משימות שאלות-תשובות מורכבות המבוססות על שאילתות אמיתיות של משתמשים. הוא בוחן את היכולת להבין את השאלה, לאחזר מידע מכמה מקורות ולהגיע לתשובה מדויקת. החוקרים פיתחו גם את LocalPlayground, סביבת עבודה מאוחדת שמאפשרת אינטראקציה עם כלים מרובים עבור הסוכנים.
בניסויים, אפילו מודלי החשיבה הגדולים המובילים מתקשים קשות. המודל הטוב ביותר, DeepSeek-V3.1, השיג רק 34.34% נכונות בתשובות. רוב המודלים סובלים מבעיות בשלמות (ממוצע 77.33%) ובאמינות (ממוצע 61.99%). התוצאות מדגישות כי למרות ההתקדמות הכללית בחיפוש מידע, תחומים אנכיים כמו שירותים מקומיים מציבים אתגרים ייחודיים שלא טופלו במלואם.
משמעות הבנצ'מרק גדולה במיוחד עבור עסקים ישראליים בתחומי המסחר המקומי, כמו אפליקציות משלוחים או פלטפורמות הזמנות. בישראל, שבה שירותים כמו וולט או טאבו פופולריים, חיפוש אג'נטי מדויק יכול לשפר חוויית משתמש ולהגביר מכירות. הבנצ'מרק חושף פערים שדורשים אימון ספציפי לדומיין, ומאפשר למפתחים לבחון ולשפר את הסוכנים שלהם.
הצורך בבנצ'מרקים ייעודיים כמו LocalSearchBench מדגיש כי חיפוש אג'נטי דורש יותר מסתם כוח חישוב - הוא מצריך הבנה עמוקה של הקשרים מקומיים ועסקיים. עם קוד, בנצ'מרק ולוח ניצחון זמינים באתר localsearchbench.github.io, החוקרים מזמינים את קהילת ה-AI להשתתף ולשפר את הביצועים. מה תהיה ההשפעה על אפליקציות השירותים המקומיות בישראל?