מחקר חדש של חטיבת המחקר VentureBeat Pulse Research, שנערך ביוני 2026 בקרב 157 מובילים טכנולוגיים בארגונים המעסיקים 100 עובדים ומעלה, חושף פער משמעותי בין מידת האוטונומיה שארגונים מעניקים לסוכני בינה מלאכותית (AI agents) לבין רמת האמון שלהם במערכות ההערכה שאמורות לבחון אותם. הדוח, הנושא את הכותרת "The agent evaluation gap" (פער הערכת הסוכנים), מראה כי מחצית מהארגונים כבר השיקו סוכן או תכונת מודל שפה גדול (LLM) שעברו את הערכותיהם הפנימיות בהצלחה, אך כשלו בפועל מול לקוחות בסביבת הייצור (production). למרות זאת, שני שלישים מהארגונים מאפשרים כיום, או פועלים באופן פעיל כדי לאפשר, פריסת שינויים לסוכנים בסביבת הייצור על בסיס הערכות אוטומטיות בלבד, ללא מעורבות אנושית בתהליך (human in the loop).
פער ההערכה: סוכנים עוברים בדיקות פנימיות ונכשלים מול לקוחות
הממצא המרכזי של המחקר מגדיר את "פער ההערכה" (evaluation gap) – המרחק שבין האוטונומיה שארגונים מעניקים לסוכני ה-AI שלהם לבין האמון שהם רוחשים לבדיקות שאמורות למנוע תקלות. על פי הנתונים, 50% מהארגונים שביצעו הערכות פרסו במהלך 12 החודשים האחרונים סוכן או תכונת LLM שעברו בהצלחה את הבדיקות הפנימיות, אך חוו כישלון ישיר מול לקוחות בסביבת הייצור. הכשלים הללו כללו פלט שגוי, זרימות עבודה שבורות או אירועי איכות אחרים. מתוך קבוצה זו, כרבע מהארגונים חוו אירוע כזה יותר מפעם אחת. רק 36% מהמשיבים דיווחו שלא חוו כשלים כאלו, בעוד שאר המשיבים דיווחו כי אינם מבצעים הערכות טרם הפריסה (8%) או שאינם עוקבים מקרוב אחר סיבות השורש לכשלים (6%). הנתונים הללו מצביעים על כך שמעבר בדיקת הערכה פנימית אינו מבטיח פעילות תקינה של הסוכן בפועל.
רמת האמון בבדיקות האוטומטיות עצמן נמוכה מאוד: רק 5% מהארגונים מעידים כי הם סומכים באופן מלא על הערכות אוטומטיות כיום. פירוש הדבר הוא ש-95% מהארגונים מצביעים על מגבלות ספציפיות המונעות מהם לתת אמון מלא בבדיקות. המגבלה הנפוצה ביותר, שצוינה על ידי 29% מהמשיבים, היא חוסר התאמה בין תוצאות ההערכות לבין הביצועים בעולם האמיתי (תוצאות שעוברות את המבחנים אך נכשלות בפועל). מגבלות נוספות שצוינו כוללות הטיות או חוסר עקביות בבדיקות (21%), חוסר ביכולת הסבר (explainability) של תוצאות ההערכה (18%), וחששות מפני זליגת מידע או פגיעה בפרטיות במסגרת תהליך ההערכה עצמו (17%). ארגונים רבים מגלים כי מעבר של בדיקת ההערכה אינו ערובה לכך שהסוכן פועל בצורה תקינה.
האוטומציה מתקדמת ללא פיקוח אנושי בסביבת הייצור
למרות חוסר האמון הבולט במערכות הבדיקה האוטומטיות, המחקר מראה כי תקרת האוטונומיה של הסוכנים ממשיכה לעלות במהירות. שני שלישים מהארגונים (66%) כבר מאפשרים פריסה אוטומטית לחלוטין וללא מעורבות אנושית עבור סוכנים המוגדרים ברמת סיכון נמוכה (34%), או שהם מפתחים באופן פעיל את צינורות הפיתוח שלהם כדי לאפשר זאת בתוך 12 חודשים (33%). רק 22% מהארגונים שוללים פריסה ללא פיקוח אנושי בעתיד הנראה לעין. המגמה ברורה: ארגונים מתקדמים לקראת מתן אישור פריסה אוטומטי להערכות, ובכך מסירים את הבקרה האנושית, דווקא בנקודת הזמן שבה הם מודים כי ההערכות הללו אינן תואמות את המציאות בשטח.
מגמה זו אינה ייחודית לחברות קטנות. בחלוקה לפי גודל ארגון, ארגונים גדולים נמצאים בשלב מתקדם יותר בנתיב לפריסה ללא בדיקה אנושית בהשוואה לחברות קטנות (70% לעומת 64%). כמו כן, חברות גדולות נטו מעט יותר לשלוח ללקוחות סוכן שעבר את הבדיקות הפנימיות אך כשל בפועל (54% לעומת 48%). הדוח מציין כי נתונים אלו הם כיווניים, מאחר שהמדגם כלל 57 משיבים מחברות של מעל 2,500 עובדים ו-100 משיבים מחברות קטנות יותר.
שוק כלי ההערכה: פילוח וכוונות מעבר בין פלטפורמות
שכבת כלי ההערכה של סוכני ה-AI מתאפיינת בפיצול רב ובשלבים מוקדמים של גיבוש. הכלים הנפוצים ביותר כיום הם הכלים המובנים של ספקי המודלים: פלטפורמת ההערכה של OpenAI (עם 17%) וכלי ההערכה של Anthropic ב-Claude Console (עם 13%). עם זאת, נתון בולט במיוחד מראה כי 17% מהארגונים אינם משתמשים כלל בכלי ייעודי להערכת סוכנים. פלטפורמות הערכה עצמאיות ומתמחות מפוזרות באחוזים נמוכים יחסית: DeepEval מובילה עם 12%, Braintrust עם 8%, בעוד שאר הספקים (בהם LangSmith, Weave, Promptfoo, Langfuse, ו-Arize) מפוזרים בטווח של אחוזים בודדים. כ-11% מהארגונים פיתחו כלים פנימיים משלהם.
אף פלטפורמה עצמאית לא הפכה עדיין לתקן המקובל בתעשייה, אך שוק כלי ההערכה עומד בפני שינוי משמעותי. רוב ברור של 64% מהארגונים מתכננים לאמץ פלטפורמה חדשה, נוספת או חלופית בתוך 12 חודשים, כאשר 31% מתכננים לעשות זאת כבר ברבעון הקרוב. במסגרת בחינת הכלים החדשים, DeepEval של Confident AI מובילה את רשימת השיקולים עם 20%, לפניה של OpenAI (עם 13%) ו-Braintrust (עם 9%). מגמה זו מייצגת גל ראשון של אימוץ כלים ייעודיים בקרב ארגונים שהסתמכו עד כה על פתרונות של ספקי המודלים או שלא השתמשו בכלים ייעודיים כלל.
ניטור בזמן אמת וקבלת החלטות רכש
בתחום הניטור של סוכני AI בסביבת הייצור קיימת הבחנה ברורה בין ניטור תפעולי (האם המערכת פועלת, זמני תגובה, עלויות ושגיאות מערכת) לבין ניטור איכות הפלט (בדיקה אוטומטית של נכונות התשובות ועמידה במדיניות בזמן אמת). הבחנה זו קריטית מפני שתשובה שגויה אך "בטוחה" של סוכן לא תפעיל התרעה במערכת ניטור תפעולית רגילה. המחקר מגלה פער משמעותי בניטור: 51% מהארגונים מנטרים רק את תפקוד המערכת, בעוד שרק 23% מנטרים את נכונות התשובות והפלט בזמן אמת. כ-75% מהארגונים אינם מפעילים ניטור אוטומטי של נכונות התוצרים בייצור, והם מסתמכים על הערכות ידניות או שאינם מנטרים זאת כלל.
בכל הנוגע לבחירת כלי הערכה, הארגונים פועלים משיקולים פרקטיים וכלכליים. עלות הבדיקות היא הגורם המשפיע ביותר על הבחירה (28%), ומיד אחריה קלות האינטגרציה (27%) ודיוק ההערכה (24%). גורמים כמו רוחב יכולות התצפיתיות (observability) (עם 13%) ומפת הדרכים של הספק (4%) משפיעים פחות. מדד ההצלחה הראשי של הארגונים בשימוש בכלים אלו הוא עקביות ההערכה (36%), כלומר קבלת תוצאה זהה עבור התנהגות זהה לאורך זמן, נתון הגבוה משמעותית ממהירות הניסויים (19%), צמצום הכשלים (18%), נראות הייצור (13%) ועמידה ברגולציה (11%). שביעות הרצון הכללית מהכלים הקיימים בינונית ועומדת על ממוצע של 3.8 מתוך 5.
השקעות עתידיות ומתודולוגיית המחקר
על אף השאיפה לאוטומציה מלאה בפריסה, תקציבי הארגונים מראים כי הם מתכננים לגבות את התהליך באמצעות גורמים אנושיים וניטור הדוק יותר. תחום ההשקעה השני בגודלו לשנה הקרובה (אחרי ניטור תפעולי וניראות ייצור) הוא תזרימי עבודה של סקירה אנושית (human review workflows) עם 26% מהמשיבים. נתון זה עולה על שיעור הארגונים המתכננים להגדיל את ההשקעה בצינורות הערכה אוטומטיים (16%). רק 8% מהארגונים דיווחו כי התקציב שלהם לתחום זה אינו צפוי לגדול. נתונים אלו מצביעים על כך שארגונים מגדרים את הסיכון: הם בונים מסלולים לאוטונומיה, אך במקביל משקיעים משאבים משמעותיים בבודקים אנושיים ובמערכות ניטור כדי לזהות תקלות שההערכות האוטומטיות מחמיצות.
מתודולוגיית המחקר מבוססת על סקר ממוקד שנערך ביוני 2026 כחלק מסדרת Pulse Research של VentureBeat. המשיבים סוננו כך שיכללו רק מובילים טכנולוגיים מארגונים המעסיקים 100 עובדים ומעלה (n=157). המדגם מורכב מבעלי תפקידים בכירים ומשפיעי רכש: 38% הם מקבלי החלטות סופיים ברכש AI ו-34% הם ממליצים או משפיעים. בעלי התפקידים כוללים מנהלי מוצר ותוכניות (15%), יועצים (10%), מנהלי הנדסה ו-IT (8%), ומנהלי טכנולוגיות, אבטחה ומידע (CTO/CIO/CISO) (8%), לצד תפקידים אחרים (37%). פילוח גודל הארגונים נטה לחברות בינוניות: 100-499 עובדים (37%), 500-2,499 עובדים (27%), 2,500-9,999 עובדים (20%), 10,000-49,999 עובדים (10%) וארגוני ענק של 50,000 עובדים ומעלה (6%). התעשייה המובילה במדגם היא טכנולוגיה ותוכנה (23%), ואחריה קמעונאות וצרכנות (15%), בריאות ומדעי החיים (12%) וייצור (10%). הדוח מהווה אינדיקציה כיוונית בלבד ואינו מהווה מדגם הסתברותי מדויק. הסקר נבנה מחדש ביוני 2026 ולכן לא בוצעו השוואות לנתונים קודמים מאפריל ומאי של אותה שנה.