מדוע סוכני בינה מלאכותית עשויים שלא להתאים לארגון שלכם

בטור דעה שפורסם ב-SiliconANGLE, ג'ייסון בלומברג, מייסד ומנהל חברת הייעוץ Intellyx, בוחן את השימוש בסוכני בינה מלאכותית (AI agents) ואת הסיכונים הכרוכים בהתנהגות הבלתי דטרמיניסטית שלהם בארגונים. לדברי בלומברג, שנת 2026 מתאפיינת בשימוש נרחב בסוכני בינה מלאכותית למטרות שונות, ובהן כתיבת קוד, תקשורת עם לקוחות, זיהוי ופתרון תקלות בסביבות טכנולוגיית מידע (IT) וביצוע משימות מורכבות בסביבות ארגוניות. לצד סיפורי ההצלחה, מופיעים בדיווחים מקרים שבהם סוכנים חורגים מגבולות הפעולה שהוגדרו להם, פורצים מתוך ארגזי חול (sandboxes) ופוגעים במערכות של חברות אחרות ושל סוכנויות ממשלתיות. לאור זאת, עולה השאלה האם ארגונים צריכים להסתמך על סוכנים אלה להשגת הצלחה עסקית.

בלומברג מציין כי כל החלטה להטמיע סוכנים תלויה בהבנת ההתנהגות הבלתי דטרמיניסטית שלהם. מרבית הסוכנים כיום נשענים על מודלי שפה גדולים (LLMs). מודלים אלה מקבלים קלט בשפה אנושית ומפיקים פלט בשפה אנושית על ידי חיזוי המילה הבאה ברצף. מאחר שכך פועל תהליך האימון שלהם, הזנה חוזרת של אותו קלט עשויה להפיק תוצאות שונות באופן ניכר, ולכן סוכנים המבוססים על מודלי שפה הם בלתי דטרמיניסטיים מטבעם. אי-דטרמיניזם זה מעניק לסוכנים את היכולת לפעול (agency), המוגדרת כיכולת לקבל החלטות על בסיס מידע זמין כדי לנקוט פעולות שונות לשם השגת המטרות שהוגדרו עבורם. תוכנה חסרת יכולת זו אינה סוכן בהגדרה, על אף תופעה של כינוי תוכנות דטרמיניסטיות בשם סוכנים ("agent-washing").

המאמר מציג דוגמאות נוספות לתוכנה בלתי דטרמיניסטית שאינה בעלת יכולת הפעולה שמספקים מודלי שפה, ובפרט תוכנות המבוססות על אי-דטרמיניזם מונחה מדיניות סטוכסטית (stochastic policy-based nondeterminism). דוגמאות נפוצות לכך כוללות למידת חיזוק (reinforcement learning) וסימולציות מונטה קרלו (Monte Carlo simulations), שבהן החלטות מתקבלות על בסיס אקראיות. מלבד דוגמאות מוגבלות אלו, הרוב המכריע של התוכנות שנכתבו בעבר היה דטרמיניסטי: עבור קלט נתון, התוכנה מבצעת תמיד את אותה פעולה. התנהגות ניתנת לחיזוי הייתה המניע לפיתוח תוכנה מלכתחילה במשימות כגון עיבוד עסקאות בנקאיות, הפעלת שכר והקצאת מושבים במטוסים.

לפי בלומברג, תוכנה דטרמיניסטית היא הבחירה המיטבית כאשר קיימת תשובה נכונה יחידה ומבקשים למצוא אותה, כמו בהפעלת מערכות שכר שמטרתן להבטיח תשלום מדויק לכל עובד. לעומת זאת, חשיבה בלתי דטרמיניסטית המבוססת על מודלי שפה מתאימה במיוחד כאשר מחפשים את התוצאה הטובה ביותר מול מגוון קלטים שונים או משתנים, גם כאשר אין תשובה נכונה אחת. דוגמאות לכך כוללות תכנון התלוי במזג האוויר, הפחתת אירועים בסביבות IT מורכבות ותחזיות עסקיות המבוססות על מספר קלטים. במצבים אלה קיימת תמיד אפשרות שהסוכן יספק תשובה לקויה או ינקוט פעולה בלתי רצויה.

המאמר מפרט שורה של מצבים שבהם שימוש בסוכני בינה מלאכותית אינו מומלץ:

1. כאשר תוכנה דטרמיניסטית עונה על הצרכים – סוכנים עשויים לפעול באופן בלתי רצוי לעיתים, והפעלתם עשויה להיות יקרה.
2. כאשר כל החלטה או פעולה חייבת להיות מדויקת לחלוטין – למשל בחישובי שכר.
3. כאשר התנהגות שגויה של הסוכן עלולה לגרום נזק חמור – כגון פגיעה בחיי מטופל בבית חולים, התרסקות מטוס או פיצוץ אסדת נפט.
4. כאשר עלות הפעלת הסוכנים גבוהה מדי ביחס לתועלת העסקית – סוכנים עשויים לבצע מספר קריאות למודלי שפה, לנסות פעולות שוב ושוב ולהפעיל כלים יקרים לצורך השלמת מטרותיהם.
5. כאשר תכונות אנושיות חיוניות להשגת המטרות – מודלי שפה מדמים מאפיינים אנושיים כמו אמפתיה, יצירתיות, תובנה והבנה, אך מדובר בחיקוי בלבד. האנשה של התנהגות סוכנים עלולה להוביל לסיכונים כגון תלות יתר בטכנולוגיה, סיכון מוגבר לאובדנות והתנהגות מזיקה.

כדי לקבוע האם כדאי להטמיע סוכנים, בלומברג מציע להשתמש במושג תקציב שגיאות (error budget) מתחום הנדסת אמינות אתרים (SRE). תקציב השגיאות מייצג את העלות הנסבלת של התנהגות שגויה של הסוכן כאחוז מסוים. לדוגמה, תקציב שגיאות של 5% מבטא נכונות לכך שהסוכן ישגה ב-5% מהמקרים בהתחשב בעלות הנדרשת להפחתת שיעור זה. אם תקציב השגיאות המחושב הוא אפס, המשמעות היא שאין להטמיע את הסוכן כלל, שכן תמיד קיים סיכוי להתנהגות שגויה.

לפי המודל מתורת ההחלטות שמוצג במאמר, אין להטמיע סוכן כאשר מכפלת תקציב השגיאות (הסתברות לכישלון) בעלות הכוללת של הכישלון גדולה ממכפלת ההסתברות להצלחה בתועלת העסקית המכומתת של אותה תוצאה. במילים אחרות, התועלת העסקית הצפויה מהתנהגות תקינה של הסוכן צריכה לעלות על סך עלות הכישלון. מכיוון שהחישוב מבוסס על הערכות שעשויות להיות שגויות, התועלת העסקית הצפויה צריכה לעלות על עלות הכישלון בפער משמעותי, בהתאם לתיאבון הסיכון של הארגון.

בלומברג מתייחס למגמה בשוק לפתח טכנולוגיות בקרה ואבטחה שמטרתן להגביל את האופי הבלתי צפוי של הסוכנים כדי להפחית סיכונים. לטענתו, בגישה זו קיים פגם, שכן ניסיון להגביל את חוסר הניבוי של הסוכנים פוגע ביכולת הפעולה (agency) שלהם, שהיא מקור כוחם, ובכך עלול להפוך אותם לפחות מועילים. תחזיתו של בלומברג היא שעם דעיכת ההייפ והתבגרות הטכנולוגיה, יתברר כי השימוש המיטבי בסוכנים הוא בצורה מתונה ומצומצמת בלבד, שכן תוכנה דטרמיניסטית ענתה על הצרכים במשך עשרות שנים.