תאוותני מספיק: גילוי פעולות מדוללות באג'נטים של LLMs

בעידן שבו מערכות AI אג'נטיות פועלות במרחבים עם אלפי פעולות אפשריות – כמו קריאות API או חיפושים – מתברר שרק תת-קבוצה קטנה משפיעה באמת על הביצועים. מחקר חדש מ-arXiv חושף גישה חדשנית: מודל תגמול ליניארי בהקשר, שבו רלוונטיות הפעולות מוסדרת על ידי דילול מובנה – רק מעט פעולות בעלות השפעה לא-אפסית על פני מצבים סמויים. הגישה הזו מבטיחה חיסכון משמעותי במשאבים עבור מנהלי עסקים המפתחים אפליקציות AI מתקדמות. החוקרים מנסחים את בעיית גילוי הפעולות כבעיית שחזור דילול בלוקי, ומנתחים אלגוריתם תאוותני בהשראת Orthogonal Matching Pursuit (OMP). תחת הנחות סטנדרטיות על אי-התאמה הדדית, עוצמת אות ותחומרת פעולות, האלגוריתם מחזיר במדויק את קבוצת הפעולות הרלוונטיות בהסתברות גבוהה. מספר הדגימות הנדרש גדל פולינומיאלית ברמת הדילול ובממד הסמוי, אך רק לוגריתמיאלית במספר הפעולות הכולל – תוצאה מרשימה למרחבים עצומים. המחקר מספק גם ערבויות שגיאה להערכת פרמטרים מחודשים, ומראה שהחוק ההחלטה הנובע הוא קרוב-אופטימלי למצבים סמויים חדשים. כך, ניתן ליישם חיתוך פעולות (action pruning) במערכות אג'נטיות מבוססות מודלי שפה גדולים (LLMs), תוך שמירה על ביצועים גבוהים. זה רלוונטי במיוחד לסביבות כמו כלי AI מועשרים, שבהן יעילות היא מפתח להצלחה מסחרית. בנוסף, החוקרים קובעים גבולות תחתונים מידע-תיאורטיים, המוכיחים שדילול ותחומרת מספקת הם הכרחיים לטיפוליות. התוצאות מדגישות את גילוי פעולות מדוללות כעיקרון יסוד בקבלת החלטות במרחבים גדולים, ומספקות בסיס תיאורטי לחיתוך פעולות במערכות אג'נטיות. עבור חברות ישראליות בתחום ה-AI, כמו סטארט-אפים מפתחים אג'נטים, זה פותח אפשרויות לאופטימיזציה מהירה. בקיצור, המחקר מלמד ש'תאוותני מספיק' – אלגוריתם פשוט יכול לפתור בעיות מורכבות ב-AI אג'נטי. מנהלים עסקיים צריכים לשקול אימוץ גישות כאלה כדי להפחית עלויות פיתוח ולהאיץ פריסה. מה תהיה ההשפעה על הכלים שלכם?