בעולם שבו מערכות AI רב-סוכנים (MAS) מבצעות זרימות עבודה מורכבות ומחזוריות, חלוקת מודלים סטטית חזקה מבזבזת משאבי חישוב על משימות פשוטות. כעת, מחקר חדש מציג את CASTER – Context-Aware Strategy for Task Efficient Routing – ראוטר קל משקל לבחירה דינמית של מודלים בגרפים של MAS. הפתרון מבטיח חיסכון משמעותי בעלויות תוך שמירה על הצלחה מקבילה למודלים חזקים.
CASTER משלב Dual-Signal Router המשתמש בשילוב של embeddings סמנטיים ו-meta-features מבניים כדי להעריך את רמת הקושי של כל משימה. במהלך האימון, הראוטר עובר תהליך עצמי-משפר: מתחיל ב-Cold Start ומתפתח באופן איטרטיבי (Iterative Evolution), לומד משגיאות הניתוב שלו באמצעות משוב שלילי on-policy. גישה זו מאפשרת התאמה אופטימלית לזרימות עבודה מורכבות מבלי להסתמך על פיקוח חיצוני.
בניסויים שנערכו באמצעות הערכת LLM-as-a-Judge בתחומי הנדסת תוכנה, ניתוח נתונים, גילוי מדעי וסייברסקיוריטי, CASTER הפחית את עלות החישוב בטווח של עד 72.4% בהשוואה לבסליינים של מודלים חזקים. עם זאת, שיעורי ההצלחה נשארו זהים, והמערכת עלתה על שיטות ניתוב clifford clifford heuristic ו-FrugalGPT בכל התחומים.
המשמעות של CASTER גדולה במיוחד בעידן שבו עלויות חישוב AI מהוות מכשול מרכזי לארגונים. בהשוואה לפתרונות קודמים כמו FrugalGPT, CASTER מציע גישה מבוססת הקשר שמתחשבת במבנה הגרף ובתוכן המשימה, מה שמאפשר יעילות גבוהה יותר בזרימות עבודה אמיתיות. עבור חברות ישראליות בתחום ההייטק, זה אומר אפשרות להפעיל מערכות AI מתקדמות בעלויות נמוכות יותר, במיוחד בתחומי סייבר ואנליטיקה.
לסיכום, CASTER מסמן פריצת דרך באורקסטרציה של סוכנים מרובים, ומציע למנהלי טכנולוגיה כלי פרקטי לייעול תהליכי AI. כיצד תשלבו גישה זו בפרויקטים שלכם?