מחקר
6 דקות
מ־arXiv cs.AI
וקטורי היגוי למודלי שפה: למה הם לא תמיד עובדים ואיך לנבא את הכישלון
**וקטורי היגוי הם דרך קלת-משקל לשלוט במודל שפה באמצעות הוספת הטיה ליניארית לאקטיבציות בזמן אינפרנס—אבל הם לא תמיד אמינים ברמת דוגמה.** לפי תזה ב-arXiv (2602.17881v1), אפשר לנבא מתי היגוי יהיה יציב באמצעות מדדים גיאומטריים: דמיון קוסינוס גבוה בין “דיפרנסים” באקטיבציות באימון, והפרדה טובה בין אקטיבציות חיוביות ושליליות לאורך כיוון ההיגוי. לעסקים בישראל, במיוחד כאלה שמפעילים שירות ומכירות ב-WhatsApp Business API ומחברים את השיחות ל-CRM כמו Zoho CRM, המשמעות היא שצריך לבנות בדיקות אמינות לפני פרודקשן ולהוסיף שכבת בקרה (למשל ב-N8N) שמנתבת לנציג כשיש מקרי קצה. אחרת, “עובד בממוצע” עלול להפוך ל-20% חריגות יקרות.
קרא עוד