בעידן שבו מודלי שפה גדולים (LLMs) משתלטים על עולם הבינה המלאכותית, אתגר ההיגיון הלוגי נותר קשה לפיצוח. חוקרים מציגים מסגרת חדשה שאינה אינטראקטיבית, המאפשרת למודל לפתח יכולות היגיון עצמאיות. השיטה מפעילה ראשי תשומת לב ספציפיים שמזהים דפוסים לוגיים, ומשפרת את הביצועים בבנצ'מרקים שונים. זהו צעד משמעותי לקראת AI אמין יותר לעסקים ישראליים.
כיום, היגיון לוגי ב-LLMs מסתמך על מסגרות אינטראקטיביות מורכבות שמפרקות את התהליך למשימות משנה באמצעות פרומפטים מתוכננים בקפידה, או על גישות היברידיות שדורשות כלים חיצוניים כמו פותרי סמלים. גישות אלה יוצרות עומס נוסף או תלות במשאבים חיצוניים, מה שמגביל את ההרחבה. לפי הדיווח, המחקר מציג מסגרת end-to-end שאינה דורשת אינטראקציה, ומאפשרת למודל לפתח היגיון פנימי תוך שמירה על ניתוחיות.
השיטה מבוססת על הזנת מידע מבני בפרומפט few-shot, שמפעיל תת-קבוצה של ראשי תשומת לב שמתאימים לאופרטורים לוגיים. על בסיס תובנה זו, החוקרים מציעים AAI – Attention-Aware Intervention – שיטת התערבות בזמן אינפרנס שמשקללת מחדש ציוני תשומת לב בראשי הראש המזוהים. השיטה מנצלת ידע קיים דרך מודולציה של תשומת לב, ומשפרת את ההיגיון הלוגי בצורה יעילה.
AAI הוכחה במגוון בנצ'מרקים ובארכיטקטורות מודלים שונות, עם שיפור משמעותי בביצועים ועלות חישובית זניחה. בהשוואה לשיטות קיימות, היא מציעה יתרון בהכללה ובניתוחיות ללא תלות חיצונית. לעסקים בישראל, המתמודדים עם צורך ב-AI אמין בתחומי פיננסים ומשפטים, זה פותח אפשרויות חדשות לשילוב מודלים מתקדמים.
התפתחות זו מעלה שאלות על עתיד ההיגיון ב-AI: האם AAI תשנה את אופן אימון המודלים? מנהלי טכנולוגיה צריכים לבחון את הקוד הזמין בגיטהאב ולשלבו בפרויקטים. קראו את המחקר המלא ונסו בעצמכם.