מודל שפת Arrow: חלופה לוגית לטרנספורמרים

בעידן שבו טרנספורמרים שולטים בעולם המודלים השפתיים, חוקרים מציגים את מודל שפת Arrow – ארכיטקטורה נוירונלית חדשנית שמבוססת על פרשנות לוגית אינטואיציוניסטית של חיזוי הטוקן הבא. במקום להשתמש בטוקנים כווקטורים תוספתיים שמעורבבים בעזרת תשומת לב, המודל מקודד קידומת כשרשרת השלכות משוכלת משמאל, ששומרת על סדר באמצעות הרכבה לא-קומוטטיבית. חיזוי הטוקן הבא הופך למודוס פוננס, ותהליך עיבוד הרצף – להארכת הוכחה קונסטרוקטיבית לפי התכתבות קארי-הווארד. גישה זו מבטיחה יתרונות מבניים על פני מודלים מסורתיים. לפי המאמר ב-arXiv, מודל שפת Arrow מנותק את הטוקנים מהייצוגים התוספתיים הרגילים ומטפל בהם כאופרטורים. שרשרת ההשלכות השמאלית-משוכלת מבטיחה שהסדר נשמר ללא צורך במנגנוני תשומת לב מורכבים. החוקרים פיתחו מוכחי משפטים מיוחדים מבוססי Prolog שמאמתים תכונות יסודיות של המודלים הנוירונליים, כולל יחסים בין ריצוף קומוטטיבי ללא-קומוטטיבי ובין חיזוי טוקן יחיד לרב-טוקנים. בדיקות אלה מאשרות את התקפות הגישה הלוגית. המאמר מראה כי ארכיטקטורה נוירונלית שקולה ל-RNNs כפולות (multiplicative RNNs) נובעת באופן טבעי מפרשנות הוכחתית של חיזוי הטוקן הבא כהשלכה אינטואיציוניסטית משוכלת. החוקרים מציגים מימוש נוירוני מעשי בדרגת דירוג נמוכה (low-rank), שמאפשר אימון יעיל. מודל זה ממוקם בין טרנספורמרים למודלי מרחב-מצב, ומציע חלופה מבוססת לוגיקה שיכולה לפתור בעיות סקיילביליות. בהקשר השוק, מודל שפת Arrow מציע פריצת דרך פוטנציאלית לחברות ישראליות בתחום הבינה המלאכותית שמחפשות חלופות לטרנספורמרים הכבדים. בעוד טרנספורמרים מצטיינים בגודל, הם סובלים מחישובים כבדים; Arrow מבטיח מבנה לוגי טבעי יותר לעיבוד סדרתי. בישראל, שבה חברות כמו Mobileye ו-Wiz משקיעות במודלים יעילים, גישה זו יכולה להאיץ פיתוח.