Justin Dangel

מאז 2017, ארכיטקטורת הטרנספורמר מניעה את כל מודלי השפה הגדולים (LLM) המובילים בשוק. אולם, מנגנון הקשב הצפוף שלה דורש משאבי חישוב ואנרגיה עצומים, המהווים כיום צוואר בקבוק משמעותי לפיתוח מודלים מתקדמים וסוכני AI. כתבה זו סוקרת ארבעה כיווני פיתוח חדשניים ופורצי דרך של חברות סטארטאפ המנסות להחליף או לשפר את הטרנספורמרים: החל ממנגנוני קשב דליל ושימור כוח (power retention), דרך רשתות עצביות נוזליות המאפשרות למידה בזמן אמת, שימוש בטכנולוגיית דיפוזיה ליצירת טקסט שלם בבת אחת, ועד שימוש במרחבי מצב מתמטיים למעבר מעבר למגבלות השפה והמילים.

חברת הסטארט-אפ Subquadratic מציגה פריצת דרך מתמטית בארכיטקטורת מודלי השפה בעזרת פיתוח מודל SubQ המבוסס על מנגנון קשב דליל דינמי. על פי הערכה עצמאית של חברת Appen, המודל החדש מציג מהירות עיבוד גבוהה פי 56 מטכנולוגיית FlashAttention, תוך שמירה על רמת דיוק של 98% במבחני שליפת מידע מחלון הקשר עצום של 12 מיליון טוקנים. בנוסף, החברה מדווחת על הפחתת עלויות דרמטית של הפעלת המודל - 8 דולרים בלבד בהשוואה ל-2,600 דולר במודלים מובילים מקבילים עבור משימות ארוכות. אף על פי שהמודל טרם שוחרר לציבור הרחב ומבוסס בחלקו על משקולות מודל Qwen הסיני, התוצאות מציבות חלופה מבטיחה לארכיטקטורת ה-Transformer המסורתית.