חיפוש בחדשות

מאז 2017, ארכיטקטורת הטרנספורמר מניעה את כל מודלי השפה הגדולים (LLM) המובילים בשוק. אולם, מנגנון הקשב הצפוף שלה דורש משאבי חישוב ואנרגיה עצומים, המהווים כיום צוואר בקבוק משמעותי לפיתוח מודלים מתקדמים וסוכני AI. כתבה זו סוקרת ארבעה כיווני פיתוח חדשניים ופורצי דרך של חברות סטארטאפ המנסות להחליף או לשפר את הטרנספורמרים: החל ממנגנוני קשב דליל ושימור כוח (power retention), דרך רשתות עצביות נוזליות המאפשרות למידה בזמן אמת, שימוש בטכנולוגיית דיפוזיה ליצירת טקסט שלם בבת אחת, ועד שימוש במרחבי מצב מתמטיים למעבר מעבר למגבלות השפה והמילים.

חוקרים מציגים את Policy4OOD, מודל עולם AI שמדמה התערבויות מדיניות נגד משבר האופיואידים. המודל משלב ידע מדיני ונתונים מרחביים לתחזיות מדויקות יותר. גלו כיצד טכנולוגיה זו יכולה לשמש גם עסקים ישראליים.

חוקרים מציגים למידת חיזוק מבוססת טרנספורמר למניעת התנגשויות לוויינים תחת אי ודאות. גלו כיצד זה משנה את תעשיית החלל. [קראו עכשיו](/services/ai-agents)

מודל שפת Arrow מציג ארכיטקטורה חדשה מבוססת לוגיקה לחיזוי טוקנים, חלופה לטרנספורמרים. קראו את הפרטים המלאים עכשיו!

מודלי טרנספורמר מציגים חשיבה מרשימה אך שבירה. מאמר חדש מפרש תשומת לב עצמית כארכיטקטורת VSA, מסביר כשלים ומציע שיפורים. קראו עכשיו לפרטים! (48 מילים)

חוקרים חושפים טקסונומיה ל-400 משימות ARC שמאבחנת מדוע טרנספורמרים מצטיינים בדפוסים מקומיים אך נכשלים בהרכבה גלובלית. קראו על הפער ההרכבי והפתרונות המומלצים עכשיו! (48 מילים)

מודלי עולם מבוססי טרנספורמר משתפרים עם מנגנוני זיכרון חדשים שמאריכים את זיכרונם ומאפשרים תכנון ארוך טווח. קראו את הניתוח המלא.

KANFormer – מודל למידה עמוקה חדש חוזה זמן מילוי פקודות לימיט במדויק יותר ממתחרים, באמצעות שילוב נתוני שוק וסוכנים. נבדק על CAC 40 ומצטיין במדדי כיול והפרדה. קראו על ההשלכות למסחר אוטומטי.