חיפוש בחדשות

מאז 2017, ארכיטקטורת הטרנספורמר מניעה את כל מודלי השפה הגדולים (LLM) המובילים בשוק. אולם, מנגנון הקשב הצפוף שלה דורש משאבי חישוב ואנרגיה עצומים, המהווים כיום צוואר בקבוק משמעותי לפיתוח מודלים מתקדמים וסוכני AI. כתבה זו סוקרת ארבעה כיווני פיתוח חדשניים ופורצי דרך של חברות סטארטאפ המנסות להחליף או לשפר את הטרנספורמרים: החל ממנגנוני קשב דליל ושימור כוח (power retention), דרך רשתות עצביות נוזליות המאפשרות למידה בזמן אמת, שימוש בטכנולוגיית דיפוזיה ליצירת טקסט שלם בבת אחת, ועד שימוש במרחבי מצב מתמטיים למעבר מעבר למגבלות השפה והמילים.

ממשל טראמפ נמצא במאבק פנימי דרמטי סביב ניסיונות להחיות צו נשיאותי הנוגע לרגולציה על פיתוח מודלים של בינה מלאכותית, אשר בוטל במפתיע בחודש שעבר. הדיווח במגזין WIRED חושף כי המחלוקת בצמרת הממשל נסובה על סעיף המבקש לאלץ חברות טכנולוגיה מובילות, כמו OpenAI ו-Anthropic, להעביר לממשל האמריקאי גישה למודלים מתקדמים עד 90 יום לפני השקתם הפומבית. בעוד בכירים בבית הלבן דוחפים להסדרה שתמנע איומי סייבר משמעותיים, מתנגדי המהלך טוענים כי הרגולציה עלולה לחנוק את החדשנות ולפגוע ביתרון התחרותי מול סין. עבור עסקים בישראל, החלטות אלו עשויות לייצר עיכובים באספקת שדרוגים קריטיים, ולהשפיע ישירות על כלים עסקיים יומיומיים מבוססי AI.

מעבדת Flapping Airplanes גייסה 180 מיליון דולר לפיתוח מודלי AI יעילי נתונים. המייסדים מדברים על השראה מהמוח והיתרונות העסקיים. גלו כיצד זה משפיע על אוטומציה בישראל.