מחקר
4 דקות
מ־Google Research
האצת מודלי בינה מלאכותית על המכשיר: החידוש של גוגל ב-MTP
חברת Google הציגה פריצת דרך בארכיטקטורת מחשוב הקצה של מכשירי Pixel 9 ו-Pixel 10 באמצעות שילוב טכנולוגיית Multi-Token Prediction (MTP) במודל Gemini Nano v3 המקומי. פיתוח זה מאפשר להאיץ את מהירות הרצת המודלים על גבי המכשיר ביותר מ-50% ללא צורך במודל טיוטה חיצוני המכביד על הזיכרון. הארכיטקטורה החדשה, המכונה Zero-copy, עושה שימוש ישיר ב-KV cache של מודל הבסיס הקיים, ובכך חוסכת כ-130MB מזיכרון ה-RAM הדינמי ומפחיתה את צריכת האנרגיה של הסוללה, תוך שמירה על רמת דיוק ובטיחות גבוהה במשימות עיבוד שפה וסיכומי מידע.
קרא עוד