חיפוש בחדשות

חברת Google הציגה פריצת דרך בארכיטקטורת מחשוב הקצה של מכשירי Pixel 9 ו-Pixel 10 באמצעות שילוב טכנולוגיית Multi-Token Prediction (MTP) במודל Gemini Nano v3 המקומי. פיתוח זה מאפשר להאיץ את מהירות הרצת המודלים על גבי המכשיר ביותר מ-50% ללא צורך במודל טיוטה חיצוני המכביד על הזיכרון. הארכיטקטורה החדשה, המכונה Zero-copy, עושה שימוש ישיר ב-KV cache של מודל הבסיס הקיים, ובכך חוסכת כ-130MB מזיכרון ה-RAM הדינמי ומפחיתה את צריכת האנרגיה של הסוללה, תוך שמירה על רמת דיוק ובטיחות גבוהה במשימות עיבוד שפה וסיכומי מידע.

**TurboQuant הוא אלגוריתם דחיסת זיכרון של Google Research שמיועד לצמצם את זיכרון העבודה של מודלי AI בזמן אינפרנס, ולפי החברה יכול להפחית את ה-KV cache בלפחות פי 6 בלי לפגוע בדיוק.** כרגע מדובר בפריצת דרך מחקרית ולא במוצר פרוס, אבל המשמעות לעסקים בישראל ברורה: אם טכנולוגיות כאלה יאומצו אצל ספקי ענן ופלטפורמות AI, עלות הרצת צ'אטים, סיכומי שיחות וסוכני שירות עשויה לרדת. עבור עסקים שמחברים WhatsApp Business API, Zoho CRM, N8N וסוכני AI, זהו אות חשוב לבדוק כבר עכשיו עלויות אינפרנס, צריכת זיכרון ויכולת סקיילינג.

**TurboQuant הוא אלגוריתם דחיסה חדש של Google Research שמקטין את זיכרון ה-KV cache ואת עלות החיפוש הווקטורי בלי לפגוע בדיוק, ולפי הדיווח משיג לפחות פי 6 חיסכון בזיכרון ועד פי 8 שיפור ביצועים על H100.** מבחינת עסקים בישראל, המשמעות היא פוטנציאל ממשי להוזלת מערכות AI שמטפלות במסמכים, צ'אט ושירות לקוחות. הערך הגדול אינו רק טכני: דחיסה טובה יותר יכולה לאפשר תגובות מהירות יותר ב-WhatsApp, שליפה חכמה ממסמכים ב-Zoho CRM, ופחות עומס תשתיתי במערכות מבוססות N8N וחיפוש סמנטי. ההמלצה המעשית היא להתחיל בפיילוט ממוקד, למדוד latency, עלות לפנייה ואיכות תשובה, ורק אז להרחיב.

**CHESS היא שיטה לניהול KV cache במודלי שפה ארוכי־הקשר, שמטרתה לשפר מהירות אינפרנס בלי לפגוע באיכות.** לפי המאמר ב-arXiv, המערכת מגיעה לתוצאות חזקות גם עם 1% בלבד מה-cache ומציגה עד פי 4.56 תפוקה. עבור עסקים בישראל, המשמעות היא פוטנציאל להריץ סוכני שירות, ניתוח מסמכים ושיחות WhatsApp על הקשר ארוך יותר, בזמן תגובה נמוך יותר ובעלות תשתית סבירה יותר. זה חשוב במיוחד למשרדי עורכי דין, ביטוח, מרפאות ונדל"ן, שבהם כל תשובה נשענת על היסטוריה ארוכה של מסמכים, טפסים ושיחות.