חיפוש בחדשות

בפוסט של ארכיטקט הפתרונות דניאל אביב מ-AWS, מוסבר כיצד מנגנון ה-Prompt Caching ב-Amazon Bedrock מפחית עד 90% מעלויות טוקני הקלט על פגיעות במטמון ומקצר את זמן התגובה לטוקן הראשון (TTFT). המאמר סוקר שישה תרחישי יישום באמצעות ה-Converse API: שמירת מסמכים, שמירת פרומפט מערכת, שמירת הגדרות כלים לסוכנים, שילוב זמני חיים שונים (Mixed TTL), בידוד דיירים במערכות מרובות משתמשים באמצעות תחילית SHA-256, ואינטגרציה עם ספריית LangChain. מודלי Anthropic Claude Sonnet 4.5 ו-4.6 דורשים סף מינימלי של 1,024 טוקנים להפעלת המטמון.

**בחירת מטרות על ידי מודל שפה אינה שקולה לשיקול דעת אנושי.** מחקר חדש ב-arXiv מצא כי GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5 ו-Centaur סטו באופן משמעותי מהדרך שבה בני אדם בוחרים מטרות במשימת למידה פתוחה. לפי הדיווח, בני אדם חקרו בהדרגה והפגינו שונות, בעוד שמודלים רבים נצמדו לפתרון יחיד או הציגו ביצועים חלשים. עבור עסקים בישראל, המשמעות ברורה: אפשר להשתמש ב-AI כדי להציע אפשרויות, לדרג פניות ולבצע פעולות דרך WhatsApp, CRM ו-N8N — אבל לא כדאי למסור לו לבדו החלטות על תיעדוף, הקצאת משאבים או שינוי מטרה עסקית. המודל צריך לפעול בתוך מסגרת בקרה אנושית.

PlotChain הוא בנצ'מרק דטרמיניסטי שמודד עד כמה מודלים מולטימודליים (MLLMs) מצליחים לקרוא גרפים הנדסיים ולהחזיר ערכים מספריים מדויקים ב-JSON, במקום להסתפק ב-OCR או תיאור חופשי. לפי ה-preprint (arXiv:2602.13232v1), המאגר כולל 15 משפחות ו-450 גרפים עם אמת מידה שמחושבת ישירות מתהליך היצירה, ובנוסף “נקודות בדיקה” (cp_) שמאפשרות לאתר איפה המודל נכשל. התוצאות מדגישות פערים: Gemini 2.5 Pro מגיע ל-80.42% pass-rate בשדות, GPT‑4.1 ל-79.84% ו-Claude Sonnet 4.5 ל-78.21%, בעוד GPT‑4o ב-61.59%. המשימות השבריריות ביותר הן בתחום התדר: bandpass עד 23% ו-FFT מאתגר. לעסקים בישראל שמקבלים דוחות כ-PDF ב-WhatsApp, זו תזכורת לבנות פיילוט עם טולרנסים, QA וזרימה מחוברת ל-N8N ו-Zoho CRM.