חיפוש בחדשות

בפוסט של ארכיטקט הפתרונות דניאל אביב מ-AWS, מוסבר כיצד מנגנון ה-Prompt Caching ב-Amazon Bedrock מפחית עד 90% מעלויות טוקני הקלט על פגיעות במטמון ומקצר את זמן התגובה לטוקן הראשון (TTFT). המאמר סוקר שישה תרחישי יישום באמצעות ה-Converse API: שמירת מסמכים, שמירת פרומפט מערכת, שמירת הגדרות כלים לסוכנים, שילוב זמני חיים שונים (Mixed TTL), בידוד דיירים במערכות מרובות משתמשים באמצעות תחילית SHA-256, ואינטגרציה עם ספריית LangChain. מודלי Anthropic Claude Sonnet 4.5 ו-4.6 דורשים סף מינימלי של 1,024 טוקנים להפעלת המטמון.

**מחיקת הפוסט של מיקרוסופט מדגישה כלל פשוט: דמו GenAI לא יכול להישען על תוכן שאין לכם רישיון להשתמש בו.** לפי הדיווח, החברה הסירה פוסט בלוג לאחר ביקורת ב-Hacker News על כך שהדגים שימוש בספרי “הארי פוטר” כמאגר נתונים—באופן שנתפס כעידוד פיראטיות—כדי לקדם יכולת שמחברת Azure SQL DB, LangChain ומודלי שפה “בכמה שורות קוד”. לעסקים בישראל המשמעות מיידית: אם אתם בונים RAG/צ’אט פנימי או אוטומציות שמייצרות תשובות ללקוחות (במיוחד סביב WhatsApp ו-CRM), אתם חייבים שכבת Governance: תיוג מקור לכל מסמך, רשימת מקורות מותרת, והפרדה בין סביבת ניסוי לפרודקשן. אחרת אתם מסתכנים לא רק בתביעה—אלא גם בהורדת איכות התוכן (“AI slop”) ופגיעה באמון.