חיפוש בחדשות

דרמה בעולם הבינה המלאכותית: חברת Anthropic הודיעה על השבתה מיידית של שני מודלים שהשיקה השבוע, Claude Fable 5 ו-Mythos 5, בעקבות צו פיקוח ייצוא דחוף שקיבלה מממשל ארה"ב. הממשל חושש כי גורמים עוינים גילו שיטה לפרוץ את מנגנוני ההגנה של הדגמים (Jailbreak) ולנצל אותם לגילוי חולשות אבטחה וסייבר. למרות שחברת אנתרופיק טוענת כי הפירצה שהתגלתה היא צרה ואינה מסוכנת באופן חריג, היא נאלצה להסיר את הגישה לכלל לקוחותיה כדי לעמוד בדרישות הרגולציה הממשלתית. המקרה מדגיש את החשיבות הקריטית של אבטחת מודלי שפה גדולים בארגונים.

המעבר המהיר לשימוש בסוכני בינה מלאכותית ארגוניים מציב בפני חברות אתגרי אבטחה חסרי תקדים. פרנסיס דה סוזה, סמנכ"ל התפעול של גוגל קלאוד, מתריע כי אבטחת מודלי שפה חייבת להיות חלק בלתי נפרד מאסטרטגיית הנתונים, במיוחד נוכח הסכנה של חשיפת מאגרי מידע ישנים דרך סוכני AI. במקביל, דיווחים חדשים חושפים מקרים שבהם דליפות של מפתחות API של גוגל גרמו למפתחים לספוג חיובים של עשרות אלפי דולרים בעקבות גישה לא מורשית למודל Gemini, כאשר חלון הזמן לביטול ההרשאה עשוי להיארך עד 23 דקות.

**CourtGuard הוא מנגנון בטיחות למודלי שפה שמאפשר להחליף מדיניות בלי לאמן מחדש את המודל.** לפי המחקר, המסגרת השיגה תוצאות מובילות ב-7 מבחני בטיחות והגיעה ל-90% דיוק במשימת Wikipedia Vandalism רק באמצעות החלפת מסמך מדיניות. עבור עסקים בישראל, זו בשורה חשובה: במקום להטמיע מחדש כל שכבת בקרה בכל שינוי נוהל, אפשר לעדכן מסמך, לחבר אותו ל-WhatsApp Business API, ל-Zoho CRM ול-N8N, ולשמור על תהליך מוסבר ומתועד. המשמעות המעשית היא זמן תגובה קצר יותר לשינויי רגולציה, בקרה טובה יותר על תשובות של סוכני AI, ופחות תלות במחזורי פיתוח ארוכים.