ICML

מחקר חדש שהוצג בוועידת ICML חושף כי מודלי שפה גדולים (LLMs) סובלים מפגם יסודי ומובנה המונע את היכולת לאבטח אותם לחלוטין מפני פריצות סייבר. החוקרים, ג'סמין קווי וצ'ארלס יי, גילו כי מודלים אלו מתקשים להפריד בין תפקידים שונים (כגון משתמש, מערכת או שרשרת מחשבה) ומזהים את מקור הטקסט לפי סגנונו ומילותיו ולא לפי תגיות האבטחה המקיפות אותו. באמצעות שיטה המכונה "זיוף שרשרת מחשבה", הצליחו החוקרים לעקוף את מנגנוני הבטיחות של מודלים מובילים מבית OpenAI, Anthropic, Alibaba ו-DeepSeek, ולגרום להם לספק הנחיות מסוכנות לייצור סמים ולחבלה במטוסים. החוקרים מזהירים כי כשל מובנה זה אינו פתיר לחלוטין באמצעות אימון רגיל.

**ResearchGym מראה שסוכני בינה מלאכותית עדיין לא אמינים מספיק למחקר אוטונומי מלא.** לפי המאמר, סוכן מבוסס GPT-5 שיפר תוצאות רק ב-1 מתוך 15 הערכות והשלים בממוצע 26.5% מתתי-המשימות. עבור עסקים בישראל, זו תזכורת חשובה: לא בונים תהליך קריטי על Agent לבדו. המסקנה המעשית היא להטמיע סוכנים בתוך ארכיטקטורה מבוקרת — למשל שילוב של WhatsApp Business API, ‏Zoho CRM ו-N8N — עם כללי הרשאה, לוגים ו-fallback אנושי. כך אפשר ליהנות ממהירות ויכולת ניסוח של AI בלי לשלם מחיר תפעולי על טעויות לא צפויות.