חיפוש בחדשות

במחקר חדש של חוקרים מאוניברסיטת טובינגן, מכון מקס פלאנק, MATS Research וחברת Snyk, נחשפה שיטה לחילוץ עקבות חשיבה (chain of thought) מוצפנים ממודלי בינה מלאכותית מובילים כמו Claude, GPT ו-Gemini דרך ממשקי ה-API שלהם. השיטה מתבססת על שליחת המידע המוצפן לדגם חלש יותר בעל רמת אבטחה (alignment) נמוכה יותר. המחקר הראה כי הדגם הסיני Kimi K3 של חברת Moonshot AI מייצר פלטים הדומים לעקבות החשיבה של Claude Opus 4.8 ו-GPT 5.6 Sol, מה שמעלה חשדות לביצוע זיקוק (distillation) – אם כי לא הוכחה סיבתיות ישירה. בנוסף, השיטה איפשרה בעבר לשחזר מידע רגיש כמו סיסמאות ומפתחות API, פגיעות שתוקנה על ידי החברות בחודש שעבר.

חברת Anthropic (אנת'רופיק) הוסיפה מנגנון אבטחה מחמיר למודל הבינה המלאכותית Claude Fable 5 (קלוד פייבל 5) במטרה לרצות את משרד המסחר האמריקאי ולהסיר את מגבלות הייצוא שהטילו עליה. השינוי מגיע בעקבות מחקר של חברת Amazon (אמזון) וניתוח של חברת Luta Security (לוטה סקיוריטי), שחשפו כי משתמשים הצליחו לעקוף את חסמי הסייבר של המודל על ידי בקשות עקיפות לתיקון קוד במקום איתור חולשות. מנגנון האבטחה החדש מנתב שאילתות חשודות באופן אוטומטי למודל Claude Opus 4.8 הפחות מתקדם. עבור עסקים המטמיעים סוכני AI, המקרה מדגיש את החשיבות של בניית מנגנוני הגנה במודלי בינה מלאכותית שאינם תלויים אך ורק במפתחות המודלים.