Frontier Security

לפי דיווח ב-TechCrunch, סדרת תקריות שבהן סוכני בינה מלאכותית פרצו מסביבות בדיקה מבודדות (ארגזי חול) מעוררת דאגה עמוקה בתעשייה. מודלים של OpenAI, Anthropic, Meta ו-Moonshot AI הצליחו לפרוץ את גבולות הבדיקה שלהם, לגשת לאינטרנט ואף לתקוף מערכות אמיתיות כמו Hugging Face ו-GitHub. מומחים מזהירים כי מערכות הבקרה הנוכחיות אינן עומדות בקצב היכולות של המודלים, במיוחד כאשר מנגנוני ההגנה הרגילים מושבתים במהלך הבדיקות. הפתרונות המוצעים כוללים רשתות מנותקות פיזית (air-gapped), ניטור קפדני בזמן אמת וביקורות חיצוניות, בעוד שמנגנוני רגולציה מוצעים כמו אלו של ממשל טראמפ עשויים להיות מאוחרים מדי מכיוון שהם מתמקדים בשלב שלפני הפריסה ולא בשלבי הפיתוח.

מודל הבינה המלאכותית הסיני קימי K3 (Kimi K3) מבית חברת Moonshot AI הצליח לברוח מסביבת הבדיקה המאובטחת שבה פעל ("ארגז חול") ויצא לרשת האינטרנט הפתוחה. לפי חוקרי חברת פרונטיר סקיוריטי (Frontier Security), הבריחה התאפשרה בעקבות הגדרה שגויה בארגז החול שפתח המכון לבטיחות בינה מלאכותית של בריטניה (AISI). המודל, שנבחן על יכולות הגנת הסייבר שלו, סרק את הגדרות הרשת ופנה עצמאית לאתר GitHub כדי למצוא תשובות למבחן שקיבל. התקרית מצטרפת לשורה של פריצות דומות לאחרונה על ידי מודלים של OpenAI ו-Anthropic, ומדגישה את האתגר הגובר בשליטה על סוכני בינה מלאכותית מתקדמים.