לפי דיווח של אתר TechCrunch מאת לורנצו פרנצ'סקי-ביקיראי (Lorenzo Franceschi-Bicchierai), מגבלות הבטיחות (guardrails) ותוכניות הסינון הקפדניות שהקימו ענקיות הבינה המלאכותית כדי למנוע מהאקרים זדוניים לנצל את המודלים שלהן, מתחילות להקשות על עבודתם של מגני רשתות לגיטימיים וחוקרי אבטחת מידע התקפית (offensive cybersecurity researchers). חוקרים אלו, שתפקידם לאתר חולשות במערכות ולפתח דרכים לנצל אותן לפני שגורמים פליליים יעשו זאת, נתקלים בחסימות של מנגנוני הסינון או בחוסר עקביות במענה של המערכות. המגבלות הללו מביאות לעיתים קרובות לתוצאה הפוכה, כאשר חוקרים נאלצים לנטוש את המערכות האמריקאיות המפוקחות ולעבור לשימוש במודלים של קוד פתוח, לעיתים של חברות זרות, שאינם כוללים כל סינון.
הגבלות היצוא ותוכניות הסינון של ענקיות הטכנולוגיה
במהלך החודשים האחרונים, פיתחו ענקיות הבינה המלאכותית תוכניות מיוחדות ומגבלות בטיחות מחמירות כדי להגביל את השימוש במודלים שלהן על ידי האקרים זדוניים. בחודש יוני, הטילה ממשלת ארצות הברית מגבלות פיקוח על יצוא של מודלי הבינה המלאכותית המדוברים של חברת Anthropic, המכונים Mythos ו-Fable. הצעד הזה נבע, לפחות בחלקו, מדוח שטען כי ניתן לעקוף את מגבלות הבטיחות של המודלים הללו, אשר נועדו למנוע ממשתמשים להיעזר בהם לבנייה והוצאה לפועל של מתקפות סייבר זדוניות.
ללא קשר לשאלה האם האירוע אכן נבע מחשש לעקיפת המגבלות (jailbreak), העובדה היא שחברת Anthropic שיווקה שוב ושוב את המודל Mythos כסוג של "מכונת יום הדין לסייבר" שניתן לספק אותה רק למשתמשים שעברו סינון קפדני במיוחד, וגם אז רק עם מגבלות בטיחות קשיחות המיושמות בפועל. (מגבלות היצוא על הדגמים Fable 5 ו-Mythos 5 הוסרו מאז; הדגם Fable 5 חזר לגישה כללית ב-1 ביולי, בעוד שהדגם Mythos 5 הוצג מחדש רק לארגונים אמריקאיים שעברו סינון קפדני כחלק מתהליך הבחינה הממשלתי).
סוג זה של חסימת גישה אינו ייחודי רק למודל Mythos. הן חברת Anthropic, עם מודלים אחרים שלה, והן חברת OpenAI, מציעות לחוקרי אבטחת סייבר תוכניות מיוחדות שאליהן הם יכולים להגיש מועמדות כדי לעבור סינון, ואם יאושרו, לקבל גישה למודלים עם פחות מגבלות סייבר. התוכנית של OpenAI נקראת "Trusted Access for Cyber" (גישה מהימנה לסייבר), ואילו התוכנית של Anthropic נקראת "Cyber Verification Program" (תוכנית אימות הסייבר).
ביקורת מצד חוקרי אבטחה התקפית
מגבלות אלו זכו לביקורת רבה, במיוחד מצד חוקרים שתפקידם למצוא פרצות אבטחה לא ידועות במערכות ולמצוא דרכים לנצל אותן לפני שפושעי סייבר יעשו זאת. במהלך הופעה שנערכה לאחרונה בפודקאסט העוסק באבטחת סייבר, אמר מארק דאוד (Mark Dowd), חוקר אבטחה מוכר: "זה לא ממש נוח לי שחברות גדולות ואקראיות מקבלות החלטות שרירותיות לגבי מה בטוח באבטחה ומה לא". דאוד בילה עשורים באיתור ומכירה של פגיעויות "יום אפס" (zero-days) – כשלים בתוכנה שאינם מוכרים ויכולות הניצול שלהם – לממשלות מערביות, במקום לדווח עליהן ליצרניות התוכנה כדי שיתוקנו. ממשלות משלמות סכומים גבוהים במיוחד עבור פגיעויות אלו בדיוק בגלל שהן נותרות פתוחות, מה שמסייע לפעילויות מודיעין. דאוד הודה כי אופי עבודתו עשוי להפוך אותו לבעל נטייה אישית, אך הוא אינו היחיד שמחזיק בדעה זו.
"כמו פטיש": כלי שהוא גם התקפי וגם הגנתי
חוקרים בתחום הסייבר ההתקפי – אלו שבודקים מערכות באופן יזום כדי לאתר נקודות תורפה – תיארו ל-TechCrunch כיצד הם משתמשים בכלי בינה מלאכותית ומתמודדים עם מגבלות הבטיחות שלהם. כריס אנלי (Chris Anley), המדען הראשי בענקית הייעוץ הביטחוני NCC Group, ציין כי בקשה ממודל בינה מלאכותית לנסות לנצל באג היא שלב מרכזי באישור שלפנינו אכן קיימת פגיעות אמיתית ששווה לתקן. אך אם מגבלת בטיחות גורמת למודל לסרב לענות על השאלה באופן מוחלט, המגבלה פוגעת במגנים.
"כאן נכנס לתמונה השילוב של התקפה מול הגנה ומגבלות הבטיחות, משום שהנחיה כמו 'תקן את הקוד הזה' היא מנגנון חיוני להגנה, אך בו-זמנית היא גם מפת דרכים למציאת פגיעויות קריטיות בבסיס הקוד", הסביר אנלי. "מסיבה זו, אותו הכלי עצמו משמש בו-זמנית ככלי התקפי וככלי הגנתי, ולא ניתן באמת להפריד ביניהם". אנלי השווה את הכלי לפטיש: "אי אפשר לבנות בית בלי פטיש. זהו ללא ספק כלי עבודה, אך הוא גם נשק באופן בלתי נפרד". כאשר הוא ועמיתיו נתקלים בחסימה כזו, הם פונים לעיתים למודלי בינה מלאכותית בקוד פתוח שמגיעים ללא מגבלות בטיחות כלל.
חששות מפני דליפת מידע ומעבר למודלים מקומיים
פאולו סטאניו (Paolo Stagno), הטכנולוג הראשי (CTO) של חברת CrowdFense, חברה מוכרת המפתחת, רוכשת ומוכרת פגיעויות לא ידועות לסוכנויות ממשלתיות, הסכים עם דאוד ואמר כי חברות הבינה המלאכותית "מתייחסות למעשה ללקוחות כמו לילדים שזקוקים לבייביסיטר" באמצעות תוכניות הסינון ומגבלות הבטיחות שלהן. סטאניו ציין כי הוא ועמיתיו משתמשים במודלים מובילים (frontier models) – אך ורק לצורך הנדסה לאחור (reverse engineering). הם נמנעים משימוש בבינה מלאכותית כדי לסייע באיתור פגיעויות או בבניית ניצול פגיעויות (exploits), מכיוון שהזנת החומרים הללו למודל מבוסס ענן טומנת בחובה סיכון של דליפת נתוני פגיעות רגישים או קליטתם באימוני מודל עתידיים. עבור השלב הזה, לדבריו, הם משתמשים במודלים של קוד פתוח המורצים באופן מקומי, מכיוון שהם אינם מסתמכים על שיתוף מידע מחוץ למודל.
חוקר אבטחה נוסף, ג'וזפה קאלי (Giuseppe Cali), המאתר פגיעויות יום אפס ומפתח ניצולי פגיעויות, ציין כי מגבלות הבטיחות אינן מפריעות לעבודתו. זאת משום שהוא אינו משתמש בבינה מלאכותית לעבודה התקפית; במקום זאת, הוא משתמש בה לצורך הנדסה לאחור ראשונית, הבנת הקוד שהוא מנתח ובניית כלי עזר תומכים. עבור משימות אלו, הוא מסביר, כלי בינה מלאכותית יכולים להאיץ את התהליך ולאפשר לו להתמקד בגילוי הפגיעויות עצמן. "אני עדיין רוצה להיות זה שמגלה את הבאג האמיתי והופך אותו לנשק בעצמי, וזה לא ישתנה גם אם כל המגבלות יוסרו מחר", אמר קאלי. "אני קנאי לבאגים שלי, ואני אוהב את המשחק הזה יותר מדי בשביל לתת למודלים לשחק אותו במקומי".
חוסר עקביות במערכות והדחיפה למודלים סיניים
חוקר העובד ביצרנית רכיבי סמארטפונים, שביקש להישאר בעילום שם מכיוון שאינו מוסמך לשוחח עם העיתונות, סיפר כי המעסיק שלו אינו חלק מתוכנית ה-CVP של חברת Anthropic, וכתוצאה מכך הכלים שלה כמעט ואינם מועילים לאיתור פגיעויות מכיוון שמגבלות הבטיחות נוקשות מדי. "אם המערכת מזהה שאנו עושים משהו שקשור לאבטחה, היא פשוט נעצרת ואינה ניתנת לשימוש", אמר.
כריס תומפסון (Chris Thompson), מנכ"ל חברת אבטחת הסייבר RemoteThreat ומייסד כנס Offensive AI Con – אירוע המתמקד בסייבר התקפי ובינה מלאכותית – שיתף כי מניסיונו בשימוש במודלים המובילים של בינה מלאכותית, מגבלות הבטיחות עשויות להיות לא עקביות ולפעול בצורה שונה בכל יום. דבר זה נכון אפילו בתוך הגבולות הגמישים יותר של התוכניות המאושרות של Anthropic ו-OpenAI.
"אני חושב שההשפעה המעשית היא שאתה מבלה זמן רב במשא ומתן עם המודל במקום לעבוד על תוכנית האבטחה המרכזית", אמר תומפסון. "במקום לנתח פגיעות ולנתח את יכולת הניצול שלה, אתה מנסה להבין מדוע אתה מקבל תוצאות לא עקביות או מדוע המודלים מסננים את הפלט בצורה מוגזמת".
כתוצאה מכך, חוקרים מסתמכים או נדחפים לכיוון מודלים של קוד פתוח מתוצרת סין, כדוגמת GLM – מודלים הניתנים להורדה חופשית ושאותם ניתן להריץ באופן מקומי ללא כל סינון או הגבלות שימוש, כך אמר תומפסון. "יש לנו את החוקרים האחראים הללו שנדחקים הרחק ממערכות בפיקוח אמריקאי למערכות בבעלות זרה", הוא ציין. "אני חושב שזה מזיק יותר מאשר מועיל להציב את מגבלות הבטיחות הללו".
במקום להחמיר את ההגבלות עוד יותר, קרא תומפסון למעבדות הבינה המלאכותית המובילות לפתוח את התוכניות שלהן, לספק גישה אחראית וגם להטיל אחריות על מי שמתעלל בכלים שלהן. אחרת, הוא טוען, המגינים יפסידו במרוץ הבינה המלאכותית. "יש סערה גדולה שמתקרבת. יש גל גדול של מתקפות שעומד להתרחש במהירות ובקנה מידה שלא נראו כמותם בעבר", אמר תומפסון. "אבל אותן חברות ייעוץ אבטחה וחוקרים לגיטימיים שמנסים לחולל שינוי, נבלמים כרגע".