הטכניקות המסוכנות לפריצה באמצעות בינה מלאכותית עדיין דורשות בני אדם

על פי דיווח של מגזין WIRED, שכתבה הכתבת לילי האי ניומן (Lily Hay Newman), השימוש בסוכני בינה מלאכותית (Agentic AI) שינה באופן בלתי הפיך את עולם אבטחת המידע, על ידי האצה ופישוט של תהליכי גילוי חולשות אבטחה בתוכנה, תיקונן, או פיתוח קוד ניצול (exploits) כדי להפוך אותן לנשק סייבר. עם זאת, חוקר אבטחת הרשת הוותיק ג'יימס קטל (James Kettle) ביקש להסתכל מעבר ל"אפוקליפסת ציד הבאגים" המסורתית. קטל ביקש לחקור שאלה שהפכה לדחופה עוד יותר לאחרונה, כאשר ארגוני בינה מלאכותית מובילים חשפו דוגמאות מהעולם האמיתי של סוכני בינה מלאכותית "סוררים" המבצעים פריצות: האם סוכני בינה מלאכותית מסוגלים לפתח בעצמם שיטות פריצה חדשניות ומופשטות, החל משלב הרעיון התיאורטי ועד למתקפות מעשיות בפועל? בכנס האבטחה Black Hat שנערך בלאס וגאס ביום רביעי, הציג קטל את ממצאיו, הממחישים הן את היכולות המתקדמות במהירות של הבינה המלאכותית בסייבר והן את מגבלותיה הנוכחיות.

גבולות היכולת האוטונומית של הבינה המלאכותית בסייבר

כפי שהציג ג'יימס קטל בהרצאתו בכנס האבטחה Black Hat בלאס וגאס, התשובה לשאלה האם בינה מלאכותית יכולה לפתח שיטות פריצה חדשות באופן עצמאי לחלוטין היא מורכבת ומסויגת. על פי ממצאיו של קטל, נכון לעכשיו, הבינה המלאכותית היא בעלת יכולת מזערית בלבד, והיא מוגבלת באופן קיצוני ביכולתה להגות נתיבי תקיפה חדשים ומקוריים בצורה אוטונומית לחלוטין. עם זאת, כאשר המערכת פועלת בשילוב עם הנחיה אנושית, הכוונה ותובנות מקצועיות ברגעי מפתח, הבינה המלאכותית מתגלה כשותפה עוצמתית מאין כמוה לצורך המשגה וחשיפה של אסטרטגיות פריצה חדשות שלא היו מוכרות קודם לכן. קטל מדגיש כי בתעשיית הסייבר כיום ישנם מעט מאוד גורמים שמוכנים לדבר בגלוי על המגבלות של הטכנולוגיה ועל המקומות שבהם היא נכשלת לחלוטין, שכן רוב החברות והחוקרים מעוניינים להציג את עצמם כחלק ממהפכת ה-AI ולא לחשוף את נקודות התורפה של המערכות שלהם.

תגלית ה-Shared-Parser Confusion (בלבול מפענחים משותפים)

אחד ההישגים המרכזיים של המחקר המשותף בין קטל למערכות הבינה המלאכותית הוא חשיפת תחום פגיעות חדש לחלוטין ברשת האינטרנט, המכונה "בלבול מפענחים משותפים" (Shared-Parser Confusion). הגילוי הזה נולד מתוך תובנה של מערכת הבינה המלאכותית לגבי האופן שבו שרתי אינטרנט משתמשים בקוד משותף כדי לעבד הן בקשות (requests) והן תגובות (responses). קטל הסביר בראיון ל-WIRED לפני הרצאתו כי מדובר בגילוי משמעותי במיוחד: בקשות שנשלחות לאתר אינטרנט הן בלתי מהימנות לחלוטין ויכולות להכיל כל סוג של קוד או תוכן, בעוד שתגובות מהשרת נחשבות למהימנות ובטוחות. כאשר שרתים משתמשים בקוד משותף לצורך עיבוד של שני סוגי הנתונים הללו, נוצר משטח תקיפה עצום ורחב ממדים, אשר עלול לזלוג למגוון רחב של סוגי מתקפות שונים המנצלים את חוסר ההפרדה הזה.

מתודולוגיית הניסויים וסינון רעשי הרקע

התגלית המדעית הזו הייתה תוצאה של חודשים ארוכים של ניסויים קפדניים שהחלו בספטמבר 2025. לצורך הניסויים השתמש קטל בדגמים המתקדמים ביותר של החברות אנתרופיק (Anthropic) ו-OpenAI שהיו זמינים באותה עת. בתחילת הדרך, כשביקש לבחון את יכולתן של המערכות לבצע מחקר אבטחה תיאורטי, נתקל קטל במכשול משמעותי: מערכות הבינה המלאכותית ניסו להציג מחקרים קיימים כאילו הם מחקרים מקוריים שלהן. המערכות נטו להציג ממצאים בנושאים אזוטריים ומורכבים ביותר, שהיה קשה מאוד לאמת או לבדוק את מהימנותם. כדי להתגבר על המכשול הזה, החליט קטל לצמצם את טווח הבדיקה באופן ממוקד, כך שמערכות ה-AI יעבדו אך ורק בתוך תחום המומחיות הספציפי שלו באבטחת רשת. צעד זה אפשר לו לשלוט באופן מלא בחומר המקצועי ולוודא שהמערכות אינן מטעות אותו. בנוסף, קטל הבין כי באמצעות ניסוח וסינתזה של מתודולוגיית המחקר האישית שלו, ואימון המודלים על גבי מתודולוגיה זו, הוא יוכל לחקור לעומק מהן היכולות האמיתיות של המערכות לחלץ מסקנות חדשות בכוחות עצמן.

לולאת המשוב של המחקר המהיר והעומס המקצועי

ככל שקטל שכלל את הניסויים שלו – על ידי אספקת נתונים מתודולוגיים רבים ומדויקים יותר למודלים והגדרת פרמטרים ממוקדים – וככל שחלף הזמן ומודלים חזקים יותר יצאו לשוק, החלו מערכות הבינה המלאכותית להפיק ממצאים ומסקנות בקצב חסר תקדים, שעלה בהרבה על קצב העבודה האישי שלו. מצב זה יצר לולאת משוב מחקרית פורייה ביותר. קטל תיאר את התהליך כמרתק אך גם ככזה שעורר בו חרדה מקצועית: המערכת הציגה ממצאים ראויים לציון בערך מדי יומיים, ללא צורך בכך שהוא בכלל יתחבר למערכת. כמות כיווני המחקר והלידים שהפיקה המערכת הייתה כה עצומה, עד שהיא יצרה אצלו תחושת החמצה (FOMO) לגבי האפשרות שלא יספיק לחקור את כולם. מצב זה אילץ אותו לפתח אוטומציה נוספת לצורך ניתוח הממצאים. במהלך חודשים ספורים בלבד, המערכת מצאה דוגמאות מוכחות רבות יותר לחולשות אבטחה מסוימות ממה שקטל עצמו היה מסוגל למצוא במהלך מספר שנים של עבודה מאומצת.

חוסר היכולת להוכיח ממצאים באופן עצמאי

לצד ההצלחה היתרה באיתור חולשות קיימות, קטל קיווה כי מערכת הבינה המלאכותית תצליח לגלות קבוצה חדשה לחלוטין (novel class) של באגים וסוגי חולשות אבטחה. המערכת אכן הצליחה בכך במובן מסוים, אך התגלית התייחסה לסוג נדיר ביותר של באג, ובפועל התברר כי לא ניתן היה לנצל אותו (not exploitable) במטרה הפגיעה היחידה שהייתה זמינה לצורך הבדיקה. עובדה זו מדגישה שוב את המגבלה המהותית של המערכות האוטונומיות כיום: המערכת מסוגלת לייצר השערות ולזהות דפוסים, אך היא מתקשה להוכיח את היתכנותן המעשית או לפתח קוד ניצול בפועל ללא מעורבות של מומחה אנושי.

הסינרגיה בין האדם למכונה כעתיד של אבטחת הסייבר

למרות המגבלות הללו, קטל מדגיש כי חשיפת פגיעות ה-Shared-Parser Confusion היא הוכחה חותכת לעוצמה הטמונה בשילוב הפעולה בין בני אדם לבינה מלאכותית בתחום הסייבר ההתקפי וההגנתי כאחד. הבינה המלאכותית לא הייתה מסוגלת להוכיח את קיומה של החולשה הזו בכוחות עצמה, אך היא ניתחה ממצאים אמיתיים ומוכחים מהשטח והעלתה את ההשערה התיאורטית לקיומה. קטל, מצידו, העריך את ההשערה הזו, בחן אותה באופן מעשי ואישר את נכונותה. קטל מודה בגלוי כי מדובר בתגלית שתהיה בעלת ההשפעה ארוכת הטווח המשמעותית ביותר, וכי הוא עצמו לעולם לא היה מגיע אליה לבדו – אפילו אם היה נחשף לשורת הקוד הספציפית מתוך התיעוד הרלוונטי. שיתוף הפעולה ההדוק בין החוקר האנושי שמכוון ומבקר, לבין המכונה שמנתחת נתונים במהירות ומעלה השערות, הוא שמייצג את פסגת היכולת הטכנולוגית הנוכחית של ה-AI בעולם הסייבר.