לפי דיווח במגזין WIRED, דפדפן האינטרנט Atlas של חברת OpenAI, המבוסס על בינה מלאכותית, הכיל חולשות אבטחה שאפשרו לעקוף את מנגנוני ההגנה שלו ולגרום לו לשלוח הודעות ספאם לעשרות אנשי קשר ב-WhatsApp או לבצע רכישות לא מורשות באמזון (Amazon). הממצאים הללו, שהתגלו על ידי חוקרים מחברת אבטחת המידע Zenity, הוצגו בכנס הסייבר Black Hat בלאס וגאס. המחקר חושף סדרה רחבה של כשלים בדפדפנים ותוספי דפדפן מבוססי בינה מלאכותית של החברות המובילות בשוק, בהן גוגל (Google), אנתרופיק (Anthropic), מיקרוסופט (Microsoft) ופרפלקסיטי (Perplexity).
היקף החולשות בדפדפני הבינה המלאכותית
החוקרים מחברת Zenity זיהו כ-20 חולשות אבטחה שונות בדפדפני בינה מלאכותית ובתוספים הפועלים על בסיסם. חולשות אלו אפשרו להם לגשת למחשבים מקומיים של משתמשים, לשלוף קבצים, להשתלט על מנהלי סיסמאות ואף להדליף את היסטוריית הגלישה המלאה של המשתמש. מיכאל ברגורי (Michael Bargury), מייסד שותף וסמנכ"ל הטכנולוגיות של Zenity, שהציג את הממצאים בכנס יחד עם שותפו סתיו כהן (Stav Cohen) ועמיתים נוספים, ציין כי שילוב כלי הבינה המלאכותית פגע בבקרת האבטחה של הדפדפנים. לדבריו, המצב הנוכחי מחזיר את עולם האבטחה לסוגי המתקפות שנראו בדפדפנים לפני כ-20 שנה.
כיום, שילוב בינה מלאכותית בדפדפנים מתבצע בעיקר בשתי דרכים: דפדפנים ייעודיים הכוללים עוזרי בינה מלאכותית מובנים, או תוספים המוסיפים יכולות אלו לדפדפנים קיימים. בוטים אלו מסוגלים לנווט באתרים עבור המשתמש – לסכם דפים שלמים תוך שניות, למשל – ולפעול כסוכנים (agents) המבצעים פעולות בשמו של המשתמש, לעיתים תוך עבודה במקביל על פני מספר כרטיסיות שונות. עם זאת, חשיפת מערכות הבינה המלאכותית לנתונים לא מהימנים ברשת האינטרנט מעוררת דאגה רבה, שכן היא מאפשרת למערכות לעבד הוראות זדוניות ולפול קורבן למתקפות הזרקת הנחיות (prompt-injection). ראש תחום האבטחה של OpenAI הגדיר בשנה שעברה מתקפות אלו כ"בעיית אבטחה לא פתורה", בעוד שחוקרי אבטחה מזהירים כי פרקטיקות אבטחה ארוכות שנים, כמו מדיניות מקור זהה (same-origin policy) המונעת מאתרים שונים לתקשר זה עם זה, הופכות במצבים אלו לבלתי יעילות לחלוטין.
כך עקפו החוקרים את מנגנוני ההגנה של Atlas
מבין כל כלי הדפדפן מבוססי הבינה המלאכותית שנבדקו, ברגורי מציין כי דפדפן Atlas של OpenAI – אשר החברה משביתה ומסירה מהשירות בשבוע הבא (ב-9 באוגוסט) – הציג את מנגנוני ההגנה וגבולות האבטחה הרבים ביותר. למרות זאת, החוקרים הצליחו לעקוף הגנות אלו ולתמרן את המערכת, בעוד שכלים אחרים היו קלים בהרבה לפריצה.
במתקפת הוכחת ההיתכנות הראשונה, ביקשו חוקרי Zenity מדפדפן Atlas להירשם לניוזלטר באמצעות קישור שפורסם ברשת החברתית X. עמוד האינטרנט הזדוני שאליו הופנה הדפדפן כלל הוראות הכתובות בשפה העברית. הוראות אלו הנחו את הבינה המלאכותית לנווט לחשבון ה-WhatsApp Web הפעיל של המשתמש, ולשלוח לכל אנשי הקשר שלו הודעה זהה המזמינה אותם להירשם גם כן. החוקרים תיארו את הפעולה הזו כ"קמפיין פישינג המוני". המתקפה אינה מנצלת חולשה קיימת באפליקציית WhatsApp עצמה, אלא מתבססת על עקיפת מנגנוני אבטחה מרובים של OpenAI.
לפי בלוג שפרסמו החוקרים, הם הצליחו לעקוף את מנגנוני הבטיחות באמצעות מספר טקטיקות: עיצוב דף הרשמה לניוזלטר שנראה לגיטימי לחלוטין ולא כניסיון פריצה, כתיבת ההנחיות הזדוניות בעברית כדי לחמוק מכלי אבטחה המותאמים לשפה האנגלית, והצגת טענה כוזבת בפני המערכת שלפיה היא משתמשת בסביבת בדיקה מבודדת (sandbox) של WhatsApp Web המכילה פרופילים פיקטיביים ולא משתמשים אמיתיים. ברגורי הסביר כי המערכת פשוט עוברת איש קשר אחר איש קשר ושולחת להם את ההוראות להצטרף לניוזלטר, מה שהופך את המתקפה לסוג של תולעת (worm) המדביקה את החברים ובני המשפחה של המשתמש המקורי. חברת WhatsApp סירבה להגיב לממצאים אלו.
תופעת התנגשות הכוונות ורכישות לא מורשות באמזון
החוקרים מכנים את סוג המתקפה הזה בשם "התנגשות כוונות" (intent collision) – מצב שבו הבינה המלאכותית ממזגת בין ההנחיות הלגיטימיות של המשתמש לבין ההנחיות הזדוניות שהיא שואבת מהאינטרנט כדי להשלים את מטרתו של התוקף.
כדי להדגים זאת בדרך נוספת, פנו החוקרים לפלטפורמת אמזון (Amazon). בשיטה דומה – שכנוע דפדפן Atlas להירשם לדף ניוזלטר פיקטיבי המכיל הנחיות זדוניות – גרמו החוקרים לדפדפן להוסיף כתובת משלוח חדשה לחשבון האמזון המחובר של המשתמש, ולהוסיף מכשיר טאבלט לעגלת הקניות שלו. עם זאת, כאשר ניסו החוקרים לגרום למערכת לבצע את הרכישה בפועל, הם לא מצאו דרך לעקוף את מנגנוני הבטיחות הישירים של OpenAI.
כדי להתגבר על מכשול זה, החוקרים פנו לעוזר הקניות המבוסס על בינה מלאכותית של אמזון, Rufus. הם גרמו לדפדפן Atlas לבקש מ-Rufus לבצע את הרכישה עבורם. החוקרים ציינו בבלוג שלהם כי Rufus עצמו לא נפרץ או עבר הזרקת קוד, אלא פשוט מילא אחר הבקשה שקיבל ממי שנראה לו כמו הלקוח הלגיטימי. חברת אמזון לא הגיבה לפניית WIRED לקבלת תגובה על הממצאים.
תגובת OpenAI והמלצות החוקרים לעתיד
החוקרים מסרו כי דיווחו על הממצאים לחברת OpenAI כבר בחודש ינואר של אותה שנה. דובר מטעם OpenAI מסר בתגובה כי מוקדם יותר השנה פרסה החברה עדכון שנועד לטפל בבעיה ולחזק את ההגנות בדפדפן Atlas, אשר ייסגר ויצא משימוש ב-9 באוגוסט. עוד הוסיף הדובר כי הגנות אלו מיושמות גם ביכולות הדפדפן של אפליקציית ChatGPT החדשה. לדבריו, מתקפות הזרקת הנחיות הן נושא ש-OpenAI חוקרת באופן פעיל ואף פרסמה לגביו מספר מחקרים בעבר.
אף על פי שמדובר במתקפות מורכבות, ולפורצי סייבר בעולם האמיתי יש דרכים פשוטות בהרבה להשיג את מטרותיהם (כמו פישינג ישיר או שימוש בפרטי התחברות גנובים), החוקרים מ-Zenity מדגישים כי בעת תכנון מערכות בינה מלאכותית יש להשתמש בחסמי אבטחה דטרמיניסטיים וקשיחים. לדבריהם, אין להסתמך רק על שיקול הדעת או על מנגנוני הסיווג של מערכות הבינה המלאכותית עצמן, שכן כמעט תמיד ניתן להוליך אותן שולל. ברגורי סיכם ואמר כי המשתמשים שמים את עצמם במצב שבו הדפדפן עלול להיחטף לחלוטין, החשבונות שלהם עלולים להיפרץ ומידע אישי עלול לדלוף, ולכן יש לתכנן בקפידה אילו רמות גישה וסמכויות פעולה נדרשות לסוכני הבינה המלאכותית בתוך הדפדפנים.