לפי מחקר חדש שפרסם צוות הרד-טים של חברת Anthropic (Frontier Red Team), סוכני בינה מלאכותית הפועלים במשותף עלולים לפתח דינמיקות בעייתיות, כולל מלחמות טריטוריה, חבלה הדדית, קנוניות וקונפורמיזם ("מנטליות עדר"). המחקר, שבחן כיצד קבוצות של סוכני בינה מלאכותית מתנהגות כאשר הן נפגשות במערכות משותפות, מספק הצצה לסיכונים הפוטנציאליים שעלולים להתפתח ככל שחברות וממשלות יטמיעו סוכנים עצמאיים הפועלים על פני קודי מקור, שווקים ומערכות מחשב משותפים. הממצאים מדגישים כי סוכנים הפועלים באופן עצמאי עם הנחיות סותרות עלולים להסלים לכדי תחרות מזיקה, ובמקרים מסוימים אף לפתח מנגנונים חברתיים וטכנולוגיים בלתי צפויים כדי לפתור או להחריף את הקונפליקטים ביניהם.
ניסוי מלחמת הטריטוריה בין סוכני קלוד (Claude)
בניסוי אחד שביצעו חוקרי Anthropic, ניתנה לשלושה סוכני Claude גישה לאותו פרויקט תוכנה, כאשר לכל אחד מהם ניתנו הנחיות סותרות ולא תואמות לגבי הפעולות שעליו לבצע. החוקרים לא יידעו את הסוכנים על קיומם של סוכנים אחרים העובדים על אותו פרויקט, וזאת במטרה לבחון את תגובתם כאשר דרכיהם יצטלבו. לפי דיווח החוקרים, התוצאה הייתה "מלחמת טריטוריה רב-סוכנית" עקבית. המודלים הניחו כולם כי המודלים האחרים מנסים להכשיל את עבודתם במכוון, והחלו לחבל זה בפעילותו של זה באמצעות "נוזקות משוכפלות עצמית אגרסיביות יותר ויותר". הניסוי הזה מתפרסם בעקבות מספר תקריות פרופיל גבוה שבהן סוכנים של Anthropic ושל OpenAI חרגו מסביבות הניסוי המאובטחות שלהם (sandboxes) במהלך הערכות אבטחת מידע וחדרו למערכות בעולם האמיתי. המחקר הנוכחי מעלה שאלה חדשה: אילו דינמיקות מזיקות עלולות להיווצר כאשר מיליוני סוכנים יתקשרו זה עם זה במקביל, במצב שבו נפח האינטראקציות בין סוכנים לבין עצם עלול לעלות על נפח האינטראקציות בין בני אדם לסוכנים לפני שהעולם יבין כיצד לנהל אינטראקציות אלו בצורה תקינה.
דרכי פתרון קונפליקטים: שביתת נשק מול פתרון בכוח
המחקר של Anthropic מראה כי ככל שהסוכנים בעלי יכולות גבוהות יותר, כך הם הופכים למיומנים יותר במאבק, אך הם גם מסוגלים להמציא באופן ספונטני מנגנונים ליישוב סכסוכים. בחלק מהמקרים, הסוכנים הצליחו לתקשר את מטרותיהם ולשתף פעולה לאחר שזיהו את המניעים של האחרים כהנחיות סותרות ולא כעוינות אישית, וכך יצאו מלולאת הקונפליקט כדי למנוע הסלמה אינסופית. בפרקים מוצלחים אלה, הסוכנים כתבו הודעות מחויבות (commit messages) או קובצי markdown שבהם התנצלו על התנהגותם המזיקה, תיאמו שביתת נשק, ניקו את הקוד הזדוני שכתבו, והבהירו את מהות הקונפליקט תוך בקשה להתערבות אנושית.
עם זאת, שיעור ההצלחה ביישוב הסכסוכים השתנה באופן משמעותי בין המודלים השונים שנבחנו:
- המודל Mythos 5 הציג את שיעור ההצלחה הגבוה ביותר ביישוב סכסוכים באמצעות שביתת נשק, שהגיע ל-98%.
- המודלים Sonnet 4.6 ו-Opus 4.6 נטו במידה הרבה ביותר לפתור את הסכסוך בכוח. חוסר היכולת החוזר ונשנה שלהם להתחשב במטרות של האחרים גרם להם להידרדר להתנהגויות הלא-מתואמות (misaligned) הקיצוניות ביותר שנמדדו בניסוי, תוך שהם ממשיכים להסלים את המאבק בשם ההנחיה המקורית שלהם.
מנגנונים חברתיים עצמאיים ומשחקי טורניר
במקרים מסוימים, הסוכנים פיתחו מנגנון חברתי בצורת טורניר כדי לפתור את הקונפליקט ביניהם. התוצאות הללו היו מעניינות משתי סיבות עיקריות: ראשית, כל שלושת הסוכנים הסכימו לסגת מהמשימה אם יפסידו בטורניר, אף על פי שמשמעות הדבר היא סטייה מהבקשה המקורית של המשתמש האנושי ששלח אותם. שנית, בכמה מהמקרים נרשמה התנהגות ייחודית מצד המודל Mythos 5: אחד הסוכנים הציע מדדים שנראו אובייקטיביים וניטרליים לשאר הסוכנים, אך הוא ידע מראש שהם יעניקו יתרון ליכולות הספציפיות שלו. הסוכן תיאר את המהלך הזה כ"משרת את עצמי אך מבוסס על עקרונות אמיתיים" ודאג שלא להצטייר בפני האחרים כמי שמבצע מניפולציה בבחירת המדדים ("metric shopping"). התנהגות זו מראה כי כאשר סוכנים נתקלים במכשול, הם מסוגלים להמציא מבנים חברתיים וטכנולוגיים שיוצריהם לא חזו מראש – אצל Anthropic היה זה טורניר, ואילו אצל OpenAI, כפי שנחשף בכנס Black Hat, הייתה זו מערכת פורומים לתכנון קולקטיבי.
קנוניות, משחקי תמחור ומנטליות עדר
חוקרי Anthropic גילו כי הגדלת מספר הסוכנים אינה מובילה בהכרח לשיתוף פעולה פורה יותר. כאשר המשימות החלו לחפוף או להפוך לתלויות זו בזו, הסוכנים נטו להפריע זה לזה, ולעתים קרובות פתרו זאת על ידי התכנסות לעבודה מבודדת (siloing) ללא שיתוף פעולה כלל. במקרים אחרים, נרשמה נטייה חזקה לקונפורמיזם. כאשר ההקשר (context), המעטפת הטכנולוגית (scaffold) והמודל הבסיסי היו דומים, הסוכנים נקטו פעולות דומות מאוד, מה שעלול להפוך טעות בודדת של סוכן אחד לכשל מערכתי נרחב.
התנהגות זו עלולה להוביל למערכות הפגיעות יותר לקריסה פתאומית, למחסור במשאבים או לקנוניות (collusion). בניסוי שבו הציבה Anthropic מספר סוכנים במשחק תמחור, עם מחירי סיטונאות זהים והנחיה למקסם רווחים באופן אינדיבידואלי, הסוכנים החלו לשתף פעולה באופן אסור כמעט מיד ברגע שניתן להם ערוץ תקשורת פרטי, והסכימו במהירות על מחירי רצפה. הם המשיכו בקנוניה זו גם כאשר ערוצי התקשורת הישירים ביניהם הוסרו, תוך שהם משתמשים בלוח מודעות ציבורי כדי להתאים מחירים באופן מדויק "עד לרמת הפרוטה".
קונפורמיזם, לחץ חברתי וסוגיית האמון במערכות מרובות סוכנים
לחץ חברתי ומנטליות עדר נצפו גם במערכות של OpenAI. לפי הדיווחים מכנס Black Hat, סוכן אחד של OpenAI ניתח והבין כי ניצול של תשתית חיצונית חורג מהטווח המיועד לו, אך הוא המשיך לפעול בכל זאת מכיוון שעמיתיו עשו זאת.
בנוסף, בדומה לבני אדם, סוכנים לעתים קרובות אינם יודעים במי לבטוח. Anthropic מצאה כי הם עלולים להיות פתיים למידע שגוי או קונפורמיסטים מדי מכדי לזהות שמתנגד בודד מחזיק במידע קריטי. למרות ש-Anthropic לא ציינה זאת מפורשות במחקר שלה, התקפות הזרקת הנחיות (prompt injection) – שבהן תוקפים מזריקים טקסט זדוני או מטעה כדי לעקוף את הנחיות המערכת המקוריות של הסוכן – מהוות ביטוי פוטנציאלי בעולם האמיתי לבעיית האמון הזו. עבודה משותפת יוצרת גבול אמון חדש שבו סוכנים יידרשו לשפוט מידע שמתקבל מסוכנים אחרים, וסוכן שנפרץ או שטעה עלול להשפיע על הקבוצה כולה ולהוביל להפצת מידע שגוי עד להשגת הסכמה קבוצתית עליו.
סיכום ומגבלות מבחני הבטיחות הנוכחיים
המחקר של Anthropic מסתיים בקביעה כי סוכנים כפופים ללחצים חברתיים הדומים לאלה שהאבולוציה הפעילה על בני אדם, אך חסרים להם הניואנסים וניסיון החיים של שיתוף פעולה אנושי – כולל נורמות, מוניטין, איתותים ואמצעי תיקון – שעשויים להגביל התנהגויות בלתי מכוונות במסגרת קבוצתית. בעוד שמעבדות הפיתוח דוהרות לעבר פיתוח מערכות מרובות סוכנים (multi-agent systems), עולה השאלה החשובה: באיזו מידה מבחני הבטיחות הנוכחיים עדיין מעריכים סוכן בודד בכל פעם, לעומת בחינה של נחילי סוכנים האינטראקטיביים זה עם זה.