מה מראה (ומה לא מראה) הגילוי האחרון של אנתרופיק?

מאמר זה הופיע במקור ב-"The Algorithm" (האלגוריתם), ניוזלטר הבינה המלאכותית השבועי של MIT Technology Review. חברת אנתרופיק (Anthropic), הנחשבת כיום לחברת הבינה המלאכותית בעלת השווי הגבוה בעולם, עם הערכת שווי של כמעט טריליון דולר, מחזיקה במוניטין של מי שמפרסמת מחקרים מוזרים ומורכבים במיוחד. החברה בוחנת, למשל, האם מודלים של בינה מלאכותית מסוגלים לחוש כאב, ולעיתים אף קוטעת שיחות עם צ'אטבוטים אם היא חושדת שהמשתמשים "מתעללים" במודל. נישה אחת שבה אנתרופיק משקיעה זמן וכסף רב יותר מחברות בינה מלאכותית אחרות מכונה "פרשנות מכניסטית" (mechanistic interpretability). משמעות הדבר היא התבוננות אל תוך המתמטיקה המורכבת של מודל הבינה המלאכותית כדי ללמוד מדוע הוא מגיע לפלט ספציפי אחד ולא לאחר. מדובר בנושא מורכב להפליא; ישנם מיליוני נקודות נתונים שעשויות לתרום לכל תוצאה שהיא, והניסיון לפלס דרך ביניהן יכול להיראות לעיתים קרובות יותר כמו גיבוב מילים מאשר משהו שימושי. התחום הזה הוא גם שנוי במחלוקת. תיאור של מודלי בינה מלאכותית באמצעות מונחים השאולים מעולמות הפסיכולוגיה וחקר המוח (נוירוסיינס) עלול לגרום להתנהגותם להיראות מתוחכמת בהרבה מכפי שהיינו מעריכים אותה בנסיבות אחרות. זו הסיבה שכאשר אנתרופיק הכריזה בשבוע שעבר כי מצאה "חלון" חדש אל תוך "המחשבות הפנימיות" של המודלים שלה בזמן שהם מנתחים ומנמקים את תשובותיהם, עלה הצורך לשוחח עם העורך הבכיר וויל דאגלס הבן (Will Douglas Heaven). מעבר לכך שיש לו תואר דוקטור במדעי המחשב, דאגלס הבן הקדיש זמן רב לחקירת מה שניתן לומר על האופן שבו מודלים של בינה מלאכותית פועלים בפועל. השיחה עמו מתמקדת במה שעלינו להבין וללמוד מתוך המחקר החדש והמוזר, כצפוי, של אנתרופיק.

גילוי מרחב ה-J: מה מצאה אנתרופיק בתוך המודל קלוד?

במשך מספר שנים מנסה חברת אנתרופיק להבין כיצד פועלים מודלי שפה גדולים (LLMs). אנתרופיק אינה היחידה שעוסקת בכך, אך נראה כי החברה הפכה את הנושא לחלק מרכזי ממשימת הליבה שלה יותר ממרבית החברות האחרות. מנכ"ל אנתרופיק, דאריו אמודיי (Dario Amodei), אף הצהיר בעבר כי לא נוכל לשלוט באופן מלא במודלי שפה גדולים אלא אם כן נלמד יותר על האופן שבו הם פועלים. המחקר החדש הזה משתלב בדיוק בהקשר הזה, והוא צולל עמוק יותר מאי פעם אל המנגנונים המשונים שבתוך מודלי השפה הגדולים. מה שאנתרופיק גילתה הוא שלמודלים אלו יש מרחב פנימי בתוכם – שאותו מכנה החברה "מרחב ה-J" (או J-space) – המלא במילים שאינן מופיעות בפלט הסופי שלהם, אך נראה כי הן משפיעות על הדרך שבה הם פותרים בעיות ומפצחים משימות. כל המרחב הזה נותר חבוי לחלוטין עד שאנתרופיק פיתחה טכניקה חדשה המאפשרת לבחון ולחקור את המודל שלה, קלוד (Claude), ולכן מדובר בגילוי אמיתי ומוכח. לעיתים, מילים אלו בתוך מרחב ה-J עוקבות אחר השלב שאליו הגיע מודל השפה הגדול בביצוע משימה מסוימת; לעיתים הן נראות יותר כמו "הבזקים של זיהוי" (למשל, המילה "חלבון" עשויה לצוץ לפתע כאשר מזינים למודל השפה רק את האותיות המרכיבות רצף חלבון כלשהו); ובמקרים אחרים הן מייצגות מעין פרשנות פנימית על תהליך קבלת ההחלטות של המודל. בדוגמה האהובה ביותר על דאגלס הבן, המודל קלוד החליט לרמות במבחן תכנות בדיוק כאשר המילה "panic" (פאניקה) הופיעה במרחב ה-J שלו. בנוסף לכך, אנתרופיק מצאה כי מודלי שפה גדולים מסוגלים לתאר ולבצע מניפולציות על המילים שנמצאות בתוך המרחב הזה. מכאן עולה כי הם משתמשים במרחב זה ומפיקים ממנו תועלת בדרך כלשהי במהלך פעולתם.

מדוע כה קשה להציץ אל תוך מודל שפה גדול?

אם נביט על התמונה הכוללת, מודלי שפה גדולים אינם פשוטים, אך הם גם אינם מעשה קסם. מדובר במערכת של חישובים מתמטיים הלומדת את מערכות היחסים והקשרים שבין מילים. אם כך, מדוע קשה כל כך להציץ אל תוך מודל שפה גדול ולדעת מה מתרחש בתוכו? אכן, המודלים אינם קסם, והעובדה שאיננו מבינים אותם במלואם מזינה את יצירת המיתוסים סביבם. ראוי לציין כי כל הנרטיב שאליו אנתרופיק מכוונת כאן – שהיא בנתה טכנולוגיה מסתורית ומורכבת ביותר, אך אל דאגה, היא גם זו שתפצח ותבין אותה – מתאים מאוד לאופי ולתדמית של החברה. הדבר דומה לאופן שבו הזהירה אנתרופיק בעבר כי המודלים החדשים שלה כל כך טובים בכתיבת קוד שהם מהווים סיכון אבטחת מידע גלובלי, רק כדי שממשלת ארצות הברית תסגור אותם זמן קצר לאחר מכן. מודלי שפה גדולים הם אכן מתמטיקה בלבד, אך מדובר במתמטיקה מורכבת ועצומה בקנה מידה אדיר. לא רק שמודלי השפה הגדולים של ימינו מורכבים ממאות מיליארדי מספרים, אלא שהפעלתם מפעילה שרשרת אדירה של מיליוני ומיליוני חישובים בו-זמנית. דאגלס הבן ציין בשנה שעברה כי אם היינו מדפיסים אפילו מודל שפה גדול בגודל בינוני על גבי דפי נייר, הוא היה מכסה עיר שלמה בגודלה של סן פרנסיסקו. בלתי אפשרי להבין או להעניק משמעות למתמטיקה הזו ללא כלים ייעודיים ומיוחדים המדגישים חלקים ספציפיים בתוך מודל השפה הגדול בזמנים מוגדרים. נדרש לדעת בדיוק היכן להסתכל וכיצד להסתכל, ובניית כלים מסוג זה דורשת הבנה מעמיקה של אותה מתמטיקה מורכבת מלכתחילה.

האנשת מודלי בינה מלאכותית והשוואה למוח האנושי

בכתיבתו של דאגלס הבן במקומות אחרים הוא התייחס לקונספט של חקירת מודלי שפה גדולים באופן הדומה לחקירת מוח של אורגניזם חי. האם זה הוגן להשתמש במונחים דמויי מוח כאשר מדברים על אופן הפעולה של מודל שפה גדול? העורך הבכיר מסביר כי הוא אינו אוהב להשתמש במונחים מסוג זה. מודלי שפה גדולים אינם מוחות אנושיים. שימוש במונחים כאלה הוא מטעה כיוון שהוא עלול לרמוז שמודלי שפה גדולים מסוגלים לבצע פעולות אנושיות יותר מכפי שהם באמת מסוגלים, או שאנו יכולים להניח הנחות לגבי האופן שבו הם עשויים להתנהג – הנחות שאסור לנו להניח. כל סוגיית ההאנשה (anthropomorphization) קשורה גם למגוון עמדות אידיאולוגיות חזקות לגבי מהותה של הטכנולוגיה הזו ומה שהיא עתידה להיות בעתיד. עם זאת, במקביל, חסר לנו אוצר מילים חלופי וטוב כדי לתאר את מה שהמודלים הללו עושים בפועל. ניתן להבין מדוע אנשים פונים ומשתמשים במילים כמו "לחשוב", "להבין" ו"דמוי מוח" – הן פשוט מהוות קיצור דרך נוח לתיאור התהליכים הללו. אנתרופיק משווה את המרחב החדש הזה שהיא גילתה בתוך מודלי השפה הגדולים למרחב שחלק מחוקרי המוח סבורים כי המוחות שלנו משתמשים בו כדי לעקוב אחר מחשבות מודעות. כשנשאלה החברה עד כמה ברצינות עלינו לקחת את ההשוואה הזו, היא מסרה בהצהרה רשמית: "ההקבלה הזו סייעה לנו בתכנון הניסויים שלנו, שכן היא אפשרה לנו להעלות תחזיות ניסוייות רבות שאינן מובנות מאליהן לגבי מרחב ה-J, אשר התבררו כנכונות. יחד עם זאת, חשוב לציין שישנם הבדלים מהותיים וחשובים בין מרחב ה-J (ומודלי שפה באופן כללי) לבין המוח האנושי, ולכן איננו מתכוונים לטעון שישנה התאמה מושלמת בין השניים".

יישומים מעשיים: האם מרחב ה-J יכול לפתור בעיות בבינה מלאכותית?

לגבי השאלה אילו בעיות בתחום הבינה המלאכותית עשוי הקונספט החדש של מרחב ה-J לפתור, באנתרופיק טוענים כי ניטור של מרחב ה-J עשוי להוות דרך לזהות ולתפוס מודלים כאשר הם מבצעים פעולות שאסור להם לעשות. כיוון שמילים צצות בתוך המרחב הזה מבלי שהן מופיעות בפלט הגלוי של המודל, הן יכולות לחשוף ולספר לנו דברים על ההתנהגות שלו שאולי לא היינו מבחינים בהם אחרת – כגון מקרים שבהם המודל מספק תשובות מוטות או כאשר הוא שוקל את היתרונות והחסרונות של רמאות במשימה. עם זאת, דאגלס הבן מדגיש כי זוהי התיאוריה בלבד. לדעתו, נכון וטוב יותר להתייחס לתוצאה מחקרית זו כאל צעד נוסף בלבד בנתיב הארוך להבנת הטכנולוגיה הזו באופן כללי, ולא כאל כלי שיהיה שימושי בפני עצמו בשלב זה.