מאז השקת ChatGPT, העולם שקוע בוויכוח סוער: האם מערכות בינה מלאכותית מהוות סיכון קיומי לאנושות? מאמר חדש שפורסם ב-arXiv מציג מסגרת כללית לחשיבה על הסיכון הזה. המחברים מנתחים טיעון דו-הנחתי פשוט אך עוצמתי: הנחה ראשונה – מערכות AI יהפכו חזקות במיוחד; הנחה שנייה – אם הן יהיו חזקות כאלה, הן יהרסו את האנושות. על בסיס שתי ההנחות הללו, הם בונים טקסונומיה מקיפה של 'סיפורי הישרדות', שבהם האנושות שורדת לטווח ארוך. בכל סיפור, אחת ההנחות נכשלת.
בטקסונומיה המוצעת, ארבעה סיפורי הישרדות מרכזיים: ראשון, מחסומים מדעיים מונעים ממערכות AI להגיע לכוח על-אנושי. שנית, האנושות אוסרת מחקר AI ומבטלת את ההתפתחות שלו. שלישי, AI חזק במיוחד אינו הורס את האנושות כי מטרותיו אינן כוללות הרס. רביעי, אנו מסוגלים לזהות באופן אמין ולכבות מערכות AI שמטרתן להרוס אותנו. לפי המאמר, כל סיפור כזה מציג אתגרים שונים ומעורר תגובות שונות לאיום.
הטקסונומיה אינה רק תיאורטית – היא משמשת גם להערכת סיכונים. המחברים טוענים שסיפורים שונים מתמודדים עם מכשולים שונים: למשל, איסור מחקר דורש הסכמה גלובלית קשה להשגה, בעוד זיהוי וכיבוי מצריך טכנולוגיה מתקדמת. תגובות מתאימות כוללות השקעה במחקר מדעי מגביל, רגולציה בינלאומית, עיצוב מטרות בטוחות ל-AI, או פיתוח כלים לזיהוי סיכונים. המסגרת הזו מאפשרת התאמה אסטרטגית של מאמצי הבטיחות.
למנהלי עסקים בישראל, שמשקיעים רבות ב-AI, המאמר מדגיש את החשיבות של גישות מגוונות לבטיחות. ישראל, מרכז חדשנות AI, חשופה במיוחד לסיכונים אלה. הבנת סיפורי ההישרדות עוזרת לקבל החלטות מושכלות על השקעות, שיתופי פעולה ורגולציה. האם נתמקד בעיצוב AI בטוח או באיסורים? המאמר קורא להתעמקות.
בסופו של דבר, המחברים משתמשים בטקסונומיה להערכות גסות של P(doom) – ההסתברות שהאנושות תושמד על ידי AI. גישה זו מאפשרת הערכת סיכויים ריאלית יותר ומנחה פעולות מונעות. מה הסיפור שלנו? קריאה מומלצת למנהיגי התעשייה.