בעידן שבו רובוטים מבוססי AI אמורים להציל חיים, טעות אחת עלולה להיות הרת אסון. מחקר חדש ב-arXiv חושף כשלונות חמורים של מודלי שפה גדולים (LLM) בקבלת החלטות ברובוטיקה, במיוחד בסצנות קריטיות כמו פינוי אש. החוקרים מזהירים: אפילו דיוק של 99% מסוכן, שכן כשלון אחד בכל 100 ביצועים עלול לגרום נזק בלתי הפיך. המחקר מדגיש את הצורך הדחוף בבדיקות שיטתיות של ביצועי LLM בסביבות שבהן שגיאה קטנה הופכת לקטלסטרופלית.
החוקרים ביצעו הערכה איכותנית של תרחיש פינוי אש, שזיהתה מקרי כשל קריטיים. על בסיס זה, הם תכננו שבע משימות כמותיות, מחולקות לשלוש קטגוריות: מידע מלא, מידע חלקי והיגיון מרחבי ממוקד בטיחות (SOSR). משימות מידע מלא משתמשות במפות ASCII כדי לבודד היגיון מרחבי מעיבוד ויזואלי. משימות מידע חלקי בודקות ניחושים מול הזיות, ומשימות SOSR בוחנות החלטות בטוחות בתיאורי שפה טבעית. לפי הדיווח, משימות אלה חושפות פגיעויות בסיסיות במודלים מתקדמים.
בבנצ'מרקינג על LLM שונים ומודלי שפה-ראייה (VLM), התוצאות מדאיגות: מספר מודלים השיגו 0% הצלחה בניווט ASCII, ובסימולציית פינוי אש, הם הנחו רובוטים להתקרב לאזורים מסוכנים במקום ליציאות חירום. הניתוח חורג מביצועים ממוצעים ומדגיש את השלכות שיעור כשל של 1% – שגיאות 'נדירות' הופכות לקטלסטרופליות בסביבות פיזיות. החוקרים מדגישים כי דיוק גבוה אינו מבטיח בטיחות מוחלטת.
הממצאים מצביעים על חוסר מוכנות של LLM נוכחיים לשילוב ישיר במערכות בטיחותיות. בעוד שהמודלים מצטיינים במשימות כלליות, הם נכשלים בהיגיון מרחבי ובטיחות בסיסי. בהשוואה לחלופות, כמו אלגוריתמים מסורתיים, LLM מציעים גמישות אך חסרי ערבות בטיחות. בישראל, שבה תעשיית הרובוטיקה צומחת במהירות עם חברות כמו Mobileye ו-ReWalk, המחקר רלוונטי במיוחד למנהלי עסקים המתכננים אוטומציה.
לסיכום, המחקר קורא לשינוי גישה: אל תסמכו על LLM לבד במערכות קריטיות. מנהלים צריכים לשלב בדיקות נוספות, שכבות בטיחות היברידיות ופיקוח אנושי. האם עסקכם מוכן לכשלון של 1%? הגיע הזמן לבדוק מחדש אסטרטגיות AI.