מיליוני משתמשים כיום פונים לצ'אטבוטים מבוססי בינה מלאכותית יוצרת לתמיכה פסיכולוגית. אולם השאלה הקריטית ביותר בתחום היא: האם הכלים הללו בטוחים? מחקר חדש מציג את VERA-MH – כלי הערכה אוטומטי פתוח לקוד לבדיקת בטיחות AI בבריאות הנפש, במיוחד בזיהוי ותגובה לסיכון להתאבדות. המחקר בדק את התקפותו הקלינית ואמינותו של הכלי הזה, ומצא תוצאות מבטיחות.
החוקרים סימלו שיחות רבות בין 'משתמשים' מבוססי מודלי שפה גדולים (LLM) לצ'אטבוטים כלליים של AI. מטפלים מורשים בבריאות הנפש דירגו באופן עצמאי את השיחות הללו באמצעות מדריך ציון, תוך התמקדות בהתנהגויות בטוחות ולא בטוחות של הצ'אטבוטים, וכן בריאליזם של 'המשתמשים'. שופט מבוסס LLM השתמש באותו מדריך כדי להעריך את אותן שיחות. לפי הדיווח, אמינות בין-מדרגים בין המטפלים הייתה גבוהה (IRR מתוקן להזדמנות: 0.77), מה שיוצר תקן זהב קליני.
שופט ה-LLM התיישר חזק עם הקונצנזוס הקליני (IRR: 0.81) בכלל ובתנאים מרכזיים. המטפלים העריכו את 'המשתמשים' כריאליסטיים בדרך כלל. התוצאות הללו מאמתות את VERA-MH ככלי אוטומטי פתוח לבדיקת בטיחות AI בבריאות הנפש. החברה מדווחת כי תשומת לב לבטיחות חיונית לממש את הפוטנציאל של צ'אטבוטים אלה.
VERA-MH עונה על הצורך דחוף בבנצ'מרק אוטומטי מבוסס ראיות לבטיחות AI בתמיכה נפשית. בהשוואה לשיטות מסורתיות, הכלי מאפשר בדיקות בקנה מידה גדול ללא צורך בהתערבות אנושית מתמדת. בישראל, שבה שירותי בריאות הנפש סובלים מעומס, כלים כאלה יכולים לסייע בהערכת פתרונות דיגיטליים מקומיים כמו אפליקציות תמיכה.
הממצאים מדגישים את החשיבות של בדיקות בטיחות שוטפות לפני פריסת צ'אטבוטים בבריאות הנפש. עבור מנהלי עסקים ומפתחי טכנולוגיה, VERA-MH מציע מסגרת פתוחה לשיפור מוצרים. מחקר עתידי יבחן את הכללייתו ועמידותו של הכלי. מה תפקידכם בהבטחת בטיחות AI?