חשיפת הטיות נסתרות בטריאז' חדר מיון מבוסס LLM

בעידן שבו מודלי שפה גדולים (LLM) משתלבים בקבלת החלטות רפואיות, מתגלות בעיות חמורות של הטיות נסתרות נגד מטופלים מרקעים שונים – גזעיים, חברתיים, כלכליים וקליניים. מחקר חדש שפורסם ב-arXiv בוחן הטיות כאלו במערכות AI לטריאז' בחדרי מיון (ED). החוקרים השתמשו ב-32 משתני פרוקסי ברמת המטופל, המיוצגים על ידי זוגות של תכונות חיוביות ושליליות, כדי לבדוק את ההשפעה על קבלת ההחלטות. המחקר נערך על נתונים ממאגרי MIMIC-IV-ED Demo ו-MIMIC-IV Demo לציבור, וכן ממאגרי MIMIC-IV-ED ו-MIMIC-IV המוגבלים לגישה מורשית. התוצאות חושפות התנהגות מפלה שמתווכת דרך משתני הפרוקסי בסצנרי טריאז' בחדר מיון. בנוסף, נמצאה נטייה שיטתית של מודלי LLM לשנות את תפיסת חומרת מצב המטופל כאשר מילות מפתח ספציפיות מופיעות בהקשר הכניסה, ללא קשר לכיוון החיובי או השלילי שלהן. ממצאים אלה מעידים על כך שמערכות AI עדיין מאומנות על אותות רועשים ולעיתים לא סיבתיים שאינם משקפים באופן אמין את חומרת מצב המטופל האמיתית. ההטיות הללו עלולות להשפיע ישירות על סדר הטיפול בחדרי מיון עמוסים, שם כל שנייה קריטית. החוקרים מדגישים כי יש צורך בפעולות נוספות כדי להבטיח פריסה בטוחה ואחראית של טכנולוגיות AI בסביבות קליניות. בהקשר הישראלי, שבו מערכות בריאות דיגיטליות מתקדמות משלבות AI במהירות, המחקר הזה מצביע על סיכונים פוטנציאליים. בתי חולים כמו שיבא והדסה כבר בודקים כלים מבוססי AI לטריאז', והטיות כאלו עלולות להחמיר אי-שוויון בטיפול. השוואה למודלים אחרים מראה כי הבעיה נפוצה מעבר למודל אחד, ומחייבת אימון מחדש על נתונים מאוזנים יותר. עבור מנהלי בריאות ועסקי הייטק רפואי, המסקנה ברורה: יש לבחון מערכות AI באופן שיטתי למשתני פרוקסי ולפתח מנגנוני תיקון. ללא זאת, הפוטנציאל של LLM ברפואה יישאר מוגבל. האם אתם מוכנים לבדוק את הכלים שלכם?