בעידן שבו מיליוני משתמשים מסתמכים על חיפושי גוגל לקבלת עצות רפואיות מהירות, גוגל נאלצה להסיר חלק מסיכומי הבריאות של AI Overviews לאחר חקירת הגרדיאן שחשפה מידע שגוי ומסוכן. החקירה גילתה כי התכונה הגנרטיבית של גוגל מספקת תשובות שגויות בראש תוצאות החיפוש, מה שעלול להטעות חולים קשים שיסיקו בטעות כי מצבם תקין. לפי הדיווח, גוגל השביתה שאילתות ספציפיות כמו 'מה הטווח התקין לבדיקות דם לכבד', בעקבות אזהרות מומחים שזיהו סכנה ממשית.
החקירה של הגרדיאן הדגישה טעות קריטית בנוגע לסרטן הלבלב: סיכומי הבריאות AI של גוגל המליצו להימנע ממזון שומני, המלצה שסותרת את ההנחיות הרפואיות המקובלות לשמירה על משקל ובריאות החולה. למרות זאת, גוגל השביתה רק שאילתות הקשורות לבדיקות כבד, והשאירה תשובות מזיקות אחרות זמינות. מומחים שדוברו עם העיתון הזהירו כי מידע כזה עלול להוביל חולים לוותר על מעקב רפואי הכרחי.
בחיפושים על נורמות בדיקות כבד, סיכומי הבריאות AI של גוגל הציגו טבלאות נתונים גולמיות של אנזימים כמו ALT, AST ופוספטאז אלקליין, ללא הקשר חיוני. התכונה לא התאימה את הנתונים לגורמים דמוגרפיים כמו גיל, מין ועדתיות, מה שגורם להגדרת 'תקין' של המודל לשקף לעיתים סטנדרטים רפואיים שונים. לפי המומחים, חולים עם בעיות כבד חמורות עלולים להאמין בטעות שהם בריאים ולדלג על טיפול.
המקרה מדגיש בעיות יסודיות בשימוש ב-AI בתחום הבריאות, במיוחד כשמדובר במידע רגיש שמשפיע על חיי אדם. גוגל, שמקדמת את AI Overviews ככלי חדשני לחיפושים, נתקלת ביקורת חוזרת על אי-דיוקים, מה שמעלה שאלות על אמינות הטכנולוגיה. בעבר דווח על שגיאות דומות, אך הפעם ההשלכות הרפואיות הופכות את הבעיה לחריפה יותר, ומחייבות בחינה מחודשת של פרוטוקולי בטיחות.
מנהלי עסקים בתחום הבריאות הדיגיטלית ובטכנולוגיית AI צריכים לשקול את הסיכונים הללו בעת שילוב כלים דומים. האירוע מחזק את הצורך בפיקוח רגולטורי ובשקיפות גבוהה יותר מפלטפורמות כמו גוגל. מה תהיה ההשפעה על אמון הציבור ב-AI רפואי?