בעידן שבו מודלי שפה גדולים (LLMs) ומודלי שפה-ראייה (VLMs) צומחים במהירות בתחום הרפואה, שילוב פשוט של טקסט קליני ותמונות רפואיות אינו מבטיח חשיבה אמינה. מודלים רב-מודליים קיימים סובלים לעיתים מהזיות או שרשראות חשיבה לא עקביות, מה שפוגע באמון הקליני. חוקרים מציגים כעת מסגרת אבחון חדשה המבוססת על LLaVA, המשלבת יישור שפה-ראייה עם חשיבה מוסדרת לוגית. המערכת מבטיחה אבחון מדויק יותר ושרשראות חשיבה פרשניות.
המסגרת כוללת קודן קלט לטקסט ותמונות, מודול הקרנה ליישור בין-מודלי, בקר חשיבה שמפרק משימות אבחון לצעדים, ומחולל עץ לוגי שמרכיב הנחות צעד אחר צעד למסקנות ניתנות לאימות. לפי הדיווח, המערכת מתמודדת טוב יותר עם משימות רב-מודליות בכך שהיא מפחיתה אי-עקביות ומשפרת את השקיפות. זהו צעד משמעותי לקראת AI רפואי אמין יותר.
בבדיקות על MedXpertQA ומדדי ביצועים נוספים, השיטה משפרת את הדיוק באבחון ומספקת שרשראות חשיבה פרשניות יותר. היא נשארת תחרותית גם במשימות טקסט בלבד. התוצאות מראות ששילוב הלוגיקה עם מודלים רב-מודליים מאפשר חשיבה מבוקרת, שמקטינה הזיות ומגבירה אמון. החוקרים מדגישים כי זהו צעד מבטיח לעבר AI רפואי מהימן.
בהקשר רחב יותר, המסגרת הזו פותרת בעיה מרכזית ב-AI רפואי: חוסר השקיפות והאמינות. מודלים מסורתיים נוטים לייצר תשובות לא עקביות, במיוחד כשמערבים תמונות רפואיות כמו צילומי רנטגן לצד תיאורים קליניים. השיטה החדשה, על ידי פירוק המשימה לעצי לוגיקה, מאפשרת אימות צעד אחר צעד, מה שקריטי ליישומים קליניים. בישראל, שבה AI רפואי מתפתח במהירות, זה רלוונטי לבתי חולים ומערכות בריאות.
המסגרת מצביעה על עתיד שבו AI רפואי יהיה לא רק מדויק אלא גם שקוף ומבוקר. מנהלי עסקים בתחום הבריאות צריכים לשקול אימוץ טכנולוגיות כאלה לשיפור תהליכי אבחון. מה תהיה ההשפעה על שוק ה-AI הרפואי?