בעידן שבו AI רפואי מבטיח לשנות את עולם הרפואה, מחקר חדש חושף פרדוקס מדאיג: למידת חיזוק משפרת ביצועים על נצ'מרקים ספציפיים, אך פוגעת בהכללה למקרים אמיתיים. ChexReason, מודל שפה-ראייה מתקדם לניתוח תמונות רנטגן חזה, אומן רק עם 2,000 דגימות כוונון מונחה ו-1,000 דגימות RL על GPU A100 יחיד – ומציג תוצאות מפתיעות.
המודל ChexReason אומן בשיטת R1: כוונון מונחה (SFT) ואחריו אופטימיזציה GRPO. על בנצ'מרק CheXpert, GRPO השיג שיפור של 23% בביצועים, עם macro-F1 של 0.346. זאת בהשוואה למודלים מתחרים כמו NV-Reason-CXR-3B. המחקר מדגיש כי השיטה הזו יעילה מאוד במשאבים מוגבלים, ומאפשרת פיתוח מודלים רפואיים ללא צורך במשאבים ענקיים.
אולם, על בנצ'מרק NIH החיצוני, GRPO גרם לירידה של 19% בהעברת הידע. פרדוקס ההכללה: נקודת הבדיקה של SFT שיפרה ביצועים על NIH לפני האופטימיזציה ב-RL. זה מצביע על כך שלמידת חיזוק מתמקדת בתכונות ספציפיות למוסד אחד, ולא בתכונות כלליות יותר שמאפשרות הכללה.
השוואות בין מודלים מראות כי מבני חשיבה מובנים (structured reasoning) מסייעים למודלי VLM כלליים, אך תורמים מעט למודלים רפואיים מוכשרים מראש. לכן, כוונון מונחה ממורק עשוי להיות עדיף על RL אגרסיבי ביישומים קליניים הדורשים עמידות לאוכלוסיות מגוונות. הממצאים תקפים גם למודלים בקנה מידה גדול.
למנהלי עסקים בבריאות וטכנולוגיה רפואית, ChexReason מדגיש את הצורך באיזון בין אופטימיזציה לבנצ'מרקים לבין ביצועים אמיתיים. האם הגיע הזמן להעדיף כוונון מונחה על פני RL בשלבים קליניים? המחקר קורא לבחון מחדש אסטרטגיות אימון AI רפואי.