בעידן שבו מודלי שפה גדולים רב-מודליים (MLLMs) כובשים את עולם הבינה המלאכותית, הבעיה של 'הזיות' – יצירת מידע שגוי – ממשיכה להוות אתגר מרכזי. שיטת Direct Preference Optimization (DPO) הראתה פוטנציאל גבוה בהפחתת הזיות אלה, אך גישות קיימות סובלות מ-overfitting עקב חוסר איזון בקושי של נתוני ההעדפות. מחקר חדש מציג את DA-DPO, מסגרת יעילה שמאזנת את תהליך הלמידה ומשפרת את היכולת להתמודד עם הזיות מורכבות.
הבעיה המרכזית, לפי הניתוח במחקר, היא ש-MLLMs נוטים להדגיש זוגות העדפות קלים להבחנה, מה שמונע דיכוי מדויק של הזיות ומשפיע לרעה על הביצועים הכלליים. DA-DPO פותרת זאת באמצעות שני רכיבים עיקריים: הערכת קושי, שמשלבת מודלי ראייה-שפה קיימים עם יעדים גנרטיביים וקונטרסטיביים. הפלטים משולבים באמצעות אסטרטגיית הצבעה מודעת להפצה, ללא צורך באימון נוסף, ומייצרים ציוני קושי אמינים.
הרכיב השני הוא אימון מודע לקושי, שמשקלל מחדש את זוגות ההעדפות על פי רמת הקושי שלהם. דוגמאות קלות מקבלות משקל נמוך יותר, בעוד דוגמאות קשות מדגישות יותר, מה שמפחית overfitting ומאפשר אופטימיזציה יעילה יותר. המסגרת הזו מתמקדת בדוגמאות מאתגרות מבלי לדרוש נתונים חדשים או שלבי אימון נוספים, מה שהופך אותה לחסכונית בחישוב.
בניגוד לגישות קודמות, DA-DPO מציעה פתרון כולל שמשלב הערכת קושי ללא עלויות גבוהות ומשפרת את ההכללה על פני מגוון רחב של משימות. היא רלוונטית במיוחד לעסקים ישראליים המפתחים יישומי AI רב-מודליים, כמו עיבוד תמונות וטקסט משולבים, שבהם דיוק הוא קריטי. השיטה מתחרה ביעילות בשיטות מתקדמות ומציעה יתרון תחרותי.
ניסויים מקיפים מראים כי DA-DPO משפרת באופן עקבי את אופטימיזציית ההעדפות הרב-מודלית, מגבירה עמידות להזיות ומשפרת הכללה בבנצ'מרקים סטנדרטיים – והכל ביעילות חישובית גבוהה. עבור מנהלי טכנולוגיה, זה אומר כלי חזק יותר לבניית מודלים אמינים. כיצד תשלבו זאת בפרויקטי ה-AI שלכם?