בעידן שבו דגמי שפה-ראייה (VLMs) משיגים יכולות חשיבה מרשימות באמצעות למידה מחוזקת (RL), אתגר מרכזי ניצב בפני פיתוח דגמים גדולים מתפתחים עצמית (LVLMs): מחסור בנתונים רב-מודליים איכותיים, במיוחד בתחומים מיוחדים כמו כימיה, מדעי כדור הארץ ומתמטיקה רב-מודלית. שיטות קיימות כגון נתונים סינתטיים ומנגנוני תגמול עצמי נתקלות בקשיים של פיזור מוגבל וקושי ביישור, מה שמוביל ל'פריצת תגמולים' – מצב שבו הדגם מנצל דפוסים בעלי תגמול גבוה ומאבד גיוון ומשתנה באימון. מאמר חדש ב-arXiv מציג את DoGe (Decouple to Generalize), מסגרת כפולה-הפרדה שמכוונת את הדגמים ללמוד תחילה מהקשר במקום לפתור בעיות ישירות.
מסגרת DoGe מפרידה את תהליך הלמידה לשני רכיבים: 'מחשוב' (Thinker) ו'פותר' (Solver). בשלב הראשון, ה-Thinker בוחן חופשי את תרחישי ההקשר של הבעיה – תחומים שהושמטו בשיטות נתונים סינתטיים – ומאפשר כימות מדויק של אותות תגמול. בשלב השני, ה-Solver מיישם את הידע הזה לפתרון משימות מעשיות. גישה זו של אימון מחוזק פוסט-אימון בשני שלבים מבטיחה מעבר חלק מחקרון חופשי לפתרון ממוקד, ומפחיתה את הסיכון לקריסת האנטרופיה.
כדי להגביר את גיוון הנתונים, DoGe בונה צינור למידת תוכנית מתפתחת: מאגר ידע תחומי מורחב ומאגר בעיות זרע איטרטיבי שמתעדכן בהתמדה. ניסויים במגוון מדדי ביצועים מראים כי השיטה עולה על קווי הבסיס באופן עקבי, ומציעה נתיב מדרגי להשגת LVLMs מתפתחים עצמית. החוקרים מדווחים על שיפורים משמעותיים בתחומים דלים בנתונים, שבהם שיטות מסורתיות נכשלות.
משמעות DoGe עולה בקנה אחד עם הצורך הגובר בדגמי AI גמישים בתעשיות ישראליות כמו הייטק, ביוטק וכימיה תעשייתית, שבהן נתונים רב-מודליים נדירים. בהשוואה לשיטות סינתטיות, DoGe מפחיתה סיכוני יישור ומגבירה יציבות, מה שמאפשר אימון יעיל יותר ללא צורך במאגרי נתונים ענקיים. בישראל, שבה חברות כמו Mobileye ו-NVIDIA משקיעות בראייה ממוחשבת, גישה זו יכולה להאיץ פיתוח כלים מקומיים.
למנהלי עסקים, DoGe פותחת אפשרויות ליישום AI מתקדם בתחומים ספציפיים ללא השקעה כבדה בנתונים. השיטה מדגישה את החשיבות של למידה מבוססת הקשר, שיכולה לשפר החלטות עסקיות. האם זה הצעד הבא לעבר AI אוטונומי מלא? קראו את המאמר המלא ב-arXiv כדי להעריך את הפוטנציאל.