בעולם הפיננסי המהיר, שבו גרפים, טבלאות ודיאגרמות מכילות מידע קריטי להחלטות עסקיות, חוקרים מציגים את PyFi – מסגרת חדשנית להבנת תמונות פיננסיות במודלי שפה-ראייה (VLMs). המסגרת מאפשרת למודלים אלה להיגע לרמות חשיבה מתקדמות דרך שרשראות שאלות מדורגות, מפשוטות למורכבות, ומשפרת את היכולת להתמודד עם אתגרי ויזואליה פיננסית. לפי המחקר, PyFi מביאה מהפכה בתחום עם דאטהסט ענק ומנגנון יצירה אוטומטי.
בבסיס PyFi ניצב דאטהסט PyFi-600K, הכולל 600 אלף זוגות שאלות-תשובות מאורגנים בפירמידת חשיבה: בשכבות התחתונות נדרשת רק זיהוי בסיסי, ואילו בשכבות העליונות – הבנה פיננסית מורכבת ומעמיקה. הדאטהסט נוצר ללא אנוטציות אנושיות, באמצעות PyFi-adv – מנגנון רב-סוכנים מתחרה תחת פרדיגמת חיפוש עץ מונטה קרלו (MCTS). סוכן מאתגר מייצר שרשראות שאלות שחודרות עמוק יותר ביכולות הוויזואליות הפיננסיות, בעוד סוכן פותח מנסה לפתור אותן, מה שיוצר תוכן איכותי ומדרגי.
המחקר מציג הערכות מקיפות ומדורגות של מודלי VLMs מתקדמים בתחום הפיננסי. בנוסף, אימון מחדש של Qwen2.5-VL-3B ו-Qwen2.5-VL-7B על שרשראות השאלות הפירמידליות מאפשר למודלים לפרק שאלות מורכבות לתת-שאלות עם דרישות חשיבה גוברות. התוצאות מרשימות: שיפור מדויקות ממוצע של 19.52% במודל ה-3B ו-8.06% במודל ה-7B על הדאטהסט. כל המשאבים – קוד, דאטהסט ומודלים – זמינים בגיטהאב של AgenticFinLab.
PyFi בולטת בכך שהיא מדרגית ומקיפה, ומאפשרת הערכה מדויקת של יכולות VLMs בפיננסים, תחום שבו ויזואליה מורכבת כמו דוחות כספיים וגרפי מניות דורשת שילוב של ראייה ושכלתנות פיננסית. בהשוואה למאגרי נתונים קיימים, PyFi מציעה מבנה היררכי ייחודי שמשקף תהליכי חשיבה אנושיים, ומפחיתה תלות באנוטציות יקרות. בישראל, שבה סקטור הפיננסים והפינטק משגשג, כלי כזה יכול לשפר ניתוחי סיכונים ותחזיות.
למנהלי עסקים פיננסיים, PyFi פותחת אפשרויות לשילוב AI מתקדם בכלים יומיומיים, כמו ניתוח אוטומטי של דוחות ויזואליים. עם שיפורי ביצועים משמעותיים באימון, חברות יכולות לפתח פתרונות מותאמים שמגבירים דיוק בקבלת החלטות. האם הגיע הזמן לשדרג את מערכות ה-AI שלכם להבנה פיננסית היררכית?