האם ניתן להפוך את חיזוי התנהגות הולכי רגל לחצייה ממשימה ספציפית לאתר למשהו כללי ונגיש? חוקרים מציגים את PedX-LLM, מסגרת מבוססת מודלי שפה גדולים (LLM) שמשלבת חזון ממוחשב וידע בתחום התחבורה. הפריצה הזו עשויה לשנות את כללי המשחק בבטיחות תנועה, במיוחד בעולם של רכבים אוטונומיים. לפי המחקר, המודל מגיע לדיוק מאוזן של 82%, גבוה משמעותית משיטות סטטיסטיות ולמידה מונחית מסורתיות.
PedX-LLM בנוי על בסיס דגם LLaMA-2-7B, שמתעדכן באמצעות Low-Rank Adaptation (LoRA). הוא משלב תכונות חזותיות שמופקות על ידי LLaVA – מודל חזון-שפה – יחד עם נתונים טקסטואליים וידע ספציפי לתחום התחבורה. השילוב הזה מאפשר למודל לעבור מחיפוש דפוסים מספריים להסקת מסקנות סמנטיות, מבוססות הקשר. המחקר מדווח על שיפור של 2.9% בדיוק הודות למודול החזותי, שתופס את סביבת הבנייה, ועוד 4.1% מהידע המקצועי.
בבדיקות, PedX-LLM השיג 82% דיוק מאוזן, ועקף שיטות מתחרות. כדי לבחון הכללה, ביצעו ולידציה חוצת-אתרים על חמש אתרים לא נראים. בגרסת zero-shot, המודל הגיע ל-66.9% דיוק – עלייה של לפחות 18 נקודות אחוז על פני שיטות נתונים מבוססות. עם למידה few-shot של חמישה דוגמאות בלבד מאתר ולידציה, הדיוק זינק ל-72.2%. התוצאות מוכיחות שהמודל מחקה לוגיקת החלטה אנושית ומתגבר על מגבלות שיטות נתונים טהורות.
למה זה משנה? שיטות קודמות נכשלו בהכללה לאתרים חדשים בגלל חוסר התאמה ספציפית. PedX-LLM מציע גישה חדשה: חשיבה מבוססת ידע והקשר ויזואלי. בישראל, שבה תאונות דרכים עם הולכי רגל נפוצות, הטכנולוגיה הזו רלוונטית במיוחד למערכות ניטור עירוניות ולרכבים אוטונומיים. היא מאפשרת פריסה מהירה ללא איסוף נתונים מקומי מסיבי.
השילוב בין חזון, טקסט וידע פותח דלתות ליישומים רחבים יותר בבטיחות תנועה ובאוטומציה. מנהלי עסקים בתחום התחבורה וה-AI צריכים לשקול איך לשלב מודלים כאלה בפיתוח מוצרים. האם זו ההתחלה של עידן חדש בחיזוי התנהגות אנושית?