בעידן שבו מודלי שפה גדולים (LLM) צריכים להסתגל בזמן אמת לסביבות משתנות, חוקרים מציגים את Memento-II – מסגרת תיאורטית ללמידה רציפה ומניסיון. המסגרת משלבת זיכרון אפיזודי עם למידת חיזוק, ומזהה את הרפלקציה כמנגנון מרכזי המאפשר התאמה באמצעות אינטראקציה, ללא צורך בגב-פרופגציה או כוונון מודל. זה משחרר את ההפרדה המסורתית בין אימון להפעלה, ומבטיח יכולת למידה מתמשכת בעולם האמיתי.
המסגרת מתמקדת בתהליך Stateful Reflective Decision Process (SRDP), שמודל את הלמידה הרפלקטיבית כאינטראקציה דו-שלבית של קריאה וכתיבה עם הזיכרון האפיזודי. שלב הכתיבה מאחסן תוצאות אינטראקציות ומקביל להערכת מדיניות, בעוד שלב הקריאה מחזיר מקרים רלוונטיים מהעבר ומקביל לשיפור מדיניות. לפי החוקרים, תהליך זה יוצר תהליך קבלת החלטות מרקובי (MDP) שווה ערך על פני ייצוגי מצב מורחבים, מה שמאפשר שימוש בכלים קלאסיים מדינמיקת תכנות ולמידת חיזוק.
החוקרים מממשים את המסגרת באמצעות איטרציית מדיניות מווסתת אנטרופיה, ומבססים ערבויות התכנסות. ככל שהזיכרון האפיזודי גדל ומכסה מספיק את מרחב המצבים, המדיניות המתקבלת מתכנסת לפתרון האופטימלי. זה מספק בסיס עקרוני לסוכני מודלי שפה עם זיכרון מועשר ובסיס נתונים מבוסס חיפוש, המסוגלים להסתגל באופן רציף ללא עדכוני פרמטרים.
בהקשר רחב יותר, Memento-II מציעה חלופה למודלים מסורתיים הדורשים אימון מחדש יקר. היא משלבת בין זיכרון אפיזודי – בהשראת זיכרון אנושי – לבין אלגוריתמי RL, ומאפשרת התאמה דינמית. לעומת גישות אחרות כמו RAG או fine-tuning, כאן אין צורך בשינויי משקלות, מה שמפחית עלויות ומסכן פחות את היציבות של המודל הבסיסי.
למנהלי עסקים ישראלים בתחום ה-AI, המסגרת הזו פותחת אפשרויות ליישומים כמו צ'טבוטים לומדים או סוכני אוטומציה מתקדמים. עם התכנסות לטווח ארוך לפתרונות אופטימליים, היא מבטיחה השקעה כדאית. השאלה היא: האם זיכרון רפלקטיבי ממוסד יהפוך לסטנדרט חדש בסוכני LLM? קראו את המאמר המלא ב-arXiv כדי להעמיק.