האם אפשר לסמוך על צ'טבוטים כמו ChatGPT בפסקי דין? מחקר חדש מ-arXiv בוחן כיצד להפוך מודלי שפה גדולים (LLMs) לאמינים לעבודה משפטית בסיכון גבוה, על ידי הפחתת 'הזיות' – המצאת עובדות שווא. החוקרים מבדילים בין שלוש פרדיגמות: מודלים גנרטיביים עצמאיים ('מקדש יצירתי'), מערכות RAG בסיסיות ('ארכיון מומחה') ומערכת RAG מתקדמת מיטבית ('ארכיון קפדן'). לפי הדיווח, רק הגישה השלישית מציעה אמינות גבוהה מספיק לשימוש מקצועי.
המחקר מציג שני מדדים חדשים לאמינות: שיעור ציטוטים שקריים (FCR) ושיעור עובדות מומצאות (FFR). נבדקו 2,700 תשובות בסגנון שיפוטי מ-12 מודלי LLM על פני 75 משימות משפטיות, בעזרת ביקורת כפולה-עיוורת של מומחים. מודלים עצמאיים נכשלים חרץ: FCR מעל 30%, מה שהופך אותם בלתי שמישים לעבודה מקצועית. מערכות RAG בסיסיות מפחיתות שגיאות משמעותית, אך עדיין סובלות מטעויות קרקוע שגויות.
מערכת RAG מתקדמת, המשלבת כוונון משובדים, דירוג מחדש ותיקון עצמי, מפחיתה את שיעור ההמצאות לרמה זניחה – מתחת ל-0.2%. החוקרים מדגישים כי ארכיטקטורות מבוססות השגה עם דגש על אימות וניתוב מאפשרות אמינות גבוהה. המחקר מספק מסגרת הערכה שניתן ליישם בתחומים בסיכון גבוה אחרים, כמו רפואה או פיננסים.
לעומת זאת, מודלים גנרטיביים עצמאיים דומים ל'מקדש יצירתי' – יצירתיים אך לא מדויקים. RAG בסיסי משמש כ'ארכיון מומחה', אך חסר עומק. הגישה המתקדמת, 'ארכיון קפדן', מבטיחה תוצאות שניתן לאמת. בישראל, שבה משרדי עורכי דין ומערכת המשפט מחפשים כלים דיגיטליים, זו הזדמנות לשדרוג תהליכים.
המסקנה: AI משפטי אמין דורש עיצוב ממוקד קפדנות, מבוסס השגה. מנהלי עסקים צריכים לשקול מעבר ל-RAG מתקדם כדי למנוע סיכונים. מה תהיה ההשפעה על התעשייה המשפטית בישראל?