האם מודלי שפה גדולים מסוגלים לשפוט קשרים סיבתיים באופן אמין? מבחן T3 החדש, שפותח לבחינת חשיבה אמינה, בודק זאת לעומק. הכלי כולל 454 כרוניקות שנבחרו בקפידה על ידי מומחים, ומתמקד בניתוח כשלים מדויק. הוא מפרק את הביצועים לשלושה מרכיבים: תועלת (רגישות), בטיחות (ספציפיות) והסתייגות חכמה במקרים לא מוגדרים. לפי החוקרים, מבחן T3 חושף פתולוגיות ייחודיות במודלים מתקדמים. (72 מילים)
מבחן T3 בוחן את מודלי השפה על פי סולם הסיבתיות של ג'ודעון פרל, שכולל שלוש רמות: קישורים (L1), התערבויות (L2) וקבוצות נגד עובדתיות (L3). במודלים כמו Claude Haiku, שנערכו לכיוון בטיחות, מתגלה 'מלכודת הספקנות' ברמה L1: המודל דוחה 60% מהקישורים התקפים. זוהי בעיה שמונעת מהמודל לזהות קשרים סיבתיים פשוטים בגלל נטייה יתר להסתייגות. החוקרים מדווחים כי זהו כשל שיטתי במודלים מותאמים לבטיחות. (92 מילים)
ברמה הגבוהה L3, מתגלה פרדוקס מדהים: מודל GPT-5.2 הגדול יותר מפגר אחרי GPT-4-Turbo ב-55 נקודות בשאלות קבוצות נגד עובדתיות לא חד משמעיות. הסיבה אינה הזיות, אלא קריסה לפרליזה – הסתייגות יתר שגורמת למודל להימנע מתשובות נחרצות. זהו 'פרדוקס ההגדלה הלא-מונוטונית', שבו גודל גדול יותר לא מביא לשיפור. מבחן T3 מאפשר זיהוי מדויק של בעיות אלה. (85 מילים)
לסיום, החוקרים בדקו פרוטוקול מאומת תהליכית בשם RCA, שמשחזר שיפוט סיבתי נחרץ באמצעות אימות מובנה. מבחן T3 אישר כי הפרוטוקול משפר את הביצועים באופן משמעותי. זה מצביע על כך שבעיות השיפוט ניתנות לתיקון באמצעות שיטות מובנות. בהקשר ישראלי, שיפוט סיבתי מדויק חיוני לפיתוח מערכות AI בתעשיות כמו רפואה ופיננסים, שבהן טעויות סיבתיות עלולות להיות יקרות. (82 מילים)
מה המשמעות לעסקים? מנהלי טכנולוגיה צריכים לבחון מודלים חדשים במבחנים כמו T3 לפני שילובם ביישומים קריטיים. השימוש בכלים כאלה ימנע כשלים יקרים ויאפשר החלטות מבוססות יותר. האם המודלים שלכם עמידים לבדיקת T3? (48 מילים)