ChatGPT וג'מיני נכשלו במבחן CSAT הקוריאני

בעידן שבו תלמידים משתמשים נרחב בכלי AI כמו ChatGPT להכנת מטלות ומבחנים, גוברת החרדה מפגיעה בשלמות אקדמית. מחקר חדש בדק את יכולות החשיבה המדעית הרב-מודליות של מודלי שפה גדולים מובילים, כולל GPT-4o, Gemini 2.5 Flash ו-Gemini 2.5 Pro, באמצעות מבחן מדעי כדור הארץ I ממבחן הכניסה לאוניברסיטאות הקוריאני (CSAT) לשנת 2025. התוצאות חושפות מגבלות יסודיות שמאתגרות את השימוש ב-AI בהערכה חינוכית. החוקרים עיצבו שלושה תנאי ניסוי: קלט דף מלא, קלט פריט בודד וקלט רב-מודלי מותאם. תוצאות כמותיות הראו ירידה דרמטית בביצועים עם קלטים לא מובנים, בעיקר בגלל כשלים בזיהוי תווים אופטי (OCR) ובפיצול. אפילו בתנאים מותאמים, המודלים נכשלו במשימות חשיבה מורכבות. לפי הדיווח, המודלים הצליחו בחלק מהחישובים, אך נכשלו בהפעלת מושגים מדעיים בסיסיים. ניתוח איכותי גילה דפוסי כשל מרכזיים: 'טעויות תפיסה' ששלטו, ה'פער תפיסה-הבנה' שבו המודלים זיהו אלמנטים ויזואליים אך לא פיענחו משמעויות סמליות בדיאגרמות, 'אי-התאמה חישוב-הבנה קונספטואלית' ו'הלוצינציה תהליכית' שבה המודלים דילגו על בדיקה ויזואלית והסתמכו על ידע רקע מוטעה אך סביר לכאורה. ממצאים אלה מדגישים את הצורך בשאלות 'עמידות ל-AI' שמנצלות חולשות אלה, כמו פער בין תפיסה להבנה, כדי להבדיל בין תגובות תלמידים אמיתיות לבין כאלה שיוצר AI. בישראל, שבה מערכת החינוך מתמודדת עם אתגרים דומים במבחני בגרות ומבחנים ממוחשבים, המחקר מציע כלים מעשיים למרצים ולמפתחי מבחנים לשמור על הוגנות. הלקח המרכזי: למרות התקדמות מהירה, AI עדיין רחוק מחשיבה אנושית אמיתית במדעים. מוסדות חינוך צריכים לאמץ אסטרטגיות חדשות להערכה, כמו שילוב אלמנטים ויזואליים מורכבים ותהליכים לוגיים עמוקים. מה תהיה ההשפעה על מבחני הבגרות בישראל?