בעידן שבו מודלי שפה גדולים (LLM) מייצרים טקסטים זורמים ומשכנעים, אפילו קוראים בעלי הכשרה לשונית מתקשים להבחין בין טקסט אנושי לטקסט שנוצר על ידי AI – ומסתמכים יתר על המידה על מראה חיצוני תקין. מחקר חדש ב-arXiv בוחן האם זיהוי כזה ניתן להפוך לכישור נלמד, באמצעות כיול מבני. החוקרים מציגים את LREAD, סולם הערכה המושתת על תקני כתיבה קוריאניים לאומיים ומתאים לאיתור טקסטים שנוצרו על ידי LLM, תוך התמקדות בארטיפקטים מיקרו-לשוניים כמו אופציונליות בפיסוק, התנהגות רווחים ושינויי רגיסטר.
בפרוטוקול ניסויי עיוור ארוך טווח בשלושה שלבים עם סטודנטים למדעי הלשון הקוריאנית, השלב הראשון מדד זיהוי אינטואיטיבי בלבד – עם דיוק של 60% בלבד בהצבעת הרוב. בשלב השני, הנבדקים נדרשו להשתמש בניקוד לפי קריטריונים עם הצדקות מפורטות, ובשלב השלישי נבחנה שליטה ממוקדת בתחום על חיבורים יסודיים חדשים. לאורך השלבים, דיוק ההצבעה עלה ל-100%, לצד הסכמה בין-מבקרים חזקה יותר (מקדם פלייס קאפה מ--0.09 ל-0.82).
בהשוואה למגלי LLM מתקדמים, בני אדם מכוילים מסתמכים יותר על אבחונים מיקרו-לשוניים ספציפיים לשפה, שאינם נלכדים היטב על ידי הנחות דיסקורסיביות גסות של כלי AI. הממצאים מראים כי שיפוט מומחים מגובה בסולם יכול לשמש כתוספת פרשנית אמינה למגלי AI אוטומטיים, במיוחד בשפות לא-אנגליות כמו קוריאנית.
למנהלי עסקים ישראלים, המחקר מצביע על פוטנציאל דומה לעברית: סטנדרטים לשוניים מקומיים יכולים לשמש בסיס לכיול מומחים לזיהוי תוכן AI בתחומים כמו שיווק דיגיטלי, תוכן משפטי או חינוך. זה מאפשר גישה היברידית – שילוב שיפוט אנושי מדויק עם כלים אוטומטיים.
החוקרים פרסמו את סולם LREAD המלא ואת טקסונומיה של סימני זיהוי מכוילים. האם הגיע הזמן לפתח גרסה עברית? עסקים שמעוניינים באמינות תוכן צריכים לשקול כיול צוותים לשוניים כבר היום.