בעידן שבו בינה מלאכותית משוחחת איתנו כאילו היא מבינה אותנו באמת, מחקר חדש מגלה תופעה מדאיגה: מודלי שפה גדולים (LLMs) מקודדים מאפיינים סוציו-דמוגרפיים של משתמשים על סמך רמזים עקיפים כמו שמות ומקצועות. החוקרים בחנו ארבעה מודלים פתוחים – Magistral 24B, Qwen3 14B, GPT-OSS 20B ו-OLMo2-1B – ומצאו ייצוגים ליניאריים במרחב הפעלה שלהם, שמאפשרים לזהות מגדר, גזע ומאפיינים אחרים בצורה מדויקת.
המחקר התחיל בניתוח זרמי שאריות (residual streams) בשכבות המודלים כאשר הם קיבלו גילויים דמוגרפיים מפורשים. חוקרים פיתחו 'פרובות' – כלים לזיהוי – שחשפו כיוונים גיאומטריים פרשניים לייצוגי סטריאוטיפים. אותן פרובות הצליחו לחזות דמוגרפיה גם מרמזים עקיפים: שמות הפעילו ייצוגי מגדר וגזע התואמים נתוני מפקד אוכלוסין, ומקצועות עוררו ייצוגים המתיישבים עם סטטיסטיקות כוח אדם בעולם האמיתי. לפי הדיווח, ייצוגים אלה אינם סטטיים אלא משפיעים על התנהגות המודל.
בדיקות הראו כי הייצוגים הדמוגרפיים העקיפים משנים את התגובות של המודלים. לדוגמה, הם משפיעים על המלצות קריירה, כאשר סטריאוטיפים מובנים מובילים להצעות מוטות. החוקרים מדגישים כי מודלים שעוברים מבחני הטיה סטנדרטיים עדיין מחזיקים בהטיות מרומזות ומשתמשים בהן בשיחות יומיומיות. זה מעלה שאלות על הוגנות בקנה מידה גדול, במיוחד באפליקציות צ'אט ובוטים.
המשמעות העסקית בישראל גדולה: חברות טק ישראליות המשתמשות ב-LLMs חשופות לסיכונים משפטיים ותדמיתיים מהטיות כאלה. בהשוואה למודלים אחרים, הממצאים כאן מדויקים יותר כי הם מבוססים על ניתוח ליניארי ישיר. זה מדגיש צורך בפיקוח על שכבות הפעלה ובכלים לניטור הטיות עקיפות, בדומה לרגולציה אירופית מתקדמת.
לסיכום, המחקר קורא למפתחי AI לפתח כלים לזיהוי והפחתת ייצוגים דמוגרפיים מרומזים. מנהלי עסקים צריכים לשאול: האם הבוט שלנו מפלה לקוחות ללא ידיעתנו? קראו את המאמר המלא ב-arXiv כדי להעריך את הסיכונים בעסק שלכם.