ATLAS: חוקי קנה מידה מעשיים למודלים רב-לשוניים
מחקר

ATLAS: חוקי קנה מידה מעשיים למודלים רב-לשוניים

חוקרים מגוגל מציגים ATLAS – כלי חדשני לקביעת גודל מודל, נפח נתונים ותערובת שפות אופטימלית למודלים רב-לשוניים

4 דקות קריאה
מבוסס על כתבה שלGoogle Researchתרגום, סיכום והקשר עסקי על-ידי המערכתאיך אנחנו עובדים

תקציר מנהלים

נקודות עיקריות

  • ATLAS מבוסס על 774 ריצות אימון ב-400+ שפות ומספק חיזויים מדויקים לביצועים.

  • מטריצת העברה חושפת שפות משלימות כמו עברית לערבית או סוודית לנורווגית.

  • להכפלת שפות: הגדילו מודל ב-1.18 ונתונים ב-1.66.

  • כוונון עדין עדיף עד 144B-283B טוקנים; אחר כך אימון מחדש.

  • כלי פרקטי למפתחים לבניית מודלים גלובליים יעילים.

ATLAS: חוקי קנה מידה מעשיים למודלים רב-לשוניים

  • ATLAS מבוסס על 774 ריצות אימון ב-400+ שפות ומספק חיזויים מדויקים לביצועים.
  • מטריצת העברה חושפת שפות משלימות כמו עברית לערבית או סוודית לנורווגית.
  • להכפלת שפות: הגדילו מודל ב-1.18 ונתונים ב-1.66.
  • כוונון עדין עדיף עד 144B-283B טוקנים; אחר כך אימון מחדש.
  • כלי פרקטי למפתחים לבניית מודלים גלובליים יעילים.

בעולם שבו יותר מ-50% ממשתמשי מודלי AI מדברים שפות שאינן אנגלית, חסר כלי מדעי שמנחה בניית מודלים יעילים לשפות אלה. חוקרים מגוגל קלאוד וגוגל דיפמאיינד מציגים את ATLAS: חוקי קנה מידה רב-לשוניים מעשיים שמספקים הדרכה מדויקת להחלטות מפתח על גודל מודל, נפח נתונים ותערובת שפות. המחקר, שיוצג בכנס ICLR 2026, מבוסס על המחקר הציבורי הגדול ביותר עד כה – 774 ריצות אימון על מודלים מ-10 מיליון עד 8 מיליארד פרמטרים, כולל נתונים מ-400+ שפות והערכות ב-48 שפות.

ATLAS בוחן סינרגיות בין 1,400 זוגות שפות ומציע חוקי קנה מידה אדפטיביים להעברה בין-לשונית. בניגוד לחוקי קנה מידה מסורתיים שמתמקדים באנגלית, ATLAS מתאים לסביבות רב-לשוניות מורכבות וממזער את 'קללת הרב-לשוניות' – ירידה בביצועים עם כל שפה נוספת עקב מגבלות קיבולת. החוק כולל שלושה מרכיבים מרכזיים: מטריצת העברה בין-לשונית שמזהה שפות משלימות, חוק קנה מידה להרחבת גודל מודל ונתונים עם מספר שפות גובר, וכללים לבחירה בין אימון מחדש לבין כוונון עדין מנקודת בדיקה רב-לשונית.

המחקר השתמש במאגר MADLAD-400 לאימון מאות ניסויים רב-לשוניים, תוך חלוקת הנתונים לשלושה מקורות: שפת היעד, שפות העברה דומות (כגון ספרדית, פורטוגזית ואיטלקית לקטלאנית) ושאר השפות. ATLAS חוזה ביצועים על גודלי מודלים חדשים, נפחי נתונים משתנים ותערובות שפות חדשות, ומנצח על עבודות קודמות. בשש שפות לדוגמה – אנגלית, צרפתית, רוסית, סינית, הינדית וסווהילי – נצפו מסלולי קנה מידה דומים, אך עם 'מס קיבולת' לאימון רב-לשוני, במיוחד באנגלית.

מטריצת ההעברה מגלה תובנות אינטואיטיביות: נורווגית מועילה מסוודית וגרמנית, מלאית מאינדונזית, ערבית מעברית. אנגלית, צרפתית וספרדית הן השפות המועילות ביותר בשל איכות וריבוי טקסטים באינטרנט. הגורם החזק ביותר להעברה חיובית הוא שיתוף סקריפט ומשפחת שפה (p < 0.001). העברה אינה תמיד סימטרית, והנתונים הופכים השערות להחלטות מבוססות נתונים.

'קללת הרב-לשוניות' מפורמלת בחוק שמתחשב במספר שפות K, לצד גודל מודל N ונפח נתונים D. הוספת שפות גורמת למס קיבולת קל, אך עם העברה חיובית גבוהה. כדי לתמוך בפעמיים מספר שפות (2K), יש להגדיל גודל מודל ב-1.18 ונתונים ב-1.66, עם 83% נתונים בכל שפה. כך, הסינרגיות מפצות על פחות נתונים לכל שפה.

בנוגע לבחירה בין אימון מחדש לכוונון עדין, ATLAS קובע נקודת חיתוך: כוונון עדין מנקודת 'Unimax' רב-לשונית עדיף בתחילה, אך אימון מחדש עולה עליו לאחר 144B-283B טוקנים (תלוי שפה) במודלים של 2B פרמטרים. ככל שגודל המודל גדל, נקודת החיתוך עולה, ומספקת כלל אצבע מבוסס תקציב.

ATLAS מספק מפת דרכים למפתחים גלובליים לבניית מודלים רב-לשוניים יעילים יותר, תוך התאמה לנתונים זמינים ולשפות ספציפיות. זה מאפשר איזון אופטימלי בין יעילות, איכות ועלות, ומקדם מודלים המשרתים מיליארדי דוברי שפות שאינן אנגלית.

כיצד תיישמו זאת בפרויקט הבא שלכם? האם ATLAS ישנה את אסטרטגיית האימון שלכם?

שאלות ותשובות

שאלות נפוצות

הכתבה הוכנה על-ידי המערכת בליווי בינה מלאכותית: תרגום, סיכום והוספת הקשר עסקי ישראלי מתוך פרסום מקורי של Google Research. קראו על תהליך העריכה שלנו. קישור למקור המקורי.

אהבתם את הכתבה?

הירשמו לניוזלטר שלנו וקבלו עדכונים חמים מעולם ה-AI ישירות למייל

עוד מ־Google Research

כל הכתבות מ־Google Research
SymptomAI: סוכן בינה מלאכותית שיחתי להערכת סימפטומים רפואיים
מחקר
5 דקות
מ־Google Research

SymptomAI: סוכן בינה מלאכותית שיחתי להערכת סימפטומים רפואיים

מחקר לאומי ראשון מסוגו שנערך על ידי Google Research בוחן את ביצועיו של SymptomAI – מערך סוכני בינה מלאכותית שיחתיים מבוססי Gemini Flash 2.0 המיועדים לראיונות סימפטומים והערכת אבחנה מבדלת (DDx). המחקר, שהקיף 13,917 משתתפים, השווה את האבחנות המבדלות שהפיק הסוכן אל מול הערכות של פאנל רופאים מומחים ודיווחים מביקורים רפואיים בעולם האמיתי. הממצאים מראים כי קלינאים העדיפו את אבחנות הסוכן בלמעלה מ-50% מהמקרים, וכי דיוק המערכת השתפר משמעותית באמצעות אסטרטגיות הנחיה אקטיביות. בנוסף, המחקר הדגים מתאם מובהק בין אבחנות המערכת לבין שינויים באותות פיזיולוגיים שנמדדו במכשירי פיטביט לבישים.

קרא עוד
לקראת מחשב קוונטי הלומד משגיאותיו באמצעות למידת חיזוק
מחקר
5 דקות
מ־Google Research

לקראת מחשב קוונטי הלומד משגיאותיו באמצעות למידת חיזוק

חוקרי Google Quantum AI ו-Google Research הציגו בכתב העת Nature פריצת דרך המשלבת למידת חיזוק (RL) עם תיקון שגיאות קוונטי (QEC). החוקרים, וולודימיר סיבאק ופול קלימוב, פיתחו סוכן אוטונומי המנטר את אירועי גילוי השגיאות ומנווט ברציפות אלפי פרמטרי בקרה כדי למנוע סחיפה של החומרה בזמן החישוב. בניסוי על מעבד המוליך-על Willow, שיטה זו שיפרה את היציבות הלוגית פי 3.5 והפחיתה את שיעור השגיאות הלוגיות ב-20% נוספים לאחר כיול ידני של מומחים, מה שהוביל לרמות שגיאה נמוכות במיוחד בקוד משטח ובקוד צבע. סימולציות מוכיחות כי הגישה ניתנת להרחבה למערכות קוונטיות גדולות ללא פגיעה בקצב הלמידה.

קרא עוד
כיצד נוצרת היצירתיות של מודלי דיפוזיה? מחקר של Google Research
מחקר
4 דקות
מ־Google Research

כיצד נוצרת היצירתיות של מודלי דיפוזיה? מחקר של Google Research

בפוסט חדש מטעם Google Research, מדען המחקר ג'נגדאו צ'ן מציג ממצאים מתוך מאמר שהתקבל לוועידת ICLR 2026, המפענח את מקור ה'יצירתיות' של מודלי דיפוזיה. לפי המחקר, היכולת של המודלים הללו לייצר נתונים חדשים, במקום לשנן באופן עיוור את מאגר האימון שלהם, היא תוצאה מתמטית של תהליך החלקת פונקציית הציון (score smoothing). החלקה זו נגרמת באופן טבעי בשל השפעות רגולריזציה במהלך אימון הרשתות העצביות, המונעות מהן ללמוד פונקציות בעלות מעברים חדים במיוחד. כתוצאה מכך, המודל מייצר אינטרפולציה במרווחים שבין נקודות המידע המקוריות של האימון. בסביבה רב-ממדית, אפקט זה פועל בכיוונים המשיקים ליריעת הנתונים הנסתרת, וכך מאפשר להשיג איזון מדויק בין איכות הנתונים לבין היצירתיות שלהם.

קרא עוד
ניתוב תנועה שיתופי: פתרון Google Research לפקקים
מחקר
5 דקות
מ־Google Research

ניתוב תנועה שיתופי: פתרון Google Research לפקקים

מחקר מבוקר של Google Research (זרוע המחקר של גוגל) שפורסם בכתב העת Nature Cities מוכיח כי יישום אלגוריתם של ניתוב תנועה שיתופי באפליקציית Google Maps מביא לשיפור של 2% במהירות הנסיעה בצווארי בקבוק מרכזיים. בניסוי שנמשך שישה חודשים ב-10 ערים בארצות הברית, החוקרים נהה ארורה ואבודי קריידיה הציגו מסלולים חלופיים דומים לנהגים, והסיטו בפועל פחות מ-2% מכלל הנסיעות. למרות השינוי המינורי, נרשמה ירידה חציונית של 0.5% עד 1% בצריכת הדלק במקטעים הממוקדים ועלייה חציונית של 0.35% במהירות הנסיעה ברשת כולה. המחקר מבסס מודל יישומי ראשון מסוגו לניהול עומסים מערכתי.

קרא עוד

עוד כתבות שיעניינו אותך

לכל הכתבות
SymptomAI: סוכן בינה מלאכותית שיחתי להערכת סימפטומים רפואיים
מחקר
5 דקות
מ־Google Research

SymptomAI: סוכן בינה מלאכותית שיחתי להערכת סימפטומים רפואיים

מחקר לאומי ראשון מסוגו שנערך על ידי Google Research בוחן את ביצועיו של SymptomAI – מערך סוכני בינה מלאכותית שיחתיים מבוססי Gemini Flash 2.0 המיועדים לראיונות סימפטומים והערכת אבחנה מבדלת (DDx). המחקר, שהקיף 13,917 משתתפים, השווה את האבחנות המבדלות שהפיק הסוכן אל מול הערכות של פאנל רופאים מומחים ודיווחים מביקורים רפואיים בעולם האמיתי. הממצאים מראים כי קלינאים העדיפו את אבחנות הסוכן בלמעלה מ-50% מהמקרים, וכי דיוק המערכת השתפר משמעותית באמצעות אסטרטגיות הנחיה אקטיביות. בנוסף, המחקר הדגים מתאם מובהק בין אבחנות המערכת לבין שינויים באותות פיזיולוגיים שנמדדו במכשירי פיטביט לבישים.

קרא עוד
פער ההערכה של סוכני AI: פריסה לייצור למרות כשלים מול לקוחות
מחקר
4 דקות
מ־VentureBeat

פער ההערכה של סוכני AI: פריסה לייצור למרות כשלים מול לקוחות

מחקר חדש של VentureBeat Pulse Research חושף כי קיים פער עמוק בין האוטונומיה המוענקת לסוכני AI לבין האמון במערכות הבדיקה שלהם. מחצית מהארגונים שנשאלו כבר השיקו סוכן שעבר את ההערכות הפנימיות אך כשל בפני לקוח בסביבת הייצור, ורק 5% סומכים באופן מלא על הערכות אוטומטיות כיום. למרות זאת, 66% מהארגונים מאפשרים או פועלים לאפשר פריסה אוטומטית לחלוטין ללא מעורבות אנושית. השוק מבוזר מאוד ורבים מתכננים להחליף פלטפורמות בשנה הקרובה.

קרא עוד
אורקסטרציה של סוכני בינה מלאכותית בארגונים: פער בין שאיפות למציאות
מחקר
5 דקות
מ־VentureBeat

אורקסטרציה של סוכני בינה מלאכותית בארגונים: פער בין שאיפות למציאות

סקר חדש של VentureBeat Pulse Research מיוני 2026 חושף פער עמוק בארגונים בין השאיפות לניהול סוכני בינה מלאכותית (AI) לבין המציאות בשטח. לפי הסקר, שנערך בקרב 101 ארגונים, קיים תהליך התגבשות סביב פלטפורמות של ספקי מודלים, ובראשן Claude של Anthropic (המובילה עם 40% מההטמעות), בעוד הבחירה מונעת מ'כוח המשיכה' של מודל הבסיס. עם זאת, בעוד ארגונים מגדירים הצלחה לפי ביצוע אמין של תהליכים מרובי-שלבים, 71% מהם מדווחים בכנות כי רבע או פחות מהסוכנים המוטמעים שלהם בפועל הם אכן מרובי-שלבים, ומרביתם הם רק מעטפות צ'אטבוט פשוטות. בנוסף, 27% מהארגונים חסרים בקרה פיננסית בזמן אמת על עלויות צריכת האסימונים של הסוכנים.

קרא עוד
כיצד נוצרת היצירתיות של מודלי דיפוזיה? מחקר של Google Research
מחקר
4 דקות
מ־Google Research

כיצד נוצרת היצירתיות של מודלי דיפוזיה? מחקר של Google Research

בפוסט חדש מטעם Google Research, מדען המחקר ג'נגדאו צ'ן מציג ממצאים מתוך מאמר שהתקבל לוועידת ICLR 2026, המפענח את מקור ה'יצירתיות' של מודלי דיפוזיה. לפי המחקר, היכולת של המודלים הללו לייצר נתונים חדשים, במקום לשנן באופן עיוור את מאגר האימון שלהם, היא תוצאה מתמטית של תהליך החלקת פונקציית הציון (score smoothing). החלקה זו נגרמת באופן טבעי בשל השפעות רגולריזציה במהלך אימון הרשתות העצביות, המונעות מהן ללמוד פונקציות בעלות מעברים חדים במיוחד. כתוצאה מכך, המודל מייצר אינטרפולציה במרווחים שבין נקודות המידע המקוריות של האימון. בסביבה רב-ממדית, אפקט זה פועל בכיוונים המשיקים ליריעת הנתונים הנסתרת, וכך מאפשר להשיג איזון מדויק בין איכות הנתונים לבין היצירתיות שלהם.

קרא עוד