לפי דיווח ב-TechCrunch, מומחי בינה מלאכותית מטילים ספק בטענות כי מודל השפה הגדול בקוד פתוח (open-weight) של חברת Moonshot הסינית, Kimi K3, השיג את יכולותיו המתקדמות באמצעות זיקוק (distillation) בלבד של המודל Fable מבית Anthropic האמריקאית. הוויכוח מתעורר בעקבות האשמות מצד גורמים רשמיים בארצות הברית לגבי העתקה שיטתית ושימוש בשבבים אסורים.
האשמות מצד הממשל האמריקאי וסימני המים
מיכאל קרציוס (Michael Kratsios), יועץ המדע של הבית הלבן, הצהיר כי חברת Moonshot, העומדת מאחורי פיתוח המודל Kimi K3 – מודל ה-LLM הגדול ביותר הזמין כיום במשקלים פתוחים – בנתה את המודל שלה תוך העתקה של מודל Fable של חברת Anthropic. לפי קרציוס, החברה עשתה זאת תוך שימוש בשבבים שאינם מאושרים לייצוא לסין. "זיקוק תעשייתי סמוי ורחב היקף שמטרתו לגנוב טכנולוגיה אמריקאית קניינית ולפגוע במחקר האמריקאי הוא דבר בלתי קביל", כתב קרציוס על רקע דיונים מדווחים על איסור מודלים סיניים בעלי משקלים פתוחים, אשר מעוררים סערה במגזר הבינה המלאכותית. חברת Moonshot לא הגיבה לשאלות בנוגע לתהליך האימון שלה, וקרציוס לא שיתף פרטים נוספים לגבי מקורות ההאשמות שלו.
דבריו של קרציוס הדהדו את הערותיו של שר האוצר סקוט בסנט (Scott Bessent), אשר ציין כי "אנו מוצאים סימני מים של מודלי השפה הגדולים שלנו מארצות הברית על רבים מהמודלים הסיניים, וזה לא מתקבל על הדעת". עם זאת, לא ברור מהם סימני המים הללו, ומשרד האוצר האמריקאי לא השיב לשאילתה בנושא.
ספקות טכנולוגיים ולוחות זמנים קצרים מדי
למרות ההאשמות הרשמיות, מומחים בתחום הבינה המלאכותית מביעים ספק רב בכך שתהליך הזיקוק – תהליך שבו מתשאלים מודל שפה גדול כדי להבין את פעולתו הפנימית ולהעתיק את יכולותיו – הוא ההסבר ליכולות המתקדמות שמציג Kimi K3.
בראדן הנקוק (Braden Hancock), חוקר במכון לאודה (Laude Institute) ומייסד שותף של Snorkel AI, הסביר ל-TechCrunch כי לוחות הזמנים פשוט אינם מאפשרים זאת. "אני לא חושב שניתן לקבל מודל כה חזק ובמהירות כזו מיד לאחר יציאתו של Fable באמצעות זיקוק בלבד", אמר הנקוק. "פשוט אין אפילו זמן, נכון? Fable זמין לציבור רק מאז ה-1 ביולי. אי אפשר לזקק כמות כזו של נתונים, לאמן מודל ולשחרר אותו בתוך שבועיים בלבד".
נתן למברט (Nathan Lambert), חוקר בינה מלאכותית במכון אלן לבינה מלאכותית (Allen Institute for AI), הביע דעה דומה בפודקאסט שפורסם לאחרונה. למברט טען כי ההשפעה של תהליך הזיקוק פוחתת ככל שהמודלים הסיניים מתקרבים לחזית הטכנולוגיה ותהליך האימון עובר ללמידת חיזוק (reinforcement learning). לדבריו, "אם זה היה המצב, כולם היו יכולים להדביק בקלות את הפער ל-GLM או ל-K3 באמצעות שימוש בנתונים שלהם לזיקוק. אך לא ראינו זאת, ולא נראה זאת, מכוונון עדין מונחה (SFT) בלבד".
מגבלות הכוונון העדין והצורך בלמידת חיזוק
ביצע זיקוק דורש ממעבדת מחקר לתשאל באופן שיטתי את מודל היעד כדי לייצר נתונים שבהם ניתן להשתמש בשלבים שלאחר האימון. לעיתים תהליך זה כולל במפורש בקשה מהמודל להסביר את שרשרת המחשבה שלו (chain-of-thought) כדי להבין כיצד הוא פותר בעיות. במקרים אחרים, ההנחיות והתגובות של המודל משמשות לאימון מודל חדש בתהליך המכונה כוונון עדין מונחה (SFT).
תהליך כוונון עדין זה הוא הסיבה לכך שמודל שנבנה לכאורה על ידי צד שלישי עשוי לטעון במהלך שיחה שהוא מודל Claude של Anthropic. לפי למברט, זהו השלב שבו המודל "רוכש את הנימוסים שלו". עם זאת, למברט סבור כי היתרונות של SFT הופכים לפחות חשובים ככל שהמודלים הופכים למורכבים יותר.
כדי לזקק יכולות הדומות לאלו של Fable, נדרשות ככל הנראה טכניקות של למידת חיזוק. במקרים רבים, משמעות הדבר היא שימוש בסוכן (agent) של המודל הגדול יותר כדי לדרג את התגובות של המודל הקטן יותר, וביצוע התאמות בהתאם לציון שניתן. הטכניקות המתקדמות יותר דורשות גם תשתית משמעותית ביותר; הרצות גדולות של למידת חיזוק עשויות להצריך עשרות מיליוני סוכנים. שימוש ב-API של מעבדת חזית מובילה לשם כך יהיה יקר באופן קיצוני ועלול להוות צוואר בקבוק של זמן, מכיוון שמודלים אלה אינם מהירים ובכנות, ייתכן שאפילו לא יספקו שיפור בביצועים.
היסטוריית הטענות והנוהג המקובל בתעשייה
עם זאת, נראה כי מודלים קודמים מהחזית הטכנולוגית תרמו לפיתוחים של Moonshot. מוקדם יותר השנה, חברת Anthropic האשימה באופן פומבי את החברות Moonshot, DeepSeek ו-MiniMax בזיקוק שיטתי של המודלים שלה. Anthropic טענה כי זיהתה מיליוני חילופי דברים בין המודלים שלה לבין משתמשים שזוהו בכתובות IP ובנתוני מטא-דאטה של החברות הללו. שאילתות אלו תוארו כשונות מדפוסי שימוש רגילים ושיקפו חילוץ יכולות מכוון ולא שימוש לגיטימי. Anthropic לא השיבה לפניות של TechCrunch בנוגע לזיקוק של Fable.
יחד עם זאת, תהליך הזיקוק נחשב לנפוץ בקרב חברות בינה מלאכותית רבות, ולא רק בסין. אילון מאסק (Elon Musk) העיד מוקדם יותר השנה כי החברה שלו, SpaceXAI, זיקקה מודלים של OpenAI כדי לפתח את Grok, והוסיף כי מדובר בפרקטיקה מקובלת בתעשייה. הגבול בין זיקוק לבין פיתוח ערכות נתונים סינתטיות עשוי להיות מטושטש למדי.
הנקוק הוסיף כי באופן כללי, האמריקאים ממעיטים בערך המומחיות הטכנית של הצוותים הסיניים: "אחד המייסדים של Moonshot היה סטודנט לתואר שלישי ב-CMU. מדובר בחוקרים ומהנדסים לגיטימיים שעושים עבודה מוצקה. אם המודלים האמריקאיים היו נעצרים לחלוטין, אני חושב שההתקדמות של סין הייתה אמנם פוחתת, אך עדיין נמשכת. הם לא רק רוכבים על הגב של אחרים".
נתיבי הברחת שבבים ופיקוח על מרכזי נתונים
קשה להפריד בין טענות הזיקוק לחלק השני בהאשמותיו של קרציוס – הטענה כי Moonshot השיגה שבבי Nvidia מתקדמים מדגם Grace Blackwell 300 (הידועים כ-GB300), וכן קיבלה גישה לשרתים המצוידים בשבבי GB300 בתאילנד. ייצוא שבבים אלה לסין הוא אסור, אך לדברי סם ברסניק (Sam Bresnick), עמית מחקר במרכז לאבטחה וטכנולוגיה מפציעה של אוניברסיטת ג'ורג'טאון (CSET), קיים שוק שחור עבורם.
בחודש מאי האחרון, מייסד חברת Supermicro, יצרנית שרתים אמריקאית, הואשם בהברחת שבבים מתקדמים לסין. ברסניק ציין כי הוא תומך בחוקי "הכר את הלקוח" (KYC) עבור מרכזי נתונים ברחבי העולם: "אם אתה מאפשר לחברה לבצע אימונים רחבי היקף על החומרה המתקדמת ביותר שלך, חייב להיות מנגנון דיווח המזהה מיהי החברה הזו ומה היא עושה".
משרד המסחר של הנשיא ג'ו ביידן הציע כללי "הכר את הלקוח" פדרליים עבור מרכזי נתונים בשנת 2024, אך נראה שלא חלה התקדמות נוספת בנושא תחת ממשלו של דונלד טראמפ. עם זאת, יצואנים השולחים שבבים מתקדמים לחו"ל נדרשים להבטיח כי הם משמשים אך ורק למטרות מאושרות.