בפוסט שפרסם ג'נגדאו צ'ן (Zhengdao Chen), מדען מחקר ב-Google Research, ב-15 ביולי 2026, מוצג מחקר המנסה לפענח את מקור היצירתיות של מודלי דיפוזיה. במחקר, שנושא את הכותרת "On the Interpolation Effect of Score Smoothing in Diffusion Models" והוצג בוועידת ICLR 2026, מדגים החוקר כי היכולת היצירתית של מודלי דיפוזיה – כלומר, יכולתם לייצר נתונים חדשים ולא רק לשנן את סט הנתונים שעליו אומנו – היא תוצאה מתמטית של האופן שבו רשתות עצביות לומדות גרסה "מוחלקת" של פונקציית הציון (score function). החלקה זו מניעה את המודל לבצע אינטרפולציה בין נקודות המידע של האימון לאורך יריעת הנתונים הנסתרת (hidden data manifold).
הבנת תהליך הסרת הרעש והשפעתו על זיכרון המודל
אימון של מודל דיפוזיה מתחיל בלקיחת קבוצה של דגימות נתונים אמיתיות מתוך מאגר האימון – לדוגמה, תמונות של חתולים – והשחתתן באופן מכוון באמצעות רעש, עד שהן הופכות לבלתי ניתנות לזיהוי לחלוטין. לאחר מכן, המודל מאומן להפוך את תהליך ההשחתה הזה צעד אחר צעד, כך שהוא יוכל לשחזר תמונה בעלת מראה מציאותי מתוך רעש טהור בלבד. תהליך שחזור זה מכונה "הסרת רעש" (denoising).
לפי צ'ן, אם המודל לומד לבצע את תהליך הסרת הרעש הזה בצורה מושלמת על בסיס דגימות האימון שלו בלבד, הוא צפוי להפיק עותקים מדויקים של דגימות אלו גם בזמן הפריסה שלו בפועל. התנהגות כזו מכונה "שינון" (memorization). במצב כזה, המודל מתפקד ככלי אחזור מידע (retrieval tool) בלבד, ולא כמנוע יצירתי המסוגל לייצר פלטים חדשים לחלוטין.
בפועל, מודלי דיפוזיה בדרך כלל עושים יותר מאשר רק לשנן; הם מכלילים כדי לייצר דגימות נתונים חדשות. כדי להבין כיצד מודלי דיפוזיה מסירים רעש מהנתונים בפועל, החוקר מציע לדמיין רעש אקראי כענן של חלקיקי גז המפוזרים בחדר, שבו "שדה כוח" מושך כל חלקיק בכיוון מסוים עד שהם יוצרים צורה בעלת משמעות. במודל דיפוזיה, החלקיקים הנעים הם נקודות נתונים אינדיבידואליות העוברות תהליך של הסרת רעש. "שדה הכוח" הוא פונקציית הציון (score function - SF), הנלמדת מתוך נתוני האימון ומכתיבה לאן החלקיקים צריכים לזרום בכל רגע נתון. אם המודל מסתמך על פונקציית ציון שנלמדה בצורה מושלמת מנתוני האימון, שדה הכוח יוביל את החלקיקים למיקומים שישחזרו בדיוק את נקודות המידע של האימון, מה שיוביל לשינון.
יצירתיות בממד אחד והשפעת החלקת הציון
המחקר של גוגל גילה כי היצירתיות של מודלי דיפוזיה נובעת למעשה מהאופי המקורב של האופן שבו רשתות עצביות לומדות בדרך כלל: אימון לא מושלם הנובע מרגולריזציה (regularization) מוביל באופן טבעי לטשטוש קל של פונקציית הציון שנלמדה, בתהליך המכונה "החלקת ציון" (score smoothing). טשטוש זה גורם לתהליך הסרת הרעש לייצר נתונים המבצעים אינטרפולציה – כלומר, נופלים במרווח שבין נקודות האימון – וכך נוצרות דגימות נתונים חדשות וסבירות.
כדי להדגים זאת, נבחן עולם חד-ממדי שיש בו שתי נקודות נתונים בלבד לאימון: פלוס אחד (+1) ומינוס אחד (-1). בשלבים מאוחרים של תהליך הסרת הרעש, פונקציית הציון "המושלמת" נראית כמו קו אפור מפותל המציג שינוי תלול בסימן שלו בדיוק באמצע הדרך בין שתי הנקודות, מה שמעיד על שינוי מהיר בכיוון המשיכה קרוב לנקודה אפס. במילים אחרות, המרחב כולו מחולק כמעט בחדות לשניים, כאשר חלקיקים בצד שמאל נמשכים לכיוון מינוס אחד, וחלקיקים בצד ימין נמשכים לכיוון פלוס אחד. בסופו של דבר, כל חלקיק מתכנס לאחת משתי נקודות הנתונים של האימון, וכך מתרחש שינון.
בפועל, למודלי דיפוזיה אין גישה לפונקציית הציון "המושלמת", והם משתמשים בגרסה מקורבת שנלמדה על ידי רשת עצבית. בשל אפקט הרגולריזציה של דעיכת משקולות (weight decay) במהלך האימון, רשתות עצביות מתקשות ללמוד פונקציות המכילות מצוקים חדים כאלה. במקום זאת, הן נוטות ללמוד גרסאות חלקות יותר של פונקציית הציון המושלמת, המרככות את הנפילה התלולה למדרון מתון יותר.
החוקרים הקימו ניסוי שבו אימנו רשתות עצביות בעלות שתי שכבות מסוג ReLU כדי להתאים את פונקציית הציון בדוגמה החד-ממדית הזו. הפרמטרים של הרשתות העצביות עברו אופטימיזציה באמצעות האלגוריתם הפופולרי AdamW תחת דרגות שונות של דעיכת משקולות (weight decay - WD). הניסוי הראה כי ככל שדעיכת המשקולות חזקה יותר, כך פונקציית הציון שנלמדה חלקה יותר באזור האמצעי. המשמעות היא שחלקיקים באזור זה זורמים לאט יותר מבעבר, ובסופו של דבר ייעצרו בתוך "אזור האינטרפולציה" שבין שתי נקודות המידע של האימון, מה שיוצר את אפקט האינטרפולציה. החוקרים מכמתים קשר זה במאמרם על ידי שילוב של תיאוריית מרחב הפונקציות של רגולריזציית רשתות עצביות יחד עם המתמטיקה של הסרת רעש. בנוסף, הניסויים הראו כי גם ללא אסטרטגיות רגולריזציה מפורשות כמו דעיכת משקולות, החלקת ציון יכולה לנבוע מאפקט הרגולריזציה המשתמע (implicit regularization) הקיים ברשתות עצביות המאומנות על ידי אלגוריתמים מבוססי גרדיאנט.
החלקת ציון והתאוששות יריעות במרחבים רב-ממדיים
בעולם האמיתי, נתונים מורכבים כמו תמונות ברזולוציה גבוהה מתקיימים במרחבי פיקסלים רב-ממדיים, ולא בעולם חד-ממדי פשוט. חלק הארי של מרחב זה הוא פשוט רעש אקראי חסר משמעות לעין האנושית. רק חלק קטן מאוד מנקודות הנתונים במרחב זה מתאים לתמונות הניתנות לזיהוי, והן מתקיימות בתוך מה שמכונה "יריעת הנתונים" (data manifold), הדומה לגיליון המקופל בתוך מרחב גדול יותר.
הצורה והמיקום של יריעת הנתונים אינם ידועים למודל מראש. לכן, יצירת תמונות יכולה להיחשב כמשימה של "התאוששות יריעות" (manifold recovery), שבה המודל נדרש להסיק כיצד נראית יריעת הנתונים הנסתרת על בסיס מספר סופי של נתוני אימון שנדגמו ממנה, ולאחר מכן להמציא נקודות חדשות על גבי היריעה, שיתאימו לתמונות חדשות ובעלות משמעות.
מתברר כי החלקת הציון היא קריטית עבור מודלי דיפוזיה כדי להשיג זאת. בסביבות רב-ממדיות, ההשפעה של החלקת הציון באה לידי ביטוי באופן תלוי כיוון. לאורך כיוונים המקבילים (או "משיקים" - tangential) ליריעת הנתונים הנסתרת, החלקת הציון מייצרת אפקט האטה דומה לזה שבמצב החד-ממדי. לעומת זאת, לאורך כיוונים המצביעים ישירות לעבר היריעה, פונקציית הציון "המושלמת" היא כבר חלקה יחסית (למעשה, קו ישר פשוט אם היריעה שטוחה), והחלקה נוספת אינה משפיעה באופן מהותי.
כתוצאה מכך, במקום להפעיל בלמים על זרימת החלקיקים בכל הכיוונים (מה שהיה מונע מהם להגיע ליריעה וגורם לתמונות הסופיות להיות מטושטשות), החלקת הציון אינה מאיטה את תנועת החלקיקים לעבר היריעה, אלא רק מפחיתה את הנטייה שלהם לקרוס לעבר נתוני האימון המקוריים לאורך הכיוונים המשיקים. בדרך זו, המודל משיג איזון בין איכות לבין חידוש: התמונות המיוצרות הן גם מציאותיות למראה (משום שהחלקיקים הגיעו בהצלחה ליריעת הנתונים המשמעותית) וגם חדשות (משום שהם התמקמו בשטחים הריקים שבין נקודות נתוני האימון המקוריות).
מסקנות והשלכות על מחקרים עתידיים וגילוי תרופות
השלכות המחקר של גוגל מראות כי מה שאנו מכנים "יצירתיות" של מודלי דיפוזיה עשוי להיות למעשה תוצאה מתמטית צפויה מראש. מכיוון שרשתות עצביות אינן יכולות ללמוד פונקציות חדות לחלוטין, הן יוצרות גשרים שמבצעים אינטרפולציה בין נתונים ידועים.
בתחומים כמו יצירת תמונות או גילוי תרופות (drug discovery), משמעות הדבר היא שמודל הדיפוזיה אינו רק זוכר שתי תמונות חתולים שונות או שתי מולקולות תרופה שהוצגו לו; הוא חוקר את המרחב שסביבן כדי להציע תמונה שלישית, חדשה לחלוטין, או תצורה מולקולרית חדשה המשלבת עקבות משתי הדוגמאות המקוריות.
צ'ן מציין כי עבודה זו מהווה רק מאמץ ראשוני להבהרת המנגנון האמור, ונותר לראות מה יקרה כאשר התפלגות הנתונים או הארכיטקטורות של הרשתות העצביות יהפכו למורכבות יותר. עם זאת, על ידי הצגת העובדה שהתנהגות זו נעוצה ביסודה באופן הלמידה של רשתות עצביות, מדענים יכולים להתחיל לבנות בכוונה מודלים שהם "אינטרפולטורים" טובים יותר, כדי להבטיח שהם יישארו מנועים יצירתיים תוך הימנעות ממכשולים של שינון עיוור.
החוקרים שחררו לציבור את הקוד עבור הניסויים הנומריים ששימשו להפקת האיורים במאמרם, ובכך מאפשרים לקהילה המדעית להמשיך ולחקור את הנושא באופן שיתופי.