בפוסט שפורסם בבלוג הרשמי של Google Cloud על ידי מדען המחקר רוי מנג (Rui Meng) ומנהל החטיבה תומאס פיסטר (Tomas Pfister), הציגו החוקרים את Science One Framework. מדובר באב-טיפוס מחקרי ניסיוני המיועד למגר לחלוטין את תופעת ההזיות (hallucinations) במחקרים מדעיים המבוצעים באופן אוטונומי על ידי בינה מלאכותית, באמצעות בנייה מובנית וטבעית של שרשראות ראיות הניתנות לאימות. לצד זאת, הציגו החוקרים את CoE Audit, פרוטוקול אוטומטי להערכת השלמות והאמינות של מאמרים מדעיים המיוצרים על ידי בינה מלאכותית מול קוד המקור והראיות התומכות שלהם.
האתגר המבני: בעיית האמינות והאימות במחקרים מבוססי AI
מודלים של שפות גדולות (LLMs) מיושמים כיום לא רק כעוזרי כתיבת קוד, אלא כסוכנים אוטונומיים המסוגלים לנהל תהליכי עבודה מחקריים מקצה לקצה. מערכות שנחשפו לאחרונה, כגון AI-Scientist של Sakana AI (גרסה v2), וכן המערכות AutoResearchClaw, DeepScientist ו-AI-Researcher, מסוגלות לסקור ספרות מדעית, לגבש היפותזות מחקריות, לבצע ניסויים בפועל ולכתוב מאמרים שלמים המציגים איכות דומה למאמרים שנכתבו על ידי בני אדם.
עם זאת, לצד השיפור באיכות הטקסטואלית השטחית של המאמרים הללו, צפה בעיה מבנית קריטית: יכולת האימות (verifiability). מאחר שצינורות המחקר האוטונומיים הקיימים מייצרים טקסט באופן איטרטיבי, שגיאות המוכנסות בכל שלב נוטות להשתכפל ולהתעצם בשלבים הבאים. מערכות קיימות רבות מייצרות הפניות ביבליוגרפיות למקורות שאינם קיימים כלל, מציגות חוסר התאמה מובהק בין שיטות העבודה המתוארות לבין הקוד שבוצע בפועל, ומדווחות על תוצאות וציונים ניסיוניים שלא ניתן לשחזר (reproduce) באמצעות הרצת הקוד המצורף. החוקרים מציעים פתרון לבעיה זו באמצעות הצגת מסגרת עבודה חדשה לאימות מחקרים מבוססי בינה מלאכותית הנקראת Chain-of-Evidence (שרשרת ראיות).
שרשרת הראיות (Chain-of-Evidence): קונספט חדש לאמינות במחקר
שרשרת הראיות (CoE) היא מסגרת מושגית המגדירה מה הופך תוצר מחקרי לראוי לאמון, בדומה לאופן שבו עקרונות ACID מגדירים את האמינות של עסקאות בבסיסי נתונים. במקום להכתיב כיצד לבנות את סוכן המחקר עצמו, מסגרת ה-CoE מגדירה את התכונות שתוצריו חייבים לקיים. היא מבוססת על עיקרון יחיד בעל שני חלקים: כל טענה בתוצר מחקרי חייבת לשאת שרשרת ראיות מתועדת (שלמות), וכל שרשרת חייבת לתמוך באופן אמיתי בטענה אליה היא מוצמדת (נכונות).
טענה יכולה להיות הפניה ביבליוגרפית, מספר מדווח, תיאור מתודולוגי או מסקנה, ועליה לקשר בחזרה לראיה המתאימה – כגון מאמר שעבר ביקורת עמיתים, שורת יומן ניסויים (log), הקוד שרץ בפועל או טבלת תוצאות. הפניה חזיונית (hallucinated reference) מצביעה על מאמר שאינו קיים; ציון שאינו ניתן לשחזור אינו מופיע מחדש כאשר הקוד מורץ שוב; ומתודולוגיה המתוארת באופן שגוי מציגה אלגוריתם מסוים במאמר בעוד שהקוד בפועל מיישם אלגוריתם אחר. בכל המקרים הללו, השרשרת המקשרת בין הטענה לראיה נשברת. פרוטוקול ה-CoE Audit מאפשר למדוד את השברים הללו באופן מדויק.
ארכיטקטורת Science One Framework
כדי להוכיח כי מחקר AI הניתן לאימות הוא אפשרי מבלי להתפשר על ביצועים ופתרון בעיות, תכננו החוקרים את Science One Framework. בניגוד לסוכנים קודמים המייצרים מאמר ומנסים לקשר אותו לעובדות בדיעבד, מערכת זו מיישמת את עקרונות ה-CoE כבר בשלבי הבנייה באמצעות שלושה רכיבים מרכזיים:
-
חוקר הבעיות (התבססות על ספרות): כדי למנוע הפניות פיקטיביות, המערכת בונה גרף ציטוטים באמצעות ה-API של Semantic Scholar. היא קוראת עד 100 קובצי PDF של מאמרים מלאים עבור כל נושא ומייצרת תקציר מחקרי מובנה. כל הפניה במאמר הסופי מקורה בקריאת API מבוססת זו, ובכך נמנעת לחלוטין ההסתמכות על זיכרון המודל.
-
מנוע הגילוי (חקירה וניצול מקביליים): המערכת חוקרת ומנצלת רעיונות באופן שיטתי על פני מספר ערוצים מקביליים. בכל סבב מבודד, סוכן פותר (Solver) מיישם פתרון ומעריך ייעודי למשימה מעניק לו ציון. ערוצים בעלי ביצועים גבוהים משופרים באופן איטרטיבי, וכל תוצרי המעריך הגולמיים נאספים לתוך רשומה קשיחה לקריאה בלבד.
-
כותב המאמר ומאמת הטענות: לפני הפקת המאמר הסופי, המערכת בונה ייצוג מובנה של כל טענה עובדתית עם תג ראיות פנימי (inline evidence tag) הקושר אותה לפריט ספציפי בסביבת העבודה. רכיב מאמת טענות ייעודי (Claim Verifier) בודק כל טענה מול מקור הראיות המוצהר שלה. טענות שחורגות מעבר לראיות הקיימות מיושרות ומנוסחות מחדש באופן שמרני, במקום להימחק, על מנת לשמור על התאמה מוחלטת למה שהעבודה תומכת בו בפועל.
פרוטוקול CoE Audit: ארבעת מבחני השלמות
החוקרים פיתחו את CoE Audit – פרוטוקול הערכה בדיעבד המשמש כבוחן פורנזי אוטומטי ומריץ ארבע בדיקות אמינות קפדניות על המוצרים המיוצרים (המאמר, הפתרון, הקוד וההפניות):
- אימות ציונים (Score verification): חילוץ הציון המדווח במאמר והשוואתו להרצה עצמאית לחלוטין של הקוד שהוגש.
- הפרת מפרט (Specification violation): בדיקת קוד הפתרון כדי לוודא שהוא אכן פותר את המשימה ולא מנצל פרצות במדדי ההערכה או קורא קובצי תשובות נכונות (ground-truth).
- אימות הפניות (Reference verification): הצלבת כל פריט ביבליוגרפי מול ממשקי API אקדמיים כדי לזהות הפניות פיקטיביות.
- התאמת קוד-מתודולוגיה (Method-code alignment): שימוש בשופטי LLM המשווים את פרק השיטות במאמר לצד הקוד בפועל, כדי לוודא שהטקסט מתאר בנאמנות את האלגוריתם המיושם.
תוצאות המבחנים והישגים ביצועיים
החוקרים החילו את פרוטוקול ה-CoE Audit על 75 מאמרים שיוצרו על ידי חמש מערכות שונות בחמש משימות אופטימיזציה של מערכות (Prism, Cloudcast, EPLB, LLM-SQL ותזמון עסקאות) מתוך בנצ'מארק ADRS (Automated Design of Research Systems). תחת הפרוטוקול הקפדני, מערכת Science One Framework הובילה בכל ארבע בדיקות השלמות: אף אחת מההפניות שלה לא הייתה פיקטיבית (0% הזיות לעומת שיעורי הזיה של עד 21% במערכות הבסיס), היא השיגה אימות ציונים מושלם והתאמת קוד-מתודולוגיה הגבוהה ביותר. לעומתה, מערכות בסיס תיארו לעיתים קרובות אלגוריתמים מורכבים במאמר (כמו "פתרונות נוירו-סמבוליים היברידיים") בעוד שהקוד שהגישו בפועל הכיל יוריסטיקה פשוטה ודטרמיניסטית בלבד.
המערכת הוכיחה כי יישום מגבלות אמינות מחמירות אינו פוגע ביכולות המדעיות שלה. Science One Framework השוותה או עקפה את ביצועי המומחים האנושיים בכל חמש משימות ADRS, והשיגה את הציון הכולל הטוב ביותר מבין כל המערכות בשתיים מהן (Cloudcast ו-EPLB).
בנוסף, המערכת נבחנה בשש משימות חיצוניות מורכבות במיוחד:
- MLE-Bench: בחמש תחרויות Kaggle קשות (הדמיה רפואית, זיהוי פרטני ותפיסה תלת-ממדית), המערכת השיגה שתי מדליות זהב (כולל ציון מנצח במשימת זיהוי אובייקטים בתלת-ממד, שבה מערכות הבסיס נכשלו לחלוטין) ושתי מדליות כסף.
- Parameter-Golf: בתחרות אימון מודלי שפה חיים תחת מגבלות חומרה וגודל קבצים קשיחות, בעוד שמערכות הבסיס נכשלו בהגשת פתרון תקף, Science One Framework עמדה בכל המגבלות והשיגה את הציון המוביל בתעשייה (נכון ל-27 באפריל 2026). המערכת גילתה טכניקות אלגוריתמיות אמיתיות וחדשניות ולא רק כוונון היפר-פרמטרים שטחי.
סיכום והצהרת מגבלות
ככל שמערכות מחקר אוטונומיות יתרחבו לפתרון בעיות מדעיות מורכבות יותר, איכות הפתרון לבדה כבר לא תספיק כדי להבדיל ביניהן. הגורם המפריד יהיה מידת האמון שניתן לתת בתוצרי המחקר. פרויקט Science One Framework מדגים כי יכולת אימות חייבת להיתפס כמגבלה ארכיטקטונית מן המעלה הראשונה.
החוקרים הביעו תודה למספר שותפים שתרמו לעבודה זו: בהאוונה דאלבי מישרה (Bhavana Dalvi Mishra), ג'ייפנג צ'ן (Jiefeng Chen), צ'ון-ליאנג לי (Chun-Liang Li), פאלאש גויאל (Palash Goyal), מיהיר פארמאר (Mihir Parmar), ייוון סונג (Yiwen Song), ייל סונג (Yale Song), ראג' סינהא (Raj Sinha), פארת'סראתי רנגנת'ן (Parthasarathy Ranganathan), בוראק גוקטורק (Burak Gokturk) וג'ינסונג יון (Jinsung Yoon).
בסיום דבריהם מדגישים הכותבים כי Science One Framework מוגדרת כאב-טיפוס מחקרי ניסיוני בלבד, ואינה מהווה כלי מוכן לשימוש מסחרי או ייצורי (production-ready).