לפי הודעת חברת גוגל, מודל הבינה המלאכותית Gemini Robotics Embodied Reasoning 2 (המכונה ER 2) זמין כעת בתצוגה מקדימה ציבורית (public preview) בפלטפורמת Gemini. המודל פותח על ידי Google DeepMind ומשמש כשכבת בינה וכמוח ברמה גבוהה עבור מערכות רובוטיות שונות, במטרה לאפשר להן לחשוב, לפעול ולהסתגל בסביבה הפיזית. לפי הפרסום, מוקדם יותר השנה הציגה החברה את Gemini Robotics 2, וכעת מודל ההסקה מבוסס הגוף מוצע לראשונה עבור סביבות ייצור ארגוניות ב-Google Cloud, לצד יכולות אבטחה ארגונית, תיאום מרובה סוכנים (multi-agent orchestration) וניהול מחזור חיים מלא, לצורך סימולציה, הערכה ופריסה של בינה מלאכותית פיזית בקנה מידה רחב. המודל מיועד לפעול על גבי תצורות גוף רובוטיות מגוונות, החל מזרועות נייחות ועד לרובוטים דמויי אדם מלאים (humanoids). הוא משלב הבנת וידאו מרחבית וזמנית עם תכנון אופק ארוך ומנגנוני בטיחות מובנים, ומאפשר לרובוטים לשוחח עם בני אדם, לתזמר ממשקי חומרה ומודלי פעולה ברמה נמוכה, לבצע משימות רב-דקתיות הכוללות מאות החלטות ולשתף פעולה בצוותי רובוטים.
אימות משימות פיזיות, הבנה ותיקון שגיאות בזמן אמת
בפעילות פיזית בעולם האמיתי, רובוט נדרש לדעת האם שלב מסוים הושלם בהצלחה לפני שהוא ממשיך לשלב הבא. גוגל מדווחת כי מודל Gemini Robotics ER 2 מסתגל למצבים חדשים ובלתי מוכרים בזמן אמת באמצעות הסקה על גבי רצפי וידאו מתמשכים (continuous video feeds).
המודל מסווג את התקדמות המשימה למצב בינארי, לקטגוריות בדידות או לציונים רציפים, במטרה לשפר את המודעות המצבית בזמן אמת ולאפשר התאמה או ביצוע מחדש של שלבים שנכשלו, מבלי לאתחל מחדש את תהליך העבודה כולו. לפי נתוני החברה, המודל מסוגל לאתר את פריים הווידאו המדויק שבו מתרחש אירוע קריטי (כגון הרגע שבו יש לעצור מזיגת נוזל) בדיוק של 91.3% ובמרחק פריים מוחלט ממוצע של 0.96 שניות. ביצוע זה מתרחש במהירות ביצוע גבוהה פי ארבעה ובשבריר מעלות החישוב בהשוואה לקטגוריות רבות של מודלים גדולים יותר.
בנוסף, המודל מקדם יכולות הסקה מרחבית, כולל מענה חזותי על שאלות וקריאת מכשירים. המודל מסוגל לקרוא ולפרש ערכים מתוך יותר מעשר קטגוריות של מכשירי מדידה ישירות מקלט חזותי, בהם חוגות עגולות, מדי מפלס (sight glasses), צגים דיגיטליים, סרגלים ליניאריים, סרגלי מדידה ומדחומים מבוססי נוזל.
שכבת בינה אחידה על פני מגוון תצורות גוף רובוטיות
גוגל מציינת כי Gemini Robotics ER 2 מתזמר רובוטים בצורות ובגדלים שונים, ומרחיב את פעולתו החל מזרועות נייחות ורכבי סיור על גלגלים (wheeled rovers) ועד לרובוטים בעלי ארבע רגליים ומבנים מורכבים.
בנוסף לכך, המודל מאפשר שיתוף פעולה בין מספר רובוטים (multi-robot collaboration). יכולת זו מאפשרת לרובוטים מסוגים שונים לחלוק הבנה סמנטית משותפת של מרחב העבודה שלהם, לחלק ביניהם את העבודה ולהעביר משימות מרובוט אחד למשנהו, ובכך להשלים תהליכי עבודה שמכונה יחידה אינה יכולה לבצע בכוחות עצמה.
תזמור כלים מבוסס סוכנים ואינטראקציה בשפה טבעית
המודל מאפשר להפוך רובוט לסוכן פיזי, המסוגל לחשוב על השלב הבא במקביל לתזמור פעולות בפועל. מפתחים יכולים להגדיר ממשקי בקרה ברמה נמוכה — כגון מודלי ראייה-שפה-פעולה (Vision-Language-Action או VLA), ממשקי ניווט או פונקציות מותאמות אישית — ככלים בתוך המערכת. הגדרה זו פועלת בסביבות סימולציה, בבקרה על רובוטים בעולם האמיתי או בהפעלה מרחוק על ידי בני אדם (tele-operation). מפתחים מזרימים וידאו מולטימודלי, שמע או טקסט ישירות אל המודל.
לפי גוגל, Gemini Robotics ER 2 מסוגל לתזמר ממשקי תכנות יישומים לניווט ולתנועת מניפולטורים מתוך פקודות בשפה טבעית. הדבר מאפשר לרובוט להסביר את גישתו תוך כדי ביצוע הפעולה, ומאפשר למפעילים אנושיים לכוון אותו מחדש מבלי להשתמש בשפה טכנית.
פיתוח, סימולציה וניהול סוכנים ב-Google Cloud
לפי הודעת גוגל, צוותי פיתוח וארגונים משתמשים בפלטפורמת Gemini כדי לבצע סימולציה, לתזמר ולנהל סוכנים פיזיים, אשר נפרסים לאחר מכן לפעולה ישירה על גבי רובוטים פיזיים בקצה (edge) באמצעות תשתית Google Cloud:
- סימולציה מהירה: בדיקת התנהגות הרובוט לפני מגע בחומרה פיזית באמצעות הרצת סימולציות בסביבות כגון MuJoCo-Warp ו-NVIDIA Isaac Sim. לאחר מכן ניתן לייצר תרחישים סינתטיים באמצעות מודלים מולטימודליים ולתייג אוטומטית הדמיות של תאי עבודה בפלטפורמת Gemini.
- אימון חכם: שימוש ביכולות הצבעה מרחבית, איתור רגעים וסיווג התקדמות של המודל כדי לברור ולתייג סרטוני הדגמה ב-Cloud Storage וב-BigQuery. לאחר מכן מאמנים מודלי VLA מותאמים אישית באמצעות פלטפורמת Gemini, שירות GKE או Cluster Director.
- תפעול סביבות עבודה: פריסת תהליכי עבודה של המודל עם ניהול זהויות והרשאות ארגוני (IAM), בקרות אבטחה וקריאת פונקציות מובנית. עומסי עבודה מקומיים הרגישים להשהיה, דוגמת מיפוי ומיקום בו-זמני (SLAM) ותכנון נתיב, מועברים לרצפת המפעל באמצעות Google Distributed Cloud, ונתוני טלמטריה מצי הרובוטים מוזרמים ישירות אל BigQuery.
שילוב המודל על ידי ארגונים ושותפים בתעשייה
בהודעה הוצגו התייחסויות של גורמים בתעשייה המשלבים את הטכנולוגיה:
מרקו דה סילבה, סגן נשיא ומנהל כללי של תחום Spot בחברת Boston Dynamics, ציין כי החברה מזהה צמיחה חודשית בקרב לקוחות המשתמשים ב-AIVI-Learning, וכי Gemini Robotics ER 2 מעניק ערך נוסף. לדבריו, וידאו משנה את אופי הבדיקה, שכן הרובוט Spot אינו בודק רק האם משהו נראה תקין בנקודת זמן בודדת, אלא החלת מודלי בינה מלאכותית על וידאו פותחת אפשרויות חדשות.
כריס ליו, מייסד שותף ומנהל טכנולוגיות ראשי ב-DeepReach, מסר כי פלטפורמת החומרה והבינה המלאכותית שלהם לוכדת את אופן עבודתם של מומחים ברחבי העולם והופכת אותה למאגר נתונים לאימון מודלים. לדבריו, המודל מספק הבנת משימה מדויקת עבור כל הקלטה, ומסייע לאתר במהירות ובקנה מידה רחב יותר את הנתונים החשובים ביותר.
בארי מולינס, מנהל בכיר של Arm Total Design עבור AI פיזי בחברת Arm, ציין כי למודלי הסקה מתקדמים יש פוטנציאל לסייע לרובוטים לפרש סביבות מורכבות, לתכנן פעולות ולהסתגל לתנאים משתנים. הוא הוסיף כי המודל מהווה צעד חשוב בכיוון זה, וכי Arm בוחנת יחד עם גוגל כיצד יכולות אלו יכולות לעצב את הדור הבא של פלטפורמות מחשוב לרובוטיקה.
פרופ' לו שיאן ג'ון, מנהל ביצועי במכון ASTAR למחקר והנדסת חומרים (IMRE) ומנהל ביצועי של MARVEL-AI, מסר כי מטרתם היא להאיץ תהליכי מחקר ופיתוח חומרים כדי לאפשר למדענים לבחון יותר רעיונות במהירות. לדבריו, מרבית האוטומציה במעבדות כיום נשענת על סקריפטים קשיחים למשימות בודדות ומבודדות. השימוש במודל מעניק לרובוטים גמישות חזותית ופיזית לעבוד מול התשתית הקיימת — כגון קריאת מסך מגע במכשיר מיקרוגל ריאקטור ישן ללא API, איזון והטענה של צנטריפוגה, או העברת דגימות בבטחה במעבדה עמוסה — ומקרב אותם למעבדות בניהול עצמי.
גישה ומשאבי פיתוח
מפתחים וצוותים ארגוניים יכולים להתחיל לעבוד עם Gemini Robotics ER 2 בתצוגה מקדימה באמצעות Model Garden בפלטפורמת Gemini. גוגל מציעה תיעוד ומחירון, מדריכי פיתוח עם קוד לדוגמה והנחיות להזרמה דו-כיוונית בתיעוד ה-API, לצד גישה למדדי ביצועים ודוח בטיחות טכני בפרסום של Google DeepMind.