לפי דיווח ב-TechCrunch, דיוגו אלמיידה (Diogo Almeida), חוקר לשעבר ב-OpenAI שהיה שותף בפיתוח ChatGPT ובהמצאת שיטת האימון RLHF (למידת חיזוק ממשוב אנושי), השיק באמצעות חברת ההזנק שלו TypeSafe AI מודל חדש מבוסס ארכיטקטורת טרנספורמר בשם Jev. המודל אינו מודל שפה גדול (LLM) ואינו פולט טקסט, אלא מפיק הסתברויות או מה שהחברה מכנה "החלטות מכוילות". אלמיידה עזב את OpenAI לפני שנתיים כדי להקים את החברה במטרה לפתור את הפער שנוצר כאשר מודלים מותאמים לשפה אנושית במקום לשפת מחשב לצורכי אוטומציה.
מודל הסתברויות מהיר ללא הזיות
הוויתור על הפקת שפה טבעית הופך את Jev למודל זול ומהיר במיוחד. מאחר שהמשתמשים מגדירים את אפשרויות הפלט מראש, המודל אינו יכול להזות (Hallucinate). מבחינת תמחור, אסימוני הפלט (Output tokens) ניתנים בחינם, וחיוב אסימוני הקלט (Input tokens) נמדד לפי מיליארדי אסימונים ולא לפי מיליונים. בעקבות ההשקה נרשם עניין רב מצד מפתחים, והחברה אף חוותה השבתה זמנית ביכולת לספק שירות ממשק תכנות יישומים (API) עקב עומס הביקושים הגבוה.
לפי הדיווח, Jev מסתמן ככלי שימושי בעיקר עבור אוטומציה של תוכנה, כאשר מפתחים רואים בו דרך זולה ועמידה יותר לשילוב בינה בקוד שלהם. פרניט שארמה (Pranit Sharma), מהנדס תוכנה בחברת Vercel הבונה תשתיות לסוכנים, מסר כי החברה השתמשה בעבר במודל ChatGPT Luna 5.6 של OpenAI כסווג לבדיקת פקודות לצורכי בטיחות. כאשר Vercel החליפה את המודל של OpenAI ב-Jev, היא קיבלה תוצאות במהירות גבוהה פי 5 עד פי 18 וברמת דיוק גבוהה יותר.
בבדיקה נוספת שערך ניקהיל מודהולקר (Nikhil Mudholkar), סמנכ"ל הטכנולוגיות בחברת Bryo AI, נבחן Jev מול המודל Gemini לצורך סיווג הודעות דואר אלקטרוני עסקיות. במבחן זה, Gemini היה מעט מדויק יותר, אך יקר פי 10 עד פי 20. מודהולקר הדגיש כי ציוני ההסתברות שמספק Jev מחזירים הסתברות אמיתית, מה שהופך אותו לאידיאלי לאוטומציה של זרימות עבודה.
ניטור סוכנים, מניעת פריצות וניתוב עומסים
מעבר להחלפת מודלי שפה בתרחישים מסוימים, המודל החדש יכול לשמש גם כרובד בקרה חכם על התנהגות בלתי רצויה של מודלי שפה גדולים. אלמיידה טוען כי שימוש בסוכנים לצורך ניטור סוכנים אחרים עלול להפוך ליקר במהירות, בעוד שהשימוש ב-Jev למטרה זו הוא הגיוני וכלכלי. לפי חזונו, משתמשים יכולים להפעיל את Jev כדי לעקוב אחר פעולות של סוכני LLM ולמנוע ניסיונות פריצה (Jailbreaks).
ארמין רונאכר (Armin Ronacher), סמנכ"ל הטכנולוגיות של חברת Earendil המפתחת את סביבת המודלים בקוד פתוח Pi, הסביר כי המודל מאציל חלק מבעיית ההזיות על המשתמש: כאשר המודל מחזיר תוצאה בהסתברות של 50%, המשתמש יכול להתייחס לכך כהטלת מטבע ולהתעלם ממנה, בעוד שבהסתברות של 95% ניתן לבצע פעולה על בסיס הפלט. בנוסף, רונאכר ציין כי שימוש פוטנציאלי נוסף במודל הוא ניתוב מודלים (Model routing). חיזוי האם משימה מסוימת דורשת מודל ייעודי הוא כלי שימושי, אך שימוש ב-LLM לצורך זה יקר, בעוד שהעלות הנמוכה והמהירות של Jev מאפשרות מיון כזה בזמן אמת.
פרדוקס ג'בונס וחזון התוכנה המבוזרת
שמו של המודל נגזר משמו של ויליאם סטנלי ג'בונס (William Stanley Jevons), כלכלן בן המאה ה-19 שעל שמו נקרא "פרדוקס ג'בונס". הפרדוקס מתאר כיצד ירידה במחיר של מוצר בסיסי יכולה להוביל לשימוש הולך וגובר בו. בהקשר הנוכחי, אלמיידה מקווה כי ירידת מחיר הבינה תוביל להטמעה נרחבת שלה בכל מקום. אלמיידה ציין כי החברה מאמינה שתוכנה חכמה תתפשט באופן מבוזר, בדומה לאינטרנט המוקדם, ולא בצורת יישומי הענק שמנסים לבנות כיום.
אימון על נתונים סינתטיים וארכיטקטורה עתידית
אלמיידה שומר על עמימות בנוגע לארכיטקטורה המדויקת של Jev, בעוד משקיפים חיצוניים משערים כי הוא בנוי על גבי מודל שפה בעל משקולות פתוחות. החברה מכנה את Jev "מודל מערכת 1" (System One model), המתמקד באינטואיציה ולא בהסקה לוגית מורכבת, ומכוון לביצוע המשימה המתאימה.
לפי אלמיידה, Jev אומן באופן בלעדי על גבי נתונים סינתטיים בשיטה שהוא מכנה "למידת חיזוק מהחלטות מכוילות". אלמיידה ציין כי ההחלטה המוקדמת לייצר בעצמם את כל נתוני האימון הייתה אחת ההחלטות הטובות ביותר שקיבל, ומחצית מהחברה מתפקדת כמעבדה המתמקדת בתחום הנתונים הסינתטיים. TypeSafe מתכננת לבנות גרסאות נוספות של המודל במודליות שונות, בעוד רונאכר צופה כי מתחרים יפתחו מודלים דומים בעקבות הוכחת התועלת של המודל. בתגובה לשאלה האם TypeSafe היא מעבדת חזית (Frontier lab), הבהיר אלמיידה כי החברה אינה פועלת כמעבדה שמטרתה לייצר עושר אינסופי או לבנות אלוהים בחוות שרתים, אלא שואפת שמוצר הדגל שלה יהיה בינה.
בנוסף, רונאכר התייחס לעיתוי הופעתו של מודל מסוג זה והסביר כי ניתן היה לצפות לכך מוקדם יותר, אך הסיבה לכך שלא פותחו מודלים כאלה קודם לכן נעוצה ככל הנראה בעובדה שמודלי שפה גדולים היו כה זולים ומסובסדים, כך שמפתחים לא נדרשו לחפש פתרונות יצירתיים. אלמיידה סיפר ל-TechCrunch כי הרקע לפיתוח נבע מתסכולו לאחר השקת ChatGPT; למרות היכולות שהושגו באמצעות טכניקת RLHF, הוא חש כי הטכנולוגיה אינה מועילה לאוטומציה עקב ההתמקדות הממושכת בשפה אנושית, דבר שהוביל אותו להקמת החברה ולפיתוח מודל המתמקד בהסתברויות במקום בטקסט.