לפי מאמר שפרסמה Salesforce, האמון בתשובות שמספק סוכן בינה מלאכותית מבוסס בראש ובראשונה על התוכן שנמצא מאחוריו. בחברה מתארים כיצד הם משתמשים ב-Data 360 לצורך הכנה וארגון של ידע המוצר, בעוד פלטפורמת Agentforce מפעילה אותו עבור הלקוחות. תהליך זה מוגדר כ-Grounding: חיבור הסוכן לתוכן הארגוני כדי שתשובותיו יתבססו על מידע מהימן. כאשר לקוח מציג שאלה, הסוכן שולף את הקטעים הרלוונטיים ובונה את תגובתו באמצעות RAG (יצירה מועשרת באחזור). המשמעות היא שהסוכן יכול להיות מוצלח רק במידה שבה התוכן שהוא שולף מוצלח. החברה שיתפה ארבעה לקחים ממהלך Customer Zero, שבו היא שימשה כלקוחה הראשונה של מוצריה שלה.
לקח 1: התאמה, פער והתנגשות – הערכת התוכן לפני יצירת האינדקס
במאמר מודגש כי איכות התוכן קובעת את הרף עבור הסוכן, ולכן יש להעריך את התוכן לפני תחילת הבנייה והגדרת המודלים. Salesforce מציגה שלוש שאלות שיש להפנות כלפי כל מאמר במאגר הידע:
- התאמה (Fit): האם המאמר עונה על שאלה אמיתית של לקוח?
- פער (Gap): האם הוא מכסה סוגיה שלקוחות נתקלים בה ושטרם טופלה?
- התנגשות (Clash): האם הוא סותר תוכן אחר, למשל שני מאמרים המציגים שלבים שונים עבור אותה המשימה?
כדי להעריך את התוכן הקיים, החברה משתמשת בארבעה אותות מדידה:
- Article Score: ציון בריאות מורכב של המאמר.
- Self-Help Failure Rate: התדירות שבה משתמש קרא מאמר ובכל זאת פתח קריאת שירות.
- Problem Resolution Rate: הצבעה מצד המשתמש המאשרת שהמאמר עזר לו.
- Sessions: נפח התנועה הכולל.
התיקונים מתבצעים תחילה במקומות שבהם נרשמת תנועה גבוהה לצד ביצועים נמוכים. אותות אלה מוצלבים עם הגורמים המובילים לפתיחת פניות תמיכה (top case drivers), וכך מאותרים הפערים בתוכן.
החברה מציינת כי הוספת תוכן אינה מבטיחה בהכרח כיסוי טוב יותר, שכן אינדקס גדול יותר עלול להפוך את הסוכן לאיטי ולמבולבל יותר. כדוגמה לכך, לאחר בחינת התאמת התוכן ובהתחשב בלוח הזמנים הצפוף, הוחלט לבנות סוכן נפרד עבור פורטל התמיכה של Informatica במקום להוסיף את התוכן שנרכש לסוכן התמיכה הקיים (Help Agent). החלטה זו הובילה לכך שהסוכן הנפרד פותר כיום 92% מהשאלות באתר ללא פתיחת קריאת שירות.
עבודת הכנת התוכן לסוכנים מתחלקת בין שני צוותים: צוות התוכן אחראי על הניסוח, הטון, המבנה ושיטות העבודה המומלצות; צוות ה-AI והדאטה אחראי על המוכנות לסוכן, כולל מטא-דאטה, חלוקת מאמרים למקטעים לצורך אינדקס החיפוש (chunking), כוונון האחזור והערכה. מנהלי סוכנים (Agent Managers) פועלים בצוות ה-AI והדאטה, משויכים לפי קווי מוצר וכוללים במקרים רבים מהנדסי תמיכה שעברו הסבה מקצועית. הם מנתחים נתוני שיחות בסביבת הייצור ועובדים מול כותבי התוכן כדי לסגור פערי ידע.
לקח 2: בנייה מבוססת השערות במקום מפרט קשיח
בפיתוח תוכנה מסורתי נקודת המוצא היא דרישות ומפרט, כך שתוצאת הבנייה ידועה מראש באופן כללי. לעומת זאת, ביצועי סוכנים תלויים במשתנים רבים, כולל התוכן הנכלל והגדרות מודלי ההטמעה (embedding) ואינדקסי החיפוש. לא ניתן לדעת מראש מה תהיה ההשפעה ללא בנייה ובדיקה. התהליך מתבצע במעגל קבוע:
- ניסוח השערה: הגדרת האופן שבו השינוי צפוי להשפיע על חוויית המשתמש.
- בנייה: יצירת התצורה החדשה ב-Data 360 (המכונה "מתכון" - recipe).
- הערכה: הרצת בדיקות כמותיות ואיכותיות.
- דחייה או פריסה: הטמעת מה שעובר את הבדיקות, לרוב באמצעות ניסויי A/B, והמשך ניטור.
במאמר מובאת דוגמה להשערה שנדחתה: מאחר שמאמרים אינם מציינים תמיד לאיזה מוצר הם שייכים, הועלתה השערה שהוספת שמות המוצרים כמטא-דאטה תשפר את התשובות. לאחר בניית המתכון, המדדים הכמותיים לפני ואחרי השינוי נותרו ללא שינוי, והבדיקות האיכותיות אישרו זאת. הוחלט שלא להטמיע את השינוי. הניסוי לימד כי מטא-דאטה מועיל למערכת RAG רק כאשר ניתנות לסוכן הנחיות כיצד להשתמש בו. בדיקות ראשוניות ששילבו מטא-דאטה עם הנחיות בפרומפט נראות טובות בהרבה מבחינה איכותית, והחברה בונה מתכון חדש הכולל את שניהם שיוערך באותו אופן לפני קבלת החלטות.
לקח 3: הגדרת תוצאה רצויה לפני תחילת הבדיקות
לצורך הערכה כמותית של מתכון נדרש מאגר נתוני ייחוס (golden data set). המאגר של Salesforce מכיל כ-200 פניות וביטויים של משתמשים (utterances), כאשר כל ביטוי מוצמד לתשובה מצופה שאומתה ולקישורים למאמרים המכילים את המידע. בינה מלאכותית יכולה לסייע בניסוח ראשוני, אך גורם אנושי נדרש לאמת כל מקרה מול מאמרי המקור כדי לוודא דיוק וביסוס.
בהערכות איכותיות נקבעים קריטריוני קבלה סביב שלושה מאפיינים: נכון, מלא ורלוונטי. בעבר השקיעו מומחי תוכן מאות שעות בכתיבה ידנית של קריטריונים אלה עבור כל ביטוי. כיום הם מספקים את מקור התוכן המתאים ביותר עבור כל פנייה, ובודקים את הקריטריונים שנוצרים באמצעות פרומפט AI.
לקח 4: שילוב בדיקות כמותיות ובדיקות אנושיות
הבדיקות הכמותיות בחברה מתחלקות לשלוש רמות:
- דטרמיניסטית: האם מנגנון האחזור מצא את המאמר הנכון ומה היה דירוגו.
- איכות סמנטית: האם המידע שנשלף היה רלוונטי ותומצת כראוי.
- תוצאות עסקיות: האם הסוכן משיג את היעדים העסקיים שהוגדרו.
לצד המדדים המתמטיים, בודקים אנושיים ושופטי LLM בוחנים את התשובות בשלושה ממדים: איכות התשובה (נכונה, מלאה ורלוונטית), איכות השירות (טון, מבנה ופתרון אי-בהירויות), ואיכות ה-AI (מדדי אחזור וזמני השהיה). תשובה יכולה להיות מדויקת עובדתית אך לא מועילה אם היא מפנה ל-12 קישורי תיעוד.
השילוב בין שיטות הבדיקה הודגם בבחינת חלוקת המאמרים: בעבר חילקה Salesforce את המאמרים לפי גודל קבוע של טוקנים. הועלתה השערה שחלוקה מודעת-סעיפים ב-Data 360 תשפר את התשובות על ידי שמירה על מידע קשור יחד במעברי סעיפים טבעיים. שתי השיטות נבדקו מול מאגר ייחוס של 195 צמדי שאילתה-מסמך:
- בבדיקה הכמותית: מרבית המדדים השתפרו, ואלה שירדו עשו זאת במידה מועטה שאינה מובהקת.
- בבדיקה האיכותית: המדדים סימנו 8 מתוך 195 השאילתות ככישלון (כ-4%). בבדיקה אנושית התברר כי מרבית המקרים היו זיהויי שווא, שכן מנגנון האחזור שלף מסמך תקף אך לא את המסמך המדויק שסומן מראש. שיעור הכישלון האמיתי עמד על קרוב ל-1%.
אישור המעבר לסביבת הייצור ניתן רק בעקבות הבדיקה האנושית הזו.
המלצות להתחלת העבודה עם סוכן
במאמר מצוין כי הצעד הראשון תלוי במצב הסוכן הנוכחי:
- עבור סוכן שטרם הושק: יש לבחון התאמה, פער והתנגשות עבור 100 המאמרים המובילים במאגר הידע, ולהימנע משינויים במודל לפני ביצוע שלב זה.
- עבור סוכן הפועל כבר בסביבת ייצור: יש לזהות מהן הטעויות השכיחות ביותר (מסמכים חסרים, טון לא מתאים, או מסמכים נכונים עם תשובה שגויה), ולהתאים כל כשל לכלי המתאים ב-Data 360.