בטור דעה שפורסם ב-SiliconANGLE, כותבת רנה דיוויס (Renee Davis), מייסדת-שותפה ומנהלת עסקים ראשית בחברת OpenMatter Network Inc., כי מחשוב ארגוני נשען במשך תקופה ארוכה על שרשראות של אמון. ארגונים נתנו אמון בספקי ענן, ספקי תוכנה, מערכות זהות ומנהלי מערכת שיפעלו כפי שתוכננו. מודל זה עבד משום שבני אדם נותרו מקבלי ההחלטות הסופיים. עם זאת, בינה מלאכותית סוכנותית (Agentic AI) משנה את המשוואה הזו. מערכות אוטונומיות יכולות לשלוף מידע, לקבל החלטות, להפעיל כלים חיצוניים, לשתף פעולה עם סוכנים אחרים ולבצע פעולות בשם הארגון. ככל שארגונים מאצילים סמכות רבה יותר למערכות חכמות, הם נדרשים גם לדרך לקבוע האם המערכות הללו מתנהגות כפי שיועד להן.
לפי דיוויס, השאלה אינה עוד רק האם בינה מלאכותית יכולה לבצע עבודה מורכבת, אלא האם כל פעולה בעלת השלכות יכולה להיבדק ולהתאמת באופן בלתי תלוי. העידן הבא של המחשוב הארגוני יוגדר לא רק לפי מה שמערכות אוטונומיות יכולות לעשות, אלא לפי היכולת של ארגונים לשחזר ולאמת את מה שהן ביצעו בפועל.
מגבלות האמון המסורתי באבטחת מידע
דיוויס מסבירה כי סוכן בינה מלאכותית עשוי לשלוף מידע ממספר מערכות ארגוניות, להעביר אותו לסוכן אחר, להפעיל שירות חיצוני ולאשר פעולה פיננסית. אף שכל רכיב בודד עשוי להיות מאובטח, ייתכן שלארגון עדיין לא יהיה תיעוד מלא וניתן לאימות בלתי תלוי של האופן שבו הפעולה הסופית התרחשה. טכנולוגיות אבטחה מסורתיות יכולות לסייע לקבוע למי הייתה הרשאה לפעול, לאילו מערכות הייתה גישה והאם התרחשה התנהגות חריגה. יומני רישום מסורתיים יכולים להראות שממשק תכנות יישומים (API) הופעל או שעסקה התבצעה, אך רישומים אלה אינם לוכדים בהכרח את שרשרת ההוראות, הקלטים, ההחלטות והפעולות המלאה שהובילה לתוצאה.
השאלה המרכזית, על פי דיוויס, היא האם אמון כשלעצמו מהווה עקרון ארכיטקטוני מספק לעולם של מחשוב אוטונומי. שיחות רבות כיום בתחום אבטחת הסייבר מתחילות בשאלה באילו פלטפורמות יש לתת אמון. בעוד שזו שאלה סבירה, דיוויס טוענת כי היא הופכת פחות רלוונטית. טכנולוגיות אבטחה מסורתיות נותרות הכרחיות, אך הן תוכננו ברובן להגן על מערכות באמצעות אכיפת מדיניות, ניטור התנהגות ובקרת גישה. הן אינן יכולות, כשלעצמן, לבסס אילו הוראות ונתונים עיצבו את התנהגותו של סוכן, לשחזר את האינטראקציות שלו על פני מספר מערכות או להוכיח שהרישום שנוצר לא שונה.
מנהיגים בארגונים צריכים לשאול שאלה אחרת כאשר סוכנים מעורבים: אילו ראיות המערכת מייצרת, והאם ניתן לאמת ראיות אלה באופן בלתי תלוי. אם התשובה תלויה בעיקר במתן אמון בספק, בתשתית או בתוכנה עצמה, הארגון עדיין פועל תחת הנחות היסוד של עידן המחשוב הקודם. מחשוב אוטונומי דורש מערכות שיכולות לייצר ראיות הניתנות לאימות בלתי תלוי לגבי מה שהונחו לעשות, באיזה מידע השתמשו ואילו פעולות נקטו. זהו ההבדל בין מחשוב מבוסס אמון (trusted computing) לבין מחשוב שניתן לאימות (verifiable computing).
המעבר מאמון להוכחה
מעבר זה אינו דורש נטישה של שיטות אבטחת הסייבר הנהוגות כיום. ניהול זהויות, הגנת נקודות קצה, ניטור ואכיפת מדיניות יוסיפו להיות הכרחיים. עם זאת, הם הופכים לחלק ממודל ארכיטקטוני רחב יותר, שבו אימות בלתי תלוי מוסיף בסיס לביטחון. הצעד הראשון הוא קביעה איזו התנהגות צריכה לעמוד לביקורת. לא כל אינטראקציה נושאת את אותה רמת סיכון. ארגונים צריכים לזהות פעולות שעלולות לשאת השלכות פיננסיות, תפעוליות, ביטחוניות או רגולטוריות משמעותיות, ולהגדיר רף ראיות גבוה יותר עבור פעילויות אלו.
לדוגמה, סוכן המסכם מסמך פנימי אינו דורש את אותה רמת בדיקה קפדנית כמו סוכן המאשר תשלום, משנה קוד ייצור או ניגש לנתונים מוסדרים ברגולציה. עבור כל פעולה בעלת השלכות, על ארגונים להגדיר מה מותר לסוכן לעשות, באילו תנאים עליו לעמוד לפני ביצוע הפעולה, ובאילו נסיבות נדרש אישור אנושי. דרישות אלו יוצרות קו בסיס שעל פיו ניתן להעריך מאוחר יותר את התנהגותו בפועל של הסוכן.
דבר זה הופך לחשוב במיוחד כאשר סוכנים מתחילים לפעול מעבר לגבולות ארגוניים ומערכתיים. החלטה של סוכן אחד עשויה להיות תלויה במידע שיוצר על ידי סוכן אחר, אשר ייתכן שהסתמך בעצמו על מערכת חיצונית. ללא שרשרת הניתנת לאימות המחברת אירועים אלה, ארגונים עשויים לדעת מהי התוצאה מבלי שיוכלו לבסס כיצד היא התרחשה.
תיעוד שרשרת הפעולות ושימור ראיות
הצעד הבא שהכותבת מציגה הוא קביעה אילו ראיות נחוצות כדי לשחזר פעולות אלו. ראיות אלו צריכות לחבר בין הכוונה המקורית לבין התנהגות הסוכן: מה הסוכן הונחה או הורשה לעשות, לאיזה מידע ניגש, אילו כלים הפעיל, אילו החלטות או פעולות התרחשו לאחר מכן ומה הייתה התוצאה. בהתאם למקרה השימוש, יומן הביקורת עשוי להידרש ללכוד גם את המשתמש או המערכת היוזמים, את המדיניות וההרשאות שהיו בתוקף, תקשורת עם סוכנים אחרים, קריאות לשירותים חיצוניים, אירועי אישור וכל שינוי שבוצע במערכות הארגוניות.
המטרה אינה לשמור כל פיסת מידע שהסוכן נתקל בה, אלא לשמר מספיק ראיות כדי לשחזר התנהגות בעלת השלכות, תוך כיבוד דרישות פרטיות, אבטחה וצמצום נתונים (data minimization). מכיוון שסוכנים פועלים לעיתים רחוקות בבידוד, על הראיות להישמר על פני מערכות שונות. נתיב ביקורת שעוצר ברמת היישום עלול להחמיץ חלקים קריטיים בשרשרת. לכל תהליך עבודה בעל השלכות צריך להיות מזהה עקבי ובר-מעקב המחבר בין הבקשה המקורית להאצלות סמכות עוקבות, קריאות לכלים, אישורים ותוצאות. כמו כן, על ארגונים לקבוע אילו ראיות ביקורת הם דורשים מפלטפורמות סוכנים של צד שלישי ומשירותים חיצוניים, כך שהאחריות לא תיעלם כאשר פעולה חוצה גבול מערכתי או ארגוני.
תפקידה של הקריפטוגרפיה באימות הראיות
השאלה הסופית שמעלה דיוויס היא האם ניתן לתת אמון בראיות עצמן. כאן טכניקות קריפטוגרפיות יכולות להיות בעלות עוצמה. ארגונים יכולים להשתמש בחתימות דיגיטליות, בפונקציות גיבוב (hashes) ובהוכחות נוספות כדי לבסס את השלמות והמקור (provenance) של רישומים, קלטים ופלטים. הדבר מאפשר להדגים שהראיות לא שונו וכי פעולה מסוימת מקושרת לנתונים ולהוראות המשויכים אליה.
מנגנונים שונים תומכים בצרכי ביקורת שונים:
- חתימות דיגיטליות מסייעות לבסס את מקור הרישום.
- גיבובים חושפים האם הוראות, קלטים, פלטים או יומני רישום שונו.
- אישורים עם חותמת זמן (time-stamped attestations) מחברים פעולה להרשאה, מדיניות או מצב מערכת מסוים.
- הוכחות קריפטוגרפיות מתקדמות יכולות לאמת טענות מסוימות לגבי פעולה מבלי לחשוף את כל המידע הרגיש העומד בבסיסה.
עם זאת, דיוויס מדגישה כי קריפטוגרפיה היא רק חלק אחד מהמשוואה. רישום מוגן קריפטוגרפית אינו מועיל אם הארגון לא הגדיר מראש מה לתעד. ביקורת סוכנים יעילה דורשת בקרות מוגדרות בבירור, לכידת אירועים מקיפה, קשרים הניתנים למעקב בין פעולות ואימות בלתי תלוי של הראיות שנוצרו. בנוסף, קריפטוגרפיה אינה יכולה לקבוע לבדה האם שיקול הדעת של הסוכן היה הולם או האם הנתונים שקיבל היו מדויקים; תפקידה הוא לבסס את השלמות והמקור של הראיות.
החלטות תפעוליות ובדיקות שחזור תקופתיות
רמת האימות הראויה צריכה להתאים להשלכות של הפעולה, במקום להחיל את אותן הבקרות על כל אינטראקציה של סוכן. דיוויס ממליצה כי ארגונים ינסו מעת לעת לשחזר פעולות סוכנים בעלות השלכות באמצעות הראיות שהמערכות שלהם מייצרות. עליהם לבדוק האם הם יכולים לקבוע מה הסוכן הורשה לעשות, על איזה מידע הסתמך, כיצד קיים אינטראקציה עם מערכות אחרות, והאם הרישום שהתקבל לא עבר שינוי.
התשובות לשאלות אלו מעניקות לצוותי אבטחה דרך לחקור תקריות, לצוותי ציות דרך לבסס החלטות, ולמנהיגים עסקיים דרך להעריך האם מערכות אוטונומיות פועלות במסגרת הגבולות שנקבעו. בניית יכולת זו דורשת קבלת החלטות תפעוליות טרם פריסת הסוכנים. החלטות אלו כוללות: אילו פעולות דורשות ביקורת מוגברת, אילו ראיות יש ללכוד, כמה זמן יש לשמור אותן, כיצד רישומים יקושרו בין מערכות, למי תהיה גישה אליהם ומי אחראי על סקירתם. כמו כן, יש לקבוע תהליך חוזר לבדיקת היכולת לשחזר פעולות בעלות השלכות ולתיקון פערים שמתגלים. השינוי הרחב יותר הוא מתכנון מערכות שרק נותנים בהן אמון, למערכות שאת התנהגותן בעלת ההשלכות ניתן לבחון ולהוכיח.