ניהול תקציב בינה מלאכותית: חברות ענק בולמות את הבזבוז על משימות קטנות
חברות רבות מגלות כי עובדים המשתמשים בבינה מלאכותית למשימות פשוטות, כמו סיכום מסמכים או המרת קבצי PDF למצגות, מכלים במהירות את תקציבי ה-AI הארגוניים ללא החזר השקעה (ROI) ברור. התופעה, המכונה "Tokenmaxxing", מאלצת מנהלים בכירים להטיל הגבלות מחמירות על השימוש במודלים, לעבור למודל של "קיצוב טוקנים", ולחפש דרכים מבוקרות יותר ליישום הטכנולוגיה.
מה זה טוקנים של בינה מלאכותית?
טוקן (Token) הוא יחידת המידע הבסיסית שבה משתמשים מודלי שפה גדולים (LLMs) כדי לעבד ולהפיק טקסט. בהקשר עסקי, כל מילה, תו או סימן פיסוק מתורגמים לטוקנים, והחברות משלמות לספקיות ה-AI (כגון OpenAI או Anthropic) על פי כמות הטוקנים שנצרכו בתהליך הקלט והפלט. לדוגמה, הזנת מסמך PDF ארוך המכיל עשרות עמודים לצורך יצירת שקף בודד במצגת עלולה לצרוך מאות אלפי טוקנים בכל פנייה יחידה ל-API (ממשק תכנות יישומים). לפי הערכות בתעשייה, משימות פשוטות ולא מבוקרות כאלו מייצרות עלויות מצטברות של אלפי דולרים בחודש לעובד בודד, ללא שום יחס תועלת ישיר לפעילות הליבה של הארגון.
השינוי במדיניות Accenture: מאימוץ מסיבי לקיצוב הדוק
לפי חשיפה של גוף המדיה 404 Media (גוף תקשורת עצמאי החוקר את תעשיית הטכנולוגיה) שפורסמה ב-TechCrunch (מגזין טכנולוגיה בינלאומי מוביל), ענקית הייעוץ הבינלאומית Accenture (חברת ייעוץ עסקי וטכנולוגי גלובלית) נאלצת להתמודד עם זינוק בלתי נשלט בהוצאות ה-AI שלה. על פי הקלטות פנימיות שהודלפו מתוך פגישה של מוביל אסטרטגיית ה-AI של החברה, ג'סטיס קוואק (Justice Kwak), החברה מנסה כעת באופן אקטיבי למנוע מעובדיה לבזבז את רזרבות הטוקנים שלה על משימות פשוטות ויומיומיות.
האירוניה בולטת במיוחד בהתחשב בעובדה שרק לאחרונה Accenture איימה על עובדיה כי הם "עלולים להפסיד קידום" אם לא ישלבו כלי בינה מלאכותית בעבודתם השוטפת. "הגענו לנקודת מפנה שבה עלויות ה-AI הופכות לחלק מהותי ממבנה העלויות הכללי שלנו," הסביר קוואק בהקלטה. לדבריו, "ההוצאות הפכו לבלתי צפויות לחלוטין, והנהלת הארגון – בייחוד מנהלי הכספים (CFOs), מנהלי התפעול (COOs) ומנהלי מערכות המידע (CIOs) – עדיין שואלים את עצמם האם אנחנו מקבלים ערך אמיתי מהכסף שאנחנו מוציאים על פתרונות אלו."
על מנת לעשות סדר בבזבוז המשאבים, חברות רבות פונות כיום לתהליך של ייעוץ AI מקצועי, במטרה לבנות אסטרטגיה ברורה ולהגדיר אילו משימות באמת מצדיקות שימוש במודלים מתקדמים, ואילו משימות ניתנות לפתרון באמצעות פתרונות אוטומציה קלאסיים וזולים בהרבה.
ההקשר הרחב: בועת ה-AI נדרשת להוכיח ערך עסקי
חוסר היציבות והקושי בביצוע ניהול תקציב בינה מלאכותית משפיעים על השוק הטכנולוגי כולו. לאחרונה אנו עדים לגל של ירידות שערים במניות הקשורות לתחום ה-AI, בייחוד בקרב יצרניות של שבבי זיכרון וחומרה מתקדמת, על רקע החשש הגובר של משקיעים מפני "בועת בינה מלאכותית" שלא תניב את הרווחים המצופים. תעשיית ה-AI הגיעה לשלב בגרות שבו היא אינה יכולה להישען עוד רק על ההתרגשות הראשונית מהטכנולוגיה החדשה; כעת, עליה להוכיח החזר השקעה (ROI) ממשי ומדויק עבור חברות המטמיעות אותה.
ההשלכות של ניהול תקציב בינה מלאכותית על עסקים בישראל
עבור חברות הייטק, משרדי עורכי דין, סוכנויות ביטוח וארגונים פיננסיים בישראל, האתגר הזה מורגש היטב בשטח. עסקים מקומיים רבים שמיהרו לחבר את עובדיהם לממשקי API של חברות כמו OpenAI (חברת מחקר ופיתוח בינה מלאכותית אמריקאית) או Anthropic (חברת בינה מלאכותית אמריקאית המתחרה ב-OpenAI) מדווחים על פער משמעותי בין ההוצאות החודשיות לבין התפוקה הממשית.
בישראל, מעבר להיבט הפיננסי הטהור, יש לקחת בחשבון גם את הרגולציה המקומית, כגון חוק הגנת הפרטיות. שליחת מסמכים פנימיים המכילים מידע רגיש של לקוחות ישראלים למודלים ציבוריים לצורך משימות פשוטות של סיכום או המרה לא רק שמבזבזת טוקנים יקרים, אלא גם חושפת את הארגון לסיכונים משפטיים חמורים ולקנסות. לכן, הצורך במעבר למערכות סגורות ומבוקרות המבצעות סינון קלט וניהול תקציב הדוק הוא קריטי עבור המגזר העסקי בישראל.
כיצד להתחיל ניהול תקציב בינה מלאכותית בעסק שלכם?
כדי למנוע תופעות של "בזבוז טוקנים" בארגון שלכם, מומלץ לנקוט בצעדים הבאים:
- הגדרת מגבלות תקציב (Budget Caps) ברמת ה-API: אל תאפשרו גישה חופשית ובלתי מוגבלת למפתחות ה-API הארגוניים שלכם. הגדירו מכסות חודשיות ויומיות לכל צוות או עובד דרך פאנל הניהול של ספק השירות.
- שימוש במודלים קטנים ויעילים (SLMs): למשימות פשוטות כמו מיון מיילים, סיכום טקסט קצר או חילוץ נתונים, השתמשו במודלים קטנים וזולים יותר כמו GPT-4o-mini (גרסת מודל שפה חסכונית של חברת OpenAI) או Claude Haiku (מודל השפה המהיר והזול של חברת Anthropic) במקום במודלים היקרים ביותר.
- מעבר לאוטומציות מובנות במקום עבודה ידנית: במקום לתת לעובדים להזין קבצים ידנית פעם אחר פעם, הטמיעו מערכות אוטומטיות המבוססות על פלטפורמות כמו N8N (פלטפורמת אוטומציה מבוססת קוד פתוח) המבצעות את המשימות בצורה מובנית, חוסכות קריאות מיותרות ומייעלות את צריכת הטוקנים.
מבט קדימה: בניית ארכיטקטורת AI חכמה וחסכונית
תקופת הבזבוז חסר הגבולות על בינה מלאכותית מגיעה לסיומה, אך זהו אינו סימן לנסיגה מהטכנולוגיה, אלא להתבגרותה. עסקים שישכילו לבנות ארכיטקטורה המשלבת נכון בין מערכות CRM חכמות, כלים ייעודיים ותהליכי עבודה אוטומטיים ומבוקרי עלויות, יצליחו ליהנות מיתרון תחרותי עצום מבלי להסתכן בחריגות תקציביות חמורות.