עלויות טוקנים: איך שולטים בהוצאה על מודלי שפה

עלויות טוקנים הן החלק בהוצאות ה-AI שהכי קל למדוד והכי קשה לחזות. בסוכנים שאנחנו מריצים הן 30 עד 400 דולר בחודש, שהם 5% עד 15% מהעלות השנתית של הסוכן. זה לא המספר הגדול. אבל הוא המספר שיכול להכפיל את עצמו בסוף שבוע אחד אם אין מגבלות. במאמר הזה: ממה הטוקנים מורכבים, מה באמת מייקר אותם, ושש הטכניקות שהורידו לנו סוכן מ-410 ל-140 דולר בחודש.

ממה מורכבות עלויות טוקנים?

שלושה דברים קובעים את העלות לריצה:

• גודל ההקשר. הנחיית המערכת, היסטוריית השיחה, מסמכים שנשלפו. זה הקלט, והוא נשלח מחדש בכל צעד. בסוכן עם 6 צעדים, הנחיה של 2,000 טוקנים נשלחת 6 פעמים.
• מספר הצעדים. כל הפעלת כלי היא קריאה נוספת למודל. סוכן שמסתבך ועושה 15 צעדים במקום 4 עולה פי 4, ובדרך כלל גם טועה.
• המודל. הפרש של פי 10 עד פי 20 בין מודל קטן לגדול. ולא כל צעד צריך את הגדול.

שתי דוגמאות מהפרודקשן שלנו. סוכן שירות בחברת תוכנה: 6,000 פניות בחודש, 28 דולר. פחות מחצי סנט לפנייה, כי ההקשר קצר והרוב נגמר בצעד אחד או שניים. סוכן רכש בארגון תעשייתי: 1,200 בקשות בחודש, 120 דולר. 10 סנט לבקשה, פי 20, כי כל ריצה טוענת חלק מקטלוג הספקים ונתוני תקציב ומבצעת 4 עד 6 צעדים.

עוד דבר שמפתיע ארגונים ישראליים: עברית יקרה יותר מאנגלית. אותו משפט בעברית נחתך ליותר טוקנים, אצלנו פי 1.5 עד פי 2. סוכן שעובד מול לקוחות בעברית ומול מסמכים בעברית צריך לקחת את זה בחשבון בתכנון, ולא לגלות את זה בחשבון החודשי.

למה עלויות טוקנים קטנות ממה שמנהלים חוששים?

כי הן נמדדות בסנטים, וזמן של אנשים נמדד בעשרות דולרים לשעה. בסוכן הרכש, 10 סנט לבקשה חוסכים 13 עד 25 דקות של אדם שעולה 45 דולר לשעה. היחס הוא 1 ל-100 ויותר. בחישוב השנתי: 1,440 דולר טוקנים מתוך 26,100 דולר עלות כוללת. השאר הוא בנייה, אימוץ ותחזוקה. איך כל זה מתחבר לנוסחה, במרכז הנושא ROI של AI.

ולכן הכלל הראשון שלנו: לא מייעלים טוקנים לפני שמודדים. סוכן שעולה 120 דולר ועובד, עדיף על סוכן שעולה 60 דולר ודורש תיקונים. מייעלים כשאחד משני דברים קורה: העלות לריצה קופצת בלי סיבה, או שהסוכן גדל לנפח שבו הסנטים הופכים לאלפי דולרים.

יש שני מצבים שבהם הטוקנים כן הופכים לסעיף משמעותי. הראשון: נפח. סוכן שמבצע 100,000 ריצות בחודש ב-10 סנט לריצה עולה 10,000 דולר, וכאן כל סנט נחשב. השני: הקשר ענק. סוכן שטוען 50 עמודים בכל ריצה, גם בנפח של 1,000 ריצות בלבד, מגיע במהירות לאלפי דולרים. בשני המקרים מייעלים מהיום הראשון. בשאר המקרים מודדים וממשיכים.

איך הורדנו סוכן מ-410 ל-140 דולר בחודש?

סוכן ידע לצוות מכירות בחברת תוכנה. עונה על שאלות על מוצר, תמחור ותנאים מתוך מאגר מסמכים. 2,500 שאלות בחודש. בחודש השלישי החשבון הגיע ל-410 דולר, פי שלושה מהתכנון. ככה טיפלנו בזה, בסדר הזה:

1. מדדנו עלות לריצה ומיינו. הגילוי הראשון: 10% מהריצות היו 45% מהעלות. כולן שיחות ארוכות שבהן ההיסטוריה המלאה נשלחה בכל צעד.
2. קיצרנו את הזיכרון. במקום כל ההיסטוריה, 10 ההודעות האחרונות וסיכום של הקודמות. חיסכון של 30%. הדיוק על סט הבדיקות לא זז.
3. הוספנו ניתוב למודל קטן. הצעד הראשון, סיווג השאלה וזיהוי אילו מסמכים לשלוף, עבר למודל קטן. רק הניסוח נשאר במודל הגדול. עוד 38% מהעלות שנותרה.
4. הפעלנו caching להנחיה ולמסמכים הקבועים. הנחיית המערכת ו-3 מסמכי הליבה לא משתנים בין ריצות. עוד 25%.
5. קבענו מגבלת צעדים. 8 צעדים לריצה. מעבר לזה הסוכן עוצר ומעביר לאדם עם סיכום. 2% מהריצות הגיעו למגבלה, וכולן היו מקרים שגם קודם נכשלו.
6. הוספנו התראת תקציב יומית. אם ההוצאה היומית עוברת פי 2 מהממוצע, הודעה לערוץ של הצוות.

התוצאה: 140 דולר בחודש, באותו נפח. דיוק על סט הבדיקות ירד מ-91% ל-90%, בתוך טווח הרעש. שבועיים של עבודה חלקית של אדם אחד.

טכניקה	חיסכון טיפוסי	סיכון	מתי להפעיל
קיצור זיכרון (חלון + סיכום)	20% עד 35%	אובדן פרט משיחה ארוכה	תמיד, מהיום הראשון
ניתוב משימות פשוטות למודל קטן	30% עד 40%	סיווג שגוי אם הקטן חלש מדי	כשיש סט בדיקות להשוואה
caching של הנחיה ומסמכים קבועים	20% עד 30%	כמעט אין	כשההנחיה מעל 1,000 טוקנים
מגבלת צעדים לריצה	5% עד 15%	ריצה לגיטימית שנעצרת	תמיד, עם העברה לאדם
שליפה ממוקדת במקום מסמכים שלמים	30% עד 50%	פספוס הקשר רלוונטי	כשההקשר מעל 10,000 טוקנים
קיצור פלט (פורמט קבוע, בלי הסברים)	10% עד 20%	תשובה יבשה מדי ללקוח	בסוכנים פנימיים

לא מפעילים הכל ביחד. מפעילים אחד, מריצים סט בדיקות, מודדים, ואז הבא. בלי סט בדיקות, כל ייעול הוא הימור על הדיוק. איך בונים את הסט ואת הניטור, במאמר על ניטור סוכני AI.

איך מונעים הפתעה בחשבון?

הסיפור שכל צוות צריך לשמוע פעם אחת. סוכן פנימי, גרסה ראשונה, בלי מגבלת צעדים. ביום שישי בצהריים נכנס קלט שהסוכן לא ידע לטפל בו. הוא ניסה כלי, קיבל שגיאה, ניסה שוב. עד יום ראשון בבוקר: 900 דולר. פי 7 מהחשבון החודשי הרגיל, בסוף שבוע אחד.

שלושה דברים שמונעים את זה, ואנחנו לא משחררים סוכן בלעדיהם:

• מגבלת צעדים וטוקנים לריצה. הסוכן עוצר, רושם סיכום, ומעביר לאדם.
• תקציב יומי עם התראה. לא חסימה אוטומטית ביום הראשון, כי זה יעצור גם ריצות טובות. התראה לערוץ, ואדם מחליט.
• מפסק. כפתור אחד שמשבית את הסוכן. מי שמקבל את ההתראה יודע איפה הוא.

מה הקשר בין עלויות טוקנים ל-ROI?

הטוקנים הם הסעיף שהכי קל להציג בישיבת הנהלה, ולכן הוא מקבל תשומת לב שלא מגיעה לו. בדשבורד שלנו הוא אחד משבעה מספרים: עלות לריצה, עם דגל אם היא קפצה. זה כל מה שהנהלה צריכה לדעת עליו. הסעיף שבאמת קובע את ההחזר הוא שעות אנשים: בבנייה, באימוץ ובתחזוקה. מי שחוסך 50 דולר בטוקנים ומוסיף 3 שעות תחזוקה בחודש, הפסיד.

חישוב קצר שמסביר את זה. סוכן הרכש חוסך 404 שעות בחודש ועולה 120 דולר בטוקנים. גם אם עלות הטוקנים הייתה מכפילה את עצמה, ה-ROI היה יורד מ-485% לכ-455%. שלוש שעות תחזוקה נוספות בחודש מורידות אותו באותה מידה. הטוקנים הם סעיף לניטור, לא סעיף להתמקח עליו.

הכלל לסיום: מודדים עלות לריצה מהיום הראשון, קובעים מגבלות לפני השחרור, ומייעלים רק כשהמספר מספר שמשהו השתנה. מה הארכיטקטורה שמאחורי כל זה, כלים, זיכרון והערכה, במרכז הנושא על סוכני AI.

רוצים ללמוד לבנות סוכנים שעולים נכון מהיום הראשון, עם מדידה וניטור? לבוטקמפ סוכני AI.