ניטור סוכני AI: איך יודעים שהסוכן עובד נכון

ניטור סוכני AI הוא מה שמפריד בין ניסוי מרשים לסוכן שרץ בפרודקשן חודשים. סוכן טוב לא טועה הרבה, אבל כשהוא טועה, מישהו חייב לדעת תוך דקות ולהסביר למה. אצלנו הניטור מורכב מלוג של כל ריצה, סט בדיקות קבוע של מקרים אמיתיים, ודשבורד של חמישה מספרים. במאמר הזה נעבור על מה בדיוק מודדים, איך בונים את זה ביום עבודה, ואיך הניטור הופך לאמון של הצוות.

למה ניטור סוכני AI שונה מניטור תוכנה רגילה?

תוכנה רגילה נכשלת ברעש: שגיאה, חריגה, שרת שנופל. סוכן AI נכשל בשקט. הוא מחזיר תשובה שנראית טובה, בטון בטוח, עם ניסוח מצוין, והיא פשוט לא נכונה. אין שגיאה בלוג. אין התראה. הלקוח מקבל מדיניות החזרות שלא קיימת, או שהכרטיס נפתח במחלקה הלא נכונה.

ההבדל השני: סוכן משתנה בלי שנגעתם בו. ספק המודל מעדכן גרסה, מאגר הידע מתעדכן, פורמט הקלט משתנה. בסוכן שירות שבנינו, עדכון אחד של מאגר הידע הוריד את הדיוק מ-91% ל-78% בלי ששינינו שורה בהנחיה. גילינו את זה אחרי יום, רק בגלל שסט הבדיקות רץ כל לילה. בלי זה היינו מגלים מתלונות. עוד על ההבדל בין סוכנים לאוטומציה במרכז הנושא על סוכני AI.

אילו מדדים צריך לנטר בסוכן AI?

חמישה מספרים. לא עשרים. דשבורד עם עשרים מספרים אף אחד לא פותח.

מדד	איך מודדים	טווח בריא אצלנו	מה אומרת חריגה
השלמה עצמאית	משימות שהסתיימו ללא אדם / סה״כ	55% עד 75%	ירידה: קלט חדש שהסוכן לא מכיר
העברה לאדם	משימות שהוסלמו / סה״כ	15% עד 35%	נמוך מדי: הסוכן לא יודע מתי לעצור
דיוק על סט בדיקות	תשובות נכונות / גודל הסט	מעל 90%	ירידה: שינוי במודל, בהנחיה או בנתונים
עלות וזמן לריצה	דולרים ושניות, ממוצע וחציון	תלוי משימה	קפיצה: לולאה, זיכרון מנופח, כלי שנקרא פעמיים
עריכה אנושית	תשובות ששונו לפני שליחה / תשובות שנבדקו	מתחת ל-10% לפני שחרור	עולה: הסוכן מתרחק ממה שהצוות רוצה

שימו לב למדד השני. ארגונים מתגאים באחוז העברה נמוך. אצלנו זה דגל אדום. סוכן שלא מעביר אף פעם לאדם הוא סוכן שעונה גם כשהוא לא יודע.

איך בונים לוג שמאפשר להבין כל ריצה?

כל ריצה של הסוכן נכתבת לשורה אחת בטבלה. אפשר Supabase, אפשר Google Sheets בהתחלה, לא משנה. מה שמשנה הוא העמודות:

1. מזהה ריצה וזמן. כדי לחבר בין הלוג לתלונה.
2. הקלט המלא. הפנייה, ההודעה, הרשומה. בלי זה אי אפשר לשחזר.
3. רצף הכלים שהופעלו. איזה כלי, עם אילו פרמטרים, מה חזר. זה החלק שרוב הארגונים מדלגים עליו, וזה החלק שעונה על “למה”.
4. התוצאה הסופית. מה הסוכן ענה או עשה.
5. החלטה אנושית. אושר, נערך, נדחה, או לא נבדק. עם זהות המאשר.
6. עלות וזמן. טוקנים, דולרים, שניות.

בסוכן ה-n8n שבנינו לצוות שירות הלוג הזה לקח שעתיים להקים. אחרי חודש הוא כלל 9,000 שורות, ומתוכן בנינו את סט הבדיקות השני, המדויק יותר. הלוג הוא גם חומר הגלם לשיפור, לא רק לתחקיר.

איך בונים סט בדיקות לסוכן AI?

סט בדיקות הוא הרכיב שהכי קל לדלג עליו והכי יקר לדלג עליו. ככה אנחנו עושים את זה:

1. אוספים 50 מקרים אמיתיים. מהלוג, מהיסטוריית פניות, מכרטיסים ישנים. לא מקרים מומצאים. מקרים מומצאים קלים מדי.
2. כותבים תשובה נכונה לכל אחד. מי שמכיר את התהליך עושה את זה. שעתיים עד ארבע שעות. זה המחיר.
3. מסמנים מקרי קצה. 10 עד 15 מקרים שהסוכן חייב להעביר לאדם. אלה הבדיקות החשובות ביותר.
4. מגדירים ציון. לתשובות עובדתיות: נכון או לא נכון. לניסוח: מודל שופט עם הנחיה קבועה, או דירוג ידני של 1 עד 5.
5. מריצים אוטומטית. אחרי כל שינוי, וכל לילה. התוצאה נכתבת לאותה טבלה.
6. מגדילים את הסט מהלוג. כל מקרה שבו אדם ערך את התשובה הופך לבדיקה חדשה. אחרי 3 חודשים הסט שלנו גדל מ-50 ל-140.

הכלל שהכי עזר לנו: שינוי בהנחיה שמשפר את הדיוק ב-2% אבל מוריד את ההעברה הנכונה לאדם ב-5% לא עולה לפרודקשן. סט בדיקות טוב מודד את שניהם.

מתי צריך אישור אנושי ומתי משחררים?

אישור אנושי הוא לא סימן לחוסר אמון בסוכן. הוא השלב שבו הצוות לומד מה הסוכן עושה, והסוכן אוסף את המשוב הכי איכותי שיש. ככה נראה השחרור ההדרגתי אצלנו:

• שבועיים ראשונים: הכל באישור. הסוכן מנסח, אדם מאשר בלחיצה או עורך. כל עריכה נרשמת.
• שחרור לפי קטגוריה. כשאחוז האישור ללא עריכה בקטגוריה מסוימת עובר 90%, הקטגוריה הזו משתחררת. השאר נשאר באישור.
• פעולות בלתי הפיכות: תמיד באישור. החזר כספי, מחיקת רשומה, שליחה ללקוח VIP, שינוי הרשאות. לא משנה כמה הסוכן מדויק.
• דגימה אחרי השחרור. גם כשהסוכן רץ לבד, 5% מהריצות נבדקות ידנית בכל שבוע. זה מה שתופס סחיפה איטית.

בסוכן הרכש בארגון תעשייתי שליווינו, הקטגוריה הראשונה השתחררה אחרי 16 יום. השלישית אחרי 7 שבועות. קטגוריה אחת, בקשות מעל 10,000 דולר, נשארה באישור לצמיתות. זו החלטה עסקית, לא טכנית, וככה צריך להיות.

איך בונים אמון של הצוות בסוכן?

ניטור טוב לא עוזר אם הצוות לא מסתכל עליו, ולא סומך על מה שהוא רואה. ארבעה דברים שעבדו:

• דשבורד אחד, פתוח לכולם. לא רק למי שבנה. הנציגים בשירות רואים את אותם 5 מספרים כמו מנהל המחלקה.
• כל טעות מתועדת בפומבי. ערוץ ייעודי שבו כל טעות של הסוכן נכתבת, עם הסבר מה קרה ומה תוקן. אחרי חודש הצוות מפסיק לפחד מטעויות, כי הוא רואה שכל אחת מהן נסגרת.
• כפתור “העבר אליי”. כל אדם בצוות יכול לקחת משימה מהסוכן בלחיצה. הידיעה שאפשר לעצור את הסוכן בכל רגע מורידה את ההתנגדות יותר מכל מצגת.
• מספר אחד בישיבת הצוות. פעם בשבוע, דקה אחת: כמה הסוכן עשה, כמה הוא טעה, מה שונה. זה הופך את הסוכן לחבר צוות ולא לקופסה שחורה.

בצוות השירות, ההתנגדות הגדולה ביותר הייתה מהנציגים הוותיקים. אחרי 3 שבועות של דשבורד פתוח וערוץ טעויות, הם היו אלה שהציעו את הכלי הרביעי לסוכן. אם אתם רק בוחרים את התהליך הראשון, המאמר על סוכן AI ראשון בארגון עובר על הקריטריונים.

מה עושים כשסוכן AI טועה בפרודקשן?

יקרה. השאלה היא כמה מהר מבינים ומה לומדים. התהליך שלנו, בסדר הזה:

1. עוצרים את הקטגוריה. לא את כל הסוכן. מתג אחד שמחזיר קטגוריה לאישור אנושי.
2. פותחים את הלוג של הריצה. הקלט, רצף הכלים, התוצאה. ב-80% מהמקרים הסיבה ברורה תוך 5 דקות: כלי עם תיאור מעורפל, מקור ידע שהתיישן, קלט בפורמט חדש.
3. מוסיפים את המקרה לסט הבדיקות. לפני שמתקנים. ככה מוודאים שהתיקון באמת פותר.
4. מתקנים ומריצים את כל הסט. לא רק את המקרה החדש. תיקון שמשפר מקרה אחד ושובר שלושה הוא לא תיקון.
5. משחררים מחדש ומתעדים. בערוץ הטעויות, עם מה קרה ומה השתנה.

כל זה הוא חלק מהתוכנית בבוטקמפ שלנו, שבו כל משתתף בונה את הניטור על הסוכן האמיתי שלו, לא על דוגמה.

רוצים לצאת עם סוכן מנוטר שרץ בפרודקשן בארגון שלכם? לבוטקמפ סוכני AI.