סולם אמון לסוכני AI: ממצב צל לפעולה עצמאית
סולם אמון לסוכני AI: איך נותנים למערכת סמכות בהדרגה, ממצב צל, דרך הצעות ופעולה באישור, ועד פעולה עצמאית עם דגימה.
נכתב על ידי צוות היישום של RealAI · 5 דקות קריאה · עודכן לאחרונה:
סולם אמון לסוכני AI הוא הדרך לתת למערכת סמכות בהדרגה, ולא בבת אחת. קודם מצב צל, שבו המערכת רק מראה מה הייתה עושה. אחר כך הצעות שבן אדם מאשר, אחר כך פעולה באישור, ולבסוף פעולה עצמאית עם דגימה. כל שלב בונה את האמון שמאפשר את השלב הבא.
למה אי אפשר לתת לסוכן AI סמכות מלאה מהיום הראשון?
כי אמון לא מכריזים. צוברים אותו. מערכת שמקבלת סמכות מלאה ביום הראשון תטעה בשלב כלשהו, כמו כל מערכת. וכשהיא תטעה, אף אחד לא יבין למה, אף אחד לא ידע אם זה מקרה בודד, והאמון ייעלם בבת אחת.
הבעיה גדולה יותר במערכות שמחליטות, ולא רק מבצעות. מערכת שמסכמת מסמך היא דבר אחד. מערכת שמחליטה מה דחוף, במה לטפל ומה להשאיר, היא דבר אחר לגמרי. היא נוגעת בעבודה של אנשים, ובאופן שבו הם מודדים את עצמם.
סולם אמון לסוכני AI: מסלול הדרגתי שבו מערכת AI מקבלת סמכות לפי מה שהוכיחה. היא מתחילה במצב צל, עוברת להצעות שבן אדם מאשר, לפעולה באישור, ורק בסוף לפעולה עצמאית עם דגימה.
מהם ארבעת השלבים בסולם אמון לסוכני AI?
- מצב צל. המערכת רצה על נתונים אמיתיים, אבל לא נוגעת בכלום. היא רק מראה מה הייתה עושה. אנשים ממשיכים לעבוד כרגיל, ומשווים בין ההחלטה שלהם להחלטה של המערכת. כאן לומדים איפה היא צודקת, איפה היא טועה, ולמה.
- הצעות שבן אדם מאשר. המערכת מציעה, והאדם מחליט. ההצעה מופיעה בתוך העבודה עצמה, לא בחלון נפרד. כל אישור וכל דחייה הם משוב.
- פעולה באישור. המערכת מכינה את הפעולה עד הסוף, והאדם רק מאשר בלחיצה. העבודה הידנית נעלמת, אבל ההחלטה הסופית עדיין אנושית.
- פעולה עצמאית עם דגימה. המערכת פועלת לבד, ואנשים בודקים מדגם של הפעולות באופן קבוע. אם משהו סוטה, חוזרים שלב אחורה.
שימו לב שהסולם לא חייב להיות אחיד. מערכת אחת יכולה לפעול לבד בסוג החלטות פשוט, ולהישאר בשלב ההצעות בסוג החלטות רגיש. כל החלטה מטפסת בקצב שלה.
מה צריך להיות מוכן לפני מצב צל?
מצב צל נשמע כמו שלב בלי סיכון, וזה נכון. אבל הוא שווה משהו רק אם הוא רץ על העבודה האמיתית. לכן כמה דברים צריכים להיות מוכנים לפני שמתחילים:
- חיבור לדאטה האמיתי. המערכת צריכה לגשת לכל המקורות שאנשים משתמשים בהם כדי להחליט. בשלב הזה מספיקות הרשאות קריאה בלבד. בלי יכולת כתיבה, אין דרך לגרום נזק.
- רישום של כל החלטה. מה המערכת הייתה עושה, על סמך מה, ומה האדם עשה בפועל. בלי הרישום הזה, מצב צל הוא הדגמה ולא מדידה.
- הגדרה של מה דורש בן אדם. עוד לפני שהמערכת מחליטה משהו, הצוות מסכים אילו מקרים תמיד עוברים לאדם. הגבול הזה זז עם הזמן, אבל הוא צריך להיות כתוב.
- בקרות מהיום הראשון. הרשאות, תיעוד פעולות ויכולת לעצור. ממשל הוא לא בלם. הצוותים המהירים ביותר בונים אותו לתוך הכלי מההתחלה.
ועוד דבר אחד: לשחרר מוקדם. מצב צל לא צריך להיות מושלם. הוא צריך להיות אמיתי. משוב מהשטח שווה יותר מכל תכנון.
איך יודעים שמותר לעלות שלב?
ההחלטה לעלות שלב צריכה להישען על מה שנמדד בשלב הקודם. בלי מוניטורינג, אין על מה להישען. לכן כל שלב מתחיל בשאלה: מה נרשם, ומי מסתכל על זה?
שלושה סימנים עוזרים להחליט:
- עקביות. ההחלטות של המערכת דומות להחלטות של אנשים מנוסים, ואפשר להסביר את ההבדלים.
- טעויות מוכרות. כשהמערכת טועה, הטעות מובנת וניתנת לזיהוי. לא הפתעות.
- הסכמה של הצוות. האנשים שעובדים עם המערכת מרגישים שהיא עוזרת להם, ולא מסתירה מהם.
על הצד הטכני של ניטור ומעקב אחרי סוכנים כתבנו במדריך ניטור סוכני AI ובניית אמון.
מה ההבדל בין שיפור תהליך לבנייה מחדש שלו?
סולם האמון חשוב במיוחד כשבונים תהליך מחדש, ולא רק משפרים אותו. וההבדל בין השניים ברור מאוד בשטח.
כשנכנסים לעומק של תחום עבודה, מתגלות בדרך כלל אותן בעיות. אין דאטה בזמן אמת, ולכן אין תעדוף. משימה קטנה ומשימה קריטית נראות זהות. הכל ידני, כל אחד עובד אחרת, וההנהלה לא רואה מה קורה.
| שיפור תהליך | בנייה מחדש של תהליך | |
|---|---|---|
| מה האנשים מקבלים | יותר מידע | החלטה מוכנה |
| איך זה נראה | עוד דשבורד, עוד נתונים | ציון אחד שאומר במה להתעסק |
| מה זה אומר על מה לא לעשות | כלום | במה לא להתעסק בכלל |
| מי מחליט | האדם, עם יותר נתונים | המערכת מחליטה, ומעבירה לאדם את מה שדורש אותו |
| כמה אמון נדרש | מעט | הרבה, ולכן צריך סולם |
בבנייה מחדש, המערכת אוספת את כל המידע הרלוונטי מכל המקורות, מדרגת, ומחליטה מה היא מטפלת בעצמה ומה דורש בן אדם. זה בדיוק סוג המערכת שאסור לשחרר בבת אחת. ציון שאומר לאנשים במה לא להתעסק הוא החלטה עם השלכות. הוא צריך לעבור את כל הסולם. רקע נוסף על המעבר הזה תמצאו במאמר חיסכון בשעות הוא לא אסטרטגיה.
איך זה נראה בפועל?
לדוגמה, צוות שמטפל בזרם של בקשות נכנסות. היום כל בקשה נראית אותו דבר. כל אחד בוחר לפי סדר ההגעה או לפי תחושה.
במצב צל, המערכת מדרגת כל בקשה ומציגה את הדירוג בצד, בלי להשפיע על כלום. הצוות ממשיך לעבוד, ובסוף השבוע משווים: האם מה שהמערכת דירגה גבוה היה באמת דחוף? איפה היא פספסה? איזה מידע היה חסר לה?
בשלב ההצעות, הדירוג מופיע בתוך רשימת העבודה, והאנשים מחליטים אם להתייחס אליו. בשלב הפעולה באישור, המערכת כבר מסדרת את הרשימה, ומסמנת מה היא מציעה לסגור בעצמה. ורק בשלב האחרון היא מטפלת לבד בבקשות הפשוטות, ומעבירה לאנשים את מה שדורש שיקול דעת.
זו דוגמה להמחשה. המבנה שלה חוזר כמעט בכל תחום שבו יש הרבה פריטים ומעט זמן.
למה אנשים צריכים שליטה גם כשהמערכת טובה?
כי אנשים רוצים שליטה. ככל שמתקדמים לבנייה מחדש של העבודה, החשש מתעצם. המשפט ״אני בונה את מה שיחליף אותי״ יישמע שוב ושוב. אי אפשר לענות עליו רק בהצהרה. צריך לבנות את התשובה לתוך המוצר.
בפועל זה אומר שכל אדם שולט במה שהוא רואה ובאופן שבו הוא עובד, גם אם זה דורש לשנות את המוצר. סולם האמון עצמו הוא חלק מהתשובה. הוא נותן לאנשים לראות את המערכת עובדת לפני שהיא נוגעת בעבודה שלהם, ולהיות שותפים להחלטה מתי היא מקבלת יותר.
הצוות שלנו בנה ושחרר מערכות כאלה מבפנים, בחברות טכנולוגיה מובילות עם אלפי עובדים. הטכנולוגיה הייתה החלק הקל. הפסיכולוגיה הייתה החלק האמיתי. עוד על סוכנים במרכז הנושא סוכני AI, ועל המתודולוגיה כולה בהטמעת AI בארגון.
רוצים ללמוד לבנות סוכנים שמטפסים על סולם האמון נכון? לקורסים שלנו.