איך מודדים הצלחה של הכשרת AI: ארבע רמות ומספרים

איך מודדים הצלחה של הכשרת AI? לא בסקר בסוף הסדנה. מודדים שינוי בהתנהגות: אחוז העובדים שמשתמשים בכלי שבועית לפני ההכשרה ו-90 יום אחריה, ואת מה שהשימוש הזה הניב מול קו בסיס. בפיילוט של 180 עובדים בחברת טכנולוגיה גלובלית, המספר הזה עלה מ-31% ל-58%, והערך הכספי כמעט הוכפל. הסקר באותו פיילוט הראה 4.6 מתוך 5 עוד לפני שמשהו השתנה. במאמר הזה נפרט את ארבע רמות המדידה, מה בודקים בכל אבן דרך, ואת המספרים.

למה שביעות רצון לא מודדת הצלחה של הכשרת AI?

כי היא נמדדת ברגע הלא נכון ועל הדבר הלא נכון. סקר בסוף סדנה מודד אם המרצה היה טוב, אם הדוגמאות היו מעניינות ואם הקפה היה בסדר. הוא לא מודד אם ביום שלישי הבא, מול משימה אמיתית, מישהו פתח את הכלי.

בפיילוט שמדדנו זה היה מדויק: 4.6 מתוך 5 בסקר, ו-31% שימוש שבועי בחודש שאחרי. ההכשרה הראשונה הייתה מוצלחת כאירוע ונכשלה כשינוי. מה שהעלה את השימוש ל-58% היה לא סדנה טובה יותר, אלא ליווי של 20 צ׳מפיונים בחודשיים שאחריה, על משימות של הצוותים עצמם.

זה לא אומר שלא שואלים. סקר קצר בסוף סדנה תופס בעיות בהעברה, בקצב או בדוגמאות, וזה שווה חמש דקות. רק לא מדווחים עליו להנהלה כמדד הצלחה.

הכלל: הכשרה היא השקעה, ולכן היא נמדדת כמו כל השקעה, מול קו בסיס ועם מספר. ההקשר המלא במרכז הנושא ROI של AI.

מהן ארבע הרמות למדידת הצלחה של הכשרת AI?

רמה	מה מודדים	איך	לפני	אחרי 90 יום
1. תגובה	שביעות רצון	סקר בסוף הסדנה	אין	4.6 מתוך 5
2. מיומנות	יכולת לבצע משימה עם הכלי	תרגיל מסכם: כל משתתף מסיים זרימה עובדת	0%	85% סיימו
3. התנהגות	שימוש פעיל שבועי	לוג הכלי, לא סקר	31%	58%
4. תוצאה	שעות שנחסכו ומדד עסקי	מדידה מתוזמנת מול קו בסיס	0	1.1 שעות למשתמש פעיל בשבוע

המספרים מהפיילוט של 180 העובדים. שימו לב לרמה 4: 1.1 שעות בשבוע למשתמש פעיל, לא 4.2 כמו שהעובדים דיווחו בסקר. הפער הזה, פי ארבעה, הוא הסיבה שרמה 4 נמדדת במדידה מתוזמנת של 40 משימות למחלקה, ולא בשאלון.

רמה 2 היא זו שרוב הארגונים מדלגים עליה. בסדנאות שלנו היא מובנית: הסדנה לא נגמרת בהרצאה אלא בתרגיל שבו כל משתתף בונה זרימה או סוכן על משימה משלו. מי שלא סיים, יודע שלא סיים, ואפשר לעזור לו למחרת. ומה זה אומר לגבי בחירת ה-KPI לכל רמה, במאמר KPI ל-AI בארגון.

איך מודדים הצלחה של הכשרת AI ב-30, 60 ו-90 יום?

ככה אנחנו בונים את המדידה בכל תוכנית הכשרה, לפני שהסדנה הראשונה מתקיימת:

1. לפני: קו בסיס. שבועיים של מדידה. אחוז שימוש שבועי אם הכלי כבר קיים, וזמן משימה על 2 עד 3 משימות חוזרות בכל צוות. 40 משימות מתוזמנות למחלקה.
2. יום 0: רמות 1 ו-2. סקר קצר, ותרגיל מסכם עם תוצר. רושמים מי סיים ומי לא.
3. יום 30: רמה 3, ראשונית. שימוש פעיל שבועי מהלוג. מי לא השתמש בכלל, ולמה. זה הרגע לשלוח צ׳מפיון, לא להזמין עוד סדנה.
4. יום 60: רמה 3, יציבה. האם מי שהתחיל ממשיך. מודדים משתמשים שחזרו 4 שבועות ברצף. בפיילוט: 18% לפני, 45% אחרי.
5. יום 90: רמה 4. חוזרים על המדידה המתוזמנת, על אותן משימות, עם אותם אנשים. מחשבים שעות שנחסכו, מכפילים במקדם מימוש שהמנהל הישיר אישר, ומקבלים מספר.
6. רבעון: החלטה. איזו מחלקה קיבלה הכי הרבה, איזו הכי מעט, ואיפה הכסף הבא להכשרה הולך.

מה ראינו בפיילוט של 180 עובדים?

שלוש מחלקות: תמיכה, כספים ופיתוח. שתי סדנאות, 20 צ׳מפיונים שקיבלו ליווי, ו-36,000 דולר עלות הכשרה וליווי. קו בסיס שבועיים לפני.

הפער בין מחלקות היה גדול יותר מהפער בין לפני לאחרי. אחרי 90 יום: 71% שימוש פעיל בכספים, 64% בפיתוח, 42% בתמיכה. הממוצע, 58%, הסתיר את העובדה שמחלקה אחת כמעט לא זזה. הסיבה התבררה בשיחות: בתמיכה אין רגע פנוי לנסות משהו חדש באמצע משמרת. הפתרון היה שעה שבועית חסומה עם צ׳מפיון, לא סדנה נוספת.

הצ׳מפיונים עשו יותר מהסדנאות. בחודש הראשון, אחרי הסדנה ולפני הליווי: 31%. בחודש הרביעי, אחרי חודשיים של ליווי: 58%. אותו כלי, אותם אנשים.

התוצאה הכספית הלכה אחרי ההתנהגות. תועלת ממומשת של כ-8,800 דולר בחודש בשלושת החודשים הראשונים, וכ-16,400 דולר בחודש מהחודש הרביעי. בכספים, סגירת חודש ירדה מ-9 ל-6 ימים. בתמיכה, זמן טיפול בפנייה ירד מ-11 ל-9 דקות. הכפלת הערך הגיעה מההכשרה והליווי, לא מהטכנולוגיה.

וגם ממה שלא עבד: סדנה שלישית שתוכננה לכל 180 העובדים בוטלה אחרי שהמספרים הראו שהבעיה היא במחלקה אחת. זה חסך כ-9,000 דולר שהופנו לליווי ממוקד.

מה ההבדל בין הכשרה שעובדת להכשרה שלא?

מתוך עשרות סדנאות ותוכניות הכשרה שהעברנו, ארבעה דברים מפרידים בין הכשרה שמשנה התנהגות להכשרה שנשארת אירוע:

• משימות אמיתיות של המשתתפים. לא דוגמאות גנריות. צוות שבנה בסדנה סוכן על תהליך שלו ממשיך להשתמש בו. 3 מתוך 4 צוותים כאלה הריצו את הסוכן בארגון תוך שבועיים.
• תוצר בסוף. זרימה עובדת, סוכן ראשון, כלי פנימי. משהו שקיים ביום שאחרי. סדנה שנגמרת בשקף סיכום נגמרת שם.
• ליווי אחרי. צ׳מפיון לכל 8 עד 10 עובדים, שעה שבועית, חודשיים. זה החלק שמעלה מ-31% ל-58%.
• מנהל שמודד. המנהל הישיר מקבל את מספרי השימוש של הצוות שלו כל חודש. בלי זה, אף אחד לא שואל למה חצי מהצוות לא נכנס לכלי.

בבוטקמפ שלנו של 6 מפגשים כל ארבעת התנאים מובנים: כל משתתף עובד על סוכן בארגון שלו, יוצא עם סוכן בפרודקשן, מקבל ליווי בין המפגשים, ומסיים עם מדידת ROI מול קו בסיס. מה הסוכנים האלה עושים בפועל, במרכז הנושא על סוכני AI.

מה לדרוש מספק ההכשרה לפני שחותמים?

בין אם מדובר בהכשרת AI לארגונים של מאות עובדים או בסדנה לצוות אחד, ארבעה דברים צריכים להופיע בהצעה בכתב:

• תוצר מוגדר לכל משתתף, לא ״היכרות עם כלי AI״. אם הספק לא יכול להגיד מה המשתתף בונה, הוא מעביר הרצאה ארוכה.
• משימות בין המפגשים על תהליכים מהארגון, לא על דוגמאות מוכנות. זה מה שמייצר את ההרגל.
• הסכמה למדידה ב-30, 60 ו-90 יום, כולל מה היעד בכל רמה. ספק שבונה בפרודקשן לא מפחד מהמספר הזה, כי הוא ראה אותו כבר.
• ליווי אחרי: שעת קבלה שבועית או ערוץ שאלות לחודש לפחות. רוב הכישלונות קורים בשבועיים אחרי המפגש האחרון, כשמשהו נשבר ואין את מי לשאול.

מה לא לדרוש: תעודה. תעודה לא רצה בלילה ולא חוסכת שעות.

עוד שאלה אחת ששווה לשאול בשיחת ההיכרות: ״מה המספרים מהמחזור הקודם שלכם?״. ספק שמודד יודע להגיד כמה אחוז שימוש היה אחרי 30 יום וכמה תוצרים שרדו. ספק שלא מודד יענה על שאלה אחרת. התשובה עצמה פחות חשובה מהעובדה שיש אחת.

איך הכשרת AI מתחברת ל-ROI?

בנוסחת ההחזר, הכשרה מופיעה פעמיים. פעם בצד העלות: 36,000 דולר בפיילוט שתיארנו. ופעם בצד התועלת, בתור המשתנה שקובע את אחוז השימוש, שקובע את השעות, שקובעות את הכסף. ארגון שמוריד את ההכשרה מהתקציב חוסך את הראשון ומפסיד את השני. בפיילוט, ההפרש היה כ-7,600 דולר בחודש, כל חודש.

לכן השאלה הנכונה היא לא “כמה עולה ההכשרה” אלא “מה אחוז השימוש בלי ההכשרה ומה איתה”. מי שיודע למדוד את זה, יודע גם כמה לשלם.

רוצים הכשרה שנמדדת בשימוש ובמספרים, לא בסקר? לקורסים ולבוטקמפ.