Wszystkie wpisy

Jak mierzyć efekty szkolenia AI w firmie? KPI, ROI i plan oceny

Efektów szkolenia AI nie należy mierzyć wyłącznie liczbą uczestników, wynikiem testu ani oceną prowadzącego. Najważniejsze jest to, czy po kilku tygodniach pracownicy potrafią bezpiecznie wykorzystywać AI w konkretnych zadaniach, czy zmienił się sposób realizacji wybranych procesów oraz czy firma rzeczywiście odzyskała czas, ograniczyła błędy lub zwiększyła wydajność.

Pomiar powinien zostać zaplanowany jeszcze przed szkoleniem. Bez danych bazowych firma może stwierdzić, że uczestnicy poznali nowe narzędzia, ale nie będzie w stanie ocenić, czy inwestycja przyniosła wartość biznesową. W praktyce najlepszym rozwiązaniem jest wybranie od jednego do trzech powtarzalnych zadań, zmierzenie ich przed szkoleniem i ponowne sprawdzenie wyników po 30, 60 oraz 90 dniach.

Dlaczego ankieta po szkoleniu nie pokazuje jego rzeczywistych efektów?

Ankieta przeprowadzona bezpośrednio po szkoleniu odpowiada przede wszystkim na pytanie, czy uczestnicy byli zadowoleni. Może pokazać, czy program był zrozumiały, przykłady trafne, a prowadzący dobrze przygotowany. Nie dowodzi jednak, że pracownicy wykorzystują zdobytą wiedzę w codziennej pracy.

Uczestnik może wystawić szkoleniu najwyższą ocenę, a mimo to nigdy później nie użyć poznanego narzędzia. Może również korzystać z AI często, ale generować materiały wymagające tak wielu poprawek, że pozorna oszczędność czasu znika. Zdarza się też odwrotna sytuacja: pracownicy oceniają szkolenie jako wymagające, ale po kilku tygodniach znacznie szybciej wykonują dzięki niemu powtarzalne zadania.

Dlatego satysfakcja uczestników jest ważnym, lecz wstępnym miernikiem. Powinna być traktowana jako informacja o jakości samego szkolenia, a nie jako dowód jego wpływu na firmę.

Raporty branżowe wskazują, że użytkownicy ChatGPT Enterprise deklarowali średnio 40-60 minut oszczędności dziennie, ale skala efektu była bardzo zróżnicowana w zależności od zadania i stanowiska. Ten sam raport zwraca uwagę na problem niskiej jakości treści generowanych przez AI, które wyglądają na użyteczne, lecz zmuszają innych pracowników do ich poprawiania lub wykonywania zadania od początku. Indywidualne poczucie oszczędności czasu nie musi więc automatycznie oznaczać wzrostu produktywności całego zespołu.

Pomiar efektów szkolenia AI należy zaplanować przed jego rozpoczęciem

Najczęstszy błąd polega na próbie znalezienia mierników dopiero po szkoleniu. Firma pyta wtedy uczestników, czy korzystają z AI i czy ich zdaniem pracują szybciej. Takie odpowiedzi są subiektywne, ponieważ nie ma danych pokazujących wcześniejszy sposób realizacji zadania.

Przed rozpoczęciem szkolenia trzeba ustalić, jaka zmiana ma nastąpić. Cel nie powinien brzmieć: „pracownicy nauczą się korzystać z ChatGPT”. Jest to cel edukacyjny, ale nie biznesowy. Lepsze założenie może wyglądać następująco:

Tak sformułowany cel wskazuje konkretne zadanie, miernik czasu, oczekiwany poziom poprawy oraz warunek jakościowy. Dzięki temu wiadomo, co należy zmierzyć przed szkoleniem i kiedy uznać, że rezultat został osiągnięty.

W CREHLER.AI również nie zaczynamy projektu od ogólnego założenia, że AI ma „zwiększyć efektywność”. Najpierw poznajemy problem, proces i oczekiwany efekt. Dopiero później rekomendujemy szkolenie zespołu, warsztat zastosowań, analizę procesu albo ograniczone wdrożenie pilotażowe.

Cztery poziomy mierzenia efektów szkolenia AI

Aby uniknąć oceniania szkolenia na podstawie jednego wskaźnika, rekomendujemy pomiar na czterech poziomach. Pierwszy dotyczy wiedzy, drugi rzeczywistego wykorzystania AI, trzeci wyników konkretnego procesu, a czwarty wartości biznesowej uzyskanej przez firmę.

Takie podejście pozwala ustalić, na którym etapie pojawił się problem. Jeżeli pracownicy zdobyli wiedzę, ale nie korzystają z AI, przyczyną może być brak dostępu do właściwych narzędzi, obawa o bezpieczeństwo albo niedopasowanie ćwiczeń do codziennych zadań. Jeżeli korzystają z AI, ale czas realizacji procesu się nie zmienia, problem może leżeć w jakości wyników, konieczności ręcznego przenoszenia danych lub braku integracji z systemami firmy.

Jak sprawdzić, czy pracownicy zdobyli praktyczne kompetencje AI?

Test wiedzy składający się z pytań zamkniętych może sprawdzić znajomość podstawowych pojęć, ale nie pokazuje, czy uczestnik potrafi wykorzystać AI w pracy. Znacznie lepszym miernikiem jest zadanie praktyczne wykonywane przed szkoleniem i po nim.

Pracownik może otrzymać przykładowe zapytanie klienta, dokument, zestaw danych albo notatkę ze spotkania. Jego zadaniem będzie przygotowanie określonego rezultatu z użyciem zatwierdzonego narzędzia AI. Ocenie podlega nie tylko końcowa odpowiedź, lecz także sposób wykonania zadania.

Warto sprawdzić, czy uczestnik potrafi właściwie opisać cel, dostarczyć potrzebny kontekst, wskazać oczekiwany format wyniku, rozpoznać brakujące informacje i zweryfikować wygenerowaną treść. Równie ważne jest to, czy wie, jakich danych nie powinien przekazywać do narzędzia oraz kiedy odpowiedź musi zostać zatwierdzona przez człowieka.

NIST rekomenduje, aby pomiar ryzyka i skuteczności rozwiązań generatywnej AI odbywał się w kontekście konkretnego zastosowania, według ustalonych procedur i przy jasno określonych rolach związanych z nadzorem. Oznacza to, że także kompetencji pracownika nie powinno się oceniać wyłącznie za pomocą ogólnego testu oderwanego od systemu i procesu, z którego korzysta.

Jak mierzyć rzeczywiste wykorzystanie AI po szkoleniu?

Wiedza zdobyta podczas szkolenia przynosi wartość dopiero wtedy, gdy zostaje wykorzystana. Z tego powodu po dwóch lub czterech tygodniach należy sprawdzić, ilu pracowników rzeczywiście korzysta z zatwierdzonych narzędzi i w jakich zadaniach je stosuje.

Sama liczba logowań nie wystarczy. Pracownik może otworzyć aplikację kilka razy i nadal nie włączyć AI do żadnego powtarzalnego procesu. Znacznie bardziej użyteczne jest zidentyfikowanie konkretnych scenariuszy pracy, na przykład przygotowywania podsumowań, porządkowania dokumentów, analizowania zapytań albo tworzenia pierwszej wersji raportu.

Miernikiem może być odsetek uczestników, którzy korzystają z co najmniej jednego uzgodnionego zastosowania tygodniowo. Firma może również sprawdzać liczbę zadań wykonanych według ustalonego procesu, liczbę wykorzystanych szablonów lub udział dokumentów przygotowanych przy wsparciu AI.

Pomiar nie powinien prowadzić do oceniania pracowników na podstawie samej częstotliwości korzystania z narzędzia. Celem nie jest maksymalizacja liczby promptów. AI ma być używane tam, gdzie poprawia wynik. Pracownik, który wykonuje jedno wartościowe zadanie tygodniowo, może przynosić firmie większą korzyść niż osoba generująca codziennie dziesiątki treści niewykorzystywanych w dalszej pracy.

Jak mierzyć oszczędność czasu po szkoleniu AI?

Czas jest najczęściej stosowanym miernikiem efektów szkolenia AI, ale łatwo go policzyć nieprawidłowo. Pytanie pracownika, ile czasu jego zdaniem oszczędza, daje jedynie deklarację. Wiarygodniejszy wynik wymaga porównania czasu wykonania tego samego lub bardzo podobnego zadania przed zmianą i po niej.

Pomiar powinien obejmować cały proces, a nie tylko moment pracy z narzędziem. Jeżeli AI przygotowuje dokument w dwie minuty, ale pracownik potrzebuje kolejnych dwudziestu minut na sprawdzenie i poprawienie błędów, nie można uznać, że zadanie trwało dwie minuty.

Do czasu realizacji należy wliczyć przygotowanie danych, pracę z AI, weryfikację odpowiedzi, wprowadzenie poprawek, zatwierdzenie oraz przeniesienie wyniku do kolejnego systemu. Dopiero porównanie pełnego cyklu pokazuje, czy proces rzeczywiście został skrócony.

Warto mierzyć medianę, a nie tylko średnią. Pojedyncze bardzo trudne zadanie może znacznie podnieść średni czas, mimo że większość przypadków jest obsługiwana sprawnie. Mediana lepiej pokazuje typowy rezultat, natomiast przypadki skrajne należy analizować osobno, ponieważ mogą ujawnić sytuacje, w których pracownik nie powinien korzystać z danego sposobu pracy.

Jak ocenić jakość pracy wykonywanej z pomocą AI?

Skrócenie czasu nie jest sukcesem, jeżeli jednocześnie rośnie liczba błędów. Dlatego każdemu miernikowi wydajności powinien towarzyszyć miernik jakości.

Kryteria trzeba dopasować do konkretnego zadania. Dla podsumowania rozmowy mogą to być kompletność ustaleń, poprawność nazw, wskazanie terminów i prawidłowe przypisanie odpowiedzialności. W przypadku oferty handlowej można oceniać zgodność z zapytaniem, poprawność warunków, język marki i brak niepotwierdzonych informacji. Dla dokumentów księgowych istotne będą poprawność odczytanych pól, kompletność danych i liczba przypadków wymagających ręcznej korekty.

Najlepiej przygotować prostą kartę oceny, która będzie stosowana zarówno przed szkoleniem, jak i po nim. Wynik może być wyrażony procentem poprawnie spełnionych kryteriów albo liczbą błędów na dokument. Ważne, aby sposób oceny nie zmieniał się w trakcie pomiaru.

Należy również sprawdzać koszt korekty. AI może przyspieszyć przygotowanie pierwszej wersji materiału, ale jeżeli inny pracownik poświęca dużo czasu na jej poprawianie, korzyść zostaje przeniesiona z jednej osoby na drugą. Ocena jakości powinna więc uwzględniać cały zespół uczestniczący w procesie.

Jak policzyć wartość odzyskanego czasu?

Oszczędność czasu można przeliczyć na wartość finansową, ale wynik wymaga ostrożnej interpretacji. Odzyskanie 50 godzin miesięcznie nie oznacza automatycznie, że firma zmniejszy koszty o równowartość 50 godzin. Korzyść pojawia się wtedy, gdy czas zostanie przeznaczony na zadania przynoszące wartość albo pozwoli uniknąć nadgodzin, opóźnień, outsourcingu lub dodatkowego zatrudnienia.

Podstawowa kalkulacja może wyglądać następująco:

Rozważmy modelowy przykład zespołu składającego się z 15 pracowników. Każda osoba przygotowuje miesięcznie 20 powtarzalnych podsumowań. Przed szkoleniem jedno podsumowanie zajmuje średnio 25 minut, a po szkoleniu i wdrożeniu wspólnego sposobu pracy 17 minut.

Oszczędność wynosi 8 minut na jednym zadaniu:

Jeżeli pełny koszt godziny pracy wynosi 90 zł, miesięczna wartość odzyskanego czasu wynosi:

Jest to kalkulacja modelowa, a nie gwarantowany rezultat szkolenia. Firma powinna dodatkowo sprawdzić, jak odzyskany czas został wykorzystany. Jeżeli pracownicy obsłużyli więcej klientów, szybciej przygotowali oferty lub ograniczyli zaległości, korzyść może zostać powiązana z konkretnym wynikiem operacyjnym. Jeżeli czas nie został zagospodarowany, nie należy automatycznie traktować całej kwoty jako realnej oszczędności.

Jak obliczyć ROI szkolenia AI?

ROI szkolenia AI pokazuje relację między wartością uzyskanych korzyści a pełnym kosztem inwestycji. Do kosztów nie należy zaliczać wyłącznie ceny usługi szkoleniowej. Trzeba uwzględnić także czas uczestników, licencje na narzędzia, przygotowanie materiałów, konsultacje po szkoleniu oraz ewentualne zmiany w procesie.

Wzór może wyglądać następująco:

Załóżmy, że całkowity koszt szkolenia, czasu uczestników i licencji wyniósł 9000 zł. Firma uzyskała mierzalną wartość 3600 zł miesięcznie, wynikającą z odzyskanego czasu. Po trzech miesiącach wartość korzyści wyniosła 10 800 zł.

Okres zwrotu wyniósłby w tym przykładzie około dwóch i pół miesiąca.

Kalkulacja powinna uwzględniać również dodatkowe koszty utrzymania nowego sposobu pracy. Jeżeli firma musi płacić 1200 zł miesięcznie za licencje, koszt ten zmniejsza wartość uzyskanego efektu. Z drugiej strony ograniczenie reklamacji, szybsza obsługa zapytań albo uniknięcie dodatkowego etatu może znacząco zwiększyć korzyść.

Które KPI warto wybrać dla poszczególnych działów?

Nie istnieje jeden uniwersalny zestaw wskaźników dla wszystkich szkoleń AI. Mierniki powinny wynikać z procesów, z którymi pracują uczestnicy.

Do każdego procesu najlepiej wybrać od dwóch do czterech wskaźników. Zbyt duża liczba KPI sprawia, że pomiar staje się dodatkowym obciążeniem, a firma traci z oczu najważniejszy rezultat.

Jak odróżnić efekt szkolenia od wpływu innych zmian?

Poprawa wyniku po szkoleniu nie zawsze musi być jego bezpośrednim efektem. W tym samym czasie firma mogła wdrożyć nowe narzędzie, zmienić procedurę, zwiększyć zatrudnienie albo wejść w sezon o innym natężeniu pracy.

Aby zwiększyć wiarygodność pomiaru, warto porównywać podobne zadania i okresy. Jeżeli jest to możliwe, można również rozpocząć pracę od mniejszej grupy pilotażowej, a następnie zestawić jej wyniki z zespołem, który jeszcze nie przeszedł szkolenia. Nie chodzi o prowadzenie rozbudowanego eksperymentu naukowego, ale o ograniczenie wpływu oczywistych czynników zakłócających.

Należy także zapisywać zmiany wprowadzone między pomiarami. Jeżeli po szkoleniu firma przygotowała nowe szablony, kupiła licencje biznesowe albo zintegrowała narzędzie z CRM, końcowy rezultat jest efektem całego rozwiązania, a nie wyłącznie zajęć szkoleniowych. Jest to cenna informacja, ponieważ pokazuje, jakie warunki są potrzebne, aby kompetencje pracowników przełożyły się na wynik.

Kiedy mierzyć efekty szkolenia AI?

Jeden pomiar bezpośrednio po szkoleniu nie wystarczy. Wiedza może być wtedy świeża, ale uczestnicy nie mieli jeszcze okazji zastosować jej w rzeczywistym procesie. Z kolei pomiar przeprowadzony dopiero po pół roku utrudnia ustalenie, co rzeczywiście wpłynęło na zmianę.

Praktyczny harmonogram obejmuje cztery momenty:

Po 30 dniach warto zorganizować krótką sesję kontrolną. Pracownicy mogą wtedy wskazać, które zastosowania się sprawdziły, gdzie pojawiają się błędy i jakich dodatkowych materiałów potrzebują. Często właśnie na tym etapie firma odkrywa, że największą przeszkodą nie jest brak wiedzy, ale ręczne przenoszenie informacji między narzędziami.

Jakie wyniki nie powinny być uznawane za sukces szkolenia?

Liczba uczestników, wydanych certyfikatów, przygotowanych promptów czy wygenerowanych dokumentów nie świadczy jeszcze o efekcie biznesowym. Są to mierniki aktywności, a nie rezultatu.

Nie należy również uznawać za sukces sytuacji, w której pracownicy częściej korzystają z AI, ale rośnie liczba błędów, materiałów wymagających poprawy lub przypadków używania niezatwierdzonych narzędzi. Większa aktywność może wtedy zwiększać ryzyko zamiast poprawiać działanie firmy.

Ostrożnie trzeba traktować deklaracje typu „oszczędzam godzinę dziennie”. Pracownicy mogą trafnie zauważać poprawę, ale subiektywne szacunki powinny zostać uzupełnione obserwacją rzeczywistego zadania, danymi z systemów albo porównaniem liczby obsłużonych spraw.

Celem nie jest udowodnienie za wszelką cenę, że szkolenie się opłaciło. Pomiar ma pomóc ustalić, co zadziałało, co wymaga poprawy i czy kolejnym krokiem powinno być dalsze rozwijanie kompetencji, zmiana procesu czy wdrożenie rozwiązania technologicznego.

Czy AI Act wymaga mierzenia efektów szkolenia AI?

Według aktualnych wyjaśnień Komisji Europejskiej art. 4 AI Act nie nakłada obowiązku mierzenia poziomu wiedzy każdego pracownika ani osiągnięcia jednego odgórnie ustalonego poziomu kompetencji. Organizacja powinna jednak podejmować działania wspierające rozwój umiejętności AI z uwzględnieniem wiedzy, doświadczenia, roli pracowników, kontekstu wykorzystania systemu i związanych z nim ryzyk.

Komisja wskazuje także, że szkolenie powinno być dopasowane do grupy i sposobu używania systemu, a samo polecenie przeczytania instrukcji może być niewystarczające. Organizacje mogą prowadzić wewnętrzny rejestr szkoleń i innych działań edukacyjnych. Nie jest natomiast wymagany jeden konkretny certyfikat.

Pomiar efektów jest więc przede wszystkim narzędziem zarządczym. Pomaga wykazać, że firma nie ograniczyła się do formalnego przeprowadzenia zajęć, lecz sprawdziła, czy pracownicy rozumieją zasady, potrafią właściwie korzystać z AI i nie wprowadzają do procesów nowych zagrożeń.

Co zrobić, jeżeli szkolenie nie przynosi oczekiwanych rezultatów?

Brak efektu nie zawsze oznacza, że szkolenie zostało źle przeprowadzone. Pracownicy mogą rozumieć zasady i potrafić korzystać z AI, ale nadal nie mieć warunków do zastosowania wiedzy.

Najczęstsze bariery to brak zatwierdzonych narzędzi, niejasne zasady dotyczące danych, niewystarczająca jakość materiałów źródłowych, brak czasu na zmianę sposobu pracy oraz konieczność ręcznego kopiowania informacji między wieloma systemami. W takiej sytuacji kolejne szkolenie z promptowania prawdopodobnie nie rozwiąże problemu.

Jeżeli pracownik musi pobrać dokument, zanonimizować go, wkleić do aplikacji, sprawdzić odpowiedź, poprawić format i ręcznie przenieść wynik do ERP lub CRM, możliwości usprawnienia przez samo szkolenie są ograniczone. Proces może wymagać integracji, automatycznego pobierania danych, kontroli uprawnień albo rozwiązania zaprojektowanego dla konkretnego zastosowania.

W naszych projektach wdrożeniowych każde rozwiązanie rozpoczynamy od konkretnego procesu i miernika sukcesu, takiego jak czas obsługi, koszt, liczba błędów lub szybkość działania. W jednym z procesów dokumentowych udało się osiągnąć do 70% krótszy czas obsługi i 99% skuteczności klasyfikacji. W innym rozwiązanie wspierające back-office pozwoliło odzyskać około 120 godzin miesięcznie. Są to efekty wdrożeń, a nie samego szkolenia, ale pokazują, dlaczego rozwój kompetencji powinien prowadzić do analizy procesów, w których firma może uzyskać wymierny wynik.

Kiedy po szkoleniu warto przejść do warsztatu lub wdrożenia?

Szkolenie jest właściwym pierwszym krokiem, gdy firma potrzebuje wspólnego poziomu wiedzy, bezpiecznych zasad pracy i praktycznych zastosowań dla pracowników. Jeżeli jednak zespół potrafi już wskazać procesy, które pochłaniają dużo czasu lub generują błędy, kolejnym etapem powinna być analiza ich opłacalności.

Podczas AI Discovery Workshop analizujemy procesy, porównujemy potencjalne zastosowania według wartości, kosztu i ryzyka, a następnie rekomendujemy pierwsze wdrożenie. Rezultatem jest mapa procesów, lista priorytetów, wstępne oszacowanie zwrotu oraz dokument potrzebny do podjęcia decyzji przez zarząd.

Pomiar efektów szkolenia często dostarcza danych potrzebnych do takiego warsztatu. Pokazuje, w których zadaniach pracownicy uzyskali poprawę dzięki prostym narzędziom, a gdzie rezultat zatrzymał się z powodu braku integracji, danych lub odpowiednio zaprojektowanego procesu.

FAQ: najczęstsze pytania o mierzenie efektów szkolenia AI

Po jakim czasie można ocenić efekty szkolenia AI?

Pierwsze efekty edukacyjne można sprawdzić bezpośrednio po szkoleniu, ale zmianę sposobu pracy najlepiej oceniać po około 30 dniach. Wyniki procesowe i biznesowe zwykle wymagają obserwacji przez 60-90 dni.

Ile KPI należy wybrać?

Dla jednego procesu najczęściej wystarczą dwa do czterech mierników. Powinny obejmować co najmniej wydajność oraz jakość. Zbyt duża liczba wskaźników utrudnia analizę i zwiększa koszt pomiaru.

Czy ankieta pracowników może być jednym z mierników?

Tak, ale nie powinna być jedynym źródłem danych. Warto zestawić deklaracje pracowników z pomiarem czasu, liczbą wykonanych zadań, jakością wyników oraz danymi z używanych systemów.

Jak zmierzyć szkolenie, jeżeli każdy pracownik wykonuje inne zadania?

Można wybrać kilka reprezentatywnych scenariuszy dla poszczególnych ról. Sprzedaż, marketing, finanse i zarząd nie muszą mieć wspólnego KPI, ale wszystkie grupy można oceniać według tej samej logiki: wiedza, wykorzystanie, wynik procesu i wartość biznesowa.

Czy brak oszczędności czasu oznacza, że szkolenie się nie udało?

Nie zawsze. Szkolenie może poprawić jakość, bezpieczeństwo, kompletność danych lub szybkość dostępu do informacji, nie skracając znacząco czasu realizacji. Efekt należy oceniać według celu ustalonego przed rozpoczęciem zajęć.

Czy mierzenie efektów szkolenia AI jest obowiązkowe?

AI Act nie nakłada ogólnego obowiązku testowania wiedzy każdego pracownika. Pomiar jest jednak wartościowym sposobem sprawdzenia, czy działania edukacyjne są dopasowane do rzeczywistego zastosowania AI i czy firma osiąga zakładany rezultat.

Jak sprawdzić, czy szkolenie AI rzeczywiście zmieniło sposób pracy?

Skuteczne szkolenie AI powinno prowadzić do konkretnej zmiany: pracownicy bezpiecznie korzystają z narzędzi, wybrane zadania wykonują szybciej lub dokładniej, a firma potrafi określić wartość uzyskanego efektu. Bez ustalenia danych bazowych i mierników przed rozpoczęciem szkolenia nie da się rzetelnie ocenić jego opłacalności.

Podczas bezpłatnej konsultacji pomożemy określić, jakie procesy i KPI warto objąć pomiarem oraz czy właściwym kolejnym krokiem jest szkolenie zespołu, warsztat zastosowań czy analiza konkretnego procesu. Skontaktuj się z nami!