Wszystkie wpisy

Od testu wiedzy do wyniku biznesowego - pięć poziomów oceny szkolenia AI

Firma organizuje szkolenie z ChatGPT, Claude lub Microsoft Copilot. Uczestnicy poznają zasady budowania poleceń, analizują kilka przykładowych dokumentów i wypełniają ankietę satysfakcji. Frekwencja wynosi 92%, a średnia ocena szkolenia to 4,8 na 5.

Czy oznacza to, że program był skuteczny? Niekoniecznie.

Wysoka frekwencja potwierdza, że pracownicy uczestniczyli w spotkaniu. Dobra ocena pokazuje, że podobał im się sposób prowadzenia. Wynik testu wiedzy może udowodnić, że zapamiętali podstawowe zasady. Żaden z tych wskaźników nie odpowiada jednak na pytanie, czy po szkoleniu pracują szybciej, popełniają mniej błędów i bezpieczniej korzystają z AI.

Efekt szkolenia pojawia się dopiero wtedy, gdy pracownik potrafi zastosować wiedzę w rzeczywistym zadaniu, sprawdzić wynik modelu i włączyć nowe narzędzie do codziennego procesu. Firma powinna więc mierzyć nie tylko wiedzę, ale również zachowanie, jakość pracy, wykorzystanie wyników, bezpieczeństwo oraz wartość biznesową.

Najważniejsze pytanie nie brzmi:

Powinno brzmieć:

Czy AI Act wymaga mierzenia wiedzy pracowników?

Art. 4 AI Act zobowiązuje dostawców i podmioty korzystające z systemów AI do podejmowania działań wspierających rozwój kompetencji AI osób pracujących z tymi systemami. Program powinien uwzględniać wiedzę techniczną, doświadczenie, wykształcenie, wcześniejsze szkolenia, kontekst wykorzystania oraz ryzyko związane z konkretnym zastosowaniem AI. Obowiązek stosuje się od 2 lutego 2025 roku, a przepisy dotyczące nadzoru i egzekwowania zaczęły obowiązywać w sierpniu 2026 roku.

Komisja Europejska wyjaśnia jednocześnie, że art. 4 nie nakłada obowiązku osiągnięcia przez każdego pracownika jednego, z góry określonego poziomu wiedzy. Nie wymaga również przeprowadzania konkretnego egzaminu ani wydawania certyfikatów. Organizacja może prowadzić wewnętrzny rejestr szkoleń, instrukcji i innych działań rozwijających kompetencje.

Oznacza to, że firma nie musi mierzyć efektów wyłącznie po to, aby wystawić pracownikom formalne zaświadczenie. Powinna jednak robić to z powodów biznesowych i organizacyjnych.

Bez pomiaru nie wiadomo:

• czy uczestnicy zrozumieli zasady,
• czy potrafią je zastosować,
• czy korzystają z zatwierdzonych narzędzi,
• czy szkolenie zmieniło sposób pracy,
• czy zmniejszyło, czy zwiększyło ryzyko,
• czy poniesiony koszt przynosi wartość.

W procesach związanych z systemami AI wysokiego ryzyka wymagania dotyczące przeszkolenia osób zapewniających nadzór człowieka pozostają szczególnie istotne.

Dlaczego ankieta satysfakcji nie mierzy efektu?

Pytania typu:

• Czy szkolenie było interesujące?
• Czy prowadzący jasno przekazywał wiedzę?
• Czy materiały były przydatne?
• Czy poleciłbyś szkolenie innej osobie?

są potrzebne, ale oceniają głównie doświadczenie uczestnika. Pomagają poprawić sposób prowadzenia kolejnej edycji, lecz nie potwierdzają zmiany kompetencji ani wyników.

Pracownik może bardzo dobrze ocenić efektowną prezentację, a następnego dnia nie wiedzieć, do którego zadania użyć AI — dlatego warto wcześniej sprawdzić, czy program nie jest pokazem slajdów. Może również nisko ocenić wymagające ćwiczenie, mimo że właśnie ono najlepiej przygotowało go do samodzielnej pracy.

Satysfakcję należy więc traktować jako jeden z elementów pomiaru, a nie jego główny rezultat.

Kompletny system oceny powinien obejmować pięć poziomów:

• Udział i odbiór szkolenia.
• Wiedzę i praktyczne umiejętności.
• Zmianę zachowania w pracy.
• Zmianę wyników procesu.
• Wartość biznesową i bezpieczeństwo.

Dopiero połączenie tych poziomów pokazuje, czy program zadziałał.

Pomiar trzeba zaprojektować przed szkoleniem

Najczęstszy błąd polega na rozpoczęciu pomiaru po zakończeniu programu.

Firma wie wtedy, że pracownik przygotował raport z AI w 18 minut, ale nie wie, ile zajmowało mu to wcześniej. Widzi 40 aktywnych użytkowników, lecz nie posiada informacji, ilu korzystało z AI przed szkoleniem. Może ocenić jakość nowych materiałów, ale nie ma próbki wykonanej tradycyjnie.

Bez punktu odniesienia trudno wykazać zmianę. Przed rozpoczęciem programu należy więc określić:

Dobrym rozwiązaniem jest wykonanie krótkiej diagnozy od jednego do dwóch tygodni przed szkoleniem. Nie musi ona obejmować całej organizacji. W większej firmie można wybrać reprezentatywną grupę z kilku działów i poziomów doświadczenia.

Co mierzyć przed szkoleniem?

Wiedzę deklarowaną

Uczestnik ocenia, czy rozumie:

• czym różni się model generatywny od wyszukiwarki,
• dlaczego AI może tworzyć błędne informacje,
• jakie narzędzia są zatwierdzone,
• jakich danych nie wolno przekazywać,
• kiedy wynik wymaga dodatkowej kontroli.

Samoocena jest przydatna, ale nie wystarcza. Pracownicy mogą przeceniać albo nie doceniać swoich kompetencji.

Wiedzę sprawdzaną

Krótki test powinien obejmować realne sytuacje, a nie definicje techniczne. Zamiast pytać:

lepiej przedstawić odpowiedź AI zawierającą nieistniejące źródło i zapytać:

Umiejętność wykonania zadania

Uczestnik otrzymuje krótkie zadanie podobne do jego codziennej pracy, na przykład:

• przygotowanie podsumowania raportu,
• porównanie dwóch dokumentów,
• stworzenie odpowiedzi do klienta,
• analiza danych w arkuszu,
• przygotowanie testu kodu.

Ocena obejmuje zarówno rezultat, jak i sposób pracy.

Obecne zachowania

Warto sprawdzić:

• kto używa prywatnych kont,
• kto korzysta z AI regularnie,
• jakie zastosowania pojawiły się oddolnie,
• czy pracownicy weryfikują wyniki,
• czy zapisują materiały w odpowiednim systemie,
• czy zgłaszają błędy.

Parametry procesu

Dla zadań objętych programem należy zmierzyć:

• średni czas wykonania,
• czas oczekiwania,
• liczbę poprawek,
• odsetek materiałów odrzucanych,
• liczbę wyjątków,
• czas kontroli przez managera,
• koszt pełnego procesu.

Dopiero taki punkt wyjścia pozwala ocenić, czy szkolenie przyniosło rzeczywistą zmianę.

Model CREHLER.AI 5E - pięć poziomów oceny szkolenia

Efekty programu można uporządkować w pięciu warstwach.

Każdy poziom odpowiada na inne pytanie. Nie należy przechodzić bezpośrednio od frekwencji do deklarowanego ROI.

Pracownicy mogą ukończyć szkolenie, ale nie zmienić zachowania. Mogą zacząć używać AI, lecz nie osiągnąć poprawy procesu. Proces może przyspieszyć, ale koszt licencji, kontroli i błędów może przewyższyć uzyskaną wartość.

Poziom 1. Ekspozycja - czy pracownik rzeczywiście uczestniczył?

Najprostsze mierniki obejmują:

• frekwencję,
• ukończenie modułów,
• wykonanie ćwiczeń,
• czas spędzony w programie,
• udział w konsultacjach,
• pobranie materiałów.

Te dane odpowiadają na pytanie, czy organizacja zapewniła pracownikowi możliwość zdobycia kompetencji. Nie pokazują jednak, czy uczestnik uważnie brał udział, zrozumiał materiał ani wykorzystał go później.

Wysoki wynik jest warunkiem dalszej oceny, ale nie powinien być przedstawiany zarządowi jako główny efekt inwestycji.

Poziom 2. Edukacja - co pracownik potrafi po szkoleniu?

Na tym poziomie mierzymy wiedzę, umiejętności i postawę wobec odpowiedzialnego korzystania z AI.

Europejskie narzędzia oparte na DigComp mierzą kompetencje cyfrowe przez trzy elementy: wiedzę, umiejętności i postawę. Takie podejście dobrze sprawdza się również przy ocenie kompetencji AI, ponieważ pracownik musi nie tylko znać zasadę, ale potrafić ją zastosować i rozumieć konsekwencje swojego działania.

Wiedza

Pracownik powinien rozumieć:

• podstawowe możliwości i ograniczenia AI,
• różnicę między odpowiedzią modelu a zweryfikowanym faktem,
• zasady firmowe,
• klasyfikację danych,
• odpowiedzialność człowieka,
• ryzyka typowe dla używanego systemu.

Umiejętności

Powinien potrafić:

• sformułować zadanie,
• wskazać źródła,
• ograniczyć zakres danych,
• zweryfikować wynik,
• rozpoznać brak podstawy,
• zgłosić wyjątek lub incydent.

Postawa

Powinien wykazywać:

• gotowość do sprawdzania wyników,
• ostrożność przy danych poufnych,
• świadomość ograniczeń modelu,
• gotowość do zgłaszania błędów,
• brak automatycznego zaufania do płynnej odpowiedzi.

Jak przeprowadzić test praktyczny?

Uczestnik otrzymuje zadanie składające się z:

• Materiału źródłowego.
• Celu biznesowego.
• Ograniczeń dotyczących danych.
• Celowo niepełnej lub błędnej odpowiedzi AI.
• Konieczności przygotowania finalnego wyniku.

Ocenie podlega nie tylko treść, ale cały proces.

Taki test daje bardziej wartościową informację niż quiz wielokrotnego wyboru.

Poziom 3. Eksploatacja - czy pracownik zmienił zachowanie?

Pracownik może zdać test dzień po szkoleniu i nigdy później nie użyć AI. Dlatego kolejny pomiar powinien nastąpić w środowisku pracy.

Należy sprawdzić:

• czy korzysta z zatwierdzonego konta,
• do jakich zadań używa AI,
• czy stosuje przygotowane instrukcje,
• czy kontroluje wynik,
• czy zapisuje rezultat we właściwym miejscu,
• czy potrafi zrezygnować z AI, gdy narzędzie nie pasuje do zadania.

Aktywność nie jest tym samym co właściwe użycie

Liczba promptów może być myląca. Pracownik wysyłający 200 wiadomości miesięcznie może eksperymentować bez wpływu na proces. Inna osoba może cztery razy w miesiącu analizować dokumenty, oszczędzając kilka godzin przy każdym przypadku.

Dlatego warto mierzyć nie tylko aktywność, ale również udział zatwierdzonych zastosowań.

Wzrost liczby zgłoszonych błędów bezpośrednio po szkoleniu nie zawsze jest negatywny. Może oznaczać, że pracownicy zaczęli je rozpoznawać i raportować. Dopiero utrzymujący się wzrost poważnych incydentów może wskazywać, że program nie przygotował użytkowników wystarczająco dobrze.

Poziom 4. Efektywność - czy zmienił się wynik procesu?

Najważniejszy pomiar odbywa się na poziomie konkretnego zadania.

Generatywna AI może zwiększać efektywność między innymi w pisaniu, podsumowywaniu, edycji, tłumaczeniach i tworzeniu kodu. Jednocześnie efekty różnią się zależnie od zadania, użytkownika i warunków eksperymentu.

Badania pokazujące duże wzrosty produktywności często dotyczą wąsko określonych zadań dobrze dopasowanych do generatywnej AI. Wyników nie należy automatycznie przenosić na całe stanowiska ani wszystkie procesy firmy. Po uwzględnieniu całego czasu pracy średnie oszczędności mogą być znacznie niższe niż wyniki uzyskiwane w pojedynczych eksperymentach.

Dlatego organizacja powinna mierzyć własne procesy, na własnych danych.

Czas

Najczęściej analizowany miernik, ale powinien obejmować pełne zadanie:

Błędem jest porównanie 30 minut pracy tradycyjnej z 40 sekundami generowania odpowiedzi. Pracownik mógł poświęcić dodatkowe 15 minut na przygotowanie kontekstu i kolejne 20 na poprawianie błędów.

Jakość

W zależności od procesu może obejmować:

• kompletność,
• poprawność faktów,
• zgodność ze źródłami,
• zgodność z formatem,
• język,
• liczbę błędów,
• liczbę poprawek,
• ocenę odbiorcy.

Przepustowość

AI może nie skrócić znacząco pojedynczego zadania, ale pozwolić zespołowi obsłużyć więcej przypadków. Warto mierzyć:

• liczbę przeanalizowanych dokumentów,
• liczbę obsłużonych zgłoszeń,
• liczbę przygotowanych ofert,
• liczbę wykonanych analiz,
• wielkość zredukowanego backlogu.

Stabilność

Jedna dobra odpowiedź nie potwierdza skuteczności. To samo zadanie należy wykonać kilka razy na różnych przypadkach, w tym:

• typowych,
• trudnych,
• niepełnych,
• niejednoznacznych,
• zawierających sprzeczne informacje.

Zalecamy stosowanie ilościowych, jakościowych lub mieszanych metod pomiaru oraz prowadzenie powtarzalnych testów, ewaluacji, weryfikacji i walidacji. Systemy AI powinny być oceniane przed wdrożeniem i regularnie podczas używania.

Podobna zasada powinna dotyczyć użytkowników. Nie mierzymy wyłącznie, czy pracownik raz potrafił obsłużyć AI. Sprawdzamy, czy robi to poprawnie także po kilku tygodniach i w mniej oczywistych sytuacjach.

Poziom 5. Ekonomia - czy szkolenie stworzyło wartość?

Na ostatnim poziomie firma porównuje efekt biznesowy z pełnym kosztem programu. Koszt powinien obejmować:

• przygotowanie szkolenia,
• czas uczestników,
• pracę managerów,
• licencje,
• konsultacje,
• materiały,
• administrację,
• wdrożenie szablonów i projektów,
• monitoring,
• obsługę błędów,
• kolejne działania rozwojowe.

Wartość może wynikać z:

• oszczędności czasu,
• obsługi większej liczby spraw,
• ograniczenia zaległości,
• skrócenia czasu odpowiedzi,
• zmniejszenia liczby błędów,
• poprawy konwersji,
• szybszego przygotowywania ofert,
• ograniczenia kosztu zewnętrznych usług,
• uniknięcia incydentów i naruszeń.

Wzór na ROI szkolenia AI

Załóżmy, że program kosztował 120 000 zł. Po szkoleniu firma obliczyła:

• wartość odzyskanego czasu: 150 000 zł,
• ograniczenie kosztu usług zewnętrznych: 30 000 zł,
• dodatkową marżę wynikającą z szybszej obsługi: 20 000 zł.

Kalkulacja ma sens tylko wtedy, gdy korzyści zostały ostrożnie przypisane do programu — analogiczne zasady stosujemy przy ROI pierwszego wdrożenia AI.

Odzyskany czas nie jest automatycznie oszczędnością

Załóżmy, że 50 pracowników oszczędza po szkoleniu średnio 45 minut tygodniowo. Rocznie, przy 46 tygodniach pracy:

Przy pełnym koszcie godziny wynoszącym 100 zł nominalna wartość czasu wynosi:

Nie oznacza to jednak, że firma automatycznie zaoszczędziła 172 500 zł. Trzeba sprawdzić, co wydarzyło się z odzyskanym czasem. Mógł zostać wykorzystany do:

• obsługi większej liczby klientów,
• realizacji dodatkowych analiz,
• skrócenia terminów,
• ograniczenia nadgodzin,
• zmniejszenia backlogu,
• uniknięcia dodatkowego zatrudnienia.

Jeżeli czas rozproszył się pomiędzy drobne czynności i nie wpłynął na żaden miernik procesu, jego pełna wartość finansowa jest trudna do obrony.

Dlatego można zastosować współczynnik wykorzystania odzyskanego czasu. Jeżeli firma uzna, że tylko 60% odzyskanych godzin zostało realnie wykorzystane:

Taka kalkulacja jest bardziej konserwatywna i wiarygodna.

Przykładowy pomiar konkretnego zadania

Załóżmy, że szkolenie objęło przygotowywanie podsumowań spotkań sprzedażowych.

Przed szkoleniem:

• 20 handlowców,
• 15 spotkań miesięcznie na osobę,
• 25 minut na podsumowanie i aktualizację CRM,
• 12% wpisów wymagało uzupełnienia przez managera.

Po szkoleniu:

• pełny czas procesu spadł do 15 minut,
• 5% wpisów wymagało uzupełnienia,
• 80% pracowników regularnie korzystało z przygotowanego standardu.

Przy pełnym koszcie godziny 120 zł:

Do wartości należy dodać możliwą korzyść z lepszej kompletności CRM, ale tylko wtedy, gdy firma potrafi wykazać jej wpływ na dalszy proces.

Od wyniku trzeba odjąć koszt programu, licencji, utrzymania instrukcji, czasu kontroli oraz wsparcia użytkowników.

Efekty należy mierzyć w kilku terminach

Pomiar wykonany natychmiast po szkoleniu może przeceniać rezultat. Uczestnicy pamiętają materiał i korzystają z przygotowanych przykładów, ale nie wiadomo jeszcze, czy zachowanie się utrzyma.

W procesach szybko zmieniających się aktualizacja może być potrzebna częściej. Narzędzia, funkcje, zasady dostawców i ryzyka AI rozwijają się szybciej niż tradycyjne materiały szkoleniowe.

Jak oceniać szkolenie dla różnych ról?

Nie każdy pracownik powinien być oceniany według tych samych kryteriów.

Użytkownik podstawowy

Powinien potrafić:

• wybrać zatwierdzone narzędzie,
• ograniczyć dane,
• przygotować właściwe polecenie,
• zweryfikować wynik,
• rozpoznać sytuację wymagającą pomocy.

Mierniki obejmują poprawność wykonania zadania, zgodność z zasadami i regularność właściwego użycia.

Manager

Powinien potrafić:

• wybrać proces odpowiedni dla AI,
• zdefiniować miernik sukcesu,
• ocenić jakość rezultatów,
• wykorzystać odzyskany czas,
• reagować na błędy,
• wspierać zmianę sposobu pracy.

Managera nie należy oceniać wyłącznie na podstawie jego własnej aktywności w narzędziu. Ważniejsze jest to, czy zespół wdrożył prawidłowe zastosowania i osiągnął wynik procesowy.

AI Champion

Osoba wspierająca użytkowników powinna rozwijać bibliotekę zastosowań, zbierać błędy, aktualizować szablony i rozpoznawać sytuacje wymagające zaangażowania IT, prawa lub bezpieczeństwa — pełny program ambasadorów AI opisaliśmy osobno.

Mierniki mogą obejmować liczbę rozwiązanych problemów, jakość materiałów i liczbę zastosowań przeniesionych do standardu.

IT, bezpieczeństwo i compliance

Te role powinny potrafić:

• oceniać narzędzia i integracje,
• zarządzać uprawnieniami,
• analizować retencję,
• monitorować incydenty,
• prowadzić testy,
• oceniać zmiany funkcji i dostawców.

Ich skuteczność jest związana między innymi z czasem reakcji, liczbą niezatwierdzonych narzędzi, jakością logów i przestrzeganiem zasad przez użytkowników.

Jak mierzyć bezpieczeństwo po szkoleniu?

Program może przyspieszyć pracę, ale jednocześnie zwiększyć ryzyko, jeśli uczestnicy zaczną przesyłać więcej dokumentów i korzystać z przypadkowych konektorów — dlatego warto zestawić pomiar z zasadami przetwarzania danych. Równolegle z produktywnością trzeba monitorować:

• używanie prywatnych kont,
• przesyłanie zabronionych danych,
• instalowanie niezatwierdzonych narzędzi,
• brak kontroli źródeł,
• automatyczne wysyłanie niezweryfikowanych wyników,
• udostępnianie odpowiedzi osobom bez uprawnień,
• błędne decyzje oparte na AI,
• liczbę incydentów i zgłoszeń.

Negatywny wynik nie zawsze oznacza nieskuteczne szkolenie

Po programie liczba zgłoszeń może wzrosnąć, ponieważ pracownicy lepiej rozpoznają problemy.

Przykładowo przed szkoleniem nie odnotowano żadnego przypadku przesłania danych do prywatnego konta. Po szkoleniu zgłoszono pięć takich zdarzeń z poprzednich miesięcy.

Nie oznacza to automatycznie, że szkolenie zwiększyło liczbę naruszeń. Mogło zwiększyć świadomość i gotowość do raportowania. Dlatego należy analizować:

• kiedy zdarzenie faktycznie wystąpiło,
• czy zostało wykryte samodzielnie,
• jak szybko je zgłoszono,
• czy podobny błąd powtórzył się po szkoleniu,
• czy firma poprawiła proces.

Jak oddzielić efekt szkolenia od wpływu narzędzia?

Lepsze wyniki mogą wynikać nie tylko ze szkolenia. W tym samym czasie firma mogła:

• kupić lepszy plan,
• wdrożyć konektor,
• zmienić model,
• poprawić procedurę,
• zaktualizować dane,
• ograniczyć zakres zadania,
• wprowadzić nowego managera.

Aby ocena była bardziej wiarygodna, warto zastosować jeden z kilku sposobów.

Porównanie przed i po

Najprostsza metoda. To samo zadanie mierzymy przed szkoleniem i po nim.

Grupa porównawcza

Część pracowników przechodzi program wcześniej, a część później. Można porównać wyniki obu grup w tym samym okresie. Grupa porównawcza nie powinna być pozbawiana niezbędnego szkolenia dotyczącego bezpieczeństwa. Można natomiast przesunąć w czasie szkolenie zaawansowane lub test konkretnego zastosowania.

Porównanie procesów

Ten sam zespół testuje AI w jednym procesie, a podobny proces pozostaje bez zmian.

Ocena niezależna

Materiały przygotowane przed i po szkoleniu są oceniane przez osobę, która nie wie, z którego okresu pochodzą.

Powtarzane pomiary

Wynik jest sprawdzany kilka razy. Pozwala to ograniczyć wpływ jednorazowego entuzjazmu i nietypowego tygodnia pracy.

Dashboard efektów szkolenia AI

Zarząd nie potrzebuje listy wszystkich promptów ani wyników każdego testu. Potrzebuje zestawu pokazującego zmianę kompetencji, procesów, ryzyka i wartości.

Pod dashboardem powinien znaleźć się komentarz wyjaśniający:

• gdzie efekt jest najwyższy,
• które działy potrzebują wsparcia,
• jakie ryzyka pozostają,
• które zastosowania wymagają integracji,
• co firma powinna zrobić dalej.

Modelowa karta oceny zastosowania

Każde zastosowanie przetestowane podczas szkolenia może otrzymać osobną kartę.

Karta pozwala oddzielić zastosowania naprawdę wartościowe od tych, które jedynie dobrze wyglądają na prezentacji.

Kiedy uznać szkolenie za skuteczne?

Kryteria sukcesu należy ustalić przed programem. Przykładowo firma może przyjąć, że po 90 dniach:

• minimum 80% uczestników zaliczy test praktyczny,
• minimum 60% regularnie wykorzystuje jedno zatwierdzone zastosowanie,
• średni pełny czas wybranych zadań spadł o co najmniej 15%,
• jakość nie pogorszyła się,
• liczba poważnych naruszeń zasad wynosi zero,
• przynajmniej pięć procesów zostało zakwalifikowanych do dalszej standaryzacji,
• wartość efektów przekracza koszt programu w okresie 12 miesięcy.

Nie każda organizacja potrzebuje takich samych progów. Powinny zależeć od poziomu początkowego, rodzaju pracy, intensywności wykorzystania AI, kosztu programu, ryzyka oraz czasu potrzebnego na zmianę zachowania.

Najczęstsze błędy podczas mierzenia szkolenia AI

Mierzenie wyłącznie frekwencji

Firma udowadnia, że pracownicy byli na szkoleniu, ale nie wie, czy cokolwiek zmienili.

Ankieta przeprowadzona tylko bezpośrednio po szkoleniu

Uczestnicy oceniają emocje i sposób prowadzenia, a nie trwałą przydatność programu.

Brak pomiaru przed szkoleniem

Nie można ustalić, czy wynik po programie jest rzeczywistą poprawą.

Liczenie promptów

Duża liczba wiadomości może oznaczać eksperymenty, powtarzanie błędów albo brak umiejętności uzyskania wyniku.

Nieuwzględnianie kontroli i poprawek

Firma mierzy czas generowania, ale pomija czas przygotowania danych i weryfikacji.

Przypisywanie całego efektu szkoleniu

Zmiana mogła częściowo wynikać z nowego narzędzia, integracji, procedury albo sezonowości.

Przeliczanie każdej minuty na gotówkę

Odzyskany czas tworzy wartość dopiero wtedy, gdy organizacja potrafi go wykorzystać.

Pomijanie bezpieczeństwa

Program może zwiększać produktywność i jednocześnie prowadzić do większej liczby niekontrolowanych działań.

Jeden miernik dla wszystkich działów

Przyspieszenie przygotowania treści marketingowej i analiza dokumentu księgowego wymagają innych kryteriów jakości i ryzyka.

Brak ponownego pomiaru

Wiedza sprawdzona po szkoleniu może zniknąć, jeżeli pracownik nie wykorzystuje jej w praktyce.

Jak przygotować pomiar krok po kroku?

Krok 1. Wskaż cel programu

Nie zapisuj wyłącznie: „podnieść kompetencje AI”. Określ, co powinno zmienić się w pracy, na przykład:

Krok 2. Wybierz zadania do pomiaru

Nie próbuj od razu mierzyć wpływu na całą organizację. Wybierz kilka konkretnych procesów.

Krok 3. Zmierz stan początkowy

Zbierz dane o czasie, jakości, zachowaniu i bezpieczeństwie.

Krok 4. Przygotuj test praktyczny

Test powinien odpowiadać realnym zadaniom uczestników i obejmować także błędny lub niepełny wynik AI.

Krok 5. Ustal kryteria sukcesu

Określ minimalny poziom wiedzy, adopcji, poprawy procesu i bezpieczeństwa.

Krok 6. Zbieraj dane podczas programu

Sprawdzaj wykonanie ćwiczeń, najczęstsze problemy i potrzeby poszczególnych działów.

Krok 7. Oceń wiedzę bezpośrednio po szkoleniu

Porównaj wynik z testem początkowym, ale nie kończ na tym pomiaru.

Krok 8. Sprawdź zachowanie po 30 i 60 dniach

Przeanalizuj realne zastosowania, sposób korzystania i bariery.

Krok 9. Zmierz efekt procesu po 90 dniach

Porównaj czas, jakość, poprawki, przepustowość i koszty.

Krok 10. Podejmij decyzję

Każde zastosowanie może zostać:

• przyjęte jako standard,
• poprawione,
• przekazane do integracji,
• ograniczone do wybranych użytkowników,
• odrzucone.

W CREHLER.AI szkolenie traktujemy jako element większego procesu wdrożenia. Najpierw identyfikujemy zadania, ustalamy punkt odniesienia i przygotowujemy mierniki. Następnie pracownicy testują AI na realnych przykładach, a najlepsze zastosowania są rozwijane jako standardy, wspólne projekty lub rozwiązania połączone z systemami firmy.

FAQ - jak mierzyć efekty szkolenia AI?

Czy test wiedzy wystarczy do oceny szkolenia?

Nie. Test pokazuje, co pracownik wie bezpośrednio po programie. Nie potwierdza, że wykorzysta tę wiedzę w pracy ani że proces osiągnie lepszy wynik.

Czy AI Act wymaga egzaminu lub certyfikatu?

Nie. Komisja Europejska wskazuje, że art. 4 nie wymaga konkretnego certyfikatu ani osiągnięcia przez każdego pracownika jednego poziomu wiedzy. Organizacja może prowadzić wewnętrzną dokumentację szkoleń i innych działań.

Po jakim czasie należy mierzyć efekt?

Wiedzę można sprawdzić bezpośrednio po szkoleniu. Zachowanie warto ocenić po około 30 i 60 dniach, a efekt biznesowy po około 90 dniach lub dłużej, zależnie od częstotliwości procesu.

Jak mierzyć pracownika, który rzadko używa AI?

Niska częstotliwość nie zawsze oznacza brak wartości. Należy ocenić wagę zadania, ilość odzyskanego czasu, jakość wyniku i zasadność zakupu licencji.

Czy każdą oszczędzoną godzinę można uwzględnić w ROI?

Nie. Trzeba sprawdzić, jak firma wykorzystała odzyskany czas. W kalkulacji warto stosować konserwatywny współczynnik wykorzystania.

Kto powinien odpowiadać za pomiar?

HR lub L&D mogą mierzyć uczestnictwo i wiedzę. Managerowie powinni odpowiadać za zachowanie oraz wynik procesów. IT i bezpieczeństwo monitorują narzędzia, dostęp i incydenty. Właściciel programu łączy dane w ocenę biznesową.

Jak naprawdę ocenić efekty szkolenia AI?

Skuteczność programu nie kończy się na wysokiej frekwencji, dobrej ocenie trenera ani zdanym teście.

Firma powinna mierzyć pięć kolejnych poziomów: udział, wiedzę, zastosowanie w pracy, zmianę wyników procesu oraz wartość biznesową. Równolegle musi obserwować bezpieczeństwo i jakość kontroli człowieka.

Najbardziej wiarygodna ocena powstaje wtedy, gdy przed szkoleniem wybrano konkretne zadania, zmierzono ich czas i jakość, a po programie powtórzono pomiar w rzeczywistym środowisku pracy.

Nie każde szkolenie przyniesie natychmiastowe ROI. Może jednak ujawnić, które procesy nadają się do pracy z AI, gdzie potrzebna jest integracja, a gdzie narzędzie nie przynosi wystarczającej wartości.

Podczas bezpłatnej konsultacji pomożemy określić cele programu, zbudować punkt odniesienia i wybrać mierniki dla pracowników, managerów oraz całych procesów. Przygotujemy także sposób oceny kompetencji, dashboard wyników i model kalkulacji wartości.