Większość twórców kursów dba tylko o jedną liczbę: wskaźnik ukończenia. Obserwują wartości procentowe, odświeżają dashboardy i stresują się rezygnacjami w trakcie kursu. Wskaźnik ukończenia wydaje się oznaką sukcesu albo porażki. Wysoki wskaźnik ukończenia sprawia wrażenie dowodu na skuteczność kursu, a niski – porażki kursu.
Ale to po prostu nieprawda.
Wskaźnik ukończenia łatwo śledzić, ale nie ma on żadnego znaczenia dla nauki. Uczący się może ukończyć każdą lekcję i nie nauczyć się niczego przydatnego. Może też zrezygnować po drugiej lekcji i całkowicie zmienić sposób myślenia, działania lub pracy. Co jest większym sukcesem? To drugie.
W tym artykule omówimy, dlaczego ukończenie kursu stało się tak powszechnie stosowaną miarą, dlaczego jest to nieskuteczny wskaźnik i na jakie metryki warto zwracać uwagę, jeśli Twój kurs ma wnosić jakąkolwiek realną wartość.
Dlaczego wskaźniki ukończenia stały się domyślną metryką
Powód, dla którego wskaźniki ukończenia stały się popularne, nie jest taki, że są najlepszym pomiarem, lecz taki, że najłatwiej je śledzić. Większość platform edukacyjnych ma do tego zautomatyzowany system. Pokazują one, czy uczestnik ukończył kurs, czy nie.
Łatwo też zintegrować je z dashboardem. Jedna prosta liczba, wyglądająca schludnie i obiecująco albo przeciwnie – problematycznie i niepokojąco. Gdy 80% użytkowników kończy kurs, wydaje się to dużym osiągnięciem. Gdy jest to 20%, to wyraźny sygnał, że coś jest nie tak.
Platformy również odgrywają tu rolę. Większość platform do tworzenia kursów używa wskaźnika ukończenia jako metryki obok ocen i zapisów. Tym samym sugerują, że jest on tak samo ważny jak inne metryki, a ostatecznie twórcy zaczynają traktować go jako kluczowy cel, a nie tylko sygnał.
Jest też komponent psychologiczny. Ukończenie daje poczucie osiągnięcia zarówno twórcom, jak i uczestnikom. Satysfakcjonujące jest powiedzieć: „Ukończyłem ten kurs”. W rezultacie zarówno twórcy, jak i użytkownicy mają skłonność utożsamiać to z nauką, choć jest to bardzo dalekie od prawdy. To założenie nie stanowi dobrej podstawy.
Co więcej, bardzo wygodnie jest to porównywać. Kurs, który może pochwalić się wskaźnikiem ukończenia na poziomie 70%, automatycznie będzie wyglądał lepiej niż kurs z wynikiem 40%. Ułatwia to raportowanie i szybkie decyzje. Ale nie każda metryka, którą łatwo śledzić i porównywać, jest znacząca. Dlatego wskaźniki ukończenia były używane, ponieważ minimalizują komplikacje.
Problem ze wskaźnikami ukończenia
Wskaźniki ukończenia wydają się przejrzyste, a jednak tak wiele ukrywają.
Podstawowy problem polega na tym, że nie mierzą nauki. Ukończenie kursu oznacza jedynie, że uczestnik obejrzał lub przeklikał cały materiał. Nie mówi to nic o tym, czy zrozumiał materiał, zapamiętał go ani czy potrafi wykorzystać te informacje w praktyczny sposób.
Studenci mogą technicznie ukończyć kurs bez prawdziwego zaangażowania – przyspieszając treści, pomijając ćwiczenia i unikając praktyki. Choć w analityce wygląda to jak postęp, nie odzwierciedla rzeczywistej nauki ani rozwoju umiejętności.
Kolejnym problemem wskaźników ukończenia jest to, że całkowicie ignorują intencję użytkownika. Nie każdy bierze udział w kursie dlatego, że chce go ukończyć. Wielu uczestników próbuje rozwiązać problem albo znaleźć konkretną informację, ale może nie potrzebować wszystkich oferowanych lekcji. W takim przypadku, gdy już znajdą to, czego szukali, będą dalej korzystać z pozostałej treści w dowolny, odpowiadający im sposób. Z ich perspektywy kurs odniósł sukces; według Twoich metryk byli to rezygnujący.
To fałszywie negatywny wynik. Wykrywany jest problem tam, gdzie w rzeczywistości żaden problem nie istnieje.
Wskaźniki ukończenia mogą też prowadzić do bardzo złego projektowania. Gdy celem jest ukończenie, kursy stają się coraz krótsze i prostsze. Usuwa się złożone informacje, ogranicza ćwiczenia albo całkowicie z nich rezygnuje, a każdy element, którego przyswojenie lub zrozumienie może zająć studentowi zbyt dużo czasu, jest wykluczany jako ryzyko.
Efektem końcowym są treści łatwe do przyswojenia, ale już nie tak łatwe do zastosowania. Uczestnik przechodzi przez nie szybko, ale nie uczy się niczego istotnego.
Metryka, która naprawdę ma znaczenie: zmiana zachowania
Jeśli właściwym celem nie jest ukończenie, to co nim jest? Zmiana zachowania.
Właśnie to. Celem kursu jest zmiana tego, jak dana osoba zachowuje się po ukończeniu kursu. Mogą to być nowe nawyki, nowe umiejętności stosowane w rzeczywistych sytuacjach zawodowych albo podejmowanie innych decyzji.
Treść jest jedynie bodźcem. Oto kilka przykładów:
● Sukces kursu marketingowego polega na tym, że marketer uruchamia kampanię. Nie na tym, że obejrzał wszystkie lekcje o kampaniach.
● Sukces kursu programowania polega na tym, że ktoś stworzył działającą aplikację. Nie na tym, że obejrzał każde wideo.
● Sukces kursu fitness polega na tym, że codzienna rutyna ćwiczeń jest teraz skuteczniejsza i że dana osoba się jej trzyma. Nie na tym, że obejrzała każde pojedyncze wideo i odpowiedziała na każde pytanie.
● Sukces kursu przywództwa polega na lepszej komunikacji w zespole i lepszych umiejętnościach podejmowania decyzji w miejscu pracy. Nie na tym, że uczestniczono we wszystkich lekcjach.
W każdym przypadku efekt można zaobserwować poza samym środowiskiem nauki. Świat jest odrobinę inny.
Dlatego właśnie zmiana zachowania jest o wiele lepszą metryką. Łączy to, czego się uczysz, z działaniem w realnym świecie. Daje jasny dowód, że kurs wywarł bezpośredni wpływ.
To właśnie główny powód, dla którego ludzie biorą udział w kursach. Bardzo rzadko chodzi im o samo konsumowanie treści. Ludzie chcą rozwiązać problem albo poprawić jakiś aspekt swojego życia lub pracy. Zmiana zachowania pokazuje, jak to wygląda, gdy rzeczywiście do tego dochodzi.
Jak mierzyć zmianę zachowania
Zmiana zachowania, choć trudniejsza do zmierzenia niż wskaźniki ukończenia, wcale nie jest niemożliwa. Jedynym prawdziwym wymogiem jest wyjście poza platformę kursową i mierzenie tego, co uczestnicy robią po zapoznaniu się z Twoją treścią.
Podstawowe działania następcze jako pierwszy krok
Możesz zacząć od podstawowych działań następczych. Zapytaj uczestników, jakie działania podjęli po ukończeniu lekcji lub modułu. Można to zrobić za pomocą krótkich ankiet wysyłanych kilka dni lub tygodni później. Upewnij się, że pytania koncentrują się na zastosowaniu w realnym świecie:
● Jakie działania podjąłeś/podjęłaś po tym kursie?
● Jakie były rezultaty tego działania?
● Jakie elementy swojej rutyny/workflow zmieniłeś/zmieniłaś?
Takie odpowiedzi mogą dostarczyć bezpośrednio odniesionych danych o rzeczywistym wpływie.
Sygnały ukierunkowane na działanie, by iść dalej
Poza prostymi działaniami następczymi skup się na sygnałach ukierunkowanych na działanie w obrębie platformy kursowej. Chociaż ukończenie lekcji wskazuje na przyswojenie wiedzy, upewnij się, że śledzisz ukończenie konkretnych działań w ramach każdej lekcji. Przykłady obejmują:
● Czy zadanie zostało ukończone?
● Czy projekt został przesłany?
● Czy zastosowano framework lub system?
Te wskaźniki są znacznie silniejszym dowodem zmiany zachowania niż samo oglądanie lekcji.
Jakie są kolejne kroki?
Wskaźniki wdrożenia to kolejny obszar, który warto analizować. Tutaj będziesz śledzić stopień, w jakim uczestnicy wdrażają poznane materiały do swojej rzeczywistej praktyki. Jeśli kurs uczy konkretnej metodologii lub systemu, spróbuj ustalić, ilu uczestników faktycznie go wdrożyło.
Oprócz wdrożenia proś uczestników o przesyłanie dowodów wykonanej pracy i śledź je. Zachęcaj ich do przesyłania ukończonych projektów, zrzutów ekranu z wynikami, porównań przed i po lub osobistych studiów przypadku, aby pokazać postępy. Dzięki temu mierzysz zmianę zachowania i tworzysz społeczny dowód skuteczności swojego kursu.
Aby uzyskać długoterminowe dowody, wysyłaj opóźnione wiadomości kontrolne. Po 30, 60 i 90 dniach zapytaj uczestników, co zapamiętali. Spójna, długoterminowa zmiana zachowania ma znacznie większy wpływ niż pojedynczy zryw działania.
Na koniec połącz swoje ustalenia jakościowe i ilościowe. Chociaż metryki pokazują trendy, indywidualne historie zapewniają głębię i zrozumienie. Dobrze opisany przypadek namacalnej zmiany jest nieskończenie bardziej wartościowy niż wysoki wskaźnik ukończenia bez dowodu rezultatów.
Wspierające metryki, które mają większe znaczenie niż ukończenie
Chociaż zmiana zachowania jest ostatecznym rezultatem, ważne jest, aby używać wspierających metryk do śledzenia uczestników w miarę, jak się do niej zbliżają. Dostarczają one wcześniejszych sygnałów, które pozwalają optymalizować kurs na długo przed pojawieniem się długoterminowych wyników.
Głębokość zaangażowania
Głębokość zaangażowania to potężna metryka. Zamiast po prostu śledzić, jak daleko docierają uczestnicy, mierz, jak głęboko wchodzą w interakcję. Obejmuje to czas spędzony na kluczowych lekcjach, ukończenie ćwiczeń oraz uważne przeglądanie bardziej złożonych części.
Uczestnik, który chce poświęcić czas na przepracowanie trudnego zagadnienia, ma znacznie większe szanse zastosować je później niż ktoś, kto tylko szybko przejrzy materiał. Im głębsze zaangażowanie, tym większe prawdopodobieństwo działania.
Wskaźnik powrotów
Wskaźnik powrotów to kolejna ważna metryka. Pokazuje, ile razy uczestnik wraca po swojej pierwszej sesji z kursem. Jeśli ludzie wracają wielokrotnie, prawdopodobnie uznają treść za na tyle wartościową, by do niej wracać raz za razem.
Kursy, które prowadzą do zmiany zachowania, rzadko są kończone za jednym razem. Uczestnicy będą wracać, gdy będą gotowi zastosować informacje lub sobie je przypomnieć.
Interakcja na poziomie lekcji
Interakcja na poziomie lekcji to kolejny cenny sygnał. Zamiast patrzeć na kurs jako całość, zrozum, jak poszczególne lekcje skłaniają do działania:
● Które lekcje mają najwyższy wskaźnik ponownego odtwarzania?
● W których miejscach uczestnicy zatrzymują wideo lub spędzają więcej czasu?
● Które konkretne sekcje powodują, że użytkownicy wykonują zadanie?
Wykorzystaj te informacje, aby zrozumieć, które części kursu dostarczają rzeczywistą wartość, a które wymagają optymalizacji, usunięcia lub ulepszenia.
Praktyczny rezultat
Praktyczny rezultat to również silny sygnał. Co uczestnicy tworzą w wyniku twojego kursu? Czy jest to dokument, projekt, plan lub jakiś konkretny efekt?
Jeśli twój kurs nie prowadzi do powstania efektów pracy, prawdopodobnie nie doprowadzi też do zmiany.
Monitoruj spadki na różnych etapach z bardziej zaawansowanym wglądem. Choć często postrzega się je jako porażkę, spadki można traktować jako sygnały. Jeśli uczestnicy opuszczają kurs w pewnym momencie, ale mimo to skutecznie osiągają pożądaną zmianę zachowania, ta konkretna lekcja może już dostarczać kluczową wartość.
Na koniec przeanalizuj opinie uczestników, koncentrując się na efektach. Zamiast pytać „Czy kurs ci się podobał?” zapytaj „Co zrobiłeś inaczej po ukończeniu tego kursu?” oraz „Jaki rezultat osiągnąłeś?”
Satysfakcję łatwo osiągnąć. Wpływ jest znacznie trudniejszy do uzyskania, ale ma kluczowe znaczenie.
Te uzupełniające metryki pozwalają wyjść poza powierzchowny sukces i dojść do głębszego zrozumienia tego, jak twój kurs generuje rezultaty.
Podsumowanie
Wskaźnik ukończenia jest prosty, ale nagradza jedynie postępy w obrębie kursu, a nie rezultaty poza nim.
Opierając się wyłącznie na wskaźniku ukończenia, możesz tworzyć kursy, które łatwo ukończyć, ale trudno wdrożyć.
Miarą, która faktycznie dowodzi, że wywierasz wpływ, jest zmiana zachowania; to ona pokazuje, że uczestnicy nie tylko konsumują informacje, ale też wprowadzają to, czego się nauczyli, w życie.
Wymaga to nieco więcej wysiłku. Potrzebne będą lepsze pytania i lepszy mechanizm śledzenia wyników, ale korzyści płynące z projektowania kursu są warte dodatkowego czasu.
Gdy zaczniesz mierzyć to, co naprawdę ma znaczenie, zaczniesz tworzyć kursy, które będą pamiętane i polecane długo po tym, jak odbiorca przestanie oglądać lekcje.
