Většina autorů kurzů se zajímá jen o jedno číslo: míru dokončení. Sledují procenta, obnovují dashboardy a stresují se kvůli odpadnutí studentů uprostřed kurzu. Míra dokončení působí jako úspěch nebo neúspěch. Vysoká míra dokončení působí jako důkaz efektivity kurzu a nízká míra dokončení jako selhání kurzu.
Ale to jednoduše není pravda.
Míru dokončení je snadné sledovat, ale pro učení je bezvýznamná. Student může dokončit každou lekci, a přesto se nenaučit nic užitečného. Student může skončit po druhé lekci a zásadně změnit způsob, jakým přemýšlí, jedná nebo pracuje. Co je úspěšnější? To druhé.
V tomto článku si vysvětlíme, proč se dokončení kurzu stalo tak široce používaným ukazatelem, proč jde o neefektivní metriku a kterým metrikám byste měli věnovat pozornost, pokud má váš kurz přinášet skutečnou hodnotu.
Proč se míra dokončení stala výchozí metrikou
Důvod, proč se míra dokončení stala populární, není ten, že by šlo o nejlepší měření, ale ten, že se nejsnáze sleduje. Většina vzdělávacích platforem pro to má automatizovaný systém. Ukazují, zda student kurz dokončil, nebo ne.
Lze ji také poměrně snadno integrovat do dashboardu. Jedno jednoduché číslo, které vypadá přehledně a slibně, nebo naopak problematicky a náročně. Když kurz dokončí 80 % uživatelů, působí to jako skvělý úspěch. Když je to 20 %, je to zjevně známka toho, že je něco špatně.
Roli tu hrají i platformy. Většina platforem pro tvorbu kurzů používá míru dokončení jako metriku spolu s hodnoceními a počtem registrací. Tím naznačují, že je stejně důležitá jako ostatní metriky, a tvůrci ji nakonec mají tendenci považovat za klíčový cíl, nikoli jen za signál.
Je v tom také psychologická složka. Dokončení působí jako úspěch jak pro tvůrce, tak pro studenty. Je uspokojivé říct: „Dokončil(a) jsem tento kurz.“ V důsledku toho mají tvůrci i uživatelé tendenci ztotožňovat to s učením, i když to má k pravdě daleko. Tento předpoklad není dobrým základem.
Navíc se to velmi pohodlně porovnává. Kurz, který se chlubí 70% mírou dokončení, bude automaticky vypadat lépe než kurz se 40 %. To usnadňuje reporty i rychlá rozhodnutí. Ale ne každá metrika, kterou lze snadno sledovat a porovnávat, je smysluplná. Míra dokončení se tedy používá proto, že minimalizuje komplikace.
Problém s mírou dokončení
Míra dokončení působí transparentně, ale přitom toho tolik skrývá.
Základní problém je v tom, že neměří učení. Dokončení kurzu znamená jen to, že student zhlédl nebo proklikal všechny materiály. Neříká to nic o tom, zda látce porozuměl, zapamatoval si ji nebo dokáže informace produktivně využít.
Studenti mohou kurz technicky dokončit, aniž by se doopravdy zapojili – tím, že obsah projdou zrychleně, přeskočí cvičení a vyhnou se procvičování. V analytice to sice vypadá jako pokrok, ale neodráží to skutečné učení ani rozvoj dovedností.
Dalším problémem míry dokončení je, že úplně ignoruje záměr uživatele. Ne každý absolvuje kurz proto, že ho chce dokončit. Mnoho studentů se snaží vyřešit problém nebo najít konkrétní informaci, ale nemusí potřebovat všechny nabízené lekce. V takovém případě, jakmile najdou to, co hledali, budou s dalším obsahem pokračovat jakýmkoli způsobem, který jim vyhovuje. Z jejich pohledu byl kurz úspěšný; podle vašich metrik z něj odešli předčasně.
To je falešně negativní výsledek. Je detekován problém tam, kde ve skutečnosti žádný problém neexistuje.
Míra dokončení může také vést k velmi špatnému designu. Když je cílem dokončení, kurzy jsou čím dál kratší a jednodušší. Složité informace se odstraňují, cvičení se omezují nebo zcela ruší a jakýkoli prvek, jehož zpracování nebo pochopení by studentovi mohlo trvat příliš dlouho, je vyloučen jako riziko.
Konečným výsledkem je obsah, který se snadno konzumuje, ale už ne tak snadno aplikuje. Student jím projde rychle, ale nenaučí se nic podstatného.
Metrika, na které skutečně záleží: změna chování
Pokud dokončení není správný cíl, tak co tedy? Změna chování.
Přesně tak. Cílem kurzu je změnit to, jak se člověk po absolvování kurzu chová. Může jít o nové návyky, nové dovednosti uplatňované v reálných pracovních situacích nebo o jiná rozhodnutí.
Obsah je pouze podnět. Zde je několik příkladů:
● Úspěchem marketingového kurzu je to, že marketér spustí kampaň. Ne to, že zhlédl všechny lekce o kampaních.
● Úspěchem kurzu programování je to, že někdo vytvořil fungující aplikaci. Ne to, že zhlédl každé video.
● Úspěchem fitness kurzu je to, že je jejich každodenní cvičební rutina nyní efektivnější a že se jí drží. Ne to, že zhlédli úplně každé video a odpověděli na každou otázku.
● Úspěchem kurzu leadershipu je lepší týmová komunikace a lepší schopnost rozhodování na pracovišti. Ne to, že byly absolvovány všechny lekce.
V každém z těchto případů lze výsledek pozorovat mimo samotné vzdělávací prostředí. Svět je o něco jiný.
Právě proto je změna chování mnohem lepší metrikou. Propojuje to, co se člověk učí, s reálným jednáním. Poskytuje jasný důkaz, že kurz měl přímý dopad.
To je ostatně hlavní důvod, proč lidé kurzy absolvují. Jen velmi zřídka chtějí pouze konzumovat obsah. Lidé chtějí vyřešit problém nebo zlepšit nějakou část svého života či práce. Změna chování ukazuje, jak to vypadá, když se to skutečně stane.
Jak měřit změnu chování
Změna chování se sice měří obtížněji než míra dokončení, ale rozhodně to není nemožné. Jediným skutečným požadavkem je dívat se mimo vaši kurzovou platformu a měřit, co studenti dělají po konzumaci vašeho obsahu.
Základní follow-upy jako první krok
Můžete začít základními follow-upy. Zeptejte se studentů, jaké kroky podnikli po dokončení lekce nebo modulu. Toho lze dosáhnout pomocí krátkých dotazníků zaslaných o několik dní nebo týdnů později. Dbejte na to, aby se otázky zaměřovaly na reálné využití:
● Jaké kroky jste po tomto kurzu podnikli?
● Jaké byly výsledky tohoto kroku?
● Které aspekty své rutiny/pracovního postupu jste změnili?
Takové odpovědi mohou poskytnout přímo srovnatelná data o skutečném dopadu.
Signály zaměřené na akci pro pokračování
Kromě jednoduchých následných kroků se zaměřte na signály orientované na akci v rámci platformy kurzu. Zatímco dokončení lekce naznačuje osvojení znalostí, ujistěte se, že sledujete dokončení konkrétních akcí v rámci každé lekce. Příklady zahrnují:
● Byl úkol dokončen?
● Byl projekt odevzdán?
● Byl použit framework nebo systém?
Tyto ukazatele jsou mnohem silnějším důkazem změny chování než pouhé sledování lekcí.
Jaké jsou další kroky?
Míra implementace je další oblast, kterou stojí za to sledovat. Zde budete sledovat, do jaké míry studenti začleňují naučené materiály do své skutečné praxe. Pokud kurz učí konkrétní metodologii nebo systém, pokuste se zjistit, kolik studentů jej skutečně zavedlo do praxe.
Kromě implementace si od studentů vyžádejte a sledujte také důkazy o odvedené práci. Povzbuzujte je, aby odevzdávali dokončené projekty, snímky obrazovky s výsledky, srovnání před a po nebo osobní případové studie, které prokážou pokrok. Tím změříte změnu chování a zároveň vytvoříte sociální důkaz o efektivitě svého kurzu.
Pro dlouhodobé důkazy rozesílejte následné kontroly s odstupem času. Po 30, 60 a 90 dnech se studentů zeptejte, co si zapamatovali. Konzistentní dlouhodobá změna chování má mnohem větší dopad než izolovaný krátkodobý nárůst aktivity.
A nakonec spojte své kvalitativní i kvantitativní poznatky. Zatímco metriky zvýrazňují trendy, individuální příběhy poskytují hloubku a porozumění. Dobře popsaný případ hmatatelné změny má nekonečně větší hodnotu než vysoká míra dokončení bez důkazu o výsledcích.
Podpůrné metriky, na kterých záleží více než na dokončení
Zatímco změna chování je konečný výsledek, je důležité používat podpůrné metriky ke sledování studentů na jejich cestě k němu. Poskytují dřívější signály pro optimalizaci vašeho kurzu dlouho předtím, než uvidíte dlouhodobé výsledky.
Hloubka zapojení
Hloubka zapojení je silná metrika. Namísto pouhého sledování toho, jak daleko studenti dojdou, měřte, jak hluboce interagují. To zahrnuje čas strávený v klíčových lekcích, dokončení cvičení a pečlivé procházení složitějších částí.
Student, který je ochoten věnovat čas práci na náročném konceptu, jej později s mnohem větší pravděpodobností uplatní než někdo, kdo materiál jen rychle projde. Čím hlouběji se zapojí, tím pravděpodobněji začne jednat.
Míra návratnosti
Míra návratnosti je další důležitá metrika. Sleduje, kolikrát se student vrátí po své první relaci s kurzem. Pokud se lidé vracejí opakovaně, pravděpodobně považují obsah za natolik hodnotný, že se k němu znovu a znovu vracejí.
Kurzy, které vedou ke změně chování, se zřídka dokončí na jedno posezení. Studenti se budou vracet, až budou připraveni něco uvést do praxe nebo si vybavit určitou informaci.
Interakce na úrovni lekcí
Interakce na úrovni lekcí je dalším cenným signálem. Namísto pohledu na kurz jako celek pochopte, jak jednotlivé lekce vedou k akci:
● Které lekce mají nejvyšší míru opakovaného přehrání?
● Kde studenti video pozastavují nebo u něj tráví více času?
● Které konkrétní části vedou uživatele k dokončení úkolu?
Tyto informace využijte k pochopení toho, které části kurzu přinášejí skutečnou hodnotu a které je třeba optimalizovat, odstranit nebo vylepšit.
Praktický výstup
Praktický výstup je také silným signálem. Co studenti vytvářejí jako výsledek vašeho kurzu? Jde o dokument, projekt, plán nebo nějaký konkrétní výsledek?
Pokud váš kurz nevede k výstupu, pravděpodobně nepovede ani ke změně.
Sledujte odchody v různých bodech s propracovanějším vhledem. Ačkoli jsou často vnímány jako selhání, lze odchody chápat jako signály. Pokud studenti kurz v určitém bodě opouštějí, ale přesto úspěšně dosahují požadované změny chování, může právě tato konkrétní lekce už poskytovat klíčovou hodnotu.
Nakonec vyhodnocujte zpětnou vazbu studentů se zaměřením na výsledky. Místo otázky „Líbil se vám kurz?“ se ptejte „Co jste po absolvování tohoto kurzu začali dělat jinak?“ a „Jakého výsledku jste dosáhli?“
Spokojenosti lze dosáhnout snadno. Dopad je mnohem obtížnější, ale zásadně důležitý.
Tyto doplňkové metriky vám umožní posunout se za hranici povrchního úspěchu k hlubšímu pochopení toho, jak váš kurz přináší výsledky.
Závěr
Míra dokončení je přímočará, ale odměňuje pouze pokrok v rámci vašeho kurzu, nikoli výsledky mimo něj.
Pokud se budete spoléhat pouze na míru dokončení, můžete vytvářet kurzy, které je snadné dokončit, ale obtížné uvést do praxe.
Měřítkem, které skutečně dokazuje, že máte dopad, je změna chování; ta potvrzuje, že studenti informace pouze nekonzumují, ale uvádějí to, co se naučili, do praxe.
Vyžaduje to o něco více úsilí. Bude potřeba klást lepší otázky a mít lepší mechanismus pro sledování výsledků, ale přínos pro návrh kurzu za ten dodatečný čas rozhodně stojí.
Jakmile začnete měřit to, na čem skutečně záleží, začnete vytvářet kurzy, na které se bude vzpomínat a které budou doporučovány ještě dlouho poté, co divák přestane sledovat lekce.
