Väčšine tvorcov kurzov záleží len na jednom čísle: miere dokončenia. Sledujú percentá, obnovujú prehľady a stresujú sa kvôli odchodom uprostred kurzu. Miera dokončenia pôsobí ako úspech alebo neúspech. Vysoká miera dokončenia sa javí ako dôkaz efektívnosti kurzu a nízka miera dokončenia ako zlyhanie kurzu.
To však jednoducho nie je pravda.
Mieru dokončenia je ľahké sledovať, no pre učenie nemá žiadny význam. Účastník môže dokončiť každú lekciu, no nenaučiť sa nič užitočné. Môže odísť po druhej lekcii a zásadne zmeniť spôsob, akým myslí, koná alebo pracuje. Čo je úspešnejšie? To druhé.
V tomto článku si povieme, prečo sa dokončenie kurzu tak široko prijalo, prečo ide o neefektívnu metriku a ktorým metrikám by ste mali venovať pozornosť, ak má váš kurz prinášať skutočnú hodnotu.
Prečo sa miera dokončenia stala predvolenou metrikou
Dôvodom popularity miery dokončenia nie je to, že ide o najlepšie meranie, ale že sa najsnáze sleduje. Väčšina vzdelávacích platforiem má na to automatizovaný systém. Ukazujú, či účastník kurz dokončil alebo nie.
Zároveň sa dá pomerne ľahko začleniť do prehľadu. Jedno jednoduché číslo, ktoré vyzerá úhľadne a sľubne, alebo naopak problematicky a znepokojivo. Keď kurz dokončí 80 % používateľov, pôsobí to ako veľký úspech. Keď je to 20 %, je zrejmé, že niečo nie je v poriadku.
Svoju úlohu tu zohrávajú aj platformy. Väčšina platforiem na tvorbu kurzov používa mieru dokončenia ako metriku spolu s hodnoteniami a počtom prihlásení. Naznačujú tak, že je rovnako dôležitá ako ostatné metriky, a tvorcovia ju napokon zvyknú považovať za kľúčový cieľ, nie iba za signál.
Je v tom aj psychologická zložka. Dokončenie pôsobí ako úspech pre tvorcov aj účastníkov. Je príjemné povedať: „Dokončil som tento kurz.“ Tvorcovia aj používatelia ho preto majú tendenciu stotožňovať s učením, hoci je to ďaleko od pravdy. Tento predpoklad nie je dobrým základom.
Navyše sa veľmi pohodlne porovnáva. Kurz, ktorý sa môže pochváliť 70 % mierou dokončenia, bude automaticky vyzerať lepšie než kurz so 40 %. Uľahčuje to reporty a rýchle rozhodovanie. Nie každá metrika, ktorú možno ľahko sledovať a porovnávať, je však zmysluplná. Miera dokončenia sa teda používa preto, že minimalizuje komplikácie.
Problém s mierou dokončenia
Miera dokončenia sa zdá byť transparentná, no skrýva veľmi veľa.
Základný problém spočíva v tom, že nemeria učenie. Dokončenie kurzu znamená iba to, že študent si pozrel alebo preklikal všetky materiály. Nehovorí nič o tom, či materiálu porozumel, zapamätal si ho alebo dokáže informácie produktívne využívať.
Študenti môžu kurz technicky dokončiť bez skutočného zapojenia – tak, že obsahom prebehnú zrýchlene, preskočia cvičenia a vyhnú sa praxi. Hoci sa to v analytike javí ako pokrok, neodráža to reálne učenie ani rozvoj zručností.
Ďalším problémom miery dokončenia je, že úplne ignoruje zámer používateľa. Nie každý absolvuje kurz preto, aby ho dokončil. Mnohí študenti sa snažia vyriešiť problém alebo nájsť určitú informáciu, no nemusia potrebovať všetky ponúkané lekcie. Keď v takomto prípade nájdu to, čo hľadali, budú so zvyškom obsahu pokračovať spôsobom, ktorý im vyhovuje. Z ich pohľadu bol kurz úspešný; podľa vašich metrík z neho odišli.
Ide o falošne negatívny výsledok. Zistí sa problém tam, kde v skutočnosti žiadny nie je.
Miera dokončenia môže viesť aj k veľmi zlému dizajnu. Keď je cieľom dokončenie, kurzy sú čoraz kratšie a jednoduchšie. Zložité informácie sa odstraňujú, cvičenia sa obmedzujú alebo úplne rušia a každý prvok, ktorého spracovanie či pochopenie by študentovi mohlo trvať príliš dlho, sa vylučuje ako riziko.
Výsledkom je obsah, ktorý sa ľahko konzumuje, no nie je až taký ľahko použiteľný v praxi. Študent ním prejde rýchlo, ale nenaučí sa nič podstatné.
Metrika, na ktorej skutočne záleží: zmena správania
Ak dokončenie nie je správnym cieľom, čo ním je? Zmena správania.
To je všetko. Cieľom kurzu je zmeniť, ako sa človek správa po jeho absolvovaní. Môže ísť o nové návyky, uplatňovanie nových zručností v reálnych pracovných situáciách alebo prijímanie iných rozhodnutí.
Obsah je iba podnet. Tu je niekoľko príkladov:
● Úspech marketingového kurzu spočíva v tom, že marketér spustí kampaň. Nie v tom, že si pozrel všetky lekcie o kampaniach.
● Úspech kurzu programovania spočíva v tom, že niekto vytvoril funkčnú aplikáciu. Nie v tom, že si pozrel každé video.
● Úspech fitness kurzu spočíva v tom, že každodenná cvičebná rutina účastníka je teraz efektívnejšia a že sa jej drží. Nie v tom, že si pozrel každé jedno video a odpovedal na každú otázku.
● Úspech kurzu líderstva spočíva v lepšej tímovej komunikácii a lepších schopnostiach rozhodovania na pracovisku. Nie v tom, že boli absolvované všetky lekcie.
V každom prípade možno výsledok pozorovať mimo samotného vzdelávacieho prostredia. Svet je trochu iný.
Preto je zmena správania oveľa lepšou metrikou. Prepája to, čo sa človek učí, s konaním v reálnom svete. Poskytuje jasný dôkaz, že kurz mal priamy účinok.
Je to hlavný dôvod, prečo ľudia absolvujú kurzy. Len zriedka chcú iba konzumovať obsah. Ľudia chcú vyriešiť problém alebo zlepšiť určitú časť svojho života či práce. Zmena správania je to, ako vyzerá dosiahnutie tohto cieľa.
Ako merať zmenu správania
Zmenu správania je síce ťažšie merať než mieru dokončenia, no rozhodne to nie je nemožné. Jedinou skutočnou požiadavkou je pozrieť sa mimo vašej kurzovej platformy a merať, čo účastníci robia po preštudovaní vášho obsahu.
Základné následné oslovenie ako prvý krok
Môžete začať základným následným oslovením. Opýtajte sa účastníkov, aké kroky podnikli po dokončení lekcie alebo modulu. Môžete to dosiahnuť pomocou krátkych prieskumov odoslaných o niekoľko dní alebo týždňov neskôr. Otázky zamerajte na uplatnenie v reálnom svete:
● Aké kroky ste podnikli po tomto kurze?
● Aké boli výsledky tohto kroku?
● Ktoré aspekty svojej rutiny/pracovného postupu ste zmenili?
Takéto odpovede môžu poskytnúť priamo relevantné údaje o skutočnom vplyve.
Signály zamerané na konanie, ktoré sa oplatí sledovať
Okrem jednoduchého následného oslovenia sa zamerajte na signály orientované na konanie priamo v kurzovej platforme. Hoci dokončenie lekcie naznačuje osvojenie si vedomostí, sledujte aj dokončenie konkrétnych krokov v rámci každej lekcie. Príklady:
● Bolo zadanie dokončené?
● Bol projekt odovzdaný?
● Bol použitý framework alebo systém?
Tieto ukazovatele sú oveľa silnejším dôkazom zmeny správania než sledovanie lekcií.
Aké sú ďalšie kroky?
Miera implementácie je ďalšou oblasťou, ktorú sa oplatí sledovať. Budete pri nej merať, do akej miery účastníci začleňujú naučené materiály do svojej skutočnej praxe. Ak kurz učí konkrétnu metodiku alebo systém, skúste zistiť, koľko účastníkov ho naozaj zaviedlo do praxe.
Okrem implementácie od účastníkov vyžadujte a sledujte aj dôkazy o ich práci. Povzbuďte ich, aby odovzdávali dokončené projekty, snímky obrazovky s výsledkami, porovnania stavu pred a po alebo osobné prípadové štúdie, ktoré ukážu pokrok. Takto meriate zmenu správania a zároveň vytvárate sociálny dôkaz o účinnosti svojho kurzu.
Pre dlhodobé dôkazy posielajte následné kontroly s odstupom času. Po 30, 60 a 90 dňoch sa účastníkov opýtajte, čo si zapamätali. Konzistentná dlhodobá zmena správania má oveľa väčší vplyv než izolovaný krátky nával aktivity.
Napokon kombinujte kvalitatívne a kvantitatívne zistenia. Metriky síce poukazujú na trendy, ale individuálne príbehy poskytujú hĺbku a porozumenie. Dobre sformulovaný prípad konkrétnej zmeny má nekonečne väčšiu hodnotu než vysoká miera dokončenia bez dôkazu výsledkov.
Podporné metriky, na ktorých záleží viac než na dokončení
Hoci je zmena správania konečným výsledkom, je dôležité používať podporné metriky na sledovanie účastníkov na ceste k nej. Poskytujú skoršie signály na optimalizáciu kurzu dávno predtým, než uvidíte dlhodobé výsledky.
Hĺbka zapojenia
Hĺbka zapojenia je silná metrika. Namiesto jednoduchého sledovania, ako ďaleko účastníci pokročili, merajte, ako hlboko interagujú s obsahom. Zahŕňa to čas strávený pri kľúčových lekciách, dokončenie cvičení aj dôkladné preštudovanie zložitejších častí.
Účastník, ktorý je ochotný venovať čas spracovaniu náročného konceptu, ho oveľa skôr neskôr využije než ten, kto materiál len rýchlo preletí. Čím hlbšie sa zapája, tým je pravdepodobnejšie, že bude konať.
Miera návratnosti
Miera návratnosti je ďalšou dôležitou metrikou. Sleduje, koľkokrát sa účastník vráti po svojej úvodnej relácii s kurzom. Ak sa ľudia vracajú opakovane, obsah pre nich pravdepodobne má dostatočnú hodnotu na to, aby sa k nemu vracali znova a znova.
Kurzy, ktoré vedú k zmene správania, sa zriedka absolvujú na jedno posedenie. Študenti sa budú vracať, keď budú pripravení konať podľa určitej informácie alebo si ju pripomenúť.
Interakcia na úrovni lekcií
Interakcia na úrovni lekcií je ďalším cenným signálom. Namiesto pohľadu na kurz ako celok skúmajte, ako jednotlivé lekcie vedú ku konaniu:
● Ktoré lekcie majú najvyššiu mieru opätovného prehratia?
● Kde študenti pozastavujú video alebo trávia viac času?
● Ktoré konkrétne sekcie vedú používateľov k dokončeniu úlohy?
Tieto informácie použite na pochopenie, ktoré časti kurzu prinášajú skutočnú hodnotu a ktoré potrebujú optimalizáciu, odstránenie alebo vylepšenie.
Praktický výstup
Praktický výstup je tiež silným signálom. Čo študenti vytvárajú vďaka vášmu kurzu? Ide o dokument, projekt, plán alebo nejaký konkrétny výsledok?
Ak váš kurz nevedie k výstupu, pravdepodobne nepovedie ani k zmene.
Sledujte odchody v rôznych bodoch s prepracovanejším pohľadom. Hoci sa často vnímajú ako zlyhanie, odchody možno chápať ako signály. Ak študenti opúšťajú kurz v určitom bode, no napriek tomu úspešne dosahujú želanú zmenu správania, daná lekcia už možno prináša kľúčovú hodnotu.
Napokon vyhodnocujte spätnú väzbu účastníkov so zameraním na výsledky. Namiesto otázky „Páčil sa vám kurz?“ sa opýtajte „Čo ste po absolvovaní tohto kurzu robili inak?“ a „Aký výsledok ste dosiahli?“
Spokojnosť sa dá dosiahnuť ľahko. Vplyv je oveľa ťažšie dosiahnuť, no je zásadne dôležitý.
Tieto doplnkové metriky vám umožnia prejsť od povrchového úspechu k hlbšiemu pochopeniu toho, ako váš kurz prináša výsledky.
Záver
Miera dokončenia je jednoduchá, no odmeňuje iba pokrok v rámci vášho kurzu, nie výsledky mimo neho.
Ak sa spoliehate iba na mieru dokončenia, môžete vytvárať kurzy, ktoré sa ľahko dokončia, ale ťažko uplatnia v praxi.
Metrikou, ktorá skutočne dokazuje, že máte vplyv, je zmena správania; dokazuje, že účastníci nielen konzumujú informácie, ale to, čo sa naučili, aj uvádzajú do praxe.
Vyžaduje si to trochu viac úsilia. Budete potrebovať lepšie otázky a lepší mechanizmus na sledovanie výsledkov, no prínos v podobe lepšieho dizajnu kurzu rozhodne stojí za dodatočný čas.
Keď začnete merať to, na čom skutočne záleží, začnete vytvárať kurzy, na ktoré si ľudia budú pamätať a budú sa k nim vracať ešte dlho po tom, čo prestanú sledovať lekcie.