A legtöbb kurzuskészítő csak egyetlen számra figyel: a kurzus elvégzési arányára. A százalékokat nézik, újra és újra frissítik az irányítópultokat, és a kurzus közben lemorzsolódó résztvevők miatt aggódnak. Úgy érzik, az elvégzési arány a siker vagy a kudarc mércéje. A magas arányt a kurzus hatékonysága bizonyítékának, az alacsonyat pedig a kudarc jelének tekintik.
Ez azonban egyszerűen nem igaz.
Az elvégzési arány könnyen nyomon követhető, de a tanulás szempontjából semmit sem mond. Lehet, hogy valaki minden leckét elvégez, mégsem tanul semmi hasznosat. Másvalaki a második lecke után abbahagyhatja a kurzust, mégis alapvetően megváltozhat a gondolkodása, a viselkedése vagy a munkamódszere. Melyik a nagyobb siker? A második.
Ebben a cikkben megvizsgáljuk, miért terjedt el ennyire a kurzusok elvégzési arányának használata, miért nem hatékony mérőszám, és milyen mutatókra érdemes figyelnie, ha azt szeretné, hogy a kurzusa valódi értéket teremtsen.
Miért vált alapértelmezett mérőszámmá az elvégzési arány?
Az elvégzési arány nem azért lett népszerű, mert ez a legjobb mérőszám, hanem mert ezt a legkönnyebb követni. A legtöbb oktatási platform automatikusan méri, hogy egy résztvevő befejezte-e a kurzust.
Az irányítópulton is könnyű megjeleníteni. Egyetlen egyszerű szám, amely lehet biztató, vagy épp ellenkezőleg: aggasztó. Ha a felhasználók 80%-a befejezi a kurzust, azt nagy sikernek érezzük. Ha csak 20%-uk, az nyilvánvalóan arra utal, hogy valami nincs rendben.
Ebben a platformoknak is szerepük van. A legtöbb kurzuskészítő platform az értékelések és a jelentkezések mellett az elvégzési arányt is mérőszámként használja. Ezzel azt sugallják, hogy ugyanolyan fontos, mint a többi mutató, így a kurzuskészítők végül nem pusztán jelzésként, hanem fontos célként tekintenek rá.
Pszichológiai tényező is szerepet játszik. A kurzus befejezését mind a készítők, mind a résztvevők sikerélményként élik meg. Jó érzés azt mondani: „Elvégeztem ezt a kurzust.” Emiatt a készítők és a résztvevők is hajlamosak a befejezést a tanulással azonosítani, pedig a kettő korántsem ugyanaz. Erre a feltételezésre nem érdemes építeni.
Ráadásul az elvégzési arányokat nagyon könnyű összehasonlítani. Egy 70%-os elvégzési aránnyal büszkélkedő kurzus automatikusan jobbnak tűnik egy 40%-osnál. Ez megkönnyíti a jelentéskészítést és a gyors döntéshozatalt. De nem minden könnyen követhető és összehasonlítható mutató jelentőségteljes. Az elvégzési arányt tehát azért használják, mert egyszerűvé teszi a dolgokat.
Az elvégzési aránnyal kapcsolatos probléma
Az elvégzési arány átláthatónak tűnik, mégis sok mindent elfed.
Az alapvető probléma az, hogy nem a tanulást méri. A kurzus elvégzése csupán annyit jelent, hogy a résztvevő végignézte vagy végigkattintotta a tananyagot. Arról semmit nem árul el, hogy megértette-e, megjegyezte-e, vagy képes-e hasznosan alkalmazni a megszerzett ismereteket.
A résztvevők úgy is elvégezhetnek egy kurzust, hogy valójában nem foglalkoznak érdemben az anyaggal: átfutják a tartalmat, kihagyják a feladatokat, és nem gyakorolnak. Az elemzésekben ez haladásnak látszik, de nem tükröz valódi tanulást vagy készségfejlődést.
Az elvégzési arány másik problémája, hogy teljesen figyelmen kívül hagyja a résztvevők célját. Nem mindenki azért kezd el egy kurzust, hogy végigcsinálja. Sokan egy problémát szeretnének megoldani vagy egy konkrét információt keresnek, és ehhez nincs szükségük minden leckére. Miután megtalálták, amit kerestek, a fennmaradó tartalommal úgy foglalkoznak tovább, ahogy nekik megfelel. Az ő szemszögükből a kurzus sikeres volt; az Ön mutatói szerint viszont lemorzsolódtak.
Ez téves riasztás: ott jelez problémát a mérés, ahol valójában nincs.
Az elvégzési arány előtérbe helyezése rossz kurzustervezéshez is vezethet. Ha a cél az, hogy minél többen végezzenek a kurzussal, a kurzusok egyre rövidebbek és egyszerűbbek lesznek. Kimaradnak az összetett tudnivalók, csökken a feladatok száma, vagy teljesen eltűnnek, és kockázatként tekintenek minden elemre, amelynek feldolgozása vagy megértése túl sok időt vehet igénybe.
Az eredmény könnyen fogyasztható, de nehezen alkalmazható tartalom. A résztvevő gyorsan végighalad rajta, de semmi lényegeset nem tanul.
Az igazán fontos mérőszám: a viselkedés megváltozása
Ha nem a kurzus elvégzése a megfelelő cél, akkor mi az? A viselkedés megváltozása.
Ennyi az egész. A kurzus célja, hogy a résztvevő a kurzus után másként cselekedjen. Ez jelentheti új szokások kialakítását, új készségek alkalmazását valós munkahelyi helyzetekben vagy más döntések meghozatalát.
A tartalom csupán a változás kiváltója. Íme néhány példa:
● Egy marketingkurzus sikere az, ha egy marketingszakember kampányt indít. Nem az, hogy végignézi a kampányokról szóló összes leckét.
● Egy programozókurzus sikere az, ha valaki elkészít egy működő alkalmazást. Nem az, hogy minden videót megnéz.
● Egy fitneszkurzus sikere az, ha a résztvevő napi edzésprogramja hatékonyabbá válik, és ki is tart mellette. Nem az, hogy minden videót megnéz és minden kérdésre válaszol.
● Egy vezetői kurzus sikere a jobb csapatkommunikáció és a jobb munkahelyi döntéshozatal. Nem az, hogy a résztvevő minden órán jelen volt.
Az eredmény minden esetben magán a tanulási környezeten kívül is megfigyelhető. Valami megváltozik a világban.
Ezért sokkal jobb mérőszám a viselkedés megváltozása. Összekapcsolja a tanultakat a való életben végzett tevékenységgel. Egyértelmű bizonyítékot ad arra, hogy a kurzusnak közvetlen hatása volt.
Az emberek éppen ezért jelentkeznek kurzusokra. Ritkán az a céljuk, hogy pusztán tartalmat fogyasszanak. Egy problémát szeretnének megoldani, vagy az életük, illetve a munkájuk valamely területén szeretnének fejlődni. Amikor ez megtörténik, az a viselkedésük változásában mutatkozik meg.
Hogyan mérhető a viselkedés megváltozása?
A viselkedés változását nehezebb mérni, mint az elvégzési arányt, de korántsem lehetetlen. Ehhez mindössze ki kell tekintenie a kurzusplatform adataiból, és meg kell vizsgálnia, mit tesznek a résztvevők a tartalom megismerése után.
Első lépés: egyszerű utánkövetés
Kezdheti egyszerű utánkövetéssel. Kérdezze meg a résztvevőket, mit tettek egy lecke vagy modul elvégzése után. Ezt néhány nappal vagy héttel később kiküldött rövid kérdőívekkel is megteheti. A kérdések a tanultak gyakorlati alkalmazására összpontosítsanak:
● Mit tett a kurzus elvégzése után?
● Milyen eredménnyel járt ez?
● Miben változtatta meg a napi rutinját vagy a munkafolyamatát?
Az ilyen válaszok közvetlenül átérezhető képet adhatnak a tényleges hatásról.
Cselekvésre utaló jelek, amelyeket érdemes tovább követni
Az egyszerű utólagos érdeklődésen túl figyelje a kurzusplatformon belüli, cselekvésre utaló jeleket. Egy lecke elvégzése a tudás megszerzését jelzi, de fontos azt is követni, hogy a résztvevők elvégzik-e az egyes leckékben meghatározott feladatokat. Például:
● Elvégezte a résztvevő a feladatot?
● Beadta a résztvevő a projektet?
● Alkalmazta a résztvevő a bemutatott keretrendszert vagy módszert?
Ezek a mutatók sokkal erősebben bizonyítják a viselkedésváltozást, mint az, hogy hányan nézték meg a leckét.
Mik a következő lépések?
Érdemes azt is mérni, milyen arányban ültetik át a résztvevők a tanultakat a gyakorlatba. Itt azt követheti nyomon, hogy milyen mértékben építik be a tananyagot a tényleges tevékenységükbe. Ha egy kurzus konkrét módszertant vagy rendszert tanít, próbálja megállapítani, hány résztvevő alkalmazza azt valóban.
A gyakorlati alkalmazás mellett kérjen a résztvevőktől bizonyítékot az elvégzett munkájukról, és kövesse is nyomon ezeket. Ösztönözze őket kész projektek, az eredményekről készült képernyőképek, előtte-utána összehasonlítások vagy személyes esettanulmányok beküldésére, hogy bemutathassák a fejlődésüket. Így mérheti a viselkedésváltozást, és mások számára is hitelesen igazolhatja a kurzus hatékonyságát.
A hosszú távú hatás felméréséhez később is jelentkezzen a résztvevőknél. A 30., 60. és 90. napon kérdezze meg tőlük, mi maradt meg a tanultakból. A tartós viselkedésváltozás sokkal nagyobb hatású, mint egy egyszeri, rövid fellángolás.
Végül kapcsolja össze a kvalitatív és kvantitatív eredményeket. A mérőszámok trendeket mutatnak, az egyéni történetek pedig mélyebb betekintést és megértést nyújtanak. Egy kézzelfogható változást bemutató, jól megfogalmazott esettanulmány összehasonlíthatatlanul értékesebb, mint a magas teljesítési arány, ha azt nem támasztják alá eredmények.
Kiegészítő mérőszámok, amelyek többet mondanak a teljesítési aránynál
Bár a végső cél a viselkedésváltozás, fontos, hogy kiegészítő mérőszámokkal kövesse a résztvevők útját e cél felé. Ezek már jóval a hosszú távú eredmények megjelenése előtt jelezhetik, hol érdemes javítani a kurzuson.
Az elmélyülés mértéke
Az elmélyülés mértéke sokatmondó mérőszám. Ne csak azt kövesse, meddig jutnak el a résztvevők, hanem azt is, milyen alaposan foglalkoznak a tananyaggal. Ide tartozik a kulcsfontosságú leckékre fordított idő, a gyakorlatok elvégzése és az összetettebb részek alapos áttekintése.
Aki időt szán egy nehéz fogalom megértésére, sokkal nagyobb valószínűséggel alkalmazza majd később, mint aki gyorsan átfutja a tananyagot. Minél jobban elmélyülnek a résztvevők, annál valószínűbb, hogy a tanultakat a gyakorlatba is átültetik.
Visszatérési arány
A visszatérési arány egy másik fontos mérőszám. Azt mutatja meg, hányszor tér vissza egy résztvevő a kurzushoz az első alkalom után. Ha a résztvevők újra és újra visszatérnek, valószínűleg elég értékesnek találják a tartalmat ahhoz, hogy ismét foglalkozzanak vele.
A viselkedésváltozást eredményező kurzusokat ritkán végzik el egyetlen alkalom alatt. A résztvevők akkor térnek vissza, amikor készen állnak arra, hogy alkalmazzanak vagy felidézzenek egy-egy tanult dolgot.
Interakció az egyes leckékkel
Az egyes leckékkel való interakció szintén értékes jelzés. Ne csak a kurzus egészét vizsgálja, hanem azt is, hogyan ösztönzik cselekvésre az egyes leckék a résztvevőket:
● Mely leckéket nézik meg újra a legtöbben?
● Hol állítják meg a résztvevők a videót, vagy hol töltenek több időt?
● Mely részek késztetik a résztvevőket egy feladat elvégzésére?
Ezekből az adatokból kiderülhet, mely részek nyújtanak valódi értéket, és melyeket kell finomítani, eltávolítani vagy továbbfejleszteni.
Kézzelfogható eredmények
A kézzelfogható eredmény szintén sokatmondó jelzés. Mit hoznak létre a résztvevők a kurzus hatására? Készül dokumentum, projekt, terv vagy bármilyen más konkrét eredmény?
Ha a kurzus nem vezet kézzelfogható eredményhez, valószínűleg változást sem fog eredményezni.
Vizsgálja meg alaposabban, hol és miért morzsolódnak le a résztvevők. Bár ezt gyakran kudarcnak tekintik, fontos jelzés is lehet. Ha a résztvevők egy adott ponton abbahagyják a kurzust, de a kívánt viselkedésváltozást így is sikerül elérniük, lehet, hogy az adott lecke már átadta a legfontosabb értéket.
Végül az eredményekre összpontosítva értékelje a résztvevők visszajelzéseit. A „Tetszett a kurzus?” helyett kérdezze inkább azt: „Mit csinál másképp a kurzus elvégzése óta?” és „Milyen eredményt ért el?”
Elégedettséget könnyű elérni. Valódi hatást kiváltani sokkal nehezebb, de kulcsfontosságú.
Ezek a kiegészítő mérőszámok segítenek túllépni a felszínes siker mérésén, és mélyebben megérteni, hogyan hoz eredményeket a kurzus.
Összegzés
A teljesítési arány könnyen mérhető, de csak a kurzuson belüli előrehaladást tükrözi, nem a kurzuson kívül elért eredményeket.
Ha kizárólag a teljesítési arányra támaszkodik, olyan kurzusokat hozhat létre, amelyeket könnyű elvégezni, de a tanultakat nehéz alkalmazni.
A hatást valójában a viselkedésváltozás bizonyítja: azt mutatja meg, hogy a résztvevők nem csupán befogadják az információt, hanem alkalmazzák is a tanultakat.
Ehhez valamivel több erőfeszítés kell. Jobb kérdéseket kell feltenni, és hatékonyabb módszerre van szükség az eredmények követéséhez, de a kurzus megtervezésébe fektetett többletidő bőségesen megtérül.
Ha azt méri, ami valóban számít, olyan kurzusokat kezd majd készíteni, amelyekre a résztvevők még jóval az utolsó lecke megtekintése után is emlékeznek, és másoknak is ajánlják őket.