Lielākā daļa kursu veidotāju rūpējas tikai par vienu skaitli: pabeigšanas rādītāju. Viņi vēro procentuālos rādītājus, atjaunina paneļus un raizējas par kursa pārtraukšanu tā vidū. Pabeigšanas rādītājs šķiet kā veiksme vai neveiksme. Augsts pabeigšanas rādītājs šķiet kā kursa efektivitātes pierādījums, un zems pabeigšanas rādītājs šķiet kā kursa neveiksme.
Taču tā vienkārši nav taisnība.
Pabeigšanas rādītāju ir viegli izsekot, taču mācīšanās kontekstā tas neko nenozīmē. Izglītojamais var pabeigt katru nodarbību, bet neiemācīties neko noderīgu. Izglītojamais var pārtraukt mācības pēc otrās nodarbības un būtiski mainīt savu domāšanu, rīcību vai darbu. Kurš variants ir veiksmīgāks? Otrais.
Šajā rakstā apskatīsim, kāpēc kursa pabeigšana kļuva tik plaši izmantota, kāpēc tas ir neefektīvs rādītājs un kādiem rādītājiem jums būtu jāpievērš uzmanība, ja jūsu kursam ir paredzēts sniegt reālu vērtību.
Kāpēc pabeigšanas rādītāji kļuva par noklusējuma metrik
Iemesls, kāpēc pabeigšanas rādītāji kļūst populāri, nav tas, ka tie ir labākais mērījums, bet gan tas, ka tos ir visvieglāk izsekot. Lielākajai daļai mācību platformu tam ir automatizēta sistēma. Tās parāda, vai izglītojamais ir pabeidzis kursu vai ne.
To ir arī diezgan viegli integrēt vadības panelī. Viens vienkāršs skaitlis, kas izskatās glīti un daudzsološi vai, tieši pretēji, problemātiski un izaicinoši. Kad 80% lietotāju pabeidz kursu, šķiet, ka tas ir lielisks sasniegums. Kad tie ir 20%, tas acīmredzami norāda, ka kaut kas nav kārtībā.
Arī platformām šeit ir sava loma. Lielākā daļa kursu veidošanas platformu izmanto pabeigšanas rādītāju kā metriku līdzās vērtējumiem un reģistrācijām. Tādējādi tās netieši norāda, ka tas ir tikpat svarīgs kā citas metrikas, un galu galā veidotāji mēdz to uzskatīt par galveno mērķi, nevis tikai signālu.
Pastāv arī psiholoģisks aspekts. Pabeigšana šķiet kā sasniegums gan veidotājiem, gan izglītojamajiem. Ir patīkami teikt: "Es pabeidzu šo kursu." Rezultātā gan veidotāji, gan lietotāji mēdz to pielīdzināt mācīšanās procesam, lai gan tas ir tālu no patiesības. Šis pieņēmums nav labs pamats.
Turklāt to ir ļoti ērti salīdzināt. Kurss, kas lepojas ar 70% pabeigšanas rādītāju, automātiski izskatīsies labāks nekā kurss ar 40%. Tas atvieglo atskaites un ātrus lēmumus. Taču ne katra metrika, kuru ir viegli izsekot un salīdzināt, ir jēgpilna. Tāpēc pabeigšanas rādītāji ir izmantoti, jo tie samazina sarežģījumus.
Pabeigšanas rādītāju problēma
Pabeigšanas rādītāji šķiet pārskatāmi, tomēr tie tik daudz ko slēpj.
Galvenā problēma ir tā, ka tie nemēra mācīšanos. Viss, ko nozīmē kursa pabeigšana, ir tas, ka students noskatījās vai izklikšķināja visu materiālu. Tas nepasaka, vai viņš materiālu saprata, to atcerējās vai spēj informāciju izmantot produktīvi.
Studenti tehniski var pabeigt kursu bez patiesas iesaistes – paātrināti izejot saturu, izlaižot vingrinājumus un izvairoties no prakses. Lai gan analītikā tas izskatās kā progress, tas neatspoguļo reālu mācīšanos vai prasmju attīstību.
Vēl viena pabeigšanas rādītāju problēma ir tā, ka tie pilnībā ignorē lietotāja nodomu. Ne visi apgūst kursu tāpēc, ka vēlas to pabeigt. Daudzi studenti cenšas atrisināt problēmu vai atrast kādu informāciju, taču viņiem var nebūt vajadzīgas visas piedāvātās nodarbības. Šādā gadījumā, tiklīdz viņi ir atraduši meklēto, viņi ar pārējo saturu rīkosies jebkādā sev ērtā veidā. No viņu skatpunkta kurss bija veiksmīgs; pēc jūsu metrikām viņi bija atkritēji.
Tas ir kļūdaini negatīvs rezultāts. Problēma tiek konstatēta tur, kur patiesībā tās nav.
Pabeigšanas rādītāji var novest arī pie ļoti slikta dizaina. Kad mērķis ir pabeigšana, kursi kļūst arvien īsāki un vienkāršāki. Sarežģīta informācija tiek izņemta, vingrinājumi tiek samazināti vai pilnībā likvidēti, un jebkurš elements, kura uztveršanai vai izpratnei studentam varētu būt vajadzīgs pārāk ilgs laiks, tiek izslēgts kā risks.
Gala rezultāts ir saturs, ko ir viegli patērēt, taču ne tik viegli pielietot. Students tam iziet cauri ātri, bet neiemācās neko būtisku.
Metrika, kurai patiešām ir nozīme: uzvedības maiņa
Ja ne pabeigšana ir pareizais mērķis, tad kas? Uzvedības maiņa.
Tieši tā. Kursa mērķis ir mainīt to, kā cilvēks uzvedas pēc kursa apguves. Tās var būt jaunas paražas, jaunu prasmju pielietošana reālās darba situācijās vai atšķirīgu lēmumu pieņemšana.
Saturs ir tikai stimuls. Šeit ir daži piemēri:
● Mārketinga kursa veiksme ir tāda, ka mārketinga speciālists uzsāk kampaņu. Nevis tas, ka viņš noskatījās visas nodarbības par kampaņām.
● Programmēšanas kursa veiksme ir tāda, ka kāds ir izveidojis lietotni, kas darbojas. Nevis tas, ka viņš noskatījās katru video.
● Fitnesa kursa veiksme ir tāda, ka viņa ikdienas vingrojumu rutīna tagad ir efektīvāka un viņš to ievēro. Nevis tas, ka viņš noskatījās pilnīgi katru video un atbildēja uz katru jautājumu.
● Līderības kursa veiksme ir uzlabota komandas komunikācija un labākas lēmumu pieņemšanas prasmes darbavietā. Nevis tas, ka tika apmeklētas visas nodarbības.
Katrā no šiem gadījumiem rezultātu var novērot ārpus pašas mācību vides. Pasaule ir nedaudz citāda.
Tāpēc uzvedības maiņa ir daudz labāka metrika. Tā sasaista apgūto ar rīcību reālajā pasaulē. Tā sniedz skaidrus pierādījumus tam, ka kursam ir bijusi tieša ietekme.
Tas ir pats galvenais iemesls, kāpēc cilvēki apgūst kursus. Ļoti reti viņi vienkārši vēlas patērēt saturu. Cilvēki vēlas atrisināt problēmu vai uzlabot kādu savas dzīves vai darba jomu. Uzvedības maiņa ir tas, kā tas izskatās, kad tas notiek.
Kā mērīt uzvedības maiņu
Uzvedības maiņu, lai gan to izmērīt ir grūtāk nekā pabeigšanas rādītājus, noteikti nav neiespējami. Vienīgā patiesā prasība ir skatīties ārpus savas kursu platformas un mērīt, ko izglītojamie dara pēc jūsu satura apguves.
Vienkārši turpmākie pasākumi kā pirmais solis
Varat sākt ar vienkāršām turpmākām saziņām. Pajautājiet izglītojamajiem, kādas darbības viņi ir veikuši pēc nodarbības vai moduļa pabeigšanas. To var izdarīt ar īsām aptaujām, kas nosūtītas dažas dienas vai nedēļas vēlāk. Pārliecinieties, ka jautājumi ir vērsti uz pielietojumu reālajā dzīvē:
● Kādas darbības jūs veicāt pēc šī kursa?
● Kādi bija šīs darbības rezultāti?
● Kādus savas rutīnas/darba plūsmas aspektus jūs mainījāt?
Šādas atbildes var sniegt tieši saprotamus datus par patieso ietekmi.
Uz darbību vērsti signāli turpināšanai
Papildus vienkāršām sekojošām darbībām koncentrējieties uz uz darbību vērstiem signāliem kursu platformā. Lai gan nodarbību pabeigšana norāda uz zināšanu apguvi, pārliecinieties, ka sekojat līdzi konkrētu darbību izpildei katrā nodarbībā. Piemēri:
● Vai uzdevums tika pabeigts?
● Vai projekts tika iesniegts?
● Vai ietvars vai sistēma tika pielietota?
Šie rādītāji ir daudz spēcīgāki uzvedības maiņas pierādījumi nekā tikai nodarbību skatīšanās.
Kādi ir nākamie soļi?
Ieviešanas rādītāji ir vēl viens virziens, ko vērts izpētīt. Šeit jūs sekosiet tam, cik lielā mērā dalībnieki integrē apgūtos materiālus savā reālajā praksē. Ja kurss māca konkrētu metodoloģiju vai sistēmu, mēģiniet noteikt, cik daudz dalībnieku to patiešām ir ieviesuši.
Papildus ieviešanai lūdziet dalībniekiem iesniegt un sekojiet līdzi darba pierādījumiem. Mudiniet viņus iesniegt pabeigtus projektus, rezultātu ekrānuzņēmumus, salīdzinājumus pirms un pēc vai personīgos gadījumu aprakstus, lai parādītu progresu. Tas palīdz izmērīt uzvedības maiņu un rada sociālu apliecinājumu par jūsu kursa efektivitāti.
Lai iegūtu ilgtermiņa pierādījumus, nosūtiet novēlotas pārbaudes ziņas. Pēc 30, 60 un 90 dienām jautājiet dalībniekiem, kas ir saglabājies atmiņā. Pastāvīga ilgtermiņa uzvedības maiņa ir daudz ietekmīgāka nekā vienreizējs aktivitātes uzliesmojums.
Un visbeidzot apvienojiet savus kvalitatīvos un kvantitatīvos secinājumus. Lai gan metrikas izceļ tendences, individuāli stāsti sniedz dziļumu un izpratni. Labi formulēts taustāmu pārmaiņu piemērs ir bezgalīgi vērtīgāks par augstu pabeigšanas rādītāju bez rezultātu pierādījumiem.
Atbalsta metrikas, kas ir svarīgākas par pabeigšanu
Lai gan uzvedības maiņa ir galvenais rezultāts, ir svarīgi izmantot atbalsta metrikas, lai sekotu dalībniekiem viņu ceļā uz to. Tās sniedz agrīnākus signālus kursa optimizēšanai ilgi pirms redzat ilgtermiņa rezultātus.
Iesaistes dziļums
Iesaistes dziļums ir spēcīga metrika. Tā vietā, lai vienkārši sekotu, cik tālu dalībnieki tiek, mēriet, cik dziļi viņi mijiedarbojas. Tas ietver galvenajās nodarbībās pavadīto laiku, vingrinājumu izpildi un rūpīgu sarežģītāku daļu pārskatīšanu.
Dalībnieks, kurš ir gatavs veltīt laiku, lai izprastu sarežģītu jēdzienu, daudz biežāk to vēlāk pielietos nekā tas, kurš materiālu tikai ātri pārskata. Jo dziļāka iesaiste, jo lielāka iespēja, ka sekos rīcība.
Atkārtotas atgriešanās rādītājs
Atkārtotas atgriešanās rādītājs ir vēl viena svarīga metrika. Tā parāda, cik reižu dalībnieks atgriežas pēc savas sākotnējās kursa sesijas. Ja cilvēki atgriežas vairākkārt, viņi, visticamāk, saturu uzskata par pietiekami vērtīgu, lai pie tā atgrieztos atkal un atkal.
Kursi, kas noved pie uzvedības maiņas, reti tiek pabeigti vienā piegājienā. Studenti atgriezīsies, kad būs gatavi rīkoties vai atsaukt atmiņā kādu informācijas daļu.
Mijiedarbība nodarbības līmenī
Mijiedarbība nodarbības līmenī ir vēl viens vērtīgs signāls. Tā vietā, lai skatītos uz kursu kopumā, saprotiet, kā atsevišķas nodarbības rosina rīcību:
● Kurām nodarbībām ir visaugstākais atkārtotas atskaņošanas rādītājs?
● Kur studenti aptur video vai pavada papildu laiku?
● Kuras konkrētās sadaļas liek lietotājiem pabeigt uzdevumu?
Izmantojiet šo informāciju, lai saprastu, kuras kursa daļas sniedz patiesu vērtību un kuras daļas jāoptimizē, jānoņem vai jāuzlabo.
Praktiskais rezultāts
Praktiskais rezultāts ir arī spēcīgs signāls. Ko studenti rada jūsu kursa rezultātā? Vai tas ir dokuments, projekts, plāns vai kāds cits konkrēts iznākums?
Ja jūsu kurss nenoved pie praktiska rezultāta, tas, visticamāk, nenovedīs arī pie pārmaiņām.
Uzraugiet atbirumu dažādos punktos ar padziļinātāku izpratni. Lai gan to bieži uzskata par neveiksmi, atbirumu var uztvert kā signālu. Ja studenti pamet kursu noteiktā punktā, bet joprojām veiksmīgi sasniedz vēlamo uzvedības maiņu, iespējams, šī konkrētā nodarbība jau sniedz galveno vērtību.
Visbeidzot, pārskatiet dalībnieku atsauksmes, koncentrējoties uz rezultātiem. Tā vietā, lai jautātu "Vai jums kurss patika?", jautājiet "Ko jūs pēc šī kursa apguves darījāt citādi?" un "Kādu rezultātu jūs sasniedzāt?"
Apmierinātību ir viegli sasniegt. Ietekmi panākt ir daudz grūtāk, taču tā ir kritiski svarīga.
Šīs papildinošās metrikas ļauj pāriet no virspusēja panākumu vērtējuma uz dziļāku izpratni par to, kā jūsu kurss rada rezultātus.
Secinājums
Pabeigšanas rādītājs ir vienkāršs, taču tas atalgo tikai progresu jūsu kursa ietvaros, nevis rezultātus ārpus tā.
Paļaujoties tikai uz pabeigšanas rādītāju, jūs varat izveidot kursus, kurus ir viegli pabeigt, bet grūti ieviest praksē.
Metrika, kas patiešām pierāda, ka jums ir ietekme, ir uzvedības maiņa; tā pierāda, ka dalībnieki ne tikai patērē informāciju, bet arī īsteno apgūto praksē.
Tas prasa nedaudz vairāk pūļu. Būs vajadzīgi labāki jautājumi un labāks mehānisms rezultātu izsekošanai, taču ieguvums kursa izstrādē ir pilnībā papildu laika vērts.
Kad jūs mērīsiet to, kam patiešām ir nozīme, jūs sāksiet veidot kursus, kurus atcerēsies un ieteiks vēl ilgi pēc tam, kad skatītājs būs pārstājis skatīties nodarbības.
