Οι περισσότεροι δημιουργοί μαθημάτων ενδιαφέρονται μόνο για έναν αριθμό: το ποσοστό ολοκλήρωσης. Παρακολουθούν ποσοστιαία μεγέθη, ανανεώνουν τους πίνακες ελέγχου και αγχώνονται για τις εγκαταλείψεις στη μέση του μαθήματος. Το ποσοστό ολοκλήρωσης μοιάζει με επιτυχία ή αποτυχία. Ένα υψηλό ποσοστό ολοκλήρωσης μοιάζει με απόδειξη της αποτελεσματικότητας του μαθήματος και ένα χαμηλό ποσοστό ολοκλήρωσης μοιάζει με αποτυχία του μαθήματος.
Αλλά αυτό απλώς δεν ισχύει.
Το ποσοστό ολοκλήρωσης είναι εύκολο να παρακολουθηθεί, αλλά δεν έχει κανένα νόημα για τη μάθηση. Ένας εκπαιδευόμενος μπορεί να ολοκληρώσει κάθε μάθημα αλλά να μη μάθει τίποτα χρήσιμο. Ένας εκπαιδευόμενος μπορεί να εγκαταλείψει μετά το δεύτερο μάθημα και να αλλάξει ριζικά τον τρόπο που σκέφτεται, ενεργεί ή εργάζεται. Ποιο είναι πιο επιτυχημένο; Το δεύτερο.
Σε αυτό το άρθρο, θα συζητήσουμε γιατί η ολοκλήρωση μαθημάτων υιοθετήθηκε τόσο ευρέως, γιατί είναι ένας αναποτελεσματικός δείκτης και σε ποιους δείκτες θα πρέπει να δίνετε προσοχή, αν το μάθημά σας υποτίθεται ότι προσφέρει πραγματική αξία.
Γιατί τα ποσοστά ολοκλήρωσης έγιναν ο προεπιλεγμένος δείκτης
Ο λόγος που τα ποσοστά ολοκλήρωσης έγιναν δημοφιλή δεν είναι ότι αποτελούν την καλύτερη μέτρηση, αλλά επειδή είναι τα πιο εύκολα στην παρακολούθηση. Οι περισσότερες πλατφόρμες μάθησης διαθέτουν αυτοματοποιημένο σύστημα για αυτό. Δείχνουν αν ένας εκπαιδευόμενος ολοκλήρωσε το μάθημα ή όχι.
Είναι επίσης αρκετά εύκολο να ενσωματωθούν σε έναν πίνακα ελέγχου. Ένα απλό νούμερο, που φαίνεται τακτοποιημένο και πολλά υποσχόμενο ή, αντίθετα, προβληματικό και απαιτητικό. Όταν το 80% των χρηστών ολοκληρώνει το μάθημα, μοιάζει με μεγάλο επίτευγμα. Όταν είναι 20%, είναι προφανώς ένδειξη ότι κάτι δεν πάει καλά.
Οι πλατφόρμες παίζουν επίσης ρόλο εδώ. Οι περισσότερες πλατφόρμες δημιουργίας μαθημάτων χρησιμοποιούν το ποσοστό ολοκλήρωσης ως δείκτη μαζί με τις αξιολογήσεις και τις εγγραφές. Έτσι, υπονοούν ότι είναι εξίσου σημαντικό με άλλους δείκτες και, τελικά, οι δημιουργοί τείνουν να το θεωρούν βασικό στόχο και όχι απλώς ένα σήμα.
Υπάρχει και μια ψυχολογική διάσταση. Η ολοκλήρωση δίνει την αίσθηση επιτεύγματος τόσο στους δημιουργούς όσο και στους εκπαιδευόμενους. Είναι ικανοποιητικό να λες: «Ολοκλήρωσα αυτό το μάθημα». Ως αποτέλεσμα, δημιουργοί και χρήστες τείνουν επίσης να το εξισώνουν με τη μάθηση, ενώ αυτό απέχει πολύ από την αλήθεια. Αυτή η υπόθεση δεν αποτελεί καλή βάση.
Επιπλέον, είναι πολύ βολικό για σύγκριση. Ένα μάθημα που καυχιέται για ποσοστό ολοκλήρωσης 70% θα φαίνεται αυτόματα καλύτερο από ένα μάθημα με 40%. Αυτό διευκολύνει τις αναφορές και τις γρήγορες αποφάσεις. Αλλά δεν είναι κάθε δείκτης που παρακολουθείται και συγκρίνεται εύκολα ουσιαστικός. Έτσι, τα ποσοστά ολοκλήρωσης χρησιμοποιούνται επειδή ελαχιστοποιούν τις επιπλοκές.
Το πρόβλημα με τα ποσοστά ολοκλήρωσης
Τα ποσοστά ολοκλήρωσης φαίνονται διαφανή, κι όμως κρύβουν τόσα πολλά.
Το βασικό πρόβλημα είναι ότι δεν μετρούν τη μάθηση. Το μόνο που σημαίνει η ολοκλήρωση ενός μαθήματος είναι ότι ένας σπουδαστής παρακολούθησε ή έκανε κλικ σε όλο το υλικό. Δεν δείχνει αν κατανόησε το υλικό, αν το συγκράτησε ή αν μπορεί να χρησιμοποιήσει τις πληροφορίες παραγωγικά.
Οι σπουδαστές μπορούν τεχνικά να ολοκληρώσουν ένα μάθημα χωρίς να εμπλακούν πραγματικά – επιταχύνοντας το περιεχόμενο, παραλείποντας ασκήσεις και αποφεύγοντας την εξάσκηση. Παρότι αυτό εμφανίζεται ως πρόοδος στα analytics, δεν αντικατοπτρίζει πραγματική μάθηση ή ανάπτυξη δεξιοτήτων.
Ένα ακόμη ζήτημα με τα ποσοστά ολοκλήρωσης είναι ότι αγνοούν πλήρως την πρόθεση του χρήστη. Δεν παρακολουθούν όλοι ένα μάθημα επειδή θέλουν να το ολοκληρώσουν. Πολλοί σπουδαστές προσπαθούν να λύσουν ένα πρόβλημα ή να βρουν μια πληροφορία, αλλά μπορεί να μη χρειάζονται όλα τα μαθήματα που προσφέρονται. Σε αυτή την περίπτωση, μόλις βρουν αυτό που έψαχναν, θα συνεχίσουν με το υπόλοιπο περιεχόμενο με όποιον τρόπο επιλέξουν. Από τη δική τους οπτική, το μάθημα πέτυχε· από τη σκοπιά των μετρήσεών σας, ήταν εγκαταλείψεις.
Αυτό είναι ένα ψευδώς αρνητικό αποτέλεσμα. Εντοπίζεται πρόβλημα εκεί όπου στην πραγματικότητα δεν υπάρχει κανένα πρόβλημα.
Τα ποσοστά ολοκλήρωσης μπορούν επίσης να οδηγήσουν σε πολύ κακό σχεδιασμό. Όταν ο στόχος είναι η ολοκλήρωση, τα μαθήματα γίνονται ολοένα και πιο σύντομα και απλά. Οι σύνθετες πληροφορίες αφαιρούνται, οι ασκήσεις μειώνονται ή καταργούνται εντελώς και οποιοδήποτε στοιχείο μπορεί να χρειαστεί υπερβολικό χρόνο για να αφομοιωθεί ή να κατανοηθεί από τον σπουδαστή αποκλείεται ως ρίσκο.
Το τελικό αποτέλεσμα είναι περιεχόμενο που καταναλώνεται εύκολα, αλλά δεν εφαρμόζεται εξίσου εύκολα. Ο σπουδαστής το διατρέχει γρήγορα, αλλά δεν μαθαίνει τίποτα ουσιαστικό.
Ο δείκτης που πραγματικά έχει σημασία: αλλαγή συμπεριφοράς
Αν η ολοκλήρωση δεν είναι ο σωστός στόχος, τότε ποιος είναι; Η αλλαγή συμπεριφοράς.
Αυτό είναι. Ο στόχος του μαθήματος είναι να αλλάξει το πώς συμπεριφέρεται ένα άτομο αφού παρακολουθήσει το μάθημα. Μπορεί να πρόκειται για νέες συνήθειες, για νέες δεξιότητες που εφαρμόζονται σε πραγματικές εργασιακές συνθήκες ή για διαφορετικές αποφάσεις που λαμβάνονται.
Το περιεχόμενο είναι απλώς το ερέθισμα. Ακολουθούν μερικά παραδείγματα:
● Η επιτυχία ενός μαθήματος μάρκετινγκ είναι ότι ένας marketer ξεκινά μια καμπάνια. Όχι ότι παρακολούθησε όλα τα μαθήματα για τις καμπάνιες.
● Η επιτυχία ενός μαθήματος προγραμματισμού είναι ότι κάποιος έχει δημιουργήσει μια εφαρμογή που λειτουργεί. Όχι ότι παρακολούθησε κάθε βίντεο.
● Η επιτυχία ενός μαθήματος fitness είναι ότι η καθημερινή του ρουτίνα άσκησης είναι πλέον πιο αποτελεσματική και την τηρεί. Όχι ότι παρακολούθησε κάθε ένα βίντεο και απάντησε σε κάθε ερώτηση.
● Η επιτυχία ενός μαθήματος ηγεσίας είναι η βελτιωμένη επικοινωνία της ομάδας και οι καλύτερες δεξιότητες λήψης αποφάσεων στον χώρο εργασίας. Όχι ότι παρακολουθήθηκαν όλα τα μαθήματα.
Σε κάθε περίπτωση, το αποτέλεσμα μπορεί να παρατηρηθεί έξω από το ίδιο το μαθησιακό περιβάλλον. Ο κόσμος είναι λίγο διαφορετικός.
Γι’ αυτό η αλλαγή συμπεριφοράς είναι πολύ καλύτερος δείκτης. Συνδέει αυτό που μαθαίνεται με την πράξη στον πραγματικό κόσμο. Παρέχει σαφείς αποδείξεις ότι ένα μάθημα είχε άμεσο αποτέλεσμα.
Αυτός είναι ο βασικός λόγος που οι άνθρωποι παρακολουθούν μαθήματα. Πολύ σπάνια θέλουν απλώς να καταναλώσουν περιεχόμενο. Οι άνθρωποι θέλουν να λύσουν ένα πρόβλημα ή να βελτιώσουν μια πτυχή της ζωής ή της εργασίας τους. Η αλλαγή συμπεριφοράς είναι αυτό που βλέπουμε όταν συμβαίνει αυτό.
Πώς να μετρήσετε την αλλαγή συμπεριφοράς
Η αλλαγή συμπεριφοράς, αν και πιο δύσκολο να μετρηθεί από τα ποσοστά ολοκλήρωσης, κάθε άλλο παρά αδύνατη είναι. Η μόνη πραγματική προϋπόθεση είναι να κοιτάξετε έξω από την πλατφόρμα του μαθήματός σας και να μετρήσετε τι κάνουν οι εκπαιδευόμενοι αφού καταναλώσουν το περιεχόμενό σας.
Βασικά follow-ups ως πρώτο βήμα
Μπορείτε να ξεκινήσετε με βασικά follow-ups. Ρωτήστε τους εκπαιδευόμενους ποιες ενέργειες έκαναν μετά την ολοκλήρωση ενός μαθήματος ή μιας ενότητας. Αυτό μπορεί να επιτευχθεί μέσω σύντομων ερευνών που αποστέλλονται λίγες ημέρες ή εβδομάδες αργότερα. Βεβαιωθείτε ότι εστιάζετε τις ερωτήσεις στην εφαρμογή στον πραγματικό κόσμο:
● Ποιες ενέργειες κάνατε μετά από αυτό το μάθημα;
● Ποια ήταν τα αποτελέσματα αυτής της ενέργειας;
● Ποιες πτυχές της ρουτίνας/ροής εργασίας σας αλλάξατε;
Απαντήσεις σαν αυτή μπορούν να παρέχουν άμεσα κατανοητά δεδομένα για τον πραγματικό αντίκτυπο.
Σήματα προσανατολισμένα στη δράση για να συνεχίσετε
Πέρα από τα απλά follow-up, εστιάστε σε σήματα προσανατολισμένα στη δράση μέσα στην πλατφόρμα του μαθήματος. Ενώ η ολοκλήρωση μαθημάτων δείχνει απόκτηση γνώσης, βεβαιωθείτε ότι παρακολουθείτε την ολοκλήρωση συγκεκριμένων ενεργειών μέσα σε κάθε μάθημα. Παραδείγματα περιλαμβάνουν:
● Ολοκληρώθηκε μια εργασία;
● Υποβλήθηκε ένα project;
● Εφαρμόστηκε ένα framework ή σύστημα;
Αυτοί οι δείκτες αποτελούν πολύ ισχυρότερη απόδειξη αλλαγής συμπεριφοράς από την απλή παρακολούθηση μαθημάτων.
Ποια είναι τα επόμενα βήματα;
Τα ποσοστά εφαρμογής είναι ένας ακόμη τομέας που αξίζει να εξετάσετε. Εδώ θα παρακολουθείτε τον βαθμό στον οποίο οι εκπαιδευόμενοι ενσωματώνουν το υλικό που έμαθαν στην πραγματική τους πρακτική. Αν ένα μάθημα διδάσκει μια συγκεκριμένη μεθοδολογία ή σύστημα, προσπαθήστε να προσδιορίσετε πόσοι εκπαιδευόμενοι το έχουν πράγματι εφαρμόσει.
Εκτός από την εφαρμογή, ζητήστε και παρακολουθήστε αποδείξεις εργασίας από τους εκπαιδευόμενούς σας. Ενθαρρύνετέ τους να υποβάλλουν ολοκληρωμένα έργα, screenshots αποτελεσμάτων, συγκρίσεις πριν και μετά ή προσωπικές μελέτες περίπτωσης για να αποδείξουν την πρόοδό τους. Με αυτόν τον τρόπο μετράτε την αλλαγή συμπεριφοράς και δημιουργείτε κοινωνική απόδειξη της αποτελεσματικότητας του μαθήματός σας.
Για μακροπρόθεσμα στοιχεία, στείλτε καθυστερημένα check-in. Στα ορόσημα των 30, 60 και 90 ημερών, ρωτήστε τους εκπαιδευόμενους τι έχει διατηρηθεί. Η συνεπής μακροπρόθεσμη αλλαγή συμπεριφοράς έχει πολύ μεγαλύτερο αντίκτυπο από μια μεμονωμένη έκρηξη δράσης.
Και τέλος, συνδυάστε τα ποιοτικά και ποσοτικά ευρήματά σας. Ενώ οι μετρήσεις αναδεικνύουν τάσεις, οι ατομικές ιστορίες προσφέρουν βάθος και κατανόηση. Μια καλά διατυπωμένη περίπτωση απτής αλλαγής είναι απείρως πιο πολύτιμη από ένα υψηλό ποσοστό ολοκλήρωσης χωρίς απόδειξη αποτελεσμάτων.
Υποστηρικτικές μετρήσεις που έχουν μεγαλύτερη σημασία από την ολοκλήρωση
Παρόλο που η αλλαγή συμπεριφοράς είναι το τελικό αποτέλεσμα, είναι σημαντικό να χρησιμοποιείτε υποστηρικτικές μετρήσεις για να παρακολουθείτε τους εκπαιδευόμενους καθώς προχωρούν προς αυτήν. Παρέχουν πιο πρώιμα σήματα για να βελτιστοποιήσετε το μάθημά σας πολύ πριν δείτε μακροπρόθεσμα αποτελέσματα.
Βάθος αλληλεπίδρασης
Το βάθος αλληλεπίδρασης είναι μια ισχυρή μέτρηση. Αντί να παρακολουθείτε απλώς πόσο μακριά φτάνουν οι εκπαιδευόμενοι, μετρήστε πόσο βαθιά αλληλεπιδρούν. Αυτό περιλαμβάνει τον χρόνο που αφιερώνεται σε βασικά μαθήματα, την ολοκλήρωση ασκήσεων και την προσεκτική ανασκόπηση πιο σύνθετων σημείων.
Ένας εκπαιδευόμενος που είναι πρόθυμος να αφιερώσει χρόνο για να δουλέψει πάνω σε μια δύσκολη έννοια είναι πολύ πιο πιθανό να την εφαρμόσει αργότερα από κάποιον που απλώς ξεφυλλίζει το υλικό γρήγορα. Όσο πιο βαθιά εμπλέκονται, τόσο πιο πιθανό είναι να δράσουν.
Ποσοστό επιστροφής
Το ποσοστό επιστροφής είναι μια ακόμη σημαντική μέτρηση. Παρακολουθεί πόσες φορές ένας εκπαιδευόμενος επιστρέφει μετά την αρχική του συνεδρία με το μάθημα. Αν οι άνθρωποι συνεχίζουν να επιστρέφουν πολλές φορές, πιθανότατα θεωρούν το περιεχόμενο αρκετά πολύτιμο ώστε να επιστρέφουν ξανά και ξανά.
Τα μαθήματα που οδηγούν σε αλλαγή συμπεριφοράς σπάνια ολοκληρώνονται σε μία μόνο συνεδρία. Οι σπουδαστές θα επιστρέψουν καθώς θα είναι έτοιμοι να ενεργήσουν πάνω σε μια πληροφορία ή να την ανακαλέσουν.
Αλληλεπίδραση σε επίπεδο μαθήματος
Η αλληλεπίδραση σε επίπεδο μαθήματος είναι ένα ακόμη πολύτιμο σήμα. Αντί να εξετάζετε το μάθημα συνολικά, κατανοήστε πώς τα επιμέρους μαθήματα οδηγούν σε δράση:
● Ποια μαθήματα έχουν το υψηλότερο ποσοστό επαναπροβολής;
● Πού κάνουν παύση οι σπουδαστές στο βίντεο ή αφιερώνουν περισσότερο χρόνο;
● Ποιες συγκεκριμένες ενότητες οδηγούν τους χρήστες στην ολοκλήρωση μιας εργασίας;
Χρησιμοποιήστε αυτές τις πληροφορίες για να κατανοήσετε ποια μέρη του μαθήματος προσφέρουν πραγματική αξία και ποια χρειάζονται βελτιστοποίηση, αφαίρεση ή ενίσχυση.
Πρακτικό αποτέλεσμα
Το πρακτικό αποτέλεσμα είναι επίσης ένα ισχυρό σήμα. Τι παράγουν οι σπουδαστές ως αποτέλεσμα του μαθήματός σας; Περιλαμβάνει κάποιο έγγραφο, ένα project, ένα σχέδιο ή κάποιο συγκεκριμένο αποτέλεσμα;
Αν το μάθημά σας δεν οδηγεί σε παραγωγή αποτελέσματος, είναι απίθανο να οδηγήσει σε αλλαγή.
Παρακολουθήστε τις αποχωρήσεις σε διαφορετικά σημεία με πιο εξελιγμένη οπτική. Αν και συχνά θεωρούνται αποτυχία, οι αποχωρήσεις μπορούν να εκληφθούν ως σήματα. Αν οι σπουδαστές εγκαταλείπουν το μάθημα σε ένα συγκεκριμένο σημείο αλλά εξακολουθούν να πετυχαίνουν με επιτυχία την επιθυμητή αλλαγή συμπεριφοράς, αυτό το συγκεκριμένο μάθημα μπορεί ήδη να προσφέρει βασική αξία.
Τέλος, εξετάστε την ανατροφοδότηση των εκπαιδευομένων με έμφαση στα αποτελέσματα. Αντί να ρωτάτε «Σας άρεσε το μάθημα;» ρωτήστε «Τι κάνατε διαφορετικά αφού παρακολουθήσατε αυτό το μάθημα;» και «Τι αποτέλεσμα πετύχατε;»
Η ικανοποίηση επιτυγχάνεται εύκολα. Ο αντίκτυπος είναι πολύ πιο δύσκολος, αλλά εξαιρετικά σημαντικός.
Αυτές οι συμπληρωματικές μετρήσεις σας επιτρέπουν να ξεπεράσετε την επιφανειακή επιτυχία και να αποκτήσετε βαθύτερη κατανόηση του πώς το μάθημά σας παράγει αποτελέσματα.
Συμπέρασμα
Το ποσοστό ολοκλήρωσης είναι ξεκάθαρο, αλλά επιβραβεύει μόνο την πρόοδο μέσα στο μάθημά σας και όχι τα αποτελέσματα εκτός αυτού.
Αν βασίζεστε αποκλειστικά στο ποσοστό ολοκλήρωσης, μπορείτε να δημιουργήσετε μαθήματα που ολοκληρώνονται εύκολα αλλά είναι δύσκολο να εφαρμοστούν.
Το μέτρο που αποδεικνύει πραγματικά ότι έχετε αντίκτυπο είναι η αλλαγή συμπεριφοράς· αποδεικνύει ότι οι εκπαιδευόμενοι δεν καταναλώνουν απλώς πληροφορίες, αλλά εφαρμόζουν όσα έχουν μάθει στην πράξη.
Αυτό απαιτεί λίγο περισσότερη προσπάθεια. Θα χρειαστούν καλύτερες ερωτήσεις και καλύτερος μηχανισμός παρακολούθησης των αποτελεσμάτων, αλλά το όφελος στον σχεδιασμό του μαθήματος αξίζει απόλυτα τον επιπλέον χρόνο.
Μόλις μετρήσετε αυτό που πραγματικά έχει σημασία, θα αρχίσετε να αναπτύσσετε μαθήματα που θα θυμούνται και θα προτείνουν για πολύ καιρό αφότου ο θεατής σταματήσει να παρακολουθεί τα μαθήματα.