La plupart des créateurs de cours ne se soucient que d’un seul chiffre : le taux de complétion. Ils surveillent les pourcentages, actualisent les tableaux de bord et s’angoissent à propos des abandons en cours de route. Le taux de complétion donne l’impression d’être un indicateur de réussite ou d’échec. Un taux de complétion élevé semble prouver l’efficacité du cours, et un taux faible donne l’impression que le cours est un échec.
Mais ce n’est tout simplement pas vrai.
Le taux de complétion est facile à suivre, mais il n’a aucun sens pour l’apprentissage. Un apprenant peut terminer chaque leçon sans rien apprendre d’utile. Un apprenant peut abandonner après la deuxième leçon et pourtant changer fondamentalement sa façon de penser, d’agir ou de travailler. Lequel est le plus réussi ? Le second.
Dans cet article, nous verrons pourquoi le taux de complétion est devenu si largement adopté, pourquoi c’est une métrique inefficace, et à quelles métriques vous devriez prêter attention si votre cours est censé apporter une réelle valeur.
Pourquoi les taux de complétion sont devenus la métrique par défaut
La raison pour laquelle les taux de complétion sont devenus populaires n’est pas qu’ils constituent la meilleure mesure, mais qu’ils sont les plus faciles à suivre. La plupart des plateformes d’apprentissage disposent d’un système automatisé pour cela. Elles indiquent si un apprenant a terminé le cours ou non.
Il est également assez facile de les intégrer dans un tableau de bord. Un chiffre simple, net et prometteur, ou au contraire problématique et préoccupant. Quand 80 % des utilisateurs terminent le cours, on a l’impression qu’il s’agit d’une grande réussite. Quand c’est 20 %, c’est évidemment le signe que quelque chose ne va pas.
Les plateformes jouent aussi un rôle ici. La plupart des plateformes de création de cours utilisent le taux de complétion comme métrique aux côtés des notes et des inscriptions. Elles sous-entendent ainsi qu’il est aussi important que les autres métriques et, au final, les créateurs ont tendance à le considérer comme un objectif clé plutôt que comme un simple signal.
Il y a aussi une composante psychologique. Le fait de terminer donne un sentiment d’accomplissement, tant aux créateurs qu’aux apprenants. Il est satisfaisant de dire : "J’ai terminé ce cours." En conséquence, les créateurs comme les utilisateurs ont tendance à l’assimiler à de l’apprentissage, alors que c’est loin d’être vrai. Cette hypothèse n’est pas une bonne base.
De plus, c’est très pratique à comparer. Un cours qui affiche un taux de complétion de 70 % semblera automatiquement meilleur qu’un cours à 40 %. Cela facilite les rapports et les décisions rapides. Mais toutes les métriques faciles à suivre et à comparer ne sont pas forcément pertinentes. Ainsi, les taux de complétion ont été utilisés parce qu’ils réduisent les complications au minimum.
Le problème des taux de complétion
Les taux de complétion semblent transparents, et pourtant ils masquent énormément de choses.
Le problème fondamental, c’est qu’ils ne mesurent pas l’apprentissage. Tout ce que signifie la complétion d’un cours, c’est qu’un étudiant a regardé ou parcouru tout le contenu. Cela ne dit pas s’il a compris la matière, l’a retenue ou s’il peut utiliser ces informations de manière productive.
Les étudiants peuvent techniquement terminer un cours sans vraiment s’impliquer – en accélérant le contenu, en sautant les exercices et en évitant la pratique. Même si cela apparaît comme une progression dans les analyses, cela ne reflète pas un apprentissage réel ni le développement de compétences.
Un autre problème des taux de complétion est qu’ils ignorent totalement l’intention de l’utilisateur. Tout le monde ne suit pas un cours avec l’objectif de le terminer. Beaucoup d’étudiants essaient de résoudre un problème ou de trouver une information précise, mais ils n’ont pas forcément besoin de toutes les leçons proposées. Dans ce cas, une fois qu’ils ont trouvé ce qu’ils cherchaient, ils continueront avec le reste du contenu comme bon leur semble. De leur point de vue, le cours a été une réussite ; selon vos métriques, ce sont des abandons.
C’est un faux négatif. Un problème est détecté là où il n’en existe pas réellement.
Les taux de complétion peuvent aussi conduire à un très mauvais design. Quand l’objectif est la complétion, les cours deviennent de plus en plus courts et simples. Les informations complexes sont supprimées, les exercices sont réduits ou complètement éliminés, et tout élément qui pourrait demander trop de temps à l’étudiant pour être assimilé ou compris est écarté par précaution.
Le résultat final est un contenu facile à consommer, mais pas si facile à appliquer. L’étudiant le parcourt rapidement, mais n’apprend rien de substantiel.
La métrique qui compte vraiment : le changement de comportement
Si le bon objectif n’est pas la complétion, alors quoi ? Le changement de comportement.
C’est tout. Le but du cours est de changer la manière dont une personne se comporte après l’avoir suivi. Cela peut être de nouvelles habitudes, de nouvelles compétences appliquées dans des situations de travail réelles, ou des décisions prises différemment.
Le contenu n’est qu’un déclencheur. Voici quelques exemples :
● La réussite d’un cours de marketing c’est qu’un marketeur lance une campagne. Pas qu’il ait regardé toutes les leçons sur les campagnes.
● La réussite d’un cours de programmation c’est que quelqu’un ait créé une application qui fonctionne. Pas qu’il ait regardé chaque vidéo.
● La réussite d’un cours de fitness c’est que sa routine quotidienne d’exercice soit désormais plus efficace, et qu’il s’y tienne. Pas qu’il ait regardé chaque vidéo et répondu à chaque question.
● La réussite d’un cours de leadership c’est une meilleure communication d’équipe et de meilleures compétences en prise de décision au travail. Pas que toutes les leçons aient été suivies.
Dans chaque cas, le résultat peut être observé en dehors de l’environnement d’apprentissage lui-même. Le monde est un peu différent.
C’est pourquoi le changement de comportement est une bien meilleure métrique. Il relie ce qui est appris à une action dans le monde réel. Il fournit une preuve claire qu’un cours a eu un effet direct.
C’est la raison même pour laquelle les gens suivent des cours. Très rarement cherchent-ils simplement à consommer du contenu. Les gens cherchent à résoudre un problème ou à améliorer un aspect de leur vie ou de leur travail. Le changement de comportement est ce que cela donne quand cela se produit.
Comment mesurer le changement de comportement
Le changement de comportement, bien qu’il soit plus difficile à mesurer que les taux de complétion, n’est en aucun cas impossible. La seule vraie exigence est de regarder au-delà de votre plateforme de cours et de mesurer ce que les apprenants font après avoir consommé votre contenu.
Des suivis simples comme première étape
Vous pouvez commencer par des suivis simples. Demandez aux apprenants quelles actions ils ont entreprises après avoir terminé une leçon ou un module. Cela peut se faire au moyen de brefs sondages envoyés quelques jours ou semaines plus tard. Veillez à concentrer vos questions sur l’application dans le monde réel :
● Quelles actions avez-vous entreprises après ce cours ?
● Quels ont été les résultats de cette action ?
● Quels aspects de votre routine\/flux de travail avez-vous modifiés ?
Des réponses comme celle-ci peuvent fournir des données directement pertinentes sur l’impact réel.
Des signaux orientés vers l’action pour continuer
Au-delà des simples relances, concentrez-vous sur les signaux orientés vers l’action au sein de la plateforme de cours. Bien que la finalisation des leçons indique une acquisition de connaissances, assurez-vous de suivre l’accomplissement d’actions spécifiques dans chaque leçon. Exemples :
● Un devoir a-t-il été terminé ?
● Un projet a-t-il été soumis ?
● Un cadre ou un système a-t-il été appliqué ?
Ces indicateurs constituent des preuves bien plus solides d’un changement de comportement que le simple visionnage des leçons.
Quelles sont les prochaines étapes ?
Les taux de mise en œuvre sont une autre piste à explorer. Ici, vous suivrez dans quelle mesure les apprenants intègrent les contenus appris dans leur pratique réelle. Si un cours enseigne une méthodologie ou un système spécifique, essayez de déterminer combien d’apprenants l’ont réellement mis en œuvre.
En plus de la mise en œuvre, demandez et suivez des preuves de travail de vos apprenants. Encouragez-les à soumettre des projets terminés, des captures d’écran des résultats, des comparaisons avant-après ou des études de cas personnelles pour démontrer leurs progrès. Cela permet de mesurer le changement de comportement et de créer une preuve sociale de l’efficacité de votre cours.
Pour obtenir des preuves à long terme, envoyez des suivis différés. Aux échéances de 30, 60 et 90 jours, demandez aux apprenants ce qu’ils ont retenu. Un changement de comportement durable et constant a bien plus d’impact qu’un simple élan d’action isolé.
Enfin, combinez vos constats qualitatifs et quantitatifs. Si les métriques mettent en évidence des tendances, les histoires individuelles apportent de la profondeur et de la compréhension. Un cas bien formulé de changement tangible a infiniment plus de valeur qu’un taux de finalisation élevé sans preuve de résultats.
Des métriques de soutien plus importantes que le taux de finalisation
Bien que le changement de comportement soit le résultat ultime, il est important d’utiliser des métriques de soutien pour suivre les apprenants à mesure qu’ils s’en rapprochent. Elles fournissent des signaux plus précoces pour optimiser votre cours bien avant de voir des résultats à long terme.
Profondeur d’engagement
La profondeur d’engagement est une métrique puissante. Au lieu de simplement suivre jusqu’où vont les apprenants, mesurez à quel point ils interagissent en profondeur. Cela inclut le temps passé dans les leçons clés, la réalisation des exercices et l’examen attentif des parties plus complexes.
Un apprenant prêt à consacrer du temps à travailler sur un concept difficile est bien plus susceptible de l’appliquer par la suite que quelqu’un qui parcourt rapidement le contenu. Plus l’engagement est profond, plus la probabilité de passage à l’action est élevée.
Taux de retour
Le taux de retour est une autre métrique importante. Il suit le nombre de fois qu’un apprenant revient après sa session initiale avec le cours. Si les gens reviennent plusieurs fois, ils jugent probablement le contenu suffisamment précieux pour y revenir encore et encore.
Les cours qui entraînent un changement de comportement sont rarement terminés en une seule session. Les étudiants reviendront lorsqu’ils seront prêts à agir ou à se remémorer une information.
Interaction au niveau de la leçon
L’interaction au niveau de la leçon est un autre signal précieux. Au lieu de considérer le cours dans son ensemble, cherchez à comprendre comment les leçons individuelles déclenchent l’action :
● Quelles leçons ont le taux de revisionnage le plus élevé ?
● À quels endroits les étudiants mettent-ils la vidéo en pause ou passent-ils plus de temps ?
● Quelles sections spécifiques amènent les utilisateurs à accomplir une tâche ?
Utilisez ces informations pour comprendre quelles parties du cours apportent une véritable valeur, et quelles parties nécessitent une optimisation, une suppression ou une amélioration.
Résultat concret
Le résultat concret est aussi un signal puissant. Que produisent les étudiants grâce à votre cours ? S’agit-il d’un document, d’un projet, d’un plan ou d’un résultat concret d’une autre nature ?
Si votre cours ne mène pas à une production concrète, il est peu probable qu’il mène à un changement.
Surveillez les abandons à différents moments avec une analyse plus fine. Bien qu’ils soient souvent considérés comme des échecs, les abandons peuvent être vus comme des signaux. Si les étudiants quittent le cours à un certain moment tout en réussissant malgré tout à accomplir le changement de comportement souhaité, cette leçon spécifique apporte peut-être déjà une valeur essentielle.
Enfin, examinez les retours des apprenants en vous concentrant sur les résultats. Au lieu de demander "Avez-vous apprécié le cours ?", demandez "Qu’avez-vous fait différemment après avoir suivi ce cours ?" et "Quel résultat avez-vous obtenu ?"
La satisfaction s’obtient facilement. L’impact est bien plus difficile à obtenir, mais d’une importance cruciale.
Ces métriques complémentaires vous permettent d’aller au-delà d’un succès superficiel pour parvenir à une compréhension plus profonde de la manière dont votre cours génère des résultats.
Conclusion
Le taux de finalisation est simple, mais il ne récompense que la progression dans votre cours plutôt que les résultats obtenus en dehors de celui-ci.
En vous appuyant uniquement sur le taux de finalisation, vous pouvez créer des cours faciles à terminer mais difficiles à mettre en pratique.
La mesure qui prouve réellement que vous avez un impact est le changement de comportement ; elle prouve que les apprenants ne se contentent pas de consommer de l’information, mais qu’ils mettent en pratique ce qu’ils ont appris.
Cela demande un peu plus d’efforts. Il faudra poser de meilleures questions et mettre en place un meilleur mécanisme de suivi des résultats, mais les bénéfices en matière de conception de cours valent largement le temps supplémentaire.
Une fois que vous mesurez ce qui compte vraiment, vous commencerez à développer des cours dont on se souviendra et que l’on recommandera longtemps après que le spectateur aura cessé de regarder les leçons.
