A maioria dos criadores de cursos só se importa com um número: a taxa de conclusão. Eles observam os percentuais, atualizam os painéis e se angustiam com os abandonos no meio do curso. A taxa de conclusão parece sucesso ou fracasso. Uma taxa de conclusão alta parece prova da eficiência do curso, e uma taxa de conclusão baixa parece fracasso do curso.
Mas isso simplesmente não é verdade.
A taxa de conclusão é fácil de acompanhar, mas não tem significado para a aprendizagem. Um aluno pode concluir todas as aulas e não aprender nada de útil. Um aluno pode abandonar após a segunda aula e mudar fundamentalmente a forma como pensa, age ou trabalha. Qual é mais bem-sucedido? O segundo.
Neste artigo, vamos discutir por que a conclusão de cursos se tornou tão amplamente adotada, por que é uma métrica ineficaz e a quais métricas você deveria prestar atenção se o seu curso pretende agregar algum valor real.
Por que as Taxas de Conclusão se Tornaram a Métrica Padrão
A razão pela qual as taxas de conclusão se tornaram populares não é que sejam a melhor medição, mas porque são as mais fáceis de acompanhar. A maioria das plataformas de aprendizagem tem um sistema automatizado para isso. Elas mostram se um aluno concluiu o curso ou não.
Também é bastante fácil integrá-la a um painel. Um único número simples, com aparência organizada e promissora ou, pelo contrário, problemática e desafiadora. Quando 80% dos usuários concluem o curso, parece uma grande conquista. Quando são 20%, é obviamente um indicativo de que há algo errado.
As plataformas também desempenham um papel aqui. A maioria das plataformas de criação de cursos usa a taxa de conclusão como métrica junto com avaliações e inscrições. Assim, elas sugerem que ela é tão importante quanto outras métricas e, no fim, os criadores tendem a considerá-la um objetivo principal, e não apenas um sinal.
Há também um componente psicológico. Concluir parece uma conquista tanto para criadores quanto para alunos. É satisfatório dizer: "Concluí este curso." Como resultado, criadores e usuários também tendem a equiparar isso ao aprendizado, quando está longe de ser verdade. Essa suposição não é uma boa base.
Além disso, é muito conveniente para comparar. Um curso que ostenta uma taxa de conclusão de 70% automaticamente parecerá melhor do que um curso com 40%. Isso facilita relatórios e decisões rápidas. Mas nem toda métrica que é fácil de acompanhar e comparar é significativa. Portanto, as taxas de conclusão têm sido usadas porque minimizam complicações.
O Problema das Taxas de Conclusão
As taxas de conclusão parecem transparentes, mas escondem muita coisa.
O problema central é que elas não medem a aprendizagem. Tudo o que a conclusão de um curso significa é que um aluno assistiu ou clicou por todo o material. Isso não diz se ele entendeu o material, o reteve ou consegue usar a informação de forma produtiva.
Os alunos podem tecnicamente concluir um curso sem realmente se envolver – acelerando o conteúdo, pulando exercícios e evitando a prática. Embora isso apareça como progresso nas análises, não reflete aprendizado real nem desenvolvimento de habilidades.
Outro problema das taxas de conclusão é que elas desconsideram completamente a intenção do usuário. Nem todo mundo faz um curso porque quer terminá-lo. Muitos alunos estão tentando resolver um problema ou encontrar uma informação, mas podem não precisar de todas as aulas oferecidas. Nesse caso, assim que encontrarem o que estavam procurando, continuarão com o restante do conteúdo da forma que preferirem. Da perspectiva deles, o curso foi bem-sucedido; nas suas métricas, foram desistentes.
Isso é um falso negativo. Detecta-se um problema onde, na verdade, não existe problema algum.
As taxas de conclusão também podem levar a um design muito ruim. Quando o objetivo é a conclusão, os cursos se tornam cada vez mais curtos e descomplicados. Informações complexas são removidas, exercícios são reduzidos ou completamente eliminados, e qualquer elemento que possa levar muito tempo para o aluno assimilar ou compreender é excluído por ser considerado um risco.
O resultado final é um conteúdo fácil de consumir, mas não tão fácil de aplicar. O aluno o percorre rapidamente, mas não aprende nada de substancial.
A Métrica que Realmente Importa: Mudança de Comportamento
Se concluir não é o objetivo certo, então qual é? Mudança de comportamento.
É isso. O objetivo do curso é mudar a forma como uma pessoa se comporta depois de fazer o curso. Isso pode significar novos hábitos, novas habilidades sendo aplicadas em situações reais de trabalho ou decisões diferentes sendo tomadas.
O conteúdo é apenas o estímulo. Aqui estão alguns exemplos:
● O sucesso de um curso de marketing é que um profissional de marketing lance uma campanha. Não que ele tenha assistido a todas as aulas sobre campanhas.
● O sucesso de um curso de programação é que alguém tenha criado um aplicativo que funcione. Não que tenha assistido a todos os vídeos.
● O sucesso de um curso de fitness é que sua rotina diária de exercícios agora seja mais eficaz, e que a pessoa a mantenha. Não que tenha assistido a cada vídeo e respondido a cada pergunta.
● O sucesso de um curso de liderança é a melhora na comunicação da equipe e melhores habilidades de tomada de decisão no ambiente de trabalho. Não que todas as aulas tenham sido assistidas.
Em cada caso, o resultado pode ser observado fora do próprio ambiente de aprendizagem. O mundo fica um pouco diferente.
É por isso que a mudança de comportamento é uma métrica muito melhor. Ela conecta o que está sendo aprendido com a ação no mundo real. Ela fornece evidências claras de que um curso teve um efeito direto.
Essa é a principal razão pela qual as pessoas fazem cursos. Muito raramente elas estão buscando consumir conteúdo. As pessoas querem resolver um problema ou melhorar uma parte de suas vidas ou do seu trabalho. Mudança de comportamento é como isso se apresenta quando acontece.
Como Medir a Mudança de Comportamento
A mudança de comportamento, embora seja mais difícil de medir do que as taxas de conclusão, de forma alguma é impossível. O único requisito real é olhar para fora da sua plataforma de curso e medir o que os alunos fazem depois de consumir seu conteúdo.
Acompanhamentos Básicos como Primeiro Passo
Você pode começar com acompanhamentos básicos. Pergunte aos alunos quais ações eles tomaram após concluir uma aula ou módulo. Isso pode ser feito por meio de pesquisas breves enviadas alguns dias ou semanas depois. Certifique-se de focar as perguntas na aplicação no mundo real:
● Que ações você tomou após este curso?
● Quais foram os resultados dessa ação?
● Quais aspectos da sua rotina\/fluxo de trabalho você mudou?
Respostas como esta podem fornecer dados diretamente relacionáveis sobre o verdadeiro impacto.
Sinais orientados para a ação para continuar
Para além de acompanhamentos simples, foque-se em sinais orientados para a ação dentro da plataforma do curso. Embora a conclusão das aulas indique aquisição de conhecimento, certifique-se de que está a acompanhar a conclusão de ações específicas dentro de cada aula. Os exemplos incluem:
● Uma tarefa foi concluída?
● Um projeto foi enviado?
● Uma estrutura ou sistema foi aplicado?
Estes indicadores são provas muito mais fortes de mudança de comportamento do que a visualização das aulas.
Quais são os próximos passos?
As taxas de implementação são outra via a explorar. Aqui, irá acompanhar o grau em que os alunos estão a integrar os materiais aprendidos na sua prática real. Se um curso ensina uma metodologia ou sistema específico, tente determinar quantos alunos o implementaram efetivamente.
Além da implementação, peça e acompanhe provas do trabalho dos seus alunos. Incentive-os a enviar projetos concluídos, capturas de ecrã dos resultados, comparações de antes e depois ou estudos de caso pessoais para demonstrar progresso. Ao fazê-lo, mede a mudança de comportamento e cria prova social da eficácia do seu curso.
Para obter evidências a longo prazo, envie acompanhamentos tardios. Aos 30, 60 e 90 dias, pergunte aos alunos o que foi retido. Uma mudança de comportamento consistente a longo prazo é muito mais impactante do que uma explosão isolada de ação.
E, por fim, combine as suas conclusões qualitativas e quantitativas. Embora as métricas destaquem tendências, as histórias individuais fornecem profundidade e compreensão. Um caso bem articulado de mudança tangível é infinitamente mais valioso do que uma elevada taxa de conclusão sem prova de resultados.
Métricas de apoio que importam mais do que a conclusão
Embora a mudança de comportamento seja o resultado final, é importante usar métricas de apoio para acompanhar os alunos à medida que avançam em direção a ela. Elas fornecem sinais mais precoces para otimizar o seu curso muito antes de ver resultados a longo prazo.
Profundidade do envolvimento
A profundidade do envolvimento é uma métrica poderosa. Em vez de simplesmente acompanhar até onde os alunos vão, meça quão profundamente estão a interagir. Isto inclui o tempo passado em aulas-chave, a conclusão de exercícios e a revisão cuidadosa das partes mais complexas.
Um aluno disposto a passar tempo a trabalhar um conceito difícil tem muito mais probabilidade de o aplicar mais tarde do que alguém que percorre o material rapidamente. Quanto mais profundamente se envolver, maior a probabilidade de agir.
Taxa de regresso
A taxa de regresso é outra métrica importante. Acompanha quantas vezes um aluno volta após a sua sessão inicial com o curso. Se as pessoas continuam a voltar várias vezes, provavelmente consideram o conteúdo suficientemente valioso para regressarem, uma e outra vez.
Os cursos que resultam em mudança de comportamento raramente são concluídos de uma só vez. Os alunos voltarão à medida que estiverem prontos para agir com base numa informação ou para recordá-la.
Interação ao nível da aula
A interação ao nível da aula é outro sinal valioso. Em vez de olhar para o curso como um todo, compreenda como as aulas individuais geram ação:
● Que aulas têm a maior taxa de repetição?
● Onde é que os alunos põem o vídeo em pausa ou passam mais tempo?
● Que secções específicas levam os utilizadores a concluir uma tarefa?
Use esta informação para compreender quais as partes do curso que oferecem valor real e quais as partes que precisam de otimização, remoção ou melhoria.
Resultado prático
O resultado prático também é um sinal poderoso. O que estão os alunos a produzir como resultado do seu curso? Trata-se de um documento, um projeto, um plano ou algum tipo de resultado concreto?
Se o seu curso não está a conduzir a resultados práticos, é pouco provável que conduza a mudanças.
Monitorize as desistências em diferentes pontos com uma visão mais sofisticada. Embora sejam frequentemente vistas como fracasso, as desistências podem ser encaradas como sinais. Se os alunos estão a abandonar o curso num determinado ponto, mas ainda assim conseguem alcançar com sucesso a mudança de comportamento desejada, essa aula específica pode já estar a fornecer valor essencial.
Por fim, reveja o feedback dos alunos com foco nos resultados. Em vez de perguntar "Gostou do curso?", pergunte "O que fez de forma diferente depois de fazer este curso?" e "Que resultado alcançou?"
A satisfação é facilmente alcançada. O impacto é muito mais difícil, mas criticamente importante.
Estas métricas complementares permitem-lhe ir além do sucesso superficial para uma compreensão mais profunda de como o seu curso gera resultados.
Conclusão
A taxa de conclusão é simples, mas apenas recompensa o progresso dentro do seu curso, e não os resultados fora dele.
Ao depender exclusivamente da taxa de conclusão, pode criar cursos que são fáceis de concluir, mas difíceis de implementar.
A medida que realmente prova que está a ter impacto é a mudança de comportamento; ela prova que os alunos não estão simplesmente a consumir informação, mas estão a pôr em prática aquilo que aprenderam.
Isto exige um pouco mais de esforço. Serão necessárias perguntas melhores e um mecanismo melhor para acompanhar resultados, mas o retorno do design do curso compensa bem o tempo adicional.
Assim que medir o que realmente importa, começará a desenvolver cursos que serão lembrados e recomendados muito depois de o espectador deixar de ver as aulas.
