Çoğu kurs oluşturucu yalnızca bir sayıyla ilgilenir: tamamlama oranı. Yüzde rakamlarını takip eder, panoları yeniler ve kurs ortasındaki ayrılmalar için endişelenirler. Tamamlama oranı başarı ya da başarısızlık gibi görünür. Yüksek bir tamamlama oranı kursun etkili olduğunun kanıtı gibi gelirken, düşük bir tamamlama oranı kursun başarısızlığı gibi görünür.
Ancak bu kesinlikle doğru değil.
Tamamlama oranını takip etmek kolaydır, ancak öğrenme açısından anlamsızdır. Bir öğrenci her dersi tamamlayıp faydalı hiçbir şey öğrenmemiş olabilir. Bir öğrenci ikinci dersten sonra kursu bırakıp düşünme, hareket etme veya çalışma biçimini kökten değiştirmiş olabilir. Hangisi daha başarılıdır? İkincisi.
Bu makalede, kurs tamamlama oranının neden bu kadar yaygın biçimde benimsendiğini, neden etkisiz bir metrik olduğunu ve kursunuzun gerçekten değer katması gerekiyorsa hangi metriklere dikkat etmeniz gerektiğini ele alacağız.
Tamamlama Oranları Neden Varsayılan Metrik Hâline Geldi?
Tamamlama oranlarının popüler olmasının nedeni en iyi ölçüm olmaları değil, takip edilmelerinin en kolay olmasıdır. Çoğu öğrenme platformunda bunun için otomatik bir sistem bulunur. Bu sistem, bir öğrencinin kursu bitirip bitirmediğini gösterir.
Ayrıca bir panoya entegre etmek de oldukça kolaydır. Düzenli ve umut verici ya da tam tersine sorunlu ve zorlayıcı görünen tek bir basit rakam. Kullanıcıların %80'i kursu bitirdiğinde, bu büyük bir başarı gibi gelir. Oran %20 olduğunda ise ortada bir sorun olduğunun açık bir göstergesidir.
Platformların da burada bir rolü var. Kurs oluşturma platformlarının çoğu, puanlar ve kayıtlarla birlikte tamamlama oranını da metrik olarak kullanır. Böylece bunun diğer metrikler kadar önemli olduğunu ima ederler ve sonuçta oluşturucular bunu yalnızca bir sinyal yerine temel bir hedef olarak görme eğiliminde olur.
Bunun psikolojik bir boyutu da vardır. Tamamlamak, hem oluşturuculara hem de öğrencilere başarı hissi verir. "Bu kursu bitirdim." demek tatmin edicidir. Sonuç olarak oluşturucular ve kullanıcılar bunu öğrenmeyle eş tutma eğilimindedir, oysa gerçek bundan çok uzaktır. Bu varsayım iyi bir temel değildir.
Üstelik karşılaştırmak da çok elverişlidir. %70 tamamlama oranına sahip bir kurs, otomatik olarak %40 oranına sahip bir kurstan daha iyi görünür. Bu da raporları ve hızlı kararları kolaylaştırır. Ancak takip etmesi ve karşılaştırması kolay olan her metrik anlamlı değildir. Bu nedenle tamamlama oranları, karmaşıklıkları azalttıkları için kullanılagelmiştir.
Tamamlama Oranlarının Sorunu
Tamamlama oranları şeffaf görünür, ancak pek çok şeyi gizler.
Temel sorun, öğrenmeyi ölçmemeleridir. Kursu tamamlamak yalnızca öğrencinin tüm materyalleri izlediği veya tıklayarak geçtiği anlamına gelir. Materyali anlayıp anlamadığını, aklında tutup tutmadığını ya da bilgiyi verimli şekilde kullanıp kullanamadığını söylemez.
Öğrenciler, içerikleri hızla geçerek, alıştırmaları atlayarak ve pratik yapmaktan kaçınarak bir kursu teknik olarak tamamlayabilir. Analitiklerde bu ilerleme gibi görünse de gerçek öğrenmeyi veya beceri gelişimini yansıtmaz.
Tamamlama oranlarıyla ilgili bir diğer sorun da kullanıcı niyetini tamamen göz ardı etmeleridir. Herkes bir kursu bitirmek istediği için almaz. Pek çok öğrenci bir sorunu çözmeye veya bir bilgi parçası bulmaya çalışır, ancak sunulan derslerin tümüne ihtiyaç duymayabilir. Bu durumda aradıklarını bulduklarında, içeriğin kalanına diledikleri yöntemle devam ederler. Onların bakış açısından kurs başarılı olmuştur; metriklerinize göre ise kursu bırakanlardır.
Bu, yanlış negatif bir sonuçtur. Gerçekte sorun olmayan bir yerde sorun tespit edilir.
Tamamlama oranları çok kötü tasarımlara da yol açabilir. Hedef tamamlama olduğunda, kurslar giderek daha kısa ve daha basit hâle gelir. Karmaşık bilgiler çıkarılır, alıştırmalar azaltılır veya tamamen kaldırılır; öğrencinin sindirmesi ya da anlaması uzun sürebilecek her unsur risk olarak görülüp dışarıda bırakılır.
Sonuç, tüketmesi kolay ancak uygulaması o kadar da kolay olmayan bir içeriktir. Öğrenci içeriği hızla tamamlar ama özlü hiçbir şey öğrenmez.
Asıl Önemli Metrik: Davranış Değişikliği
Doğru hedef kursu tamamlamak değilse, nedir? Davranış değişikliği.
Hepsi bu. Kursun amacı, kişinin kursu aldıktan sonra nasıl davrandığını değiştirmektir. Bu; yeni alışkanlıklar, gerçek iş durumlarında uygulanan yeni beceriler veya farklı kararlar olabilir.
İçerik yalnızca uyarıcıdır. İşte birkaç örnek:
● Bir pazarlama kursunun başarısı bir pazarlamacının kampanya başlatmasıdır. Kampanyalarla ilgili tüm dersleri izlemesi değil.
● Bir kodlama kursunun başarısı birinin çalışan bir uygulama geliştirmesidir. Her videoyu izlemesi değil.
● Bir fitness kursunun başarısı günlük egzersiz rutininin artık daha etkili olması ve kişinin buna bağlı kalmasıdır. Tek tek her videoyu izlemesi ve her soruyu yanıtlaması değil.
● Bir liderlik kursunun başarısı iş yerinde daha iyi ekip iletişimi ve daha güçlü karar verme becerileridir. Tüm derslere katılım sağlanması değil.
Her durumda sonuç, öğrenme ortamının dışında gözlemlenebilir. Dünya biraz farklılaşır.
Davranış değişikliğinin çok daha iyi bir metrik olmasının nedeni budur. Öğrenileni gerçek dünyadaki eylemle bağlar. Kursun doğrudan etkisi olduğuna dair açık kanıt sunar.
İnsanların kurs almasının asıl nedeni budur. Çok nadiren yalnızca içerik tüketmek isterler. İnsanlar bir sorunu çözmek veya yaşamlarının ya da işlerinin bir bölümünü iyileştirmek ister. Davranış değişikliği, bunun gerçekleşmiş hâlidir.
Davranış Değişikliği Nasıl Ölçülür?
Davranış değişikliğini ölçmek, tamamlama oranlarını ölçmekten daha zor olsa da kesinlikle imkânsız değildir. Tek gerçek gereklilik, kurs platformunuzun dışına bakmak ve öğrencilerin içeriğinizi tükettikten sonra ne yaptığını ölçmektir.
İlk Adım Olarak Temel Takipler
Temel takiplerle başlayabilirsiniz. Öğrencilere bir ders veya modülü tamamladıktan sonra hangi adımları attıklarını sorun. Bunu birkaç gün ya da hafta sonra gönderilen kısa anketlerle yapabilirsiniz. Soruları gerçek dünyadaki uygulamaya odakladığınızdan emin olun:
● Bu kurstan sonra hangi adımları attınız?
● Bu eylemin sonuçları neler oldu?
● Rutininizin/iş akışınızın hangi yönlerini değiştirdiniz?
Bu tür yanıtlar, gerçek etkiye dair doğrudan ilişkilendirilebilir veriler sağlayabilir.
Devam Etmek İçin Eylem Odaklı Sinyaller
Basit takiplerin ötesinde, kurs platformundaki eylem odaklı sinyallere odaklanın. Ders tamamlama bilgi edinimini gösterse de her dersteki belirli eylemlerin tamamlanmasını takip ettiğinizden emin olun. Örnekler:
● Bir ödev tamamlandı mı?
● Bir proje teslim edildi mi?
● Bir çerçeve veya sistem uygulandı mı?
Bu göstergeler, ders izlenme oranından çok daha güçlü davranış değişikliği kanıtlarıdır.
Sonraki Adımlar Neler?
Uygulama oranları, izlenebilecek bir diğer yoldur. Burada öğrencilerin öğrendikleri materyalleri gerçek uygulamalarına ne ölçüde entegre ettiklerini takip edersiniz. Bir kurs belirli bir metodoloji veya sistem öğretiyorsa, kaç öğrencinin bunu gerçekten uyguladığını belirlemeye çalışın.
Uygulamanın yanı sıra öğrencilerinizden çalışma kanıtı isteyin ve bunları takip edin. İlerlemeyi göstermek için tamamlanmış projeler, sonuç ekran görüntüleri, öncesi-sonrası karşılaştırmaları veya kişisel vaka çalışmaları göndermelerini teşvik edin. Bunu yapmak hem davranış değişikliğini ölçer hem de kursunuzun etkili olduğuna dair sosyal kanıt oluşturur.
Uzun vadeli kanıt için gecikmeli kontroller gönderin. 30, 60 ve 90. günlerde öğrencilere neleri akıllarında tuttuklarını sorun. Tutarlı, uzun vadeli bir davranış değişikliği; tek seferlik bir eylem patlamasından çok daha etkilidir.
Son olarak, nitel ve nicel bulgularınızı birleştirin. Metrikler eğilimleri öne çıkarırken, bireysel hikâyeler derinlik ve anlayış sağlar. Somut değişimi iyi ifade eden bir örnek, sonuç kanıtı olmayan yüksek bir tamamlama oranından sonsuz derecede daha değerlidir.
Tamamlamadan Daha Önemli Destekleyici Metrikler
Davranış değişikliği nihai sonuç olsa da öğrencilerin buna doğru ilerleyişini takip etmek için destekleyici metrikler kullanmak önemlidir. Bunlar, uzun vadeli sonuçları görmeden çok önce kursunuzu optimize etmeniz için erken sinyaller sağlar.
Etkileşim derinliği
Etkileşim derinliği güçlü bir metriktir. Öğrencilerin ne kadar ilerlediğini yalnızca takip etmek yerine, ne kadar derin etkileşim kurduklarını ölçün. Buna kilit derslerde geçirilen süre, alıştırmaların tamamlanması ve daha karmaşık bölümlerin dikkatle incelenmesi dahildir.
Zorlu bir kavram üzerinde çalışmaya zaman ayırmaya istekli bir öğrencinin, materyali hızla gözden geçiren birine kıyasla bunu daha sonra uygulama olasılığı çok daha yüksektir. Etkileşimleri ne kadar derinse, harekete geçme olasılıkları da o kadar artar.
Geri dönüş oranı
Geri dönüş oranı da önemli bir metriktir. Bir öğrencinin kursla yaptığı ilk oturumun ardından kaç kez geri döndüğünü takip eder. İnsanlar tekrar tekrar dönüyorsa, muhtemelen içeriği yeniden ziyaret edecek kadar değerli buluyorlardır.
Davranış değişikliğiyle sonuçlanan kurslar nadiren tek oturuşta tamamlanır. Öğrenciler, bir bilgiyi uygulamaya veya hatırlamaya hazır olduklarında geri dönerler.
Ders düzeyinde etkileşim
Ders düzeyinde etkileşim de değerli bir sinyaldir. Kursa bir bütün olarak bakmak yerine, tek tek derslerin eylemi nasıl tetiklediğini anlayın:
● Hangi derslerin yeniden oynatma oranı en yüksek?
● Öğrenciler videoyu nerede duraklatıyor veya nerede daha fazla zaman harcıyor?
● Hangi belirli bölümler kullanıcıların bir görevi tamamlamasını sağlıyor?
Bu bilgileri, kursun hangi bölümlerinin gerçek değer sunduğunu ve hangi bölümlerinin optimize edilmesi, kaldırılması veya geliştirilmesi gerektiğini anlamak için kullanın.
Pratik çıktı
Pratik çıktı da güçlü bir sinyaldir. Öğrenciler kursunuz sonucunda ne üretiyor? Bu bir belgeyi, projeyi, planı ya da herhangi bir türden somut sonucu içeriyor mu?
Kursunuz çıktı sağlamıyorsa, değişim sağlaması da pek olası değildir.
Farklı noktalardaki ayrılmaları daha gelişmiş içgörülerle izleyin. Ayrılmalar genellikle başarısızlık olarak görülse de sinyal olarak değerlendirilebilir. Öğrenciler belirli bir noktada kurstan ayrılıyor ama yine de istenen davranış değişikliğini başarıyla gerçekleştiriyorsa, o belirli ders zaten temel değeri sunuyor olabilir.
Son olarak, öğrenci geri bildirimlerini sonuçlara odaklanarak inceleyin. "Kursu beğendiniz mi?" diye sormak yerine "Bu kursu aldıktan sonra neyi farklı yaptınız?" ve "Hangi sonucu elde ettiniz?" diye sorun.
Memnuniyet kolayca sağlanır. Etki yaratmak çok daha zordur, ancak kritik derecede önemlidir.
Bu tamamlayıcı metrikler, yüzeysel başarının ötesine geçerek kursunuzun nasıl sonuç ürettiğini daha derinlemesine anlamanızı sağlar.
Sonuç
Tamamlama oranı anlaşılır bir metriktir, ancak kursunuz dışındaki sonuçları değil yalnızca kurs içindeki ilerlemeyi ödüllendirir.
Yalnızca tamamlama oranına güvenerek tamamlaması kolay ama uygulaması zor kurslar üretebilirsiniz.
Etki yarattığınızı gerçekten kanıtlayan ölçüt davranış değişikliğidir; öğrencilerin yalnızca bilgi tüketmediğini, öğrendiklerini eyleme döktüğünü kanıtlar.
Bu biraz daha fazla çaba gerektirir. Sorulacak daha iyi sorulara ve sonuçları takip etmek için daha iyi bir mekanizmaya ihtiyaç duyulur; ancak kurs tasarımındaki getirisi, harcanan ek zamana fazlasıyla değer.
Gerçekten önemli olanı ölçtüğünüzde, izleyiciler dersleri izlemeyi bıraktıktan çok sonra bile hatırlanacak ve başvurulacak kurslar geliştirmeye başlayacaksınız.