ผู้สร้างคอร์สส่วนใหญ่สนใจเพียงตัวเลขเดียว: อัตราการเรียนจบ พวกเขาดูตัวเลขเปอร์เซ็นต์ รีเฟรชแดชบอร์ด และกังวลกับผู้เรียนที่เลิกเรียนกลางคอร์ส อัตราการเรียนจบให้ความรู้สึกเหมือนความสำเร็จหรือความล้มเหลว อัตราการเรียนจบที่สูงดูเหมือนเป็นหลักฐานว่าคอร์สมีประสิทธิภาพ ส่วนอัตราที่ต่ำก็ดูเหมือนคอร์สล้มเหลว
แต่ความจริงไม่ใช่แบบนั้นเลย
อัตราการเรียนจบติดตามได้ง่าย แต่ไม่มีความหมายต่อการเรียนรู้ ผู้เรียนอาจเรียนจบทุกบทเรียนแต่ไม่ได้เรียนรู้สิ่งที่ใช้ประโยชน์ได้เลย หรืออาจเลิกเรียนหลังบทเรียนที่สอง แต่เปลี่ยนวิธีคิด การกระทำ หรือการทำงานของตนไปอย่างสิ้นเชิง แบบไหนประสบความสำเร็จกว่ากัน? แบบหลัง
ในบทความนี้ เราจะพูดถึงเหตุผลที่อัตราการเรียนจบได้รับความนิยมอย่างแพร่หลาย เหตุใดจึงเป็นตัวชี้วัดที่ไม่มีประสิทธิภาพ และตัวชี้วัดใดที่คุณควรให้ความสำคัญ หากคอร์สของคุณตั้งใจจะสร้างคุณค่าที่แท้จริง
เหตุใดอัตราการเรียนจบจึงกลายเป็นตัวชี้วัดมาตรฐาน
เหตุผลที่อัตราการเรียนจบได้รับความนิยมไม่ใช่เพราะเป็นการวัดผลที่ดีที่สุด แต่เพราะติดตามได้ง่ายที่สุด แพลตฟอร์มการเรียนรู้ส่วนใหญ่มีระบบอัตโนมัติสำหรับเรื่องนี้ โดยจะแสดงว่าผู้เรียนเรียนจบคอร์สแล้วหรือไม่
นอกจากนี้ยังนำไปใส่ในแดชบอร์ดได้ง่ายมาก เป็นตัวเลขเรียบง่ายตัวเดียวที่ดูเป็นระเบียบและมีแนวโน้มดี หรือในทางกลับกัน อาจดูเป็นปัญหาและท้าทาย เมื่อผู้ใช้ 80% เรียนจบคอร์ส ก็ให้ความรู้สึกว่าเป็นความสำเร็จที่ยิ่งใหญ่ แต่เมื่อเป็น 20% ก็เห็นได้ชัดว่ามีบางอย่างผิดพลาด
แพลตฟอร์มก็มีส่วนเช่นกัน แพลตฟอร์มสร้างคอร์สส่วนใหญ่ใช้อัตราการเรียนจบเป็นตัวชี้วัดควบคู่กับคะแนนรีวิวและยอดลงทะเบียน จึงสื่อเป็นนัยว่ามันสำคัญพอ ๆ กับตัวชี้วัดอื่น ๆ และท้ายที่สุดผู้สร้างก็มักมองว่าเป็นเป้าหมายหลัก แทนที่จะเป็นเพียงสัญญาณหนึ่ง
ยังมีองค์ประกอบทางจิตวิทยาด้วย การเรียนจบให้ความรู้สึกถึงความสำเร็จทั้งกับผู้สร้างและผู้เรียน การพูดว่า "ฉันเรียนคอร์สนี้จบแล้ว" เป็นเรื่องน่าพอใจ ด้วยเหตุนี้ ทั้งผู้สร้างและผู้ใช้จึงมักเทียบการเรียนจบกับการเรียนรู้ ทั้งที่ห่างไกลจากความจริงมาก สมมติฐานนี้ไม่ใช่พื้นฐานที่ดี
ยิ่งไปกว่านั้น ยังสะดวกต่อการเปรียบเทียบอย่างมาก คอร์สที่มีอัตราการเรียนจบ 70% จะดูดีกว่าคอร์สที่มี 40% โดยอัตโนมัติ ซึ่งช่วยให้ทำรายงานและตัดสินใจได้รวดเร็ว แต่ไม่ใช่ทุกตัวชี้วัดที่ติดตามและเปรียบเทียบได้ง่ายจะมีความหมาย ดังนั้นอัตราการเรียนจบจึงถูกใช้เพราะช่วยลดความซับซ้อน
ปัญหาของอัตราการเรียนจบ
อัตราการเรียนจบดูเหมือนโปร่งใส แต่กลับปกปิดหลายสิ่งไว้
ปัญหาหลักคือมันไม่ได้วัดการเรียนรู้ การเรียนจบคอร์สหมายความเพียงว่าผู้เรียนดูหรือคลิกผ่านเนื้อหาทั้งหมดเท่านั้น ไม่ได้บอกว่าพวกเขาเข้าใจเนื้อหา จดจำได้ หรือใช้ข้อมูลนั้นได้อย่างเกิดประโยชน์หรือไม่
ในทางเทคนิค ผู้เรียนสามารถเรียนจบคอร์สได้โดยไม่ได้มีส่วนร่วมอย่างแท้จริง เช่น เร่งดูเนื้อหา ข้ามแบบฝึกหัด และหลีกเลี่ยงการฝึกปฏิบัติ แม้สิ่งนี้จะปรากฏเป็นความคืบหน้าในข้อมูลวิเคราะห์ แต่ไม่ได้สะท้อนการเรียนรู้หรือการพัฒนาทักษะที่แท้จริง
อีกปัญหาหนึ่งของอัตราการเรียนจบคือไม่คำนึงถึงเจตนาของผู้ใช้เลย ไม่ใช่ทุกคนที่เรียนคอร์สเพราะต้องการเรียนให้จบ ผู้เรียนจำนวนมากต้องการแก้ปัญหาหรือค้นหาข้อมูลบางอย่าง แต่พวกเขาอาจไม่จำเป็นต้องเรียนทุกบทเรียนที่มีให้ ในกรณีนี้ เมื่อพบสิ่งที่กำลังมองหาแล้ว พวกเขาอาจเรียนเนื้อหาที่เหลือต่อด้วยวิธีใดก็ได้ตามต้องการ จากมุมมองของพวกเขา คอร์สประสบความสำเร็จ แต่จากตัวชี้วัดของคุณ พวกเขาคือผู้ที่เลิกเรียน
นี่คือผลลบลวง ระบบตรวจพบปัญหา ทั้งที่จริง ๆ แล้วไม่มีปัญหา
อัตราการเรียนจบยังอาจนำไปสู่การออกแบบที่แย่มาก เมื่อเป้าหมายคือการเรียนจบ คอร์สจะสั้นลงและไม่ซับซ้อนมากขึ้นเรื่อย ๆ ข้อมูลที่ซับซ้อนจะถูกตัดออก แบบฝึกหัดถูกลดทอนหรือยกเลิกไปทั้งหมด และองค์ประกอบใดก็ตามที่อาจใช้เวลานานเกินไปกว่าผู้เรียนจะย่อยหรือเข้าใจ จะถูกตัดออกเพราะมองว่าเป็นความเสี่ยง
ผลลัพธ์สุดท้ายคือเนื้อหาที่เสพได้ง่าย แต่ไม่ได้ประยุกต์ใช้ได้ง่ายนัก ผู้เรียนผ่านเนื้อหาได้อย่างรวดเร็ว แต่ไม่ได้เรียนรู้สิ่งที่มีสาระสำคัญ
ตัวชี้วัดที่สำคัญจริง ๆ: การเปลี่ยนแปลงพฤติกรรม
หากการเรียนจบไม่ใช่เป้าหมายที่ถูกต้อง แล้วอะไรคือเป้าหมาย? การเปลี่ยนแปลงพฤติกรรม
แค่นั้นเอง เป้าหมายของคอร์สคือการเปลี่ยนวิธีที่คนคนหนึ่งปฏิบัติหลังจากเรียนคอร์ส อาจเป็นนิสัยใหม่ การนำทักษะใหม่ไปใช้ในสถานการณ์ทำงานจริง หรือการตัดสินใจที่แตกต่างไป
เนื้อหาเป็นเพียงสิ่งกระตุ้น นี่คือตัวอย่างบางส่วน:
● ความสำเร็จของคอร์สการตลาด คือการที่นักการตลาดเปิดตัวแคมเปญ ไม่ใช่การที่พวกเขาดูทุกบทเรียนเกี่ยวกับแคมเปญ
● ความสำเร็จของคอร์สเขียนโค้ด คือการที่ใครบางคนสร้างแอปที่ใช้งานได้ ไม่ใช่การที่พวกเขาดูวิดีโอทุกคลิป
● ความสำเร็จของคอร์สฟิตเนส คือการที่กิจวัตรการออกกำลังกายประจำวันของพวกเขามีประสิทธิภาพมากขึ้น และทำอย่างต่อเนื่อง ไม่ใช่การที่พวกเขาดูวิดีโอทุกคลิปและตอบทุกคำถาม
● ความสำเร็จของคอร์สภาวะผู้นำ คือการสื่อสารในทีมที่ดีขึ้นและทักษะการตัดสินใจในที่ทำงานที่ดีขึ้น ไม่ใช่การเข้าเรียนครบทุกบทเรียน
ในแต่ละกรณี ผลลัพธ์สามารถสังเกตได้จากนอกสภาพแวดล้อมการเรียนรู้ โลกภายนอกเปลี่ยนไปเล็กน้อย
นี่จึงเป็นเหตุผลที่การเปลี่ยนแปลงพฤติกรรมเป็นตัวชี้วัดที่ดีกว่ามาก เพราะเชื่อมโยงสิ่งที่เรียนกับการลงมือทำในโลกจริง และให้หลักฐานชัดเจนว่าคอร์สส่งผลโดยตรง
นี่คือเหตุผลทั้งหมดที่ผู้คนเรียนคอร์ส พวกเขาแทบไม่ได้ต้องการเพียงเสพเนื้อหา ผู้คนต้องการแก้ปัญหาหรือพัฒนาบางส่วนของชีวิตหรือการทำงาน การเปลี่ยนแปลงพฤติกรรมคือสิ่งที่เกิดขึ้นเมื่อพวกเขาทำได้
วิธีวัดการเปลี่ยนแปลงพฤติกรรม
แม้การเปลี่ยนแปลงพฤติกรรมจะวัดได้ยากกว่าอัตราการเรียนจบ แต่ก็ไม่ใช่เรื่องที่เป็นไปไม่ได้ ข้อกำหนดที่แท้จริงมีเพียงการมองออกไปนอกแพลตฟอร์มคอร์สของคุณ และวัดสิ่งที่ผู้เรียนทำหลังจากเรียนเนื้อหาของคุณ
เริ่มต้นด้วยการติดตามผลพื้นฐาน
คุณสามารถเริ่มจากการติดตามผลพื้นฐาน ถามผู้เรียนว่าพวกเขาลงมือทำอะไรหลังเรียนจบบทเรียนหรือโมดูล ซึ่งทำได้ผ่านแบบสำรวจสั้น ๆ ที่ส่งหลังจากนั้นไม่กี่วันหรือไม่กี่สัปดาห์ ตรวจสอบให้แน่ใจว่าคำถามมุ่งเน้นการนำไปใช้ในโลกจริง:
● หลังจากเรียนคอร์สนี้ คุณได้ลงมือทำอะไรบ้าง?
● การลงมือทำนี้ให้ผลลัพธ์อะไร?
● คุณเปลี่ยนแง่มุมใดของกิจวัตรหรือเวิร์กโฟลว์ของคุณ?
คำตอบลักษณะนี้สามารถให้ข้อมูลที่เชื่อมโยงโดยตรงกับผลกระทบที่แท้จริง
สัญญาณที่มุ่งเน้นการลงมือทำเพื่อดำเนินต่อ
นอกเหนือจากการติดตามผลแบบง่าย ให้มุ่งเน้นสัญญาณที่ขับเคลื่อนด้วยการลงมือทำภายในแพลตฟอร์มคอร์ส แม้การเรียนจบบทเรียนจะบ่งชี้ถึงการได้รับความรู้ แต่ควรติดตามว่าผู้เรียนทำกิจกรรมเฉพาะในแต่ละบทเรียนเสร็จหรือไม่ ตัวอย่างเช่น:
● ทำงานที่ได้รับมอบหมายเสร็จแล้วหรือไม่?
● ส่งโปรเจกต์แล้วหรือไม่?
● นำกรอบการทำงานหรือระบบไปใช้แล้วหรือไม่?
ตัวบ่งชี้เหล่านี้เป็นหลักฐานของการเปลี่ยนแปลงพฤติกรรมที่หนักแน่นกว่าการดูบทเรียนมาก
ขั้นตอนถัดไปคืออะไร?
อัตราการนำไปใช้เป็นอีกแนวทางหนึ่งที่ควรพิจารณา ในส่วนนี้คุณจะติดตามระดับที่ผู้เรียนนำเนื้อหาที่เรียนไปผสานเข้ากับการปฏิบัติจริง หากคอร์สสอนวิธีการหรือระบบเฉพาะ ลองพิจารณาว่ามีผู้เรียนกี่คนที่นำไปใช้จริง
นอกเหนือจากการนำไปใช้ ให้ขอและติดตามหลักฐานผลงานจากผู้เรียนของคุณ กระตุ้นให้พวกเขาส่งโปรเจกต์ที่เสร็จสมบูรณ์ ภาพหน้าจอผลลัพธ์ การเปรียบเทียบก่อนและหลัง หรือกรณีศึกษาส่วนตัวเพื่อแสดงความก้าวหน้า การทำเช่นนี้ช่วยวัดการเปลี่ยนแปลงพฤติกรรม และสร้างหลักฐานทางสังคมว่าคอร์สของคุณมีประสิทธิภาพ
หากต้องการหลักฐานระยะยาว ให้ส่งแบบติดตามผลภายหลัง เมื่อครบ 30, 60 และ 90 วัน ให้ถามผู้เรียนว่าพวกเขายังจดจำอะไรได้บ้าง การเปลี่ยนแปลงพฤติกรรมที่ต่อเนื่องในระยะยาวส่งผลมากกว่าการลงมือทำเป็นครั้งคราวเพียงครั้งเดียว
สุดท้าย ให้รวมข้อค้นพบเชิงคุณภาพและเชิงปริมาณเข้าด้วยกัน แม้ตัวชี้วัดจะเน้นให้เห็นแนวโน้ม แต่เรื่องราวรายบุคคลให้ความลึกและความเข้าใจ กรณีของการเปลี่ยนแปลงที่จับต้องได้ซึ่งอธิบายอย่างชัดเจน มีคุณค่ามากกว่าอัตราการเรียนจบสูงที่ไม่มีหลักฐานผลลัพธ์อย่างเทียบไม่ได้
ตัวชี้วัดสนับสนุนที่สำคัญกว่าอัตราการเรียนจบ
แม้การเปลี่ยนแปลงพฤติกรรมจะเป็นผลลัพธ์สูงสุด แต่การใช้ตัวชี้วัดสนับสนุนเพื่อติดตามผู้เรียนระหว่างที่พวกเขามุ่งไปสู่ผลลัพธ์นั้นก็สำคัญ ตัวชี้วัดเหล่านี้ให้สัญญาณล่วงหน้าเพื่อปรับปรุงคอร์สของคุณ ก่อนที่คุณจะเห็นผลลัพธ์ระยะยาว
ความลึกของการมีส่วนร่วม
ความลึกของการมีส่วนร่วมเป็นตัวชี้วัดที่ทรงพลัง แทนที่จะติดตามเพียงว่าผู้เรียนไปได้ไกลแค่ไหน ให้วัดว่าพวกเขามีปฏิสัมพันธ์อย่างลึกซึ้งเพียงใด ซึ่งรวมถึงเวลาที่ใช้ในบทเรียนสำคัญ การทำแบบฝึกหัดเสร็จ และการทบทวนส่วนที่ซับซ้อนอย่างรอบคอบ
ผู้เรียนที่ยอมใช้เวลาทำความเข้าใจแนวคิดที่ยาก มีแนวโน้มจะนำไปใช้ในภายหลังมากกว่าคนที่อ่านผ่านเนื้อหาอย่างรวดเร็ว ยิ่งพวกเขามีส่วนร่วมลึกเท่าไร ก็ยิ่งมีแนวโน้มจะลงมือทำมากขึ้นเท่านั้น
อัตราการกลับมาเรียน
อัตราการกลับมาเรียนเป็นอีกตัวชี้วัดสำคัญ โดยติดตามว่าผู้เรียนกลับมาเรียนกี่ครั้งหลังจากเซสชันแรกกับคอร์ส หากผู้คนกลับมาหลายครั้ง แสดงว่าพวกเขาน่าจะเห็นคุณค่าในเนื้อหามากพอที่จะกลับมาเรียนซ้ำแล้วซ้ำอีก
คอร์สที่นำไปสู่การเปลี่ยนแปลงพฤติกรรมแทบไม่เคยเรียนจบในครั้งเดียว ผู้เรียนจะกลับมาเมื่อพร้อมลงมือทำ หรือต้องการทบทวนข้อมูลบางส่วน
ปฏิสัมพันธ์ระดับบทเรียน
ปฏิสัมพันธ์ระดับบทเรียนเป็นอีกสัญญาณที่มีคุณค่า แทนที่จะมองคอร์สโดยรวม ให้ทำความเข้าใจว่าบทเรียนแต่ละบทกระตุ้นให้เกิดการลงมือทำอย่างไร:
● บทเรียนใดมีอัตราการเล่นซ้ำสูงที่สุด?
● ผู้เรียนหยุดวิดีโอหรือใช้เวลาเพิ่มเติมตรงไหน?
● ส่วนใดโดยเฉพาะที่ทำให้ผู้ใช้ทำงานหนึ่งเสร็จ?
ใช้ข้อมูลนี้เพื่อทำความเข้าใจว่าส่วนใดของคอร์สสร้างคุณค่าที่แท้จริง และส่วนใดต้องปรับปรุง ตัดออก หรือเสริมให้ดีขึ้น
ผลงานที่นำไปใช้ได้จริง
ผลงานที่นำไปใช้ได้จริงก็เป็นสัญญาณที่ทรงพลังเช่นกัน ผู้เรียนสร้างอะไรขึ้นจากคอร์สของคุณ? เป็นเอกสาร โปรเจกต์ แผนงาน หรือผลลัพธ์ที่เป็นรูปธรรมบางอย่างหรือไม่?
หากคอร์สของคุณไม่ได้นำไปสู่ผลงาน ก็ไม่น่าจะนำไปสู่การเปลี่ยนแปลง
ติดตามจุดที่ผู้เรียนเลิกเรียนในแต่ละช่วงด้วยมุมมองที่ลึกซึ้งยิ่งขึ้น แม้มักถูกมองว่าเป็นความล้มเหลว แต่การเลิกเรียนสามารถมองเป็นสัญญาณได้ หากผู้เรียนออกจากคอร์ส ณ จุดหนึ่ง แต่ยังบรรลุการเปลี่ยนแปลงพฤติกรรมตามที่ต้องการได้สำเร็จ บทเรียนนั้นโดยเฉพาะอาจมอบคุณค่าหลักได้อยู่แล้ว
สุดท้าย ทบทวนความคิดเห็นของผู้เรียนโดยมุ่งเน้นผลลัพธ์ แทนที่จะถามว่า "คุณชอบคอร์สนี้หรือไม่?" ให้ถามว่า "หลังจากเรียนคอร์สนี้ คุณทำอะไรแตกต่างไป?" และ "คุณได้ผลลัพธ์อะไร?"
ความพึงพอใจเกิดขึ้นได้ง่าย ผลกระทบเกิดขึ้นได้ยากกว่ามาก แต่มีความสำคัญอย่างยิ่ง
ตัวชี้วัดเสริมเหล่านี้ช่วยให้คุณก้าวพ้นความสำเร็จระดับผิวเผิน ไปสู่ความเข้าใจที่ลึกขึ้นว่าคอร์สของคุณสร้างผลลัพธ์ได้อย่างไร
บทสรุป
อัตราการเรียนจบเข้าใจง่าย แต่ให้คุณค่ากับความคืบหน้าภายในคอร์สของคุณเท่านั้น ไม่ใช่ผลลัพธ์ภายนอกคอร์ส
หากพึ่งพาอัตราการเรียนจบเพียงอย่างเดียว คุณอาจสร้างคอร์สที่เรียนจบง่าย แต่นำไปใช้จริงได้ยาก
ตัววัดที่พิสูจน์ได้จริงว่าคุณกำลังสร้างผลกระทบคือการเปลี่ยนแปลงพฤติกรรม เพราะพิสูจน์ว่าผู้เรียนไม่ได้เพียงเสพข้อมูล แต่กำลังนำสิ่งที่เรียนรู้ไปลงมือทำ
สิ่งนี้ต้องใช้ความพยายามเพิ่มขึ้นเล็กน้อย ต้องมีคำถามที่ดีขึ้นและกลไกติดตามผลลัพธ์ที่ดีขึ้น แต่ผลตอบแทนด้านการออกแบบคอร์สนั้นคุ้มค่ากับเวลาที่เพิ่มขึ้นอย่างมาก
เมื่อคุณวัดสิ่งที่สำคัญอย่างแท้จริง คุณจะเริ่มพัฒนาคอร์สที่ผู้คนจดจำและอ้างอิงถึงได้อีกนาน แม้หลังจากที่ผู้ชมเลิกดูบทเรียนแล้ว
