ทำไม Try out 30 คนจึงพบบ่อย และเมื่อไรอาจไม่พอ

จำนวน 30 คนเป็นแนวปฏิบัติที่พบได้บ่อย เพราะช่วยให้เห็นปัญหาการตอบและคำนวณสถิติเบื้องต้นได้สะดวก แต่ไม่ใช่กฎสากลสำหรับเครื่องมือทุกชนิดครับ จำนวนที่เหมาะขึ้นกับวัตถุประสงค์ของการทดลอง จำนวนข้อ โครงสร้างตัวแปร กลุ่มเป้าหมาย และการวิเคราะห์ที่ต้องการ

เริ่มจากถามว่าจะใช้ Try out ทำอะไร

• ตรวจคำสั่ง ภาษา และเวลาทำ
• ดูความยาก อำนาจจำแนก หรือตัวลวงของแบบทดสอบ
• ตรวจความสอดคล้องภายในของมาตรวัด
• ทดลองระบบออนไลน์ การข้ามข้อ และการบันทึก
• ประเมินความเป็นไปได้ของกระบวนการเก็บข้อมูล

ถ้าต้องการเพียง cognitive interview เพื่อดูความเข้าใจ อาจใช้กลุ่มเล็กและคัดคนหลากหลายอย่างตั้งใจ แต่ถ้าต้องการวิเคราะห์โครงสร้างหลายมิติ จำนวน 30 มักไม่พอ ต้องวางการศึกษาเครื่องมือที่ใหญ่ขึ้นครับ

กลุ่มทดลองต้องคล้ายประชากร

ไม่ควรเลือกเพียงคนที่หาได้ง่ายหากลักษณะต่างจากผู้ตอบจริง เช่น ทดลองแบบสอบถามผู้สูงอายุกับนักศึกษาอาจไม่พบปัญหาภาษาและการใช้งานที่เกิดจริง กำหนดคุณสมบัติใกล้ประชากร แต่หลีกเลี่ยงคนที่จะอยู่ในกลุ่มเก็บจริงเพื่อไม่ให้เกิดการเรียนรู้ซ้ำตามการออกแบบครับ

จำนวนมากแต่ไม่หลากหลายก็พลาดได้

หากผู้ตอบ 30 คนมาจากกลุ่มย่อยเดียว อาจไม่พบว่าคำถามตีความต่างในเพศ อายุ ตำแหน่ง หรือระดับประสบการณ์ พยายามให้กลุ่มทดลองครอบคลุมคุณลักษณะที่มีผลต่อการเข้าใจเครื่องมือ ไม่จำเป็นต้องสุ่มเป็นตัวแทนเพื่อสรุปประชากร แต่ต้องตั้งใจให้พบปัญหาที่เป็นไปได้ครับ

อ่านค่าความเชื่อมั่นอย่างระวัง

ค่า alpha จากกลุ่มเล็กมีความไม่แน่นอนและขึ้นกับจำนวนข้อกับความสัมพันธ์ระหว่างข้อ อย่าตัดข้อทันทีเพียงเพราะค่าเปลี่ยนเล็กน้อย ให้ดู corrected item-total correlation เนื้อหาของข้อ การกระจาย และความคิดเห็นผู้ตอบร่วมกัน หากเครื่องมือมีหลายด้าน ควรตรวจแต่ละด้านตามกรอบครับ

ขั้นตอน Try out ที่เป็นระบบ

• ตรวจเนื้อหาและรูปแบบก่อนแจก
• ให้คำชี้แจงเหมือนรอบจริง
• จับเวลาและบันทึกเหตุขัดข้อง
• ถามข้อที่สับสนหลังตอบ
• ตรวจข้อมูลสูญหาย การกระจาย และสถิติรายข้อ
• ทำตารางการแก้และทดลองซ้ำเมื่อเปลี่ยนสาระสำคัญ

เมื่อไรควรเพิ่มจำนวน

เครื่องมือมีข้อจำนวนมาก หลายมิติ ผู้ตอบหลากหลายมาก ต้องประมาณค่าที่แม่นขึ้น หรือจะใช้วิเคราะห์องค์ประกอบและแบบจำลองซับซ้อน จำนวนควรกำหนดจากวิธีนั้นโดยเฉพาะ ไม่ควรอ้าง 30 คนแทนการวางขนาดการศึกษาคุณภาพเครื่องมือครับ

รายงานให้ผู้อ่านประเมินได้

ระบุคุณสมบัติและวิธีเลือกกลุ่ม จำนวนที่เชิญและใช้จริง วันที่และรูปแบบทดลอง ผลที่ตรวจ เกณฑ์ตัดสิน ข้อที่แก้ และผลหลังแก้ ไม่เขียนเพียงว่า “นำไปทดลองกับ 30 คนและได้ค่าความเชื่อมั่น…” เพราะคนอ่านไม่เห็นว่าการทดลองช่วยพัฒนาเครื่องมืออย่างไรครับ

เช็กลิสต์ก่อนใช้เครื่องมือจริง

• จำนวนสัมพันธ์กับเป้าหมาย Try out
• กลุ่มมีคุณลักษณะใกล้ประชากรและหลากหลายพอ
• ตรวจทั้งตัวเลขและประสบการณ์ผู้ตอบ
• การแก้ไม่ทำให้ตัวแปรเปลี่ยนโดยไม่ตรวจใหม่
• ระบบเก็บและรหัสข้อมูลทำงานครบ

จำไว้ครับ 30 คนเป็นจุดเริ่มที่อาจเหมาะกับบางงาน ไม่ใช่ตราประทับว่าเครื่องมือผ่านทุกด้าน หากน้องบอกชนิดเครื่องมือ จำนวนข้อ และสิ่งที่ต้องตรวจ พี่ช่วยพิจารณาแผน Try out ที่เหมาะกว่าการใช้ตัวเลขเดียวได้ครับ