เลือกผู้เชี่ยวชาญ IOC ให้ครอบคลุมเนื้อหาและการวัด

จำนวนผู้เชี่ยวชาญสำคัญ แต่ความเหมาะของแต่ละคนสำคัญกว่าแค่ยอดรวมครับ เครื่องมือหนึ่งอาจต้องใช้ความรู้ด้านเนื้อหา ระเบียบวิธี การวัด และบริบท หากเลือกผู้ที่เชี่ยวชาญเหมือนกันทั้งหมด อาจพลาดข้อบกพร่องอีกด้านแม้ค่า IOC ดูดีครับ

ทำตารางคุณสมบัติก่อนเชิญ

• ด้านเนื้อหาหรือตัวแปรหลัก
• ด้านการวิจัยและการวัดผล
• ด้านภาษาและความเหมาะกับกลุ่มเป้าหมาย
• ประสบการณ์ในบริบทจริง
• ความเป็นอิสระและผลประโยชน์ทับซ้อน

ผู้เชี่ยวชาญหนึ่งคนอาจครอบคลุมหลายด้าน แต่ควรให้คณะรวมมีมุมมองครบ ระบุเกณฑ์คุณสมบัติในบทที่ 3 ไม่ใช่เขียนเพียงว่าเป็นผู้ทรงคุณวุฒิครับ

จำนวนเท่าไรจึงเหมาะ

งานจำนวนมากใช้ 3–5 คน แต่ต้องยึดคู่มือ สาขา และความซับซ้อนของเครื่องมือ คณะจำนวนน้อยทำให้คะแนนของคนเดียวมีผลมาก ส่วนจำนวนมากช่วยเพิ่มมุมแต่ใช้เวลาประสานและสรุปข้อเสนอแนะ อย่าเลือกจำนวนจากตัวเลขที่ผ่านง่ายที่สุดครับ

ให้คำชี้แจงการให้คะแนนชัด

ระบุวัตถุประสงค์ นิยามตัวแปร กลุ่มเป้าหมาย และเกณฑ์คะแนน เช่น +1 สอดคล้อง 0 ไม่แน่ใจ และ -1 ไม่สอดคล้อง พร้อมช่องแสดงความคิดเห็น ผู้เชี่ยวชาญต้องประเมินว่าข้อคำถามวัดวัตถุประสงค์หรือองค์ประกอบที่กำหนด ไม่ใช่เพียงอ่านแล้วชอบหรือไม่ครับ

คำนวณและตีความรายข้อ

IOC รายข้อเกิดจากผลรวมคะแนนหารจำนวนผู้เชี่ยวชาญ รายงานเกณฑ์ที่ใช้พร้อมแหล่งอ้างอิงตามสถาบัน แต่ค่าเกินเกณฑ์ไม่ได้แปลว่าข้อสมบูรณ์ หากมีความคิดเห็นเรื่องความกำกวม ความไว หรือภาษายาก ต้องพิจารณาแก้ด้วยเหตุผลครับ

จัดการเมื่อผู้เชี่ยวชาญเห็นต่าง

• ดูว่าเห็นต่างด้านเนื้อหา ภาษา หรือการวัด
• กลับไปนิยามและวัตถุประสงค์ ไม่ตัดสินจากเสียงข้างมากอย่างเดียว
• แก้ข้อและบันทึกเหตุผล
• ขอประเมินซ้ำเมื่อเปลี่ยนสาระสำคัญ
• เก็บทั้งแบบเดิม แบบแก้ และข้อเสนอแนะ

ความเห็นต่างอาจเผยว่าข้อคำถามมีหลายความหมายหรือแนวคิดยังไม่ชัด เป็นข้อมูลเพื่อพัฒนา ไม่ใช่ปัญหาที่ต้องซ่อนครับ

หลัง IOC ยังต้อง Try out

ผู้เชี่ยวชาญช่วยเรื่องความตรงเชิงเนื้อหา แต่ไม่บอกว่ากลุ่มเป้าหมายเข้าใจจริง ใช้เวลาพอดี หรือรูปแบบคำตอบทำงานหรือไม่ ต้องทดลองกับกลุ่มใกล้เคียงและตรวจคุณภาพตามชนิดเครื่องมือต่อครับ

จริยธรรมและการเปิดเผย

แจ้งภาระเวลา วิธีใช้ชื่อ และการเก็บความคิดเห็น ขออนุญาตก่อนระบุชื่อในเล่ม หากมีความสัมพันธ์ที่อาจกดดัน ควรให้สิทธิ์ปฏิเสธและเลือกผู้เชี่ยวชาญจากฐานที่เหมาะ ไม่ขอให้ลงนามย้อนหลังหลังเก็บข้อมูลแล้วครับ

ก่อนส่งให้ผู้เชี่ยวชาญ ควรจัดหน้า เลขข้อ และตัวเลือกให้เหมือนฉบับที่จะใช้จริง เพราะรูปแบบที่สับสนอาจทำให้ผู้ประเมินตีความข้อผิด ไม่ใช่ปัญหาเนื้อหาอย่างเดียวครับ

เช็กลิสต์ก่อนสรุปผล IOC

• คณะครอบคลุมเนื้อหา การวัด และบริบท
• คุณสมบัติและเหตุผลเลือกเขียนชัด
• คำชี้แจงและนิยามส่งครบเหมือนกันทุกคน
• คำนวณรายข้อและตรวจสูตร
• พิจารณาความคิดเห็นเชิงคุณภาพร่วมกับค่า
• บันทึกการแก้และทดลองใช้ต่อ

เป้าหมายของ IOC คือทำให้ข้อคำถามตรงและชัดขึ้น ไม่ใช่ทำตัวเลขให้ผ่านครับ หากน้องมีรายชื่อผู้เชี่ยวชาญหรือผลรายข้อแล้ว ส่งคุณสมบัติและตารางมาให้พี่ช่วยตรวจความครอบคลุมกับการคำนวณได้ครับ