Bagaimana tes psikometri sebenarnya dibangun
Dari definisi konstruk hingga norma yang dipublikasikan, urutan ini memakan waktu bertahun-tahun dan membuang sebagian besar dari apa yang dimasukkan ke dalamnya. Mengetahui langkah-langkahnya membuat jelas mana saja yang dilewati oleh sebuah kuis daring cepat.
Instrumen psikometrik yang mencapai tahap publikasi biasanya telah melalui lima hingga enam tahun kerja dan membuang sebagian besar dari apa yang pernah ditulis untuknya. Urutan tahapannya patut diketahui, karena setiap tahap berkorespondensi dengan cara sebuah tes dapat menjadi tidak memadai.
1. Mendefinisikan konstruk
Sebelum satu butir pun ditulis, konstruk harus dispesifikasikan secara cukup presisi untuk dapat menyatakan apa yang berada di luar cakupannya. Ini berarti sebuah definisi, pernyataan mengenai struktur dimensional (satu dimensi atau beberapa, dan jika beberapa, bagaimana keterkaitannya), serta penjelasan eksplisit mengenai konstruk-konstruk tetangga yang harus dapat dibedakan darinya.
Melewatkan tahap ini adalah asal-usul sebagian besar instrumen yang redundan. Sebuah skala yang dibangun dari kesan intuitif atas suatu konsep biasanya berakhir dengan mengukur sifat yang sudah mapan namun dengan nama baru.
2. Menghasilkan kumpulan butir
Butir-butir dirancang jauh melebihi jumlah yang akan bertahan, biasanya tiga hingga lima kali jumlah akhir. Butir-butir tersebut berasal dari teori, dari instrumen yang sudah ada, dari wawancara dengan orang-orang yang memiliki pengalaman yang dideskripsikan, dan dari pakar bidang terkait.
Pada tahap ini, kumpulan butir ditinjau dari segi cakupan konten (apakah mencakup seluruh konstruk atau hanya terkumpul pada satu aspek saja?), tingkat keterbacaan, rumusan yang mengandung dua pertanyaan sekaligus, dan butir yang sebenarnya menanyakan hal lain.
3. Uji coba dan pemangkasan
Kumpulan butir tersebut diujicobakan pada sampel pertama. Analisis yang dilakukan sebagian besar bersifat destruktif.
Butir yang hampir tidak memiliki variansi dibuang, sebab pertanyaan yang dijawab sama oleh semua orang tidak membedakan siapa pun. Butir yang berkorelasi rendah dengan skor total dibuang. Butir yang bermuatan silang pada lebih dari satu faktor dibuang. Butir yang berperilaku berbeda antar kelompok demografis karena alasan yang tidak terkait dengan sifat yang diukur, yaitu fungsi butir diferensial (differential item functioning), juga dibuang, dan pemeriksaan ini adalah salah satu yang paling sering dilewatkan.
Apa yang bertahan biasanya hanya sepertiga dari apa yang ditulis.
4. Mengonfirmasi struktur pada sampel baru
Inilah tahap yang membedakan instrumen yang serius dari yang lainnya. Analisis faktor pada sampel pengembangan akan menemukan kembali struktur yang memang dirancang untuk muncul, karena butir-butirnya memang dipilih agar menghasilkan struktur tersebut. Uji yang sesungguhnya adalah analisis faktor konfirmatori pada sampel yang independen.
Banyak sekali skala yang telah dipublikasikan hanya berhasil menemukan kembali struktur yang dimaksudkan pada data yang digunakan untuk membangunnya. Ketika orang lain mengumpulkan data baru, faktor-faktor tersebut tidak muncul. Kegagalan ini cukup umum terjadi sehingga pertanyaan "apakah strukturnya telah dikonfirmasi pada sampel independen?" merupakan salah satu pertanyaan paling efisien untuk diajukan mengenai instrumen apa pun.
5. Mengumpulkan bukti validitas
Korelasi dengan ukuran-ukuran mapan dari konstruk yang sama. Korelasi dengan konstruk-konstruk yang seharusnya berbeda, yang sebaiknya lebih rendah. Hubungan dengan hasil-hasil (outcome) yang relevan. Validitas inkremental dibandingkan dengan apa yang sudah ada. Stabilitas tes-retes pada interval waktu yang sesuai dengan konstruk yang diukur.
Tahap ini tidak pernah berakhir. Ia berlanjut selama instrumen tersebut masih digunakan, dan di sinilah instrumen paling sering ditemukan kurang memadai bertahun-tahun setelah dipublikasikan.
6. Membangun norma
Sampel acuan yang cukup besar dan cukup representatif untuk populasi yang dituju, distratifikasi jika sifat yang diukur bervariasi menurut usia atau jenis kelamin, serta didokumentasikan berdasarkan tahun dan negara. Kemudian diulang secara berkala, karena norma dapat bergeser seiring waktu.
7. Menerjemahkan, jika akan digunakan di tempat lain
Penerjemahan bukanlah sekadar latihan bahasa. Adaptasi yang tepat berarti melibatkan penerjemahan maju (forward translation), penerjemahan balik independen (back translation), tinjauan pakar, wawancara kognitif dengan penutur bahasa sasaran, dan kemudian studi psikometrik baru dalam bahasa tersebut untuk menguji apakah strukturnya tetap bertahan dan apakah butir-butirnya berfungsi secara setara. Instrumen yang diterjemahkan tanpa studi tersebut adalah instrumen yang belum teruji dalam bahasa itu, betapa pun kuatnya kredensial instrumen tersebut dalam bahasa aslinya.
Implikasinya terhadap kuis instan
Sebuah tes yang ditulis dalam waktu satu sore hanya telah menyelesaikan tahap kedua. Tes semacam itu bisa saja menghasilkan hasil yang tampak masuk akal, sebuah persentil dan satu paragraf deskripsi. Tahap-tahap yang dilewatkannya adalah justru tahap-tahap yang seharusnya menetapkan apakah semua itu benar-benar memiliki makna.
Ujilah sendiri
Membaca tentang pengukuran adalah satu hal. Melihat skor Anda sendiri dilaporkan lengkap dengan sumbernya, sampel normanya, dan batasannya adalah hal lain. Gratis untuk diikuti, tanpa perlu mendaftar.
Lanjutkan membaca
- Apa itu psikometri?Disiplin ilmu yang menentukan apakah sebuah pengukuran psikologis benar-benar baik, dan alasan mengapa dua tes yang menanyakan pertanyaan serupa dapat sangat berbeda dalam nilai hasilnya.
- Apa itu reliabilitas dalam pengujian psikologis?Reliabilitas adalah konsistensi pengukuran, bukan kebenaran. Sebuah tes bisa sangat reliabel namun tetap mengukur hal yang salah, itulah sebabnya reliabilitas menjadi pertanyaan pertama yang diajukan dan tidak pernah menjadi yang terakhir.
- Apa itu validitas dalam tes psikologi?Validitas bukanlah suatu properti yang dimiliki sebuah tes. Validitas adalah argumen tentang apakah interpretasi tertentu terhadap skor tertentu, untuk tujuan tertentu, dapat dipertahankan, dan argumen ini harus dibangun kembali untuk setiap penggunaan baru.
- Apa itu validitas konstruk?Pertanyaan tersulit dalam pengukuran: apakah hal yang Anda ukur benar-benar ada sebagaimana Anda definisikan, dan apakah instrumen Anda menjangkau hal itu, bukan sesuatu yang berdekatan dengannya.
- Validitas konvergen dan diskriminanDua persyaratan yang saling berlawanan: sebuah alat ukur harus sesuai dengan apa yang seharusnya sesuai, dan harus tetap berbeda dari apa yang diklaimnya bukan. Sebagian besar instrumen yang lemah gagal pada persyaratan kedua.
- Apa itu alpha Cronbach, dan apa yang bukanStatistik yang paling sering dilaporkan dalam pengujian psikologis, dan yang paling sering disalahpahami. Alpha tidak memberi tahu Anda bahwa sebuah skala bersifat unidimensional, dan nilai yang tinggi seringkali merupakan gejala, bukan kelebihan.
- Kesalahan standar pengukuran: seberapa besar skor Anda dapat melesetSetiap skor membawa margin kesalahan, dan untuk sebagian besar tes psikologis margin ini lebih lebar dari yang diperkirakan orang. Inilah angka yang memberi tahu Anda kapan sebuah perbedaan itu nyata dan kapan hanya berupa noise.
- Norma dan persentil: pembanding untuk skor AndaSkor mentah tidak dapat diinterpretasikan dengan sendirinya. Skor tersebut menjadi bermakna hanya jika dibandingkan dengan kelompok acuan, dan kelompok mana yang digunakan merupakan salah satu fakta paling berpengaruh sekaligus paling jarang diungkapkan tentang sebuah tes.
- Apa artinya ketika suatu tes disebut tervalidasi?Istilah ini tidak diatur dan digunakan secara bebas oleh produk-produk yang belum melakukan pekerjaan apa pun untuk itu. Berikut adalah artinya ketika istilah ini benar-benar bermakna, dan empat pertanyaan yang membedakan kedua kasus tersebut.
- Mengapa sebagian besar tes personalitas di internet tidak andalBukan karena mereka tidak jujur, melainkan karena langkah-langkah yang membuat sebuah pengukuran dapat dipercaya bersifat tidak terlihat, mahal, dan mudah dilewati, dan melewatinya tidak mengubah apa pun dari tampilan hasilnya.
- Apa yang dapat dan tidak dapat diukur oleh laporan diriKuesioner meminta Anda menjadi pengamat bagi diri Anda sendiri, yang bekerja lebih baik untuk sebagian hal dibandingkan hal lainnya. Mengetahui di mana metode ini kuat dan di mana ia gagal mengubah cara Anda membaca hasil apa pun.
- Apa artinya ketika sebuah tes memprediksi sesuatuKorelasi sebesar 0,30 merupakan temuan yang kuat dalam penelitian kepribadian, tetapi merupakan dasar yang lemah untuk mengambil keputusan tentang satu orang. Kedua pernyataan ini benar, dan celah di antara keduanya menjadi penyebab sebagian besar penyalahgunaan hasil tes.
- Penyaringan bukanlah diagnosisKuesioner penyaringan dibuat untuk menangkap sebanyak mungkin kemungkinan kasus, dengan menerima tingkat positif palsu yang tinggi sebagai konsekuensinya. Membaca skor penyaringan sebagai diagnosis membalikkan tujuan awal alat tersebut.