Validitas konvergen dan diskriminan
Dua persyaratan yang saling berlawanan: sebuah alat ukur harus sesuai dengan apa yang seharusnya sesuai, dan harus tetap berbeda dari apa yang diklaimnya bukan. Sebagian besar instrumen yang lemah gagal pada persyaratan kedua.
Validitas konvergen dan validitas diskriminan adalah dua bagian dari satu persyaratan yang sama. Suatu alat ukur harus berkorelasi dengan hal-hal yang secara teoretis seharusnya berkorelasi dengannya, dan tidak boleh berkorelasi terlalu tinggi dengan hal-hal yang seharusnya berbeda darinya. Memenuhi salah satu tanpa yang lain bukanlah keberhasilan parsial; itu biasanya merupakan tanda bahwa konstruk tersebut bukanlah apa yang diklaimnya.
Validitas konvergen
Bukti konvergen menunjukkan bahwa suatu alat ukur sejalan dengan indikator lain dari hal yang sama. Skala kecemasan yang baru seharusnya berkorelasi secara substansial dengan skala kecemasan yang sudah mapan, dengan penilaian klinisi, dan idealnya dengan sesuatu yang bukan berupa kuesioner lain, seperti ukuran fisiologis atau perilaku menghindar yang teramati.
Korelasi di sini biasanya diharapkan di atas 0,50, sering kali di atas 0,70 ketika alat ukur pembanding merupakan instrumen yang sudah mapan untuk konstruk yang sama. Di bawah itu, baik skala baru maupun pembandingnya kemungkinan mengukur hal yang berbeda.
Ada satu jebakan di sini. Korelasi sebesar 0,95 dengan skala yang sudah ada bukanlah suatu keberhasilan besar; itu berarti instrumen baru tersebut hanyalah pengemasan ulang, dan pertanyaan yang jujur adalah apa yang sebenarnya ditambahkannya. Validitas konvergen adalah batas minimum, bukan target yang harus dimaksimalkan.
Validitas diskriminan
Bukti diskriminan menunjukkan bahwa alat ukur tetap terpisah dari konstruk yang diklaimnya berbeda. Di sinilah letak kegagalan-kegagalan yang menarik.
Pola ini berulang di seluruh literatur. Grit berkorelasi sekitar 0,84 dengan sifat conscientiousness, cukup dekat sehingga meta-analisis menemukan bahwa grit hampir tidak menambahkan apa pun terhadap prediksi akademik setelah conscientiousness dikendalikan. Kecerdasan emosional laporan diri tumpang tindih secara besar-besaran dengan stabilitas emosi, ekstraversi, dan conscientiousness yang digabungkan. Varians bersama di seluruh Dark Triad sebagian besar menghilang setelah Honesty-Humility dari model HEXACO diperhitungkan. Dalam setiap kasus, konstruk tersebut disajikan sebagai wilayah baru dan ternyata hanyalah wilayah dari peta yang sudah ada dengan nama baru.
Validitas diskriminan juga merupakan tempat munculnya efek metode. Jika setiap konstruk laporan diri dalam suatu studi berkorelasi 0,4 dengan setiap konstruk lainnya, faktor bersama tersebut kemungkinan besar adalah gaya respons responden, bukan psikologi bersama apa pun.
Uji yang menentukan
Prosedur yang menentukan adalah validitas inkremental: masukkan alat ukur yang sudah mapan ke dalam regresi terlebih dahulu, kemudian alat ukur yang baru, dan lihat apakah alat ukur baru tersebut menjelaskan varians tambahan apa pun dalam hasil yang diukur. Jika tidak, konstruk tersebut mungkin masih menarik secara teoretis, tetapi instrumennya tidak mengukur sesuatu yang belum dimiliki oleh bidang tersebut sebelumnya.
Ini adalah standar yang menuntut, dan sangat banyak skala yang telah diterbitkan belum pernah diuji dengan standar ini. Ketika diuji, hasilnya sering kali adalah temuan redundansi seperti di atas. Itu bukan suatu skandal; itu adalah proses penyaringan ilmiah yang normal, tetapi hal itu berarti bahwa popularitas suatu konstruk tidak memberikan informasi apa pun tentang apakah konstruk itu lolos uji tersebut.
Apa artinya ini bagi pembaca
Ketika suatu tes melaporkan beberapa skor, pertanyaan yang berguna adalah apakah skor-skor tersebut benar-benar berbeda satu sama lain. Empat dimensi yang berkorelasi 0,8 satu sama lain sebenarnya adalah satu dimensi dengan empat label, dan profil yang dibangun darinya akan terlihat terdiferensiasi padahal hampir tidak membawa informasi independen apa pun.
Instrumen yang melaporkan korelasi antarskalanya memungkinkan Anda untuk memeriksa hal ini sendiri. Instrumen yang menyajikan tipe empat kuadran tanpa pernah menunjukkan bagaimana kuadran-kuadran tersebut saling berhubungan telah membuat pemeriksaan tersebut menjadi mustahil, yang biasanya memang itulah tujuannya.
Ujilah sendiri
Membaca tentang pengukuran adalah satu hal. Melihat skor Anda sendiri dilaporkan lengkap dengan sumbernya, sampel normanya, dan batasannya adalah hal lain. Gratis untuk diikuti, tanpa perlu mendaftar.
Lanjutkan membaca
- Apa itu psikometri?Disiplin ilmu yang menentukan apakah sebuah pengukuran psikologis benar-benar baik, dan alasan mengapa dua tes yang menanyakan pertanyaan serupa dapat sangat berbeda dalam nilai hasilnya.
- Apa itu reliabilitas dalam pengujian psikologis?Reliabilitas adalah konsistensi pengukuran, bukan kebenaran. Sebuah tes bisa sangat reliabel namun tetap mengukur hal yang salah, itulah sebabnya reliabilitas menjadi pertanyaan pertama yang diajukan dan tidak pernah menjadi yang terakhir.
- Apa itu validitas dalam tes psikologi?Validitas bukanlah suatu properti yang dimiliki sebuah tes. Validitas adalah argumen tentang apakah interpretasi tertentu terhadap skor tertentu, untuk tujuan tertentu, dapat dipertahankan, dan argumen ini harus dibangun kembali untuk setiap penggunaan baru.
- Apa itu validitas konstruk?Pertanyaan tersulit dalam pengukuran: apakah hal yang Anda ukur benar-benar ada sebagaimana Anda definisikan, dan apakah instrumen Anda menjangkau hal itu, bukan sesuatu yang berdekatan dengannya.
- Apa itu alpha Cronbach, dan apa yang bukanStatistik yang paling sering dilaporkan dalam pengujian psikologis, dan yang paling sering disalahpahami. Alpha tidak memberi tahu Anda bahwa sebuah skala bersifat unidimensional, dan nilai yang tinggi seringkali merupakan gejala, bukan kelebihan.
- Kesalahan standar pengukuran: seberapa besar skor Anda dapat melesetSetiap skor membawa margin kesalahan, dan untuk sebagian besar tes psikologis margin ini lebih lebar dari yang diperkirakan orang. Inilah angka yang memberi tahu Anda kapan sebuah perbedaan itu nyata dan kapan hanya berupa noise.
- Norma dan persentil: pembanding untuk skor AndaSkor mentah tidak dapat diinterpretasikan dengan sendirinya. Skor tersebut menjadi bermakna hanya jika dibandingkan dengan kelompok acuan, dan kelompok mana yang digunakan merupakan salah satu fakta paling berpengaruh sekaligus paling jarang diungkapkan tentang sebuah tes.
- Bagaimana tes psikometri sebenarnya dibangunDari definisi konstruk hingga norma yang dipublikasikan, urutan ini memakan waktu bertahun-tahun dan membuang sebagian besar dari apa yang dimasukkan ke dalamnya. Mengetahui langkah-langkahnya membuat jelas mana saja yang dilewati oleh sebuah kuis daring cepat.
- Apa artinya ketika suatu tes disebut tervalidasi?Istilah ini tidak diatur dan digunakan secara bebas oleh produk-produk yang belum melakukan pekerjaan apa pun untuk itu. Berikut adalah artinya ketika istilah ini benar-benar bermakna, dan empat pertanyaan yang membedakan kedua kasus tersebut.
- Mengapa sebagian besar tes personalitas di internet tidak andalBukan karena mereka tidak jujur, melainkan karena langkah-langkah yang membuat sebuah pengukuran dapat dipercaya bersifat tidak terlihat, mahal, dan mudah dilewati, dan melewatinya tidak mengubah apa pun dari tampilan hasilnya.
- Apa yang dapat dan tidak dapat diukur oleh laporan diriKuesioner meminta Anda menjadi pengamat bagi diri Anda sendiri, yang bekerja lebih baik untuk sebagian hal dibandingkan hal lainnya. Mengetahui di mana metode ini kuat dan di mana ia gagal mengubah cara Anda membaca hasil apa pun.
- Apa artinya ketika sebuah tes memprediksi sesuatuKorelasi sebesar 0,30 merupakan temuan yang kuat dalam penelitian kepribadian, tetapi merupakan dasar yang lemah untuk mengambil keputusan tentang satu orang. Kedua pernyataan ini benar, dan celah di antara keduanya menjadi penyebab sebagian besar penyalahgunaan hasil tes.
- Penyaringan bukanlah diagnosisKuesioner penyaringan dibuat untuk menangkap sebanyak mungkin kemungkinan kasus, dengan menerima tingkat positif palsu yang tinggi sebagai konsekuensinya. Membaca skor penyaringan sebagai diagnosis membalikkan tujuan awal alat tersebut.