Kesahan konvergen dan diskriminan
Dua keperluan yang saling bercermin: sesuatu ukuran mesti selari dengan apa yang sepatutnya selari dengannya, dan mesti kekal berbeza daripada apa yang didakwa bukan dirinya. Kebanyakan instrumen yang lemah gagal memenuhi keperluan yang kedua.
Kesahan konvergen dan kesahan diskriminan ialah dua bahagian daripada satu keperluan yang sama. Sesuatu ukuran mesti berkorelasi dengan perkara yang secara teorinya sepatutnya berkaitan dengannya, dan tidak boleh berkorelasi terlalu tinggi dengan perkara yang sepatutnya berbeza daripadanya. Memenuhi satu tanpa yang lain bukanlah kejayaan separa; ia biasanya petanda bahawa konstruk tersebut bukanlah seperti yang didakwa.
Kesahan konvergen
Bukti konvergen menunjukkan bahawa sesuatu ukuran sejajar dengan penunjuk lain bagi perkara yang sama. Skala kebimbangan yang baharu sepatutnya berkorelasi dengan ketara dengan skala kebimbangan yang mantap, dengan penilaian klinikal, dan sebaiknya dengan sesuatu yang bukan soal selidik lain, seperti ukuran fisiologi atau tingkah laku pengelakan yang diperhatikan.
Korelasi di sini biasanya dijangka melebihi 0.50, dan sering melebihi 0.70 apabila ukuran perbandingan ialah instrumen yang mantap bagi konstruk yang sama. Di bawah paras itu, sama ada skala baharu atau ukuran perbandingan sedang mengukur sesuatu yang lain.
Terdapat satu perangkap. Korelasi 0.95 dengan skala sedia ada bukanlah satu kemenangan; ia bermakna instrumen baharu itu hanyalah bungkusan semula, dan persoalan yang jujur ialah apakah sumbangan tambahannya. Kesahan konvergen ialah paras minimum, bukan sasaran untuk dimaksimumkan.
Kesahan diskriminan
Bukti diskriminan menunjukkan bahawa ukuran tersebut kekal terpisah daripada konstruk yang didakwa berbeza daripadanya. Di sinilah kegagalan yang menarik ditemui.
Corak ini berulang dalam literatur. Kegigihan (grit) berkorelasi sekitar 0.84 dengan kehematian, cukup hampir sehingga meta-analisis mendapati ia hampir tidak menambah apa-apa kepada ramalan akademik setelah kehematian dikawal. Kecerdasan emosi laporan kendiri bertindih dengan banyak sekali dengan gabungan kestabilan emosi, ekstraversi dan kehematian. Varians yang dikongsi merentasi Dark Triad sebahagian besarnya hilang apabila Honesty-Humility daripada model HEXACO diambil kira. Dalam setiap kes, konstruk tersebut dipersembahkan sebagai wilayah baharu dan akhirnya didapati sebagai kawasan yang dinamakan semula dalam peta yang sedia ada.
Kesahan diskriminan juga merupakan tempat kesan kaedah terserlah. Jika setiap konstruk laporan kendiri dalam sesuatu kajian berkorelasi 0.4 antara satu sama lain, faktor sepunya itu berkemungkinan besar ialah gaya menjawab responden dan bukannya sebarang aspek psikologi yang dikongsi.
Ujian yang menjadi penentu
Prosedur penentunya ialah kesahan inkremental: masukkan ukuran yang mantap ke dalam regresi terlebih dahulu, kemudian ukuran baharu, dan lihat sama ada ukuran baharu itu menerangkan sebarang varians tambahan dalam hasil. Jika tidak, konstruk tersebut mungkin masih menarik dari segi teori, tetapi instrumen itu tidak mengukur apa-apa yang belum dimiliki oleh bidang ini.
Ini ialah piawaian yang ketat, dan banyak sekali skala yang diterbitkan tidak pernah diuji dengannya. Apabila diuji, keputusannya kerap kali ialah dapatan kelewahan seperti di atas. Itu bukanlah satu skandal; ia ialah proses penyaringan saintifik yang biasa. Namun, ini bermakna populariti sesuatu konstruk tidak memberi maklumat tentang sama ada ia lulus ujian tersebut.
Apa yang berubah bagi pembaca
Apabila sesuatu ujian melaporkan beberapa skor, persoalan yang berguna ialah sama ada skor-skor tersebut benar-benar berbeza. Empat dimensi yang berkorelasi 0.8 antara satu sama lain ialah satu dimensi dengan empat label, dan profil yang dibina daripadanya akan kelihatan berbeza-beza sedangkan hampir tidak membawa maklumat bebas.
Instrumen yang melaporkan korelasi antara skala membolehkan anda menyemak perkara ini sendiri. Instrumen yang mempersembahkan jenis empat kuadran tanpa pernah menunjukkan hubungan antara kuadran tersebut telah menjadikan semakan itu mustahil, dan biasanya itulah tujuannya.
Uji sendiri
Membaca tentang pengukuran adalah satu perkara. Melihat skor anda sendiri dilaporkan bersama sumbernya, sampel normanya dan batasannya adalah perkara lain. Percuma, tanpa perlu mendaftar.
Teruskan membaca
- Apakah itu psikometrik?Disiplin yang menentukan sama ada sesuatu pengukuran psikologi itu baik atau tidak, dan sebab dua ujian yang mengemukakan soalan serupa boleh berbeza dengan ketara dari segi nilai keputusannya.
- Apakah itu kebolehpercayaan dalam ujian psikologi?Kebolehpercayaan ialah ketekalan pengukuran, bukan ketepatan. Sesuatu ujian boleh mempunyai kebolehpercayaan yang tinggi tetapi masih mengukur perkara yang salah; itulah sebabnya ia merupakan soalan pertama yang ditanya dan tidak pernah yang terakhir.
- Apakah itu kesahan dalam ujian psikologi?Kesahan bukanlah sifat yang dimiliki oleh sesuatu ujian. Ia ialah hujah tentang sama ada tafsiran tertentu terhadap skor tertentu, bagi tujuan tertentu, boleh dipertahankan; dan ia perlu dibina semula bagi setiap kegunaan baharu.
- Apakah itu kesahan konstruk?Soalan paling sukar dalam pengukuran: sama ada perkara yang anda ukur benar-benar wujud seperti yang anda takrifkan, dan sama ada instrumen anda mencapainya dan bukan sesuatu yang berdekatan dengannya.
- Apakah itu alfa Cronbach, dan apakah yang bukanStatistik yang paling kerap dilaporkan dalam ujian psikologi, dan yang paling kerap disalah tafsir. Alfa tidak memberitahu anda bahawa sesuatu skala itu unidimensi, dan nilai yang tinggi sering kali merupakan simptom dan bukannya kelebihan.
- Ralat piawai pengukuran: sejauh mana skor anda mungkin tersasarSetiap skor membawa margin ralat, dan bagi kebanyakan ujian psikologi, margin ini lebih luas daripada yang disangka oleh orang ramai. Inilah nombor yang memberitahu anda bila sesuatu perbezaan itu benar dan bila ia hanya hingar.
- Norma dan persentil: apakah perbandingan bagi skor andaSkor mentah tidak dapat ditafsirkan dengan sendirinya. Ia hanya menjadi bermakna apabila dibandingkan dengan kumpulan rujukan, dan kumpulan yang digunakan merupakan salah satu fakta paling penting tetapi paling jarang dinyatakan tentang mana-mana ujian.
- Bagaimana ujian psikometrik sebenarnya dibinaDaripada definisi konstruk hingga norma yang diterbitkan, urutan ini mengambil masa bertahun-tahun dan membuang sebahagian besar daripada apa yang dimasukkan ke dalamnya. Dengan mengetahui langkah-langkahnya, jelaslah langkah mana yang dilangkau oleh kuiz dalam talian yang ringkas.
- Apakah maksudnya apabila sesuatu ujian dikatakan telah disahkan?Perkataan ini tidak dikawal selia dan digunakan sesuka hati oleh produk yang tidak melakukan sebarang usaha tersebut. Berikut ialah maksudnya apabila ia benar-benar bermakna, serta empat soalan yang membezakan kedua-dua keadaan itu.
- Mengapa kebanyakan ujian personaliti di internet tidak boleh dipercayaiBukan kerana mereka tidak jujur, tetapi kerana langkah-langkah yang menjadikan sesuatu pengukuran boleh dipercayai tidak kelihatan, mahal dan mudah diabaikan; dan mengabaikannya tidak mengubah apa-apa tentang rupa keputusan tersebut.
- Apa yang boleh dan tidak boleh diukur oleh laporan kendiriSoal selidik meminta anda menjadi pemerhati diri sendiri, dan cara ini lebih berkesan untuk sesetengah perkara berbanding yang lain. Mengetahui di mana kaedah ini kuat dan di mana ia gagal akan mengubah cara anda membaca sebarang keputusan.
- Apakah maksudnya apabila sesuatu ujian meramalkan sesuatuKorelasi 0.30 ialah dapatan yang kukuh dalam penyelidikan personaliti tetapi asas yang lemah untuk membuat keputusan tentang seseorang individu. Kedua-dua kenyataan ini benar, dan jurang antara keduanya menjadi punca kebanyakan penyalahgunaan keputusan ujian.
- Saringan bukan diagnosisSoal selidik saringan dibina untuk mengesan sebanyak mungkin kes yang berkemungkinan, dengan menerima kadar positif palsu yang tinggi sebagai harganya. Membaca skor saringan sebagai diagnosis adalah bertentangan dengan tujuan asal reka bentuknya.