Apa artinya ketika sebuah tes memprediksi sesuatu
Korelasi sebesar 0,30 merupakan temuan yang kuat dalam penelitian kepribadian, tetapi merupakan dasar yang lemah untuk mengambil keputusan tentang satu orang. Kedua pernyataan ini benar, dan celah di antara keduanya menjadi penyebab sebagian besar penyalahgunaan hasil tes.
Riset kepribadian melaporkan bahwa sifat kehati-hatian (conscientiousness) memprediksi kinerja kerja. Saat membaca kalimat tersebut, kebanyakan orang membayangkan sesuatu yang jauh lebih kuat daripada yang ditunjukkan oleh data. Kesenjangan antara klaim statistik dan makna sehari-hari dari kata "memprediksi" inilah yang menjadi awal dari sebagian besar penyalahgunaan tes psikologis.
Angka-angka yang terlibat
Ukuran efek dalam riset kepribadian biasanya dilaporkan sebagai korelasi. Nilai meta-analitik untuk hubungan yang sudah mapan cenderung berada di antara 0,20 dan 0,35. Kehati-hatian dan kinerja kerja berada di kisaran 0,20 hingga 0,25. Kepuasan kerja dan kinerja kerja berada di sekitar 0,30. Kemampuan mental umum, prediktor tunggal terkuat dalam bidang ini, mencapai sekitar 0,50 untuk pekerjaan yang kompleks.
Kuadratkan sebuah korelasi dan Anda akan memperoleh proporsi varians yang dijelaskan. Korelasi sebesar 0,25 menjelaskan sekitar enam persen perbedaan antarindividu. Sembilan puluh empat persen sisanya adalah hal lain: kemampuan, kesempatan, pelatihan, manajemen, kesehatan, keberuntungan.
Mengapa 0,25 tetap merupakan temuan yang nyata
Pada skala populasi, korelasi kecil menghasilkan efek agregat yang substansial. Jika Anda menyeleksi seribu orang, prediktor dengan nilai 0,25 akan meningkatkan rata-rata hasil secara terukur dan berulang. Perusahaan asuransi dan ahli epidemiologi membangun seluruh praktik mereka berdasarkan efek dengan besaran seperti ini.
Masalahnya, manfaat agregat dan prediksi individu adalah dua besaran yang berbeda. Korelasi sebesar 0,25 berarti bahwa di antara orang-orang yang memiliki skor tinggi, lebih banyak yang akan berkinerja baik dibandingkan di antara orang-orang yang memiliki skor rendah, dan juga berarti bahwa sangat banyak orang berskor tinggi yang akan berkinerja buruk serta sangat banyak orang berskor rendah yang akan unggul. Kedua pernyataan ini berasal dari angka yang sama.
Kasus individu
Inilah langkah yang sering terlewatkan. Korelasi menggambarkan hubungan antara dua distribusi. Korelasi tidak memberikan dasar untuk membuat pernyataan tentang satu orang tertentu.
Jika kehati-hatian berkorelasi 0,25 dengan kinerja, maka mengetahui skor kehati-hatian seseorang hanya sedikit mempersempit rentang kinerja yang mungkin bagi orang tersebut. Interval prediksi untuk satu individu tetap cukup lebar hingga mencakup hampir seluruh rentang hasil yang mungkin. Diberitahu bahwa Anda berada pada persentil ke-80 dalam hal kehati-hatian hanya memberi Anda sedikit sekali informasi tentang bagaimana Anda akan berkinerja dalam pekerjaan tertentu.
Inilah sebabnya mengapa penggunaan skor kepribadian sebagai penyaring seleksi utama kurang memiliki dasar yang kuat, bahkan ketika riset yang mendasarinya sudah sahih. Riset tersebut mendukung klaim bahwa sifat itu penting. Riset tersebut tidak mendukung klaim bahwa sebuah skor dapat memberi tahu Anda apa yang akan dilakukan seorang pelamar.
Dua kehati-hatian tambahan
Memprediksi dan menyebabkan adalah dua hal yang berbeda. Hampir seluruh literatur ini bersifat korelasional. Kehati-hatian yang memprediksi hasil kesehatan sejalan dengan kemungkinan bahwa kehati-hatian menyebabkan perilaku kesehatan yang lebih baik, dengan kemungkinan bahwa faktor ketiga menyebabkan keduanya, dan dengan kemungkinan sebab-akibat yang terbalik. Desain longitudinal mempersempit kemungkinan-kemungkinan tersebut; desain ini jarang menutupnya sepenuhnya.
Kriteria laporan diri menggelembungkan angka. Ketika prediktor dan hasil sama-sama dilaporkan sendiri oleh orang yang sama pada sore hari yang sama, varians metode bersama (common-method variance) mendorong korelasi menjadi lebih tinggi. Studi yang menggunakan hasil objektif atau penilaian dari pihak lain (informant ratings) biasanya melaporkan efek yang lebih kecil, dan efek-efek itulah yang seharusnya lebih dipercaya.
Untuk apa sebenarnya sebuah skor berguna
Jika dibaca sebagai deskripsi, bukan sebagai ramalan, skor tes benar-benar berguna. Skor memberi tahu Anda posisi Anda relatif terhadap populasi acuan pada suatu sifat yang konsekuensinya telah terdokumentasi, dan skor memberi Anda kosakata untuk sebuah pola yang mungkin telah Anda perhatikan tanpa mampu menamainya.
Hal itu layak dimiliki. Itu adalah hal yang berbeda dari sebuah ramalan, dan perbedaan ini adalah sesuatu yang seharusnya dijelaskan oleh laporan yang jujur kepada Anda, bukan dibiarkan agar Anda simpulkan sendiri.
Ujilah sendiri
Membaca tentang pengukuran adalah satu hal. Melihat skor Anda sendiri dilaporkan lengkap dengan sumbernya, sampel normanya, dan batasannya adalah hal lain. Gratis untuk diikuti, tanpa perlu mendaftar.
Lanjutkan membaca
- Apa itu psikometri?Disiplin ilmu yang menentukan apakah sebuah pengukuran psikologis benar-benar baik, dan alasan mengapa dua tes yang menanyakan pertanyaan serupa dapat sangat berbeda dalam nilai hasilnya.
- Apa itu reliabilitas dalam pengujian psikologis?Reliabilitas adalah konsistensi pengukuran, bukan kebenaran. Sebuah tes bisa sangat reliabel namun tetap mengukur hal yang salah, itulah sebabnya reliabilitas menjadi pertanyaan pertama yang diajukan dan tidak pernah menjadi yang terakhir.
- Apa itu validitas dalam tes psikologi?Validitas bukanlah suatu properti yang dimiliki sebuah tes. Validitas adalah argumen tentang apakah interpretasi tertentu terhadap skor tertentu, untuk tujuan tertentu, dapat dipertahankan, dan argumen ini harus dibangun kembali untuk setiap penggunaan baru.
- Apa itu validitas konstruk?Pertanyaan tersulit dalam pengukuran: apakah hal yang Anda ukur benar-benar ada sebagaimana Anda definisikan, dan apakah instrumen Anda menjangkau hal itu, bukan sesuatu yang berdekatan dengannya.
- Validitas konvergen dan diskriminanDua persyaratan yang saling berlawanan: sebuah alat ukur harus sesuai dengan apa yang seharusnya sesuai, dan harus tetap berbeda dari apa yang diklaimnya bukan. Sebagian besar instrumen yang lemah gagal pada persyaratan kedua.
- Apa itu alpha Cronbach, dan apa yang bukanStatistik yang paling sering dilaporkan dalam pengujian psikologis, dan yang paling sering disalahpahami. Alpha tidak memberi tahu Anda bahwa sebuah skala bersifat unidimensional, dan nilai yang tinggi seringkali merupakan gejala, bukan kelebihan.
- Kesalahan standar pengukuran: seberapa besar skor Anda dapat melesetSetiap skor membawa margin kesalahan, dan untuk sebagian besar tes psikologis margin ini lebih lebar dari yang diperkirakan orang. Inilah angka yang memberi tahu Anda kapan sebuah perbedaan itu nyata dan kapan hanya berupa noise.
- Norma dan persentil: pembanding untuk skor AndaSkor mentah tidak dapat diinterpretasikan dengan sendirinya. Skor tersebut menjadi bermakna hanya jika dibandingkan dengan kelompok acuan, dan kelompok mana yang digunakan merupakan salah satu fakta paling berpengaruh sekaligus paling jarang diungkapkan tentang sebuah tes.
- Bagaimana tes psikometri sebenarnya dibangunDari definisi konstruk hingga norma yang dipublikasikan, urutan ini memakan waktu bertahun-tahun dan membuang sebagian besar dari apa yang dimasukkan ke dalamnya. Mengetahui langkah-langkahnya membuat jelas mana saja yang dilewati oleh sebuah kuis daring cepat.
- Apa artinya ketika suatu tes disebut tervalidasi?Istilah ini tidak diatur dan digunakan secara bebas oleh produk-produk yang belum melakukan pekerjaan apa pun untuk itu. Berikut adalah artinya ketika istilah ini benar-benar bermakna, dan empat pertanyaan yang membedakan kedua kasus tersebut.
- Mengapa sebagian besar tes personalitas di internet tidak andalBukan karena mereka tidak jujur, melainkan karena langkah-langkah yang membuat sebuah pengukuran dapat dipercaya bersifat tidak terlihat, mahal, dan mudah dilewati, dan melewatinya tidak mengubah apa pun dari tampilan hasilnya.
- Apa yang dapat dan tidak dapat diukur oleh laporan diriKuesioner meminta Anda menjadi pengamat bagi diri Anda sendiri, yang bekerja lebih baik untuk sebagian hal dibandingkan hal lainnya. Mengetahui di mana metode ini kuat dan di mana ia gagal mengubah cara Anda membaca hasil apa pun.
- Penyaringan bukanlah diagnosisKuesioner penyaringan dibuat untuk menangkap sebanyak mungkin kemungkinan kasus, dengan menerima tingkat positif palsu yang tinggi sebagai konsekuensinya. Membaca skor penyaringan sebagai diagnosis membalikkan tujuan awal alat tersebut.