Apa artinya ketika suatu tes disebut tervalidasi?
Istilah ini tidak diatur dan digunakan secara bebas oleh produk-produk yang belum melakukan pekerjaan apa pun untuk itu. Berikut adalah artinya ketika istilah ini benar-benar bermakna, dan empat pertanyaan yang membedakan kedua kasus tersebut.
"Divalidasi secara ilmiah" bukanlah istilah yang dilindungi. Tidak ada yang mensertifikasinya, tidak ada badan yang mengauditnya, dan istilah ini muncul pada produk-produk yang seluruh bukti keberadaannya hanyalah bahwa banyak orang telah mengikutinya. Ada baiknya mengetahui apa arti istilah ini ketika digunakan dengan benar.
Versi singkatnya
Instrumen yang tervalidasi memiliki catatan yang dipublikasikan yang menunjukkan apa yang diukurnya, seberapa presisi, pada populasi mana, dan untuk keperluan apa skornya dapat digunakan secara sah. Validasi bukanlah sertifikat. Ia adalah kumpulan bukti, yang biasanya disusun selama bertahun-tahun, dan biasanya mencakup temuan yang membatasi penggunaan instrumen tersebut, bukan yang memujinya.
Adanya keterbatasan yang terdokumentasi merupakan salah satu penanda yang lebih baik. Literatur validasi yang sesungguhnya penuh dengan hal-hal semacam ini: skala ini berkinerja buruk pada remaja, aspek itu tidak dapat direplikasi, ambang batas bergantung pada populasi. Produk yang hanya melaporkan kelebihan-kelebihannya belum mempublikasikan validasinya; ia telah mempublikasikan pemasarannya.
Empat pertanyaan yang menentukan
Apa publikasi sumbernya? Instrumen yang tervalidasi memiliki makalah asli dalam jurnal yang ditelaah sejawat (peer-reviewed), lengkap dengan penulis, tahun, dan biasanya DOI. Makalah tersebut melaporkan bagaimana butir-butirnya dikembangkan dan apa properti psikometrik awalnya. Jika tidak ada yang dapat menyebutkan makalah tersebut, maka tidak ada validasi yang dapat dibahas.
Apakah strukturnya dikonfirmasi oleh pihak lain? Tim pengembang akan menemukan kembali struktur yang mereka rancang sendiri. Yang penting adalah apakah kelompok independen, dengan data independen, menemukan hal yang sama. Ini adalah pertanyaan tunggal paling informatif yang dapat Anda ajukan, dan yang paling sering tidak terjawab.
Norma dibangun berdasarkan populasi yang mana, dan kapan? Skor adalah posisi dalam distribusi acuan. Instrumen yang melaporkan persentil tanpa menyatakan populasi acuannya telah memberikan Anda sebuah angka tanpa penyebut.
Apa nilai tambahnya? Validitas inkremental dibandingkan ukuran yang sudah mapan. Banyak sekali konstruk bermerek gagal pada aspek ini, berkorelasi begitu tinggi dengan sifat yang sudah ada sehingga tidak menjelaskan varians tambahan apa pun. Ini adalah hasil yang wajar dari pengujian ilmiah, dan tidak akan terlihat kecuali seseorang menjalankan pengujian tersebut.
Di mana penerjemahan mempersulit hal ini
Instrumen yang tervalidasi dalam bahasa Inggris tidak dengan sendirinya tervalidasi dalam bahasa Jerman. Adaptasi lintas budaya yang tepat memerlukan penerjemahan maju dan mundur, tinjauan ahli, wawancara kognitif, dan kemudian studi psikometrik baru dalam bahasa tersebut yang menguji apakah struktur faktornya tetap berlaku dan apakah masing-masing butir berfungsi setara di berbagai kelompok.
Instrumen yang melewatkan proses ini cukup umum. Kuesioner yang validasi aslinya sempurna dapat berperilaku sangat berbeda dalam bahasa di mana sebuah butir kunci membawa konotasi yang berbeda, dan tidak ada cara untuk mengetahuinya tanpa studi tersebut. Ketika sebuah tes ditawarkan dalam sepuluh bahasa, pertanyaan yang berguna adalah apakah tes itu tervalidasi dalam sepuluh bahasa atau tervalidasi dalam satu bahasa dan diterjemahkan ke sembilan bahasa lainnya.
Apa yang tidak diberikan oleh validasi
Validasi tidak membuat sebuah skor menjadi pasti. Instrumen yang tervalidasi tetap membawa kesalahan pengukuran, tetap menggambarkan keteraturan pada tingkat populasi, bukan takdir individu, dan tetap hanya mengukur apa yang dijangkau oleh butir-butirnya.
Apa yang diberikan oleh validasi adalah batasan yang dapat diketahui. Anda dapat mengetahui seberapa besar kesalahannya, pada populasi mana, untuk tujuan apa. Itu adalah klaim yang lebih kecil dibandingkan "tes ini mengungkap siapa Anda sebenarnya", dan itulah satu-satunya klaim yang dapat dipertanggungjawabkan.
Jika Anda ingin melihat seperti apa dokumentasi ketika hal itu ada, setiap tes dalam katalog NOESIS mencantumkan nama instrumen yang diterapkannya, penulis dan tahunnya, metode penyekorannya, serta bukti di baliknya, termasuk di bagian mana bukti tersebut masih diperdebatkan.
Ujilah sendiri
Membaca tentang pengukuran adalah satu hal. Melihat skor Anda sendiri dilaporkan lengkap dengan sumbernya, sampel normanya, dan batasannya adalah hal lain. Gratis untuk diikuti, tanpa perlu mendaftar.
Lanjutkan membaca
- Apa itu psikometri?Disiplin ilmu yang menentukan apakah sebuah pengukuran psikologis benar-benar baik, dan alasan mengapa dua tes yang menanyakan pertanyaan serupa dapat sangat berbeda dalam nilai hasilnya.
- Apa itu reliabilitas dalam pengujian psikologis?Reliabilitas adalah konsistensi pengukuran, bukan kebenaran. Sebuah tes bisa sangat reliabel namun tetap mengukur hal yang salah, itulah sebabnya reliabilitas menjadi pertanyaan pertama yang diajukan dan tidak pernah menjadi yang terakhir.
- Apa itu validitas dalam tes psikologi?Validitas bukanlah suatu properti yang dimiliki sebuah tes. Validitas adalah argumen tentang apakah interpretasi tertentu terhadap skor tertentu, untuk tujuan tertentu, dapat dipertahankan, dan argumen ini harus dibangun kembali untuk setiap penggunaan baru.
- Apa itu validitas konstruk?Pertanyaan tersulit dalam pengukuran: apakah hal yang Anda ukur benar-benar ada sebagaimana Anda definisikan, dan apakah instrumen Anda menjangkau hal itu, bukan sesuatu yang berdekatan dengannya.
- Validitas konvergen dan diskriminanDua persyaratan yang saling berlawanan: sebuah alat ukur harus sesuai dengan apa yang seharusnya sesuai, dan harus tetap berbeda dari apa yang diklaimnya bukan. Sebagian besar instrumen yang lemah gagal pada persyaratan kedua.
- Apa itu alpha Cronbach, dan apa yang bukanStatistik yang paling sering dilaporkan dalam pengujian psikologis, dan yang paling sering disalahpahami. Alpha tidak memberi tahu Anda bahwa sebuah skala bersifat unidimensional, dan nilai yang tinggi seringkali merupakan gejala, bukan kelebihan.
- Kesalahan standar pengukuran: seberapa besar skor Anda dapat melesetSetiap skor membawa margin kesalahan, dan untuk sebagian besar tes psikologis margin ini lebih lebar dari yang diperkirakan orang. Inilah angka yang memberi tahu Anda kapan sebuah perbedaan itu nyata dan kapan hanya berupa noise.
- Norma dan persentil: pembanding untuk skor AndaSkor mentah tidak dapat diinterpretasikan dengan sendirinya. Skor tersebut menjadi bermakna hanya jika dibandingkan dengan kelompok acuan, dan kelompok mana yang digunakan merupakan salah satu fakta paling berpengaruh sekaligus paling jarang diungkapkan tentang sebuah tes.
- Bagaimana tes psikometri sebenarnya dibangunDari definisi konstruk hingga norma yang dipublikasikan, urutan ini memakan waktu bertahun-tahun dan membuang sebagian besar dari apa yang dimasukkan ke dalamnya. Mengetahui langkah-langkahnya membuat jelas mana saja yang dilewati oleh sebuah kuis daring cepat.
- Mengapa sebagian besar tes personalitas di internet tidak andalBukan karena mereka tidak jujur, melainkan karena langkah-langkah yang membuat sebuah pengukuran dapat dipercaya bersifat tidak terlihat, mahal, dan mudah dilewati, dan melewatinya tidak mengubah apa pun dari tampilan hasilnya.
- Apa yang dapat dan tidak dapat diukur oleh laporan diriKuesioner meminta Anda menjadi pengamat bagi diri Anda sendiri, yang bekerja lebih baik untuk sebagian hal dibandingkan hal lainnya. Mengetahui di mana metode ini kuat dan di mana ia gagal mengubah cara Anda membaca hasil apa pun.
- Apa artinya ketika sebuah tes memprediksi sesuatuKorelasi sebesar 0,30 merupakan temuan yang kuat dalam penelitian kepribadian, tetapi merupakan dasar yang lemah untuk mengambil keputusan tentang satu orang. Kedua pernyataan ini benar, dan celah di antara keduanya menjadi penyebab sebagian besar penyalahgunaan hasil tes.
- Penyaringan bukanlah diagnosisKuesioner penyaringan dibuat untuk menangkap sebanyak mungkin kemungkinan kasus, dengan menerima tingkat positif palsu yang tinggi sebagai konsekuensinya. Membaca skor penyaringan sebagai diagnosis membalikkan tujuan awal alat tersebut.