Bir testin geçerliği kanıtlanmış olarak adlandırılması ne anlama gelir?

"Bilimsel olarak doğrulanmış" korunan bir terim değildir. Kimse bunu onaylamaz, hiçbir kurum bunu denetlemez ve bu ifade, tüm kanıt temeli çok sayıda insanın onu uygulamış olmasından ibaret olan ürünlerde de karşımıza çıkar. Bu ifadenin doğru kullanıldığında ne anlama geldiğini bilmekte fayda var.

Kısa versiyon

Geçerliği doğrulanmış bir ölçme aracının, neyi ölçtüğünü, ne kadar hassasiyetle ölçtüğünü, hangi popülasyonlarda ölçtüğünü ve puanlarının hangi amaçlarla meşru şekilde kullanılabileceğini gösteren yayımlanmış bir kaydı vardır. Geçerlik doğrulaması bir sertifika değildir. Genellikle yıllar içinde toplanan bir kanıt bütünüdür ve genellikle aracı öven değil, kullanımını sınırlayan bulguları da içerir.

Belgelenmiş sınırlılıkların varlığı, en iyi göstergelerden biridir. Gerçek geçerlik doğrulama literatürü bunlarla doludur: bu ölçek ergenlerde zayıf performans gösterir, o boyut tekrarlanmıyor, kesme noktası popülasyona bağlıdır. Sadece güçlü yönlerini bildiren bir ürün, geçerlik doğrulamasını yayımlamamıştır; pazarlamasını yayımlamıştır.

İşi gören dört soru

Kaynak yayın nedir? Geçerliği doğrulanmış bir ölçme aracının, yazarları, yılı ve genellikle bir DOI'si olan, hakemli bir dergide yayımlanmış özgün bir makalesi vardır. Bu makale, maddelerin nasıl geliştirildiğini ve ilk psikometrik özelliklerin ne olduğunu bildirir. Kimse bu makaleyi adlandıramıyorsa, tartışılacak bir geçerlik doğrulaması yoktur.

Yapı başka biri tarafından doğrulandı mı? Geliştirme ekibi, kendi tasarladıkları yapıyı geri elde edecektir. Önemli olan, bağımsız bir grubun, bağımsız verilerle aynı şeyi bulup bulmadığıdır. Bu, sorabileceğiniz en bilgilendirici sorudur ve en sık cevapsız bırakılan sorudur.

Normlar hangi popülasyon üzerinde ve ne zaman oluşturuldu? Bir puan, referans dağılımı içindeki bir konumdur. Hangi popülasyona atıfta bulunduğunu belirtmeden bir yüzdelik dilim bildiren bir ölçme aracı, size paydası olmayan bir sayı vermiş demektir.

Ne ekliyor? Yerleşik bir ölçüme göre artan geçerlik. Çok sayıda markalı yapı burada başarısız olur; mevcut bir özellikle o kadar yüksek korelasyon gösterirler ki, hiçbir şeyde ek varyans açıklamazlar. Bu, bilimsel incelemenin normal bir sonucudur ve biri testi çalıştırmadıkça görünmezdir.

Çevirinin işi zorlaştırdığı yer

İngilizce'de geçerliği doğrulanmış bir ölçme aracı, bu sayede Almanca'da da doğrulanmış olmaz. Uygun kültürler arası uyarlama, ileri ve geri çeviri, uzman incelemesi, bilişsel görüşme ve ardından faktör yapısının geçerli olup olmadığını ve tekil maddelerin gruplar arasında eşdeğer işlev görüp görmediğini test eden yeni dilde taze bir psikometrik çalışma gerektirir.

Bu adımı atlayan ölçme araçları yaygındır. Özgün geçerlik doğrulaması kusursuz olan bir anket, önemli bir maddenin farklı bir çağrışım taşıdığı bir dilde oldukça farklı davranabilir ve bu çalışma yapılmadan bunu bilmenin yolu yoktur. Bir test on dilde sunulduğunda, sorulması gereken faydalı soru, on dilde mi geçerliğinin doğrulandığı yoksa bir dilde doğrulanıp dokuz dile mi çevrildiğidir.

Geçerlik doğrulamasının size sağlamadığı şey

Bir puanı kesin hale getirmez. Geçerliği doğrulanmış bir ölçme aracı yine ölçüm hatası taşır, yine bireysel bir kaderden çok popülasyon düzeyinde bir düzenliliği tanımlar ve yine sadece maddelerinin erişebildiği şeyi ölçer.

Geçerlik doğrulamasının sağladığı şey, bilinebilir sınırlardır. Ne kadar hata olduğunu, hangi popülasyonda, hangi amaç için olduğunu öğrenebilirsiniz. Bu, "bu test gerçekte kim olduğunuzu ortaya koyar" ifadesinden daha küçük bir iddiadır ve ayakta kalabilen tek iddiadır.

Belgelendirmenin var olduğunda nasıl göründüğünü görmek istersen, NOESIS kataloğundaki her test; uyguladığı ölçme aracını, yazarlarını ve yılını, puanlama yöntemini ve arkasındaki kanıtları, bu kanıtların tartışmalı olduğu yerler dahil, adlandırır.