Mitä tarkoittaa, kun testiä kutsutaan validoiduksi?
Sana on sääntelemätön, ja sitä käyttävät vapaasti tuotteet, jotka eivät ole tehneet mitään tarvittavasta työstä. Tässä on, mitä se tarkoittaa silloin, kun se tarkoittaa jotakin, ja neljä kysymystä, jotka erottavat nämä kaksi tapausta toisistaan.
"Tieteellisesti validoitu" ei ole suojattu termi. Kukaan ei sertifioi sitä, mikään taho ei auditoi sitä, ja sitä näkee tuotteissa, joiden koko näyttöpohja on se, että moni on tehnyt ne. Kannattaa tietää, mitä termi tarkoittaa, kun sitä käytetään oikein.
Lyhyesti
Validoidulla mittarilla on julkaistu aineisto, joka osoittaa, mitä se mittaa, kuinka tarkasti, missä populaatioissa ja mihin sen pistemääriä voidaan perustellusti käyttää. Validointi ei ole todistus. Se on näytön kokonaisuus, joka on yleensä koottu vuosien aikana ja joka yleensä sisältää löydöksiä, jotka rajoittavat mittarin käyttöä sen sijaan, että ne imartelisivat sitä.
Dokumentoidut rajoitukset ovat yksi parhaista merkeistä. Aito validointikirjallisuus on täynnä niitä: tämä asteikko toimii huonosti nuorilla, tuo osapiirre ei toistu, katkaisuraja riippuu populaatiosta. Tuote, joka raportoi vain vahvuudet, ei ole julkaissut validointiaan; se on julkaissut markkinointinsa.
Neljä kysymystä, jotka tekevät työn
Mikä on lähdejulkaisu? Validoidulla mittarilla on alkuperäinen artikkeli vertaisarvioidussa lehdessä, ja sillä on tekijät, vuosi ja yleensä DOI. Artikkeli kertoo, miten osiot kehitettiin ja millaiset alkuperäiset psykometriset ominaisuudet olivat. Jos kukaan ei osaa nimetä artikkelia, validoinnista ei ole mitään keskusteltavaa.
Vahvistiko joku muu rakenteen? Kehitystiimi löytää kyllä suunnittelemansa rakenteen. Olennaista on, löysikö riippumaton ryhmä riippumattomalla aineistolla saman. Tämä on informatiivisin yksittäinen kysymys, jonka voit esittää, ja se jää useimmiten vaille vastausta.
Minkä populaation pohjalta normit on laadittu ja milloin? Pistemäärä on sijainti viitejakaumassa. Mittari, joka raportoi persentiilin kertomatta, mihin populaatioon se viittaa, on antanut sinulle luvun ilman nimittäjää.
Mitä se tuo lisää? Inkrementaalinen validiteetti vakiintuneeseen mittaan verrattuna. Hyvin moni brändätty konstrukti epäonnistuu tässä: se korreloi niin vahvasti jonkin olemassa olevan piirteen kanssa, ettei se selitä mistään mitään lisävarianssia. Tämä on tieteellisen tarkastelun tavallinen lopputulos, ja se jää näkymättömäksi, ellei joku tee testiä.
Missä kääntäminen mutkistaa asiaa
Englanniksi validoitu mittari ei sillä ole validoitu saksaksi. Asianmukainen kulttuurienvälinen adaptaatio edellyttää käännöstä ja takaisinkäännöstä, asiantuntija-arviota, kognitiivisia haastatteluja ja sitten uutta psykometristä tutkimusta uudella kielellä: säilyykö faktorirakenne ja toimivatko yksittäiset osiot samoin eri ryhmissä.
Mittarit, jotka ohittavat tämän, ovat yleisiä. Kyselylomake, jonka alkuperäinen validointi on moitteeton, voi toimia aivan eri tavalla kielellä, jossa jollakin keskeisellä osiolla on eri sivumerkitys, eikä sitä voi tietää ilman tutkimusta. Kun testiä tarjotaan kymmenellä kielellä, hyödyllinen kysymys on, onko se validoitu kymmenellä kielellä vai validoitu yhdellä ja käännetty yhdeksälle.
Mitä validointi ei tuo
Se ei tee pistemäärästä varmaa. Validoidussakin mittarissa on mittausvirhettä, se kuvaa edelleen populaatiotason säännönmukaisuutta eikä yksilön kohtaloa, ja se mittaa edelleen vain sitä, mihin sen osiot ulottuvat.
Validointi tuo tiedettävissä olevat rajat. Voit selvittää, kuinka paljon virhettä on, missä populaatiossa ja mihin tarkoitukseen. Se on vaatimattomampi väite kuin "tämä testi paljastaa, kuka todella olet", ja se on ainoa, joka kestää tarkastelun.
Jos haluat nähdä, miltä dokumentaatio näyttää silloin, kun se on olemassa, jokainen NOESIS-testiluettelon testi nimeää mittarin, jota se käyttää, sen tekijät ja vuoden, pisteytystavan ja sen taustalla olevan näytön, myös sen, missä kohdin näyttö on kiistanalaista.
Testaa itse
Mittaamisesta lukeminen on yksi asia. Oman pistemääräsi näkeminen lähteineen, normiotoksineen ja rajoituksineen on toinen. Maksuton, ei rekisteröitymistä.
Jatka lukemista
- Mitä on psykometriikka?Tieteenala, joka selvittää, onko psykologinen mittaus hyvä vai ei. Se myös selittää, miksi kahden samankaltaisia kysymyksiä esittävän testin tulosten arvo voi poiketa toisistaan valtavasti.
- Mitä reliabiliteetti on psykologisessa testauksessa?Reliabiliteetti on mittauksen johdonmukaisuutta, ei oikeellisuutta. Testillä voi olla korkea reliabiliteetti, ja silti se voi mitata väärää asiaa. Siksi se on ensimmäinen kysymys, jonka esitämme, mutta ei koskaan viimeinen.
- Mitä validiteetti on psykologisessa testauksessa?Validiteetti ei ole testin ominaisuus. Se on perustelu sille, onko tietyn pistemäärän tietty tulkinta tiettyyn tarkoitukseen puolustettavissa, ja se on rakennettava uudelleen jokaista uutta käyttötarkoitusta varten.
- Mitä on konstruktivaliditeetti?Mittaamisen vaikein kysymys: onko mittaamasi asia olemassa sellaisena kuin olet sen määritellyt, ja tavoittaako mittarisi juuri sen eikä jotakin sen lähellä olevaa.
- Konvergentti ja diskriminantti validiteettiKaksi toistensa peilikuvana olevaa vaatimusta: mittarin on oltava yhtäpitävä sen kanssa, minkä kanssa sen pitääkin olla, ja sen on pysyttävä erillisenä siitä, mitä se väittää olevansa olematta. Useimmat heikot mittarit eivät täytä jälkimmäistä.
- Mitä Cronbachin alfa on ja mitä se ei olePsykologisen testauksen eniten raportoitu tunnusluku ja myös useimmin väärin tulkittu. Alfa ei kerro, että asteikko on yksiulotteinen, ja korkea arvo on usein pikemminkin oire kuin ansio.
- Mittauksen keskivirhe: kuinka paljon pistemääräsi voi poiketa todellisestaJokaiseen pistemäärään liittyy virhemarginaali, ja useimmissa psykologisissa testeissä se on suurempi kuin ihmiset olettavat. Tämä luku kertoo sinulle, milloin ero on todellinen ja milloin se on pelkkää kohinaa.
- Normit ja persentiilit: mihin pistemäärääsi verrataanRaakapistemäärä ei ole yksinään tulkittavissa. Se saa merkityksen vasta suhteessa viiteryhmään, ja se, mitä ryhmää käytettiin, on yksi minkä tahansa testin merkittävimmistä ja vähiten esille tuoduista seikoista.
- Miten psykometrinen testi oikeasti rakennetaanKonstruktin määrittelystä julkaistuihin normeihin prosessi kestää vuosia, ja suurin osa siihen syötetystä aineksesta karsitaan matkan varrella. Kun tunnet vaiheet, on helppo nähdä, mitkä niistä nopea verkkovisa jätti väliin.
- Miksi useimmat internetin persoonallisuustestit eivät ole reliaabeleitaEi siksi, että he olisivat epärehellisiä, vaan siksi, että ne vaiheet, jotka tekevät mittauksesta luotettavan, ovat näkymättömiä, kalliita ja helppoja ohittaa. Niiden ohittaminen ei muuta mitenkään sitä, miltä tulos näyttää.
- Mitä itsearvioinnilla voi mitata ja mitä eiKyselylomakkeet pyytävät sinua tarkkailemaan itseäsi, mikä toimii joissakin asioissa paremmin kuin toisissa. Kun tiedät, missä menetelmä on vahva ja missä se pettää, luet minkä tahansa tuloksen eri tavalla.
- Mitä tarkoittaa, kun testi ennustaa jotakinKorrelaatio 0,30 on persoonallisuustutkimuksessa vahva löydös mutta heikko peruste yhtä ihmistä koskevalle päätökselle. Kumpikin väite pitää paikkansa, ja niiden välinen ero aiheuttaa suurimman osan testitulosten väärinkäytöstä.
- Seulonta ei ole diagnoosiSeulontaan tarkoitettu kyselylomake on rakennettu tunnistamaan mahdollisimman monta mahdollista tapausta, ja korkea väärien positiivisten osuus hyväksytään sen hintana. Jos seulonnan pistemäärää luetaan diagnoosina, käännetään päinvastaiseksi se, mihin lomake on suunniteltu.