Mitä validiteetti on psykologisessa testauksessa?
Validiteetti ei ole testin ominaisuus. Se on perustelu sille, onko tietyn pistemäärän tietty tulkinta tiettyyn tarkoitukseen puolustettavissa, ja se on rakennettava uudelleen jokaista uutta käyttötarkoitusta varten.
Validiteetti tarkoittaa sitä, mittaako testi sitä, mitä sen väitetään mittaavan, ja ovatko sen pistemääristä tehdyt johtopäätökset perusteltuja. Se on psykometriikan keskeisin kysymys, ja juuri siihen vastataan useimmin markkinointiväitteellä eikä näytöllä.
Nykyinen käsitys, joka on ollut vallalla Messickin 1980-luvun töistä lähtien, on, ettei validiteetti ole mittarin pysyvä ominaisuus. Se on pistemäärien tulkinnan ominaisuus tietyssä käyttötarkoituksessa. Sama kyselylomake voi olla hyvin validoitu henkilön minäkuvan kuvaamiseen ja täysin validoimaton sen päättämiseen, palkataanko hänet. Jos sanoo "tämä testi on validi" kertomatta, mihin tarkoitukseen, kyse ei ole väitteestä vaan iskulauseesta.
Näytön lajit
Validiteetti rakentuu monentyyppisestä kertyneestä näytöstä. Vanhemmissa teksteissä nämä esitetään validiteetin erillisinä lajeina; nykynäkemyksen mukaan ne ovat eri argumentteja, jotka tukevat yhtä ja samaa kokonaisuutta.
Sisältöön perustuva näyttö kysyy, kattavatko osiot konstruktin asianmukaisesti. Masennusasteikko, joka kysyy vain unesta ja ruokahalusta, kattaa somaattiset oireet mutta ohittaa mielialaan ja kognitioon liittyvät oireet. Sisällön kattavuutta arvioivat yleensä alan asiantuntijat, ja tästä syystä hyvin lyhyet asteikot ovat aina kompromissi.
Sisäiseen rakenteeseen perustuva näyttö kysyy, ryhmittyvätkö osiot teorian edellyttämällä tavalla. Jos malli väittää olevan neljä erillistä osapiirrettä, faktorianalyysin pitäisi tuottaa neljä faktoria, ja ratkaisevaa on, että näin käy riippumattomassa otoksessa eikä vain siinä, jonka pohjalta asteikko laadittiin. Hyvin moni mittari tuottaa tavoitellun rakenteensa kehittämisotoksessa mutta ei kenenkään muun otoksessa.
Yhteydet muihin muuttujiin on alue, jolla suurin osa työstä tehdään. Konvergentti näyttö osoittaa, että asteikko korreloi niiden asioiden kanssa, joiden kanssa sen pitääkin korreloida. Diskriminantti näyttö osoittaa, ettei se korreloi liian voimakkaasti sellaisten asioiden kanssa, joista sen pitäisi erottua. Tämä vaatimus laiminlyödään jatkuvasti, ja juuri siihen kaatuu moni uusi brändätty konstrukti. Kriteerinäyttö osoittaa, että pistemäärä on yhteydessä merkitykselliseen lopputulokseen, joko samanaikaisesti mitattuna tai etukäteen ennustettuna.
Seurauksiin perustuva näyttö kysyy, mitä tapahtuu, kun testiä käytetään. Jos mittari asettaa jonkin ryhmän järjestelmällisesti epäedulliseen asemaan konstruktiin liittymättömistä syistä, kyse on validiteettiongelmasta eikä pelkästään eettisestä ongelmasta.
Kysymys, joka paljastaa useimmat väitteet
Terävin validiteettiväitteen koetinkivi on inkrementaalinen validiteetti: tuoko tämä mittari mitään lisää siihen, minkä halvempi, vanhempi ja vakiintunut mittari jo kertoo?
Hämmästyttävän moni brändätty konstrukti epäonnistuu tässä. Ne korreloivat 0,7 tai enemmän jonkin olemassa olevan Big Five -ulottuvuuden kanssa, ennustavat samoja lopputuloksia samalla voimakkuudella eivätkä tuo mitään lisää, kun vanhempi mittari vakioidaan tilastollisesti. Konstrukti on uusi; mittaaminen ei ole. Siksi vakavasti otettavan mittaridokumentaation kritiikkiosiot keskittyvät niin usein päällekkäisyyteen eivätkä epätarkkuuteen.
Mihin kannattaa kiinnittää huomiota
Kun joku väittää testin olevan validoitu, hyödylliset kysymykset ovat konkreettisia. Validoitu minkä kriteerin suhteen? Missä populaatiossa ja kuinka suuressa? Vahvistettiinko faktorirakenne riippumattomassa otoksessa? Onko julkaistua näyttöä tutkijoilta, joilla ei ole kaupallista intressiä vastaukseen? Tuoko se mitään lisää vakiintuneeseen vaihtoehtoon verrattuna?
Mittari, joka vastaa näihin kysymyksiin rehellisesti, on syytä ottaa vakavasti rajoituksineen. Mittari, jonka validointi koostuu suosittelusivusta ja väitteestä, että miljoonat ihmiset ovat tehneet sen, on vastannut kokonaan toiseen kysymykseen: suosio ei ole näyttöä, eikä testin tehneiden ihmisten määrä kerro mitään siitä, merkitsevätkö sen pistemäärät mitään.
Testaa itse
Mittaamisesta lukeminen on yksi asia. Oman pistemääräsi näkeminen lähteineen, normiotoksineen ja rajoituksineen on toinen. Maksuton, ei rekisteröitymistä.
Jatka lukemista
- Mitä on psykometriikka?Tieteenala, joka selvittää, onko psykologinen mittaus hyvä vai ei. Se myös selittää, miksi kahden samankaltaisia kysymyksiä esittävän testin tulosten arvo voi poiketa toisistaan valtavasti.
- Mitä reliabiliteetti on psykologisessa testauksessa?Reliabiliteetti on mittauksen johdonmukaisuutta, ei oikeellisuutta. Testillä voi olla korkea reliabiliteetti, ja silti se voi mitata väärää asiaa. Siksi se on ensimmäinen kysymys, jonka esitämme, mutta ei koskaan viimeinen.
- Mitä on konstruktivaliditeetti?Mittaamisen vaikein kysymys: onko mittaamasi asia olemassa sellaisena kuin olet sen määritellyt, ja tavoittaako mittarisi juuri sen eikä jotakin sen lähellä olevaa.
- Konvergentti ja diskriminantti validiteettiKaksi toistensa peilikuvana olevaa vaatimusta: mittarin on oltava yhtäpitävä sen kanssa, minkä kanssa sen pitääkin olla, ja sen on pysyttävä erillisenä siitä, mitä se väittää olevansa olematta. Useimmat heikot mittarit eivät täytä jälkimmäistä.
- Mitä Cronbachin alfa on ja mitä se ei olePsykologisen testauksen eniten raportoitu tunnusluku ja myös useimmin väärin tulkittu. Alfa ei kerro, että asteikko on yksiulotteinen, ja korkea arvo on usein pikemminkin oire kuin ansio.
- Mittauksen keskivirhe: kuinka paljon pistemääräsi voi poiketa todellisestaJokaiseen pistemäärään liittyy virhemarginaali, ja useimmissa psykologisissa testeissä se on suurempi kuin ihmiset olettavat. Tämä luku kertoo sinulle, milloin ero on todellinen ja milloin se on pelkkää kohinaa.
- Normit ja persentiilit: mihin pistemäärääsi verrataanRaakapistemäärä ei ole yksinään tulkittavissa. Se saa merkityksen vasta suhteessa viiteryhmään, ja se, mitä ryhmää käytettiin, on yksi minkä tahansa testin merkittävimmistä ja vähiten esille tuoduista seikoista.
- Miten psykometrinen testi oikeasti rakennetaanKonstruktin määrittelystä julkaistuihin normeihin prosessi kestää vuosia, ja suurin osa siihen syötetystä aineksesta karsitaan matkan varrella. Kun tunnet vaiheet, on helppo nähdä, mitkä niistä nopea verkkovisa jätti väliin.
- Mitä tarkoittaa, kun testiä kutsutaan validoiduksi?Sana on sääntelemätön, ja sitä käyttävät vapaasti tuotteet, jotka eivät ole tehneet mitään tarvittavasta työstä. Tässä on, mitä se tarkoittaa silloin, kun se tarkoittaa jotakin, ja neljä kysymystä, jotka erottavat nämä kaksi tapausta toisistaan.
- Miksi useimmat internetin persoonallisuustestit eivät ole reliaabeleitaEi siksi, että he olisivat epärehellisiä, vaan siksi, että ne vaiheet, jotka tekevät mittauksesta luotettavan, ovat näkymättömiä, kalliita ja helppoja ohittaa. Niiden ohittaminen ei muuta mitenkään sitä, miltä tulos näyttää.
- Mitä itsearvioinnilla voi mitata ja mitä eiKyselylomakkeet pyytävät sinua tarkkailemaan itseäsi, mikä toimii joissakin asioissa paremmin kuin toisissa. Kun tiedät, missä menetelmä on vahva ja missä se pettää, luet minkä tahansa tuloksen eri tavalla.
- Mitä tarkoittaa, kun testi ennustaa jotakinKorrelaatio 0,30 on persoonallisuustutkimuksessa vahva löydös mutta heikko peruste yhtä ihmistä koskevalle päätökselle. Kumpikin väite pitää paikkansa, ja niiden välinen ero aiheuttaa suurimman osan testitulosten väärinkäytöstä.
- Seulonta ei ole diagnoosiSeulontaan tarkoitettu kyselylomake on rakennettu tunnistamaan mahdollisimman monta mahdollista tapausta, ja korkea väärien positiivisten osuus hyväksytään sen hintana. Jos seulonnan pistemäärää luetaan diagnoosina, käännetään päinvastaiseksi se, mihin lomake on suunniteltu.