Mitä tarkoittaa, kun testi ennustaa jotakin
Korrelaatio 0,30 on persoonallisuustutkimuksessa vahva löydös mutta heikko peruste yhtä ihmistä koskevalle päätökselle. Kumpikin väite pitää paikkansa, ja niiden välinen ero aiheuttaa suurimman osan testitulosten väärinkäytöstä.
Persoonallisuustutkimuksen mukaan tunnollisuus ennustaa työsuoritusta. Tämän lauseen lukiessaan useimmat kuvittelevat jotain paljon vahvempaa kuin mitä aineisto osoittaa. Tilastollisen väitteen ja sanan "ennustaa" arkimerkityksen välinen kuilu on se kohta, josta suurin osa psykologisten testien väärinkäytöstä alkaa.
Kyseessä olevat luvut
Persoonallisuustutkimuksessa vaikutusten suuruudet ilmoitetaan yleensä korrelaatioina. Vakiintuneiden yhteyksien meta-analyyttiset arvot asettuvat tyypillisesti välille 0,20-0,35. Tunnollisuuden ja työsuorituksen yhteys on noin 0,20-0,25. Työtyytyväisyyden ja työsuorituksen yhteys on noin 0,30. Yleinen älykkyys, alan vahvin yksittäinen ennustaja, yltää vaativassa työssä noin arvoon 0,50.
Kun korrelaatio korotetaan toiseen potenssiin, saadaan selitetyn varianssin osuus. Korrelaatio 0,25 selittää noin kuusi prosenttia ihmisten välisistä eroista. Yhdeksänkymmentäneljä prosenttia on jotain muuta: kykyjä, mahdollisuuksia, koulutusta, johtamista, terveyttä, onnea.
Miksi 0,25 on silti todellinen löydös
Väestötasolla pienet korrelaatiot tuottavat huomattavia kokonaisvaikutuksia. Jos valitset tuhat ihmistä, ennustaja, jonka korrelaatio on 0,25, parantaa keskimääräistä lopputulostasi mitattavasti ja toistuvasti. Vakuutusyhtiöt ja epidemiologit rakentavat kokonaisia käytäntöjä tämänsuuruisten vaikutusten varaan.
Koukku on siinä, että kokonaishyöty ja yksilöllinen ennuste ovat eri suureita. Korrelaatio 0,25 tarkoittaa, että korkeita pistemääriä saaneiden joukossa useampi suoriutuu hyvin kuin matalia pistemääriä saaneiden joukossa. Se tarkoittaa myös, että hyvin moni korkeita pistemääriä saanut suoriutuu heikosti ja hyvin moni matalia pistemääriä saanut loistaa. Molemmat väitteet perustuvat samaan lukuun.
Yksittäinen tapaus
Tämä on vaihe, joka jää väliin. Korrelaatio kuvaa kahden jakauman välistä yhteyttä. Se ei oikeuta väitteisiin kenestäkään yksittäisestä ihmisestä.
Jos tunnollisuuden korrelaatio suoritukseen on 0,25, jonkun tunnollisuuden pistemäärän tunteminen kaventaa hänen suorituksensa uskottavaa vaihteluväliä vain vähän. Yksilön ennusteväli pysyy niin leveänä, että se kattaa lähes koko lopputulosten vaihteluvälin. Kun sinulle kerrotaan, että olet tunnollisuudessa 80. persentiilillä, se kertoo hyvin vähän siitä, miten pärjäät tietyssä työssä.
Tästä syystä persoonallisuuden pistemäärien käyttämiselle ensisijaisena valintasuodattimena on heikosti perusteita silloinkin, kun taustalla oleva tutkimus on pätevää. Tutkimus tukee väitettä, että piirteellä on merkitystä. Se ei tue väitettä, että pistemäärä kertoo, mitä hakija tulee tekemään.
Kaksi lisävaroitusta
Ennustaminen ja aiheuttaminen ovat eri asioita. Lähes kaikki tämä kirjallisuus on korrelatiivista. Se, että tunnollisuus ennustaa terveystuloksia, sopii yhteen sen kanssa, että tunnollisuus saa aikaan parempaa terveyskäyttäytymistä, että jokin kolmas tekijä aiheuttaa molemmat, ja käänteisen syy-yhteyden kanssa. Pitkittäisasetelmat kaventavat vaihtoehtoja; harvoin ne sulkevat niitä pois.
Itsearviointiin perustuvat kriteerit paisuttavat lukuja. Kun sama henkilö raportoi sekä ennustajan että lopputuloksen itse saman iltapäivän aikana, yhteinen menetelmävarianssi nostaa korrelaatiota. Objektiivisia lopputuloksia tai muiden antamia arvioita käyttävät tutkimukset raportoivat yleensä pienempiä vaikutuksia, ja juuri niille kannattaa antaa painoa.
Mihin pistemäärä oikeasti sopii
Kun testin pistemäärää luetaan kuvauksena eikä ennustuksena, se on aidosti hyödyllinen. Se kertoo, missä olet suhteessa viiteryhmään piirteessä, jolla on dokumentoituja seurauksia, ja se antaa sinulle sanastoa mallille, jonka olet ehkä huomannut osaamatta nimetä sitä.
Se on arvokasta. Se on eri asia kuin ennuste, ja rehellisen raportin pitäisi tehdä tämä ero puolestasi sen sijaan, että jättäisi sen sinun pääteltäväksesi.
Testaa itse
Mittaamisesta lukeminen on yksi asia. Oman pistemääräsi näkeminen lähteineen, normiotoksineen ja rajoituksineen on toinen. Maksuton, ei rekisteröitymistä.
Jatka lukemista
- Mitä on psykometriikka?Tieteenala, joka selvittää, onko psykologinen mittaus hyvä vai ei. Se myös selittää, miksi kahden samankaltaisia kysymyksiä esittävän testin tulosten arvo voi poiketa toisistaan valtavasti.
- Mitä reliabiliteetti on psykologisessa testauksessa?Reliabiliteetti on mittauksen johdonmukaisuutta, ei oikeellisuutta. Testillä voi olla korkea reliabiliteetti, ja silti se voi mitata väärää asiaa. Siksi se on ensimmäinen kysymys, jonka esitämme, mutta ei koskaan viimeinen.
- Mitä validiteetti on psykologisessa testauksessa?Validiteetti ei ole testin ominaisuus. Se on perustelu sille, onko tietyn pistemäärän tietty tulkinta tiettyyn tarkoitukseen puolustettavissa, ja se on rakennettava uudelleen jokaista uutta käyttötarkoitusta varten.
- Mitä on konstruktivaliditeetti?Mittaamisen vaikein kysymys: onko mittaamasi asia olemassa sellaisena kuin olet sen määritellyt, ja tavoittaako mittarisi juuri sen eikä jotakin sen lähellä olevaa.
- Konvergentti ja diskriminantti validiteettiKaksi toistensa peilikuvana olevaa vaatimusta: mittarin on oltava yhtäpitävä sen kanssa, minkä kanssa sen pitääkin olla, ja sen on pysyttävä erillisenä siitä, mitä se väittää olevansa olematta. Useimmat heikot mittarit eivät täytä jälkimmäistä.
- Mitä Cronbachin alfa on ja mitä se ei olePsykologisen testauksen eniten raportoitu tunnusluku ja myös useimmin väärin tulkittu. Alfa ei kerro, että asteikko on yksiulotteinen, ja korkea arvo on usein pikemminkin oire kuin ansio.
- Mittauksen keskivirhe: kuinka paljon pistemääräsi voi poiketa todellisestaJokaiseen pistemäärään liittyy virhemarginaali, ja useimmissa psykologisissa testeissä se on suurempi kuin ihmiset olettavat. Tämä luku kertoo sinulle, milloin ero on todellinen ja milloin se on pelkkää kohinaa.
- Normit ja persentiilit: mihin pistemäärääsi verrataanRaakapistemäärä ei ole yksinään tulkittavissa. Se saa merkityksen vasta suhteessa viiteryhmään, ja se, mitä ryhmää käytettiin, on yksi minkä tahansa testin merkittävimmistä ja vähiten esille tuoduista seikoista.
- Miten psykometrinen testi oikeasti rakennetaanKonstruktin määrittelystä julkaistuihin normeihin prosessi kestää vuosia, ja suurin osa siihen syötetystä aineksesta karsitaan matkan varrella. Kun tunnet vaiheet, on helppo nähdä, mitkä niistä nopea verkkovisa jätti väliin.
- Mitä tarkoittaa, kun testiä kutsutaan validoiduksi?Sana on sääntelemätön, ja sitä käyttävät vapaasti tuotteet, jotka eivät ole tehneet mitään tarvittavasta työstä. Tässä on, mitä se tarkoittaa silloin, kun se tarkoittaa jotakin, ja neljä kysymystä, jotka erottavat nämä kaksi tapausta toisistaan.
- Miksi useimmat internetin persoonallisuustestit eivät ole reliaabeleitaEi siksi, että he olisivat epärehellisiä, vaan siksi, että ne vaiheet, jotka tekevät mittauksesta luotettavan, ovat näkymättömiä, kalliita ja helppoja ohittaa. Niiden ohittaminen ei muuta mitenkään sitä, miltä tulos näyttää.
- Mitä itsearvioinnilla voi mitata ja mitä eiKyselylomakkeet pyytävät sinua tarkkailemaan itseäsi, mikä toimii joissakin asioissa paremmin kuin toisissa. Kun tiedät, missä menetelmä on vahva ja missä se pettää, luet minkä tahansa tuloksen eri tavalla.
- Seulonta ei ole diagnoosiSeulontaan tarkoitettu kyselylomake on rakennettu tunnistamaan mahdollisimman monta mahdollista tapausta, ja korkea väärien positiivisten osuus hyväksytään sen hintana. Jos seulonnan pistemäärää luetaan diagnoosina, käännetään päinvastaiseksi se, mihin lomake on suunniteltu.