Konvergentti ja diskriminantti validiteetti
Kaksi toistensa peilikuvana olevaa vaatimusta: mittarin on oltava yhtäpitävä sen kanssa, minkä kanssa sen pitääkin olla, ja sen on pysyttävä erillisenä siitä, mitä se väittää olevansa olematta. Useimmat heikot mittarit eivät täytä jälkimmäistä.
Konvergentti ja diskriminantti validiteetti ovat yhden ja saman vaatimuksen kaksi puolta. Mittarin on korreloitava niiden asioiden kanssa, joiden kanssa sen teorian mukaan pitäisi, eikä se saa korreloida liian voimakkaasti niiden asioiden kanssa, joista sen on tarkoitus erota. Toisen täyttäminen ilman toista ei ole osittainen onnistuminen; se on yleensä merkki siitä, että konstrukti ei ole sitä, mitä se väittää olevansa.
Konvergentti validiteetti
Konvergentti näyttö osoittaa, että mittari on linjassa saman asian muiden osoittimien kanssa. Uuden ahdistuneisuusasteikon pitäisi korreloida huomattavasti vakiintuneiden ahdistuneisuusasteikkojen ja kliinikon arvioiden kanssa sekä mieluiten myös jonkin muun kuin toisen kyselylomakkeen kanssa, kuten fysiologisten mittausten tai havaitun välttämiskäyttäytymisen.
Korrelaatioiden odotetaan tässä yleensä olevan yli 0,50, usein yli 0,70, kun vertailumittari on saman konstruktin vakiintunut mittari. Tätä matalammilla arvoilla joko uusi asteikko tai vertailumittari mittaa jotain muuta.
Tässä on ansa. Korrelaatio 0,95 olemassa olevan asteikon kanssa ei ole voitto; se tarkoittaa, että uusi mittari on uudelleenpaketointi, ja rehellinen kysymys kuuluu, mitä se tuo lisää. Konvergentti validiteetti on alaraja, ei maksimoitava tavoite.
Diskriminantti validiteetti
Diskriminantti näyttö osoittaa, että mittari pysyy erillään konstrukteista, joista se väittää eroavansa. Juuri täällä kiinnostavat epäonnistumiset piilevät.
Sama kaava toistuu kirjallisuudessa. Sinnikkyys (grit) korreloi noin 0,84 tunnollisuuden kanssa, niin läheisesti, että meta-analyysissa sen havaittiin tuovan akateemisen menestyksen ennustamiseen lähes mitään lisää, kun tunnollisuus on vakioitu. Itsearviointiin perustuva tunneäly on suurelta osin päällekkäinen emotionaalisen tasapainoisuuden, ulospäinsuuntautuneisuuden ja tunnollisuuden yhdistelmän kanssa. Dark Triadin piirteiden yhteinen varianssi katoaa suurelta osin, kun HEXACO-mallin Honesty-Humility otetaan huomioon. Kussakin tapauksessa konstrukti esiteltiin uutena alueena, ja se osoittautui olemassa olevan kartan uudelleennimetyksi osaksi.
Diskriminantin validiteetin kohdalla tulevat esiin myös menetelmävaikutukset. Jos jokainen tutkimuksen itsearviointiin perustuva konstrukti korreloi 0,4 jokaisen muun kanssa, yhteinen tekijä on todennäköisesti vastaajan vastaustyyli eikä mikään yhteinen psykologinen tekijä.
Testi, joka ratkaisee asian
Ratkaiseva menettely on inkrementaalinen validiteetti: syötä ensin vakiintunut mittari regressioon, sitten uusi, ja katso, selittääkö uusi mittari lisää varianssia lopputulosmuuttujassa. Jos ei selitä, konstrukti voi silti olla teoreettisesti kiinnostava, mutta mittari ei mittaa mitään, mitä alalla ei jo ollut.
Tämä on vaativa standardi, ja hyvin monia julkaistuja asteikkoja ei ole koskaan arvioitu sen avulla. Kun arvioidaan, tulos on usein yllä kuvattu päällekkäisyyslöydös. Se ei ole skandaali, vaan tavanomaista tieteellistä karsintaa, mutta se tarkoittaa, että konstruktin suosio ei kerro mitään siitä, läpäiseekö se testin.
Mitä se muuttaa lukijalle
Kun testi raportoi useita pistemääriä, hyödyllinen kysymys on, ovatko pistemäärät todella erillisiä. Neljä ulottuvuutta, jotka korreloivat keskenään 0,8, ovat yksi ulottuvuus neljällä nimellä, ja niistä rakennettu profiili näyttää eriytyneeltä, vaikka se sisältää tuskin lainkaan itsenäistä tietoa.
Mittarit, jotka raportoivat asteikkojen väliset korrelaationsa, antavat sinun tarkistaa tämän itse. Mittarit, jotka esittävät nelikenttätyypin näyttämättä koskaan, miten kentät liittyvät toisiinsa, ovat tehneet tarkistuksen mahdottomaksi, ja yleensä juuri se on tarkoituskin.
Testaa itse
Mittaamisesta lukeminen on yksi asia. Oman pistemääräsi näkeminen lähteineen, normiotoksineen ja rajoituksineen on toinen. Maksuton, ei rekisteröitymistä.
Jatka lukemista
- Mitä on psykometriikka?Tieteenala, joka selvittää, onko psykologinen mittaus hyvä vai ei. Se myös selittää, miksi kahden samankaltaisia kysymyksiä esittävän testin tulosten arvo voi poiketa toisistaan valtavasti.
- Mitä reliabiliteetti on psykologisessa testauksessa?Reliabiliteetti on mittauksen johdonmukaisuutta, ei oikeellisuutta. Testillä voi olla korkea reliabiliteetti, ja silti se voi mitata väärää asiaa. Siksi se on ensimmäinen kysymys, jonka esitämme, mutta ei koskaan viimeinen.
- Mitä validiteetti on psykologisessa testauksessa?Validiteetti ei ole testin ominaisuus. Se on perustelu sille, onko tietyn pistemäärän tietty tulkinta tiettyyn tarkoitukseen puolustettavissa, ja se on rakennettava uudelleen jokaista uutta käyttötarkoitusta varten.
- Mitä on konstruktivaliditeetti?Mittaamisen vaikein kysymys: onko mittaamasi asia olemassa sellaisena kuin olet sen määritellyt, ja tavoittaako mittarisi juuri sen eikä jotakin sen lähellä olevaa.
- Mitä Cronbachin alfa on ja mitä se ei olePsykologisen testauksen eniten raportoitu tunnusluku ja myös useimmin väärin tulkittu. Alfa ei kerro, että asteikko on yksiulotteinen, ja korkea arvo on usein pikemminkin oire kuin ansio.
- Mittauksen keskivirhe: kuinka paljon pistemääräsi voi poiketa todellisestaJokaiseen pistemäärään liittyy virhemarginaali, ja useimmissa psykologisissa testeissä se on suurempi kuin ihmiset olettavat. Tämä luku kertoo sinulle, milloin ero on todellinen ja milloin se on pelkkää kohinaa.
- Normit ja persentiilit: mihin pistemäärääsi verrataanRaakapistemäärä ei ole yksinään tulkittavissa. Se saa merkityksen vasta suhteessa viiteryhmään, ja se, mitä ryhmää käytettiin, on yksi minkä tahansa testin merkittävimmistä ja vähiten esille tuoduista seikoista.
- Miten psykometrinen testi oikeasti rakennetaanKonstruktin määrittelystä julkaistuihin normeihin prosessi kestää vuosia, ja suurin osa siihen syötetystä aineksesta karsitaan matkan varrella. Kun tunnet vaiheet, on helppo nähdä, mitkä niistä nopea verkkovisa jätti väliin.
- Mitä tarkoittaa, kun testiä kutsutaan validoiduksi?Sana on sääntelemätön, ja sitä käyttävät vapaasti tuotteet, jotka eivät ole tehneet mitään tarvittavasta työstä. Tässä on, mitä se tarkoittaa silloin, kun se tarkoittaa jotakin, ja neljä kysymystä, jotka erottavat nämä kaksi tapausta toisistaan.
- Miksi useimmat internetin persoonallisuustestit eivät ole reliaabeleitaEi siksi, että he olisivat epärehellisiä, vaan siksi, että ne vaiheet, jotka tekevät mittauksesta luotettavan, ovat näkymättömiä, kalliita ja helppoja ohittaa. Niiden ohittaminen ei muuta mitenkään sitä, miltä tulos näyttää.
- Mitä itsearvioinnilla voi mitata ja mitä eiKyselylomakkeet pyytävät sinua tarkkailemaan itseäsi, mikä toimii joissakin asioissa paremmin kuin toisissa. Kun tiedät, missä menetelmä on vahva ja missä se pettää, luet minkä tahansa tuloksen eri tavalla.
- Mitä tarkoittaa, kun testi ennustaa jotakinKorrelaatio 0,30 on persoonallisuustutkimuksessa vahva löydös mutta heikko peruste yhtä ihmistä koskevalle päätökselle. Kumpikin väite pitää paikkansa, ja niiden välinen ero aiheuttaa suurimman osan testitulosten väärinkäytöstä.
- Seulonta ei ole diagnoosiSeulontaan tarkoitettu kyselylomake on rakennettu tunnistamaan mahdollisimman monta mahdollista tapausta, ja korkea väärien positiivisten osuus hyväksytään sen hintana. Jos seulonnan pistemäärää luetaan diagnoosina, käännetään päinvastaiseksi se, mihin lomake on suunniteltu.