Miten psykometrinen testi oikeasti rakennetaan
Konstruktin määrittelystä julkaistuihin normeihin prosessi kestää vuosia, ja suurin osa siihen syötetystä aineksesta karsitaan matkan varrella. Kun tunnet vaiheet, on helppo nähdä, mitkä niistä nopea verkkovisa jätti väliin.
Julkaisuun asti päätyvän psykometrisen mittarin takana on yleensä viiden tai kuuden vuoden työ, ja suurin osa sitä varten kirjoitetusta on matkan varrella hylätty. Työvaiheet kannattaa tuntea, koska jokainen niistä vastaa yhtä tapaa, jolla testi voi olla puutteellinen.
1. Määrittele konstrukti
Ennen kuin yhtään osiota kirjoitetaan, konstrukti on määriteltävä niin tarkasti, että voidaan sanoa, mikä jää sen ulkopuolelle. Tämä tarkoittaa määritelmää, kuvausta ulottuvuusrakenteesta (yksi ulottuvuus vai useita, ja jos useita, miten ne liittyvät toisiinsa) sekä selkeää selvitystä siitä, mistä lähikonstrukteista sen on tarkoitus erottua.
Tämän vaiheen ohittaminen on useimpien tarpeettomien mittareiden alkuperä. Käsitteen intuitiivisen tajun varaan rakennettu asteikko päätyy yleensä mittaamaan vakiintunutta piirrettä uudella nimellä.
2. Laadi osiopooli
Osioita laaditaan selvästi enemmän kuin lopulta säilyy, tyypillisesti kolmesta viiteen kertaa lopullinen määrä. Ne pohjautuvat teoriaan, olemassa oleviin mittareihin, haastatteluihin ihmisten kanssa, joilla on kuvattava kokemus, sekä alan asiantuntijoihin.
Tässä vaiheessa poolia tarkastellaan sisällön kattavuuden (kattaako se koko konstruktin vai kasautuuko se yhteen osapiirteeseen?), luettavuustason, kaksoismerkityksisten muotoilujen ja sellaisten osioiden kannalta, jotka todellisuudessa kysyvät jotain muuta.
3. Esitestaa ja karsi
Pooli annetaan ensimmäiselle otokselle. Analyysi on pääosin karsivaa.
Osiot, joissa ei ole juuri lainkaan vaihtelua, poistetaan: kysymys, johon kaikki vastaavat samoin, ei erottele ketään. Osiot, jotka korreloivat heikosti kokonaispistemäärän kanssa, poistetaan. Osiot, jotka latautuvat useammalle kuin yhdelle faktorille, poistetaan. Osiot, jotka toimivat eri tavoin eri väestöryhmissä piirteestä riippumattomista syistä (osioiden erilainen toiminta, differential item functioning), poistetaan, ja juuri tämä tarkistus jätetään useimmiten tekemättä.
Jäljelle jää tyypillisesti kolmannes kirjoitetusta.
4. Vahvista rakenne uudessa otoksessa
Tämä vaihe erottaa vakavasti otettavat mittarit muista. Kehitysotoksella tehty faktorianalyysi löytää sen rakenteen, joka on suunniteltu, ja sen on pakkokin löytää, koska osiot valittiin tuottamaan se. Todellinen koe on konfirmatorinen faktorianalyysi riippumattomassa otoksessa.
Hyvin monet julkaistut asteikot tuottavat tarkoitetun rakenteensa vain siinä aineistossa, jolla ne rakennettiin. Kun joku muu kerää uutta aineistoa, faktorit eivät ilmaannu. Tämä epäonnistuminen on niin yleistä, että kysymys "vahvistettiinko rakenne riippumattomassa otoksessa?" on yksi tehokkaimmista, joita mistä tahansa mittarista voi esittää.
5. Kerää validiteettinäyttöä
Korrelaatiot saman konstruktin vakiintuneiden mittareiden kanssa. Korrelaatiot konstruktien kanssa, joista sen pitäisi erottua; näiden on syytä olla matalampia. Yhteydet merkityksellisiin lopputuloksiin. Inkrementaalinen validiteetti suhteessa jo olemassa olevaan. Testi-uusintatestipysyvyys konstruktiin sopivalla aikavälillä.
Tämä vaihe ei pääty. Se jatkuu niin kauan kuin mittaria käytetään, ja juuri tässä vaiheessa mittareiden puutteet useimmiten paljastuvat vuosia julkaisun jälkeen.
6. Laadi normit
Viiteotos, joka on riittävän suuri ja riittävän edustava aiotulle perusjoukolle, ositettu silloin, kun piirre vaihtelee iän tai sukupuolen mukaan, ja dokumentoitu vuoden ja maan osalta. Sen jälkeen normit uusitaan säännöllisesti, koska ne liukuvat ajan myötä.
7. Käännä, jos mittaria käytetään muualla
Kääntäminen ei ole kielellinen harjoitus. Asianmukainen adaptaatio tarkoittaa käännöstä kohdekielelle, riippumatonta takaisinkäännöstä, asiantuntija-arviota, kognitiivisia haastatteluja kohdekielen puhujien kanssa ja sen jälkeen uutta psykometristä tutkimusta uudella kielellä, jossa testataan, säilyykö rakenne ja toimivatko osiot vastaavasti. Ilman tällaista tutkimusta käännetty mittari on kyseisellä kielellä testaamaton mittari, olivatpa sen ansiot alkuperäiskielellä mitkä tahansa.
Mitä tämä merkitsee pikavisan kannalta
Iltapäivässä kirjoitettu testi on suorittanut vaiheen kaksi. Se voi hyvinkin tuottaa uskottavan näköisen tuloksen, persentiilin ja kappaleen verran kuvausta. Sen ohittamat vaiheet ovat juuri niitä, jotka olisivat osoittaneet, merkitseekö mikään tästä mitään.
Testaa itse
Mittaamisesta lukeminen on yksi asia. Oman pistemääräsi näkeminen lähteineen, normiotoksineen ja rajoituksineen on toinen. Maksuton, ei rekisteröitymistä.
Jatka lukemista
- Mitä on psykometriikka?Tieteenala, joka selvittää, onko psykologinen mittaus hyvä vai ei. Se myös selittää, miksi kahden samankaltaisia kysymyksiä esittävän testin tulosten arvo voi poiketa toisistaan valtavasti.
- Mitä reliabiliteetti on psykologisessa testauksessa?Reliabiliteetti on mittauksen johdonmukaisuutta, ei oikeellisuutta. Testillä voi olla korkea reliabiliteetti, ja silti se voi mitata väärää asiaa. Siksi se on ensimmäinen kysymys, jonka esitämme, mutta ei koskaan viimeinen.
- Mitä validiteetti on psykologisessa testauksessa?Validiteetti ei ole testin ominaisuus. Se on perustelu sille, onko tietyn pistemäärän tietty tulkinta tiettyyn tarkoitukseen puolustettavissa, ja se on rakennettava uudelleen jokaista uutta käyttötarkoitusta varten.
- Mitä on konstruktivaliditeetti?Mittaamisen vaikein kysymys: onko mittaamasi asia olemassa sellaisena kuin olet sen määritellyt, ja tavoittaako mittarisi juuri sen eikä jotakin sen lähellä olevaa.
- Konvergentti ja diskriminantti validiteettiKaksi toistensa peilikuvana olevaa vaatimusta: mittarin on oltava yhtäpitävä sen kanssa, minkä kanssa sen pitääkin olla, ja sen on pysyttävä erillisenä siitä, mitä se väittää olevansa olematta. Useimmat heikot mittarit eivät täytä jälkimmäistä.
- Mitä Cronbachin alfa on ja mitä se ei olePsykologisen testauksen eniten raportoitu tunnusluku ja myös useimmin väärin tulkittu. Alfa ei kerro, että asteikko on yksiulotteinen, ja korkea arvo on usein pikemminkin oire kuin ansio.
- Mittauksen keskivirhe: kuinka paljon pistemääräsi voi poiketa todellisestaJokaiseen pistemäärään liittyy virhemarginaali, ja useimmissa psykologisissa testeissä se on suurempi kuin ihmiset olettavat. Tämä luku kertoo sinulle, milloin ero on todellinen ja milloin se on pelkkää kohinaa.
- Normit ja persentiilit: mihin pistemäärääsi verrataanRaakapistemäärä ei ole yksinään tulkittavissa. Se saa merkityksen vasta suhteessa viiteryhmään, ja se, mitä ryhmää käytettiin, on yksi minkä tahansa testin merkittävimmistä ja vähiten esille tuoduista seikoista.
- Mitä tarkoittaa, kun testiä kutsutaan validoiduksi?Sana on sääntelemätön, ja sitä käyttävät vapaasti tuotteet, jotka eivät ole tehneet mitään tarvittavasta työstä. Tässä on, mitä se tarkoittaa silloin, kun se tarkoittaa jotakin, ja neljä kysymystä, jotka erottavat nämä kaksi tapausta toisistaan.
- Miksi useimmat internetin persoonallisuustestit eivät ole reliaabeleitaEi siksi, että he olisivat epärehellisiä, vaan siksi, että ne vaiheet, jotka tekevät mittauksesta luotettavan, ovat näkymättömiä, kalliita ja helppoja ohittaa. Niiden ohittaminen ei muuta mitenkään sitä, miltä tulos näyttää.
- Mitä itsearvioinnilla voi mitata ja mitä eiKyselylomakkeet pyytävät sinua tarkkailemaan itseäsi, mikä toimii joissakin asioissa paremmin kuin toisissa. Kun tiedät, missä menetelmä on vahva ja missä se pettää, luet minkä tahansa tuloksen eri tavalla.
- Mitä tarkoittaa, kun testi ennustaa jotakinKorrelaatio 0,30 on persoonallisuustutkimuksessa vahva löydös mutta heikko peruste yhtä ihmistä koskevalle päätökselle. Kumpikin väite pitää paikkansa, ja niiden välinen ero aiheuttaa suurimman osan testitulosten väärinkäytöstä.
- Seulonta ei ole diagnoosiSeulontaan tarkoitettu kyselylomake on rakennettu tunnistamaan mahdollisimman monta mahdollista tapausta, ja korkea väärien positiivisten osuus hyväksytään sen hintana. Jos seulonnan pistemäärää luetaan diagnoosina, käännetään päinvastaiseksi se, mihin lomake on suunniteltu.