Hogyan készül valójában egy pszichometriai teszt
A konstruktum meghatározásától a közzétett normákig a folyamat évekig tart, és a beletett anyag nagy részét elveti. Ha ismeri a lépéseket, nyilvánvalóvá válik, melyeket hagyott ki egy gyors online kvíz.
Egy publikálásig eljutó pszichometriai mérőeszköz mögött általában öt-hat év munka áll, és a hozzá írt anyag nagy részét menet közben elvetik. Érdemes ismerni ezt a folyamatot, mert minden egyes szakasza egy-egy olyan módnak felel meg, ahogyan egy teszt elégtelen lehet.
1. A konstruktum meghatározása
Mielőtt egyetlen tétel is megszületne, a konstruktumot olyan pontosan kell meghatározni, hogy meg lehessen mondani, mi esik kívül rajta. Ez egy definíciót jelent, a dimenzionális szerkezet leírását (egy dimenzió vagy több, és ha több, hogyan viszonyulnak egymáshoz), valamint annak kifejezett rögzítését, hogy mely szomszédos konstruktumoktól kell elkülönülnie.
E szakasz kihagyása áll a legtöbb redundáns mérőeszköz hátterében. Egy fogalom intuitív érzékelésére épülő skála rendszerint egy már ismert vonást mér, csak új néven.
2. Tételkészlet létrehozása
A tételekből jóval többet írnak, mint amennyi megmarad: jellemzően a végleges szám három-ötszörösét. Forrásuk az elmélet, a meglévő mérőeszközök, a leírt tapasztalattal rendelkező emberekkel készített interjúk és a szakterület szakértői.
Ebben a szakaszban a készletet átvizsgálják a tartalmi lefedettség szempontjából (átfogja-e a teljes konstruktumot, vagy egyetlen aspektus köré csoportosul?), az olvasási szint, a kettős kérdést tartalmazó megfogalmazások, valamint az olyan tételek szempontjából, amelyek valójában valami másra kérdeznek rá.
3. Kipróbálás és szűkítés
A tételkészlet egy első mintához kerül. Az elemzés nagyrészt romboló jellegű.
Kiesnek azok a tételek, amelyeknek szinte nincs varianciája: egy kérdés, amelyre mindenki ugyanúgy válaszol, senkit sem különböztet meg. Kiesnek azok a tételek, amelyek gyengén korrelálnak a teljes pontszámmal. Kiesnek azok, amelyek egynél több faktorra töltenek. Kiesnek azok a tételek, amelyek a vonástól független okokból eltérően viselkednek különböző demográfiai csoportokban (differenciális tételműködés); ez az ellenőrzés az egyik leggyakrabban kihagyott lépés.
Ami megmarad, az jellemzően a megírt anyag egyharmada.
4. A szerkezet megerősítése egy új mintán
Ez az a lépés, amely elválasztja a komoly mérőeszközöket a többitől. A fejlesztési mintán végzett faktorelemzés vissza fogja adni a beletervezett szerkezetet; ennek így kell lennie, hiszen a tételeket éppen ennek előállítására választották ki. Az igazi próba a megerősítő faktorelemzés egy független mintán.
Nagyon sok publikált skála csak azokon az adatokon adja vissza a szándékolt szerkezetét, amelyekből felépítették. Amikor valaki más gyűjt új adatokat, a faktorok nem jelennek meg. Ez a kudarc annyira gyakori, hogy a "Megerősítették-e a szerkezetet egy független mintán?" kérdés az egyik leghatékonyabb kérdés, amelyet bármely mérőeszközzel kapcsolatban fel lehet tenni.
5. Érvényességi bizonyítékok gyűjtése
Korrelációk ugyanannak a konstruktumnak a már elfogadott mérőeszközeivel. Korrelációk azokkal a konstruktumokkal, amelyektől el kell különülnie; ezeknek jobb, ha alacsonyabbak. Kapcsolatok a lényeges kimenetekkel. Növekményes érvényesség a már meglévőkhöz képest. Teszt-reteszt stabilitás a konstruktumnak megfelelő időközön.
Ez a szakasz nem ér véget. Addig tart, amíg a mérőeszközt használják, és gyakran éppen itt derül ki évekkel a publikálás után, hogy egy mérőeszköz nem állja meg a helyét.
6. Normák kialakítása
Egy referenciaminta, amely elég nagy és elég reprezentatív a célpopulációra nézve, rétegzett ott, ahol a vonás életkor vagy nem szerint változik, és dokumentált az év és az ország tekintetében. Ezt aztán időről időre meg kell ismételni, mert a normák elcsúsznak.
7. Fordítás, ha máshol is használni fogják
A fordítás nem nyelvi gyakorlat. A megfelelő adaptáció előrefordítást, független visszafordítást, szakértői áttekintést, kognitív interjúkat a célnyelv beszélőivel, majd egy új pszichometriai vizsgálatot jelent az új nyelven annak ellenőrzésére, hogy a szerkezet megmarad-e, és a tételek egyenértékűen működnek-e. Egy ilyen vizsgálat nélkül lefordított mérőeszköz azon a nyelven teszteletlen mérőeszköz, bármilyen elismert is az eredeti változata.
Mit jelent ez a gyorstesztekre nézve
Egy délután alatt megírt teszt a második lépésig jutott el. Könnyen lehet, hogy hihetőnek tűnő eredményt ad, egy percentilist és egy bekezdésnyi leírást. Azok a lépések maradtak ki, amelyek megállapították volna, hogy mindez jelent-e bármit is.
Tegye próbára
Egy dolog a mérésről olvasni. Más dolog látni a saját pontszámát a forrásával, a normamintájával és a korlátaival együtt. Ingyenes, regisztráció nem szükséges.
Olvasson tovább
- Mi a pszichometria?Az a tudományág, amely megállapítja, hogy egy pszichológiai mérés megfelelő-e; és ez az oka annak, hogy két, hasonló kérdéseket feltevő teszt eredményeinek értéke rendkívül eltérő lehet.
- Mi a megbízhatóság a pszichológiai tesztelésben?A megbízhatóság a mérés következetességét jelenti, nem a helyességét. Egy teszt lehet nagyon megbízható, és mégis rossz dolgot mérhet. Ezért ez az első kérdés, amelyet felteszünk, és soha nem az utolsó.
- Mi az érvényesség a pszichológiai tesztelésben?Az érvényesség nem olyan tulajdonság, amellyel egy teszt rendelkezik. Az érvényesség érvelés arról, hogy egy adott pontszám adott értelmezése adott célra védhető-e, és ezt minden új felhasználásnál újra fel kell építeni.
- Mi a konstruktumérvényesség?A mérés legnehezebb kérdése: létezik-e az, amit mér, úgy, ahogyan Ön meghatározta, és valóban azt éri-e el a mérőeszköze, nem pedig valami ahhoz közel esőt.
- Konvergens és diszkrimináns érvényességKét egymást tükröző követelmény: egy mérésnek egyeznie kell azzal, amivel egyeznie kell, és elkülönülnie attól, aminek állítása szerint nem azonos. A legtöbb gyenge mérőeszköz a második követelménynek nem felel meg.
- Mi a Cronbach-alfa, és mi nemA pszichológiai tesztelés leggyakrabban közölt statisztikai mutatója, és egyben a leggyakrabban félreértett is. Az alfa nem árulja el, hogy egy skála egydimenziós-e, és a magas érték gyakran inkább tünet, mint erény.
- A mérés standard hibája: mennyivel térhet el az Ön pontszámaMinden pontszámnak van hibahatára, és a legtöbb pszichológiai teszt esetében ez szélesebb, mint azt az emberek gondolnák. Ez az a szám, amely megmutatja, mikor valódi egy különbség, és mikor csupán zaj.
- Normák és percentilisek: mihez hasonlítják az Ön pontszámátEgy nyers pontszám önmagában nem értelmezhető. Csak egy referenciacsoporthoz viszonyítva válik jelentésessé, és az, hogy melyik csoportot használták, az egyik legnagyobb következményekkel járó és legkevésbé hangoztatott tény bármely tesztről.
- Mit jelent, ha egy tesztet validáltnak neveznek?A kifejezés nem szabályozott, és szabadon használják olyan termékek is, amelyek semmit sem tettek meg érte. Az alábbiakban bemutatjuk, mit jelent, amikor valóban jelent valamit, és azt a négy kérdést, amely elválasztja egymástól a két esetet.
- Miért nem megbízható a legtöbb internetes személyiségtesztNem azért, mert nem őszinték, hanem mert azok a lépések, amelyektől egy mérés megbízhatóvá válik, láthatatlanok, költségesek és könnyen kihagyhatók; kihagyásuk pedig semmit sem változtat azon, hogyan néz ki az eredmény.
- Mit képes mérni az önbeszámoló, és mit nemA kérdőívek arra kérik Önt, hogy saját maga megfigyelője legyen, ami bizonyos dolgok esetében jobban működik, mint másoknál. Ha tudja, hol erős és hol mond csődöt ez a módszer, másképp fog olvasni bármilyen eredményt.
- Mit jelent, ha egy teszt bejósol valamitA 0,30-as korreláció erős eredménynek számít a személyiségkutatásban, ugyanakkor gyenge alapot nyújt egy adott személyre vonatkozó döntéshez. Mindkét állítás igaz, és a kettő közötti szakadék okozza a teszteredményekkel való visszaélések többségét.
- A szűrés nem diagnózisEgy szűrő kérdőívet arra terveznek, hogy a lehető legtöbb lehetséges esetet kiszűrje, és ennek áraként elfogadja a magas álpozitív arányt. Ha egy szűrési pontszámot diagnózisként olvasunk, azzal éppen az ellenkezőjére fordítjuk azt, amire tervezték.