Miért nem megbízható a legtöbb internetes személyiségteszt
Nem azért, mert nem őszinték, hanem mert azok a lépések, amelyektől egy mérés megbízhatóvá válik, láthatatlanok, költségesek és könnyen kihagyhatók; kihagyásuk pedig semmit sem változtat azon, hogyan néz ki az eredmény.
Egy ingyenes online személyiségteszt és egy validált pszichometriai mérőeszköz első ránézésre ugyanolyan eredményt ad: egy pontszámot, egy percentilist és egy bekezdést, amely leírja Önt. A különbség teljes egészében abban a munkában rejlik, amelyet az eredményképernyőn nem lát.
Érdemes ezt pontosan megfogalmazni, mert a szokásos megközelítés, miszerint az internetes tesztek csalások, többnyire téves, és nem is túl hasznos. A legtöbbet olyanok készítik, akiknek eszük ágában sincs megtéveszteni senkit. Ezek a tesztek szerkezeti okokból megbízhatatlanok.
Ami jellemzően kimarad
Tételelemzés. Egy megfelelően felépített skála esetében a megírt tételek többségét a kipróbálás után elvetik: azokat, amelyekre mindenki hasonlóan válaszol, amelyek gyengén korrelálnak az összpontszámmal, amelyek egynél több faktorra töltenek, vagy amelyek eltérően működnek különböző életkori vagy nyelvi csoportokban. Egy kipróbálás nélkül megírt és közzétett teszt mindent megtartott, azokat a tételeket is, amelyek nem működnek.
Független szerkezeti megerősítés. Ha a faktorelemzést ugyanazon az adaton végzik, amelyből a skálát felépítették, az visszaadja a megtervezett szerkezetet. Ennek megerősítése egy új mintán külön vizsgálat, és ez az a lépés, amelyen a skálák jelentős része elbukik.
Normák. A percentilisnek valahonnan származnia kell. Ha az oldal nem nevezi meg a referenciapopulációt, a szám vagy a korábbi látogatókból származik, akik egy ismeretlen összetételű, önkiválasztott csoportot alkotnak, vagy semmiből sem.
Teszt-reteszt adatok. Annak igazolásához, hogy az emberek egy hónap múlva is ugyanazt a pontszámot érik el, újra meg kell őket találni. Ezt szinte senki sem teszi meg, ami azt jelenti, hogy a "vonás" szó által sugallt stabilitás nincs bizonyítva.
A tervezési ösztönzők rossz irányba hatnak
Az elköteleződésre épülő teszt más eredményre van optimalizálva, mint a pontosságra épülő, és a kettő kiszámítható módon távolodik el egymástól.
A hízelgő eredmények jobban teljesítenek. A kellemetlen dolgot közlő eredményt kevesebben osztják meg, így az eredmények olyan leírások felé sodródnak, amelyekben mindenki magára ismer. Ez a Barnum-hatás, amelyet az 1940-es években mutattak ki, és azóta megbízhatóan reprodukáltak: az emberek az általános személyiségleírásokat kifejezetten saját magukra nézve nagyon pontosnak ítélik.
A típusok jobban teljesítenek, mint a dimenziók. A "Ön egy Építész" könnyebben megosztható, mint az, hogy "Ön a 68. percentilisen áll a nyitottság terén, széles konfidenciaintervallummal". A típusok ráadásul elfedik a mérési hibát, hiszen aki egy ponttal a kategóriahatár egyik vagy másik oldalára esik, teljesen eltérő címkét kap.
A rövid jobban teljesít, mint a megfelelő. Minden további kérdés válaszadókat veszít, ezért a teszteket olyan hosszúságúra vágják, amely a kitöltést maximalizálja, nem pedig olyanra, amely lefedi a konstruktumot.
Ezek egyike sem hazugság. Egyszerűen a pontosságtól eltérő mutatóra való optimalizálásról van szó.
Hogyan lehet ezt nagyjából harminc másodperc alatt megállapítani
Keressen megnevezett forrás-mérőeszközt szerzőkkel és évszámmal. Keressen nyilatkozatot arról, milyen populációból származnak a normák. Keressen bármilyen utalást a korlátokra vagy a mérési hibára. Nézze meg, hogy az eredmény folytonos pontszám vagy kategória. Nézze meg, hogy ugyanaz az oldal nem ígéri-e azt is, hogy húsz kérdésből meghatározza az Ön ideális karrierjét, partnerét vagy életcélját.
Az a teszt, amely megnevezi a mérőeszközét, hivatkozik a forrására, közli a normáit és megmondja, mit nem tud megmondani Önnek, elvégezte a munkát. Az, amelyik ezek egyikét sem teszi, attól még kellemes módja lehet öt perc eltöltésének, de az általa előállított szám csupán dekoráció.
A NOESIS katalógusában minden mérőeszköz feltünteti, melyik publikált tesztet valósítja meg, ki írta, melyik évben, hogyan pontozzák, és mit nem igazolnak az eredményei. Ez utóbbi az, amelyet érdemes összehasonlítani.
Tegye próbára
Egy dolog a mérésről olvasni. Más dolog látni a saját pontszámát a forrásával, a normamintájával és a korlátaival együtt. Ingyenes, regisztráció nem szükséges.
Olvasson tovább
- Mi a pszichometria?Az a tudományág, amely megállapítja, hogy egy pszichológiai mérés megfelelő-e; és ez az oka annak, hogy két, hasonló kérdéseket feltevő teszt eredményeinek értéke rendkívül eltérő lehet.
- Mi a megbízhatóság a pszichológiai tesztelésben?A megbízhatóság a mérés következetességét jelenti, nem a helyességét. Egy teszt lehet nagyon megbízható, és mégis rossz dolgot mérhet. Ezért ez az első kérdés, amelyet felteszünk, és soha nem az utolsó.
- Mi az érvényesség a pszichológiai tesztelésben?Az érvényesség nem olyan tulajdonság, amellyel egy teszt rendelkezik. Az érvényesség érvelés arról, hogy egy adott pontszám adott értelmezése adott célra védhető-e, és ezt minden új felhasználásnál újra fel kell építeni.
- Mi a konstruktumérvényesség?A mérés legnehezebb kérdése: létezik-e az, amit mér, úgy, ahogyan Ön meghatározta, és valóban azt éri-e el a mérőeszköze, nem pedig valami ahhoz közel esőt.
- Konvergens és diszkrimináns érvényességKét egymást tükröző követelmény: egy mérésnek egyeznie kell azzal, amivel egyeznie kell, és elkülönülnie attól, aminek állítása szerint nem azonos. A legtöbb gyenge mérőeszköz a második követelménynek nem felel meg.
- Mi a Cronbach-alfa, és mi nemA pszichológiai tesztelés leggyakrabban közölt statisztikai mutatója, és egyben a leggyakrabban félreértett is. Az alfa nem árulja el, hogy egy skála egydimenziós-e, és a magas érték gyakran inkább tünet, mint erény.
- A mérés standard hibája: mennyivel térhet el az Ön pontszámaMinden pontszámnak van hibahatára, és a legtöbb pszichológiai teszt esetében ez szélesebb, mint azt az emberek gondolnák. Ez az a szám, amely megmutatja, mikor valódi egy különbség, és mikor csupán zaj.
- Normák és percentilisek: mihez hasonlítják az Ön pontszámátEgy nyers pontszám önmagában nem értelmezhető. Csak egy referenciacsoporthoz viszonyítva válik jelentésessé, és az, hogy melyik csoportot használták, az egyik legnagyobb következményekkel járó és legkevésbé hangoztatott tény bármely tesztről.
- Hogyan készül valójában egy pszichometriai tesztA konstruktum meghatározásától a közzétett normákig a folyamat évekig tart, és a beletett anyag nagy részét elveti. Ha ismeri a lépéseket, nyilvánvalóvá válik, melyeket hagyott ki egy gyors online kvíz.
- Mit jelent, ha egy tesztet validáltnak neveznek?A kifejezés nem szabályozott, és szabadon használják olyan termékek is, amelyek semmit sem tettek meg érte. Az alábbiakban bemutatjuk, mit jelent, amikor valóban jelent valamit, és azt a négy kérdést, amely elválasztja egymástól a két esetet.
- Mit képes mérni az önbeszámoló, és mit nemA kérdőívek arra kérik Önt, hogy saját maga megfigyelője legyen, ami bizonyos dolgok esetében jobban működik, mint másoknál. Ha tudja, hol erős és hol mond csődöt ez a módszer, másképp fog olvasni bármilyen eredményt.
- Mit jelent, ha egy teszt bejósol valamitA 0,30-as korreláció erős eredménynek számít a személyiségkutatásban, ugyanakkor gyenge alapot nyújt egy adott személyre vonatkozó döntéshez. Mindkét állítás igaz, és a kettő közötti szakadék okozza a teszteredményekkel való visszaélések többségét.
- A szűrés nem diagnózisEgy szűrő kérdőívet arra terveznek, hogy a lehető legtöbb lehetséges esetet kiszűrje, és ennek áraként elfogadja a magas álpozitív arányt. Ha egy szűrési pontszámot diagnózisként olvasunk, azzal éppen az ellenkezőjére fordítjuk azt, amire tervezték.