Ce înseamnă atunci când un test prezice ceva
O corelație de 0,30 este o constatare solidă în cercetarea personalității și o bază șubredă pentru o decizie despre o singură persoană. Ambele afirmații sunt adevărate, iar diferența dintre ele cauzează cea mai mare parte a utilizării greșite a rezultatelor testelor.
Cercetările din domeniul personalității arată că conștiinciozitatea prezice performanța profesională. Citind această propoziție, majoritatea oamenilor își imaginează ceva mult mai puternic decât ceea ce arată de fapt datele. Diferența dintre afirmația statistică și sensul de zi cu zi al cuvântului "prezice" este locul de unde începe majoritatea utilizărilor greșite ale testării psihologice.
Cifrele implicate
Dimensiunile efectului în cercetarea din domeniul personalității sunt de obicei raportate ca corelații. Valorile meta-analitice pentru relațiile bine stabilite tind să se situeze între 0,20 și 0,35. Conștiinciozitatea și performanța profesională se situează în jur de 0,20 până la 0,25. Satisfacția profesională și performanța profesională se situează în jur de 0,30. Abilitatea mentală generală, cel mai puternic predictor unic din domeniu, atinge aproximativ 0,50 pentru munca complexă.
Dacă ridici o corelație la putere, obții proporția de varianță explicată. O corelație de 0,25 explică aproximativ șase la sută din diferențele dintre oameni. Nouăzeci și patru la sută este altceva: abilitate, oportunitate, pregătire, management, sănătate, noroc.
De ce 0,25 este totuși un rezultat real
La scara populației, corelațiile mici produc efecte agregate substanțiale. Dacă selectezi o mie de persoane, un predictor de 0,25 îți îmbunătățește rezultatul mediu în mod măsurabil și repetat. Asigurătorii și epidemiologii construiesc practici întregi pe efecte de această mărime.
Problema este că beneficiul agregat și predicția individuală sunt mărimi diferite. O corelație de 0,25 înseamnă că, dintre persoanele care obțin un scor mare, mai multe vor avea performanțe bune decât dintre persoanele care obțin un scor mic, dar și că foarte mulți dintre cei cu scoruri mari vor avea performanțe slabe, iar foarte mulți dintre cei cu scoruri mici vor excela. Ambele afirmații provin din același număr.
Cazul individual
Acesta este pasul care este de obicei omis. O corelație descrie relația dintre două distribuții. Ea nu permite o afirmație despre o anumită persoană.
Dacă conștiinciozitatea corelează cu performanța la 0,25, atunci cunoașterea scorului de conștiinciozitate al unei persoane restrânge doar puțin intervalul plauzibil al performanței sale. Intervalul de predicție pentru o singură persoană rămâne suficient de larg pentru a include aproape întregul interval al rezultatelor. Faptul că îți spune cineva că te situezi la percentila 80 la conștiinciozitate îți spune foarte puțin despre cum te vei descurca într-un job anume.
Acesta este motivul pentru care utilizarea scorurilor de personalitate ca filtru principal de selecție este puțin susținută, chiar și atunci când cercetarea care le fundamentează este solidă. Cercetarea susține afirmația că trăsătura are importanță. Ea nu susține afirmația că un scor îți spune ce va face un candidat.
Alte două avertismente
A prezice și a cauza sunt lucruri diferite. Aproape toată această literatură este corelațională. Faptul că conștiinciozitatea prezice rezultatele privind sănătatea este compatibil cu ideea că conștiinciozitatea determină comportamente mai sănătoase, cu ideea că un al treilea factor le determină pe amândouă, precum și cu cauzalitatea inversă. Design-urile longitudinale restrâng posibilitățile; rareori le elimină.
Criteriile bazate pe autoevaluare gonflează cifrele. Atunci când atât predictorul, cât și rezultatul sunt raportate de aceeași persoană, în aceeași după-amiază, varianța metodei comune împinge corelația în sus. Studiile care folosesc rezultate obiective sau evaluări din partea altor persoane raportează de obicei efecte mai mici, și acestea sunt cele care ar trebui să conteze mai mult.
La ce este de fapt bun un scor
Citit ca descriere, nu ca profeție, un scor la test este cu adevărat util. Îți spune unde te situezi în raport cu o populație de referință pe o trăsătură care are consecințe documentate și îți oferă un vocabular pentru un pattern pe care poate l-ai observat fără să-l poți numi.
Asta merită. Este un lucru diferit de o prognoză, iar această distincție este una pe care un raport onest ar trebui să o facă pentru tine, nu să te lase să o deduci.
Testează-te
A citi despre măsurare este un lucru. A-ți vedea propriul scor raportat împreună cu sursa lui, eșantionul de normare și limitele sale este altceva. Gratuit, fără înregistrare.
Continuă lectura
- Ce este psihometria?Disciplina care stabilește dacă o măsurare psihologică este de valoare, și motivul pentru care două teste care pun întrebări similare pot diferi enorm în privința valorii rezultatelor lor.
- Ce este fidelitatea în testarea psihologică?Fidelitatea este consecvența măsurării, nu corectitudinea ei. Un test poate avea o fidelitate ridicată și totuși să măsoare lucrul greșit, motiv pentru care este prima întrebare care se pune și niciodată ultima.
- Ce este validitatea în testarea psihologică?Validitatea nu este o proprietate pe care o are un test. Este un argument privind dacă o anumită interpretare a unui anumit scor, pentru un anumit scop, este defendabilă, și trebuie reconstruită pentru fiecare utilizare nouă.
- Ce este validitatea de construct?Cea mai grea întrebare din măsurare: dacă lucrul pe care îl măsori există așa cum l-ai definit și dacă instrumentul tău îl atinge cu adevărat, și nu ceva adiacent.
- Validitate convergentă și discriminantăDouă cerințe în oglindă: o măsură trebuie să corespundă cu ceea ce ar trebui să corespundă și trebuie să rămână distinctă de ceea ce afirmă că nu este. Majoritatea instrumentelor slabe eșuează la a doua cerință.
- Ce este alfa Cronbach și ce nu esteCea mai raportată statistică în testarea psihologică, și cea mai greșit interpretată. Alpha nu îți spune că o scală este unidimensională, iar o valoare ridicată este adesea un simptom, nu o virtute.
- Eroarea standard de măsurare: cu cât poate varia scorul tăuFiecare scor are o marjă de eroare, iar pentru majoritatea testelor psihologice aceasta este mai largă decât își imaginează oamenii. Acesta este numărul care îți spune când o diferență este reală și când este doar zgomot.
- Norme și percentile: cu ce este comparat scorul tăuUn scor brut este neinterpretabil de la sine. Devine relevant doar în raport cu un grup de referință, și care grup a fost folosit este unul dintre cele mai importante și mai puțin cunoscute aspecte ale oricărui test.
- Cum este construit de fapt un test psihometricDe la definirea construct-ului până la normele publicate, procesul durează ani și elimină cea mai mare parte din ceea ce intră în el. Cunoașterea etapelor face evident care dintre ele au fost sărite de un chestionar online rapid.
- Ce înseamnă atunci când un test este numit validat?Cuvântul nu este reglementat și este folosit liber de produse care nu au făcut nimic din munca necesară. Iată ce înseamnă atunci când înseamnă ceva, și cele patru întrebări care separă cele două cazuri.
- De ce majoritatea testelor de personalitate de pe internet nu sunt fideleNu pentru că sunt necinstite, ci pentru că pașii care fac o măsurare demnă de încredere sunt invizibili, costisitori și ușor de omis, iar omiterea lor nu schimbă cu nimic modul în care apare rezultatul.
- Ce poate și ce nu poate să măsoare autoevaluareaChestionarele îți cer să fii propriul observator, ceea ce funcționează mai bine pentru unele lucruri decât pentru altele. Să știi unde metoda este puternică și unde eșuează schimbă modul în care citești orice rezultat.
- Screeningul nu este diagnosticUn chestionar de screening este construit să identifice cât mai multe cazuri posibile, acceptând o rată ridicată de fals-pozitive ca preț. Interpretarea unui scor de screening ca diagnostic răstoarnă exact scopul pentru care a fost conceput.