Wat is begripsvaliditeit?

Constructvaliditeit gaat over de vraag of een instrument het theoretische construct meet dat het beweert te meten, in plaats van iets wat ermee samenhangt, iets wat enger is dan het construct, of helemaal niets coherents. Het is de meest fundamentele vorm van validiteitsbewijs, degene die jaren kost om vast te stellen in plaats van één studie.

De moeilijkheid zit in de structuur. Een construct zoals veerkracht of emotionele intelligentie is geen object; het is een voorgestelde regelmaat in gedrag. Om aan te tonen dat een schaal dit meet, moet je tegelijkertijd de bewering verdedigen dat het construct bestaat zoals beschreven, én dat deze specifieke items het bereiken. De twee beweringen kunnen niet worden gescheiden, en dat is waarom Cronbach en Meehl, die het idee in 1955 introduceerden, het omschreven als het testen van een heel theoretisch netwerk in plaats van één instrument.

Hoe het bewijs wordt opgebouwd

Voorspelde correlatiepatronen. De theorie bepaalt met welke zaken het construct zou moeten samenhangen en hoe sterk. Zelfcompassie zou positief moeten correleren met levenstevredenheid, negatief met depressie, en slechts matig met eigenwaarde. Als het 0.9 zou correleren met eigenwaarde, zou het geen apart construct zijn. Elk van deze voorspellingen is een toetsbare bewering, en het niet uitkomen van een ervan is informatief.

Verwachte groepsverschillen. Als de theorie stelt dat een eigenschap zich ontwikkelt met de leeftijd, of verhoogd is in een klinische populatie, zou het instrument dat moeten laten zien. Het niet vinden van een verschil dat de theorie vereist, is bewijs tegen het instrument, de theorie, of beide.

Reactie op interventie. Als een construct trainbaar zou moeten zijn, zouden scores moeten veranderen na training en niet veranderen in een controlegroep. Constructen die nooit ergens op reageren, zijn moeilijk te onderscheiden van artefacten.

Interne structuur. De factorstructuur zou moeten overeenkomen met de theoretische structuur, en dat moet blijken uit een nieuwe steekproef. Exploratieve factoranalyse op de ontwikkelingsdata zal altijd de structuur vinden die erin is ontworpen; confirmatieve analyse op nieuwe data is waar de bewering daadwerkelijk wordt getoetst.

Het multitrait-multimethode-idee

De bijdrage van Campbell en Fiske uit 1959 was dat zij erop stonden dat constructvaliditeit twee dingen tegelijk vereist: metingen van dezelfde eigenschap met verschillende methoden moeten overeenkomen, en metingen van verschillende eigenschappen met dezelfde methode moeten dat niet doen.

Dat tweede deel is waar de meeste instrumenten mee worstelen. Als je zelfgerapporteerde empathie 0.7 correleert met je zelfgerapporteerde vriendelijkheid en 0.2 met door observatoren beoordeelde empathie, dan meet je vragenlijst vooral niet empathie: het meet vooral jouw algemene manier om jezelf te beschrijven in vragenlijsten. Methodevariantie is een van de hardnekkigste problemen in onderzoek met zelfrapportage, en dat is de reden waarom serieus validatieonderzoek waar mogelijk zoekt naar een criterium buiten de vragenlijst om.

Waarom dit ertoe doet bij het lezen van je resultaten

Constructvaliditeit is wat tussen een score en de interpretatie ervan staat. Wanneer een goed gevalideerd instrument rapporteert dat je hoog scoort op een eigenschap, omvat de redenering achter die uitspraak decennia aan gepubliceerd onderzoek waaruit blijkt dat de eigenschap zich gedraagt als een coherente grootheid, dat deze items die eigenschap volgen, en dat de score bij verschillende mensen die de test afleggen ongeveer hetzelfde betekent.

Wanneer een test zonder constructvalidatie hetzelfde rapporteert, is de score een getal dat is gegenereerd door een algoritme dat niemand heeft gecontroleerd. Beide zien er identiek uit op het resultatenscherm. Het verschil zit volledig in de documentatie, en daarom is het de moeite waard om die documentatie op te zoeken.