Hoofdstuk 12 Validiteit van Ontwerpen

12.1 Validiteit van een studie-ontwerp

Als de meetinstrumenten en de manipulaties valide zijn, kunnen die ingezet worden om onderzoeksvragen over de corresponderende constructen te beantwoorden. Die onderzoeksvragen kunnen echter alleen worden beantwoord als ook de rest van het studie-ontwerp valide is. Hiervoor zijn twee dingen nodig:

  1. het studie-ontwerp past bij de onderzoeksvraag;
  2. het studie-ontwerp is uitgevoerd zoals gepland.

Het eerste punt wordt uitgebreid besproken in hoofdstukken Ontwerpen en Onderzoeksvraag Bepaalt Methode, en betreft de aansluiting tussen kenmerken van de onderzoeksvraag en kenmerken van het studie-ontwerp. Er zijn kenmerken van onderzoeksvragen die bepaalde eigenschappen in een studie-ontwerp vereisen, bijvoorbeeld (overigens zijn op elk van deze principes soms uitzonderingen mogelijk; zie hoofdstuk Ontwerpen):

  • Als de onderzoeksvraag causaliteit betreft, is een experiment nodig;
  • Als de onderzoeksvraag een proces dat zich ontvouwt over tijd betreft, zijn meerdere meetmomenten nodig;
  • Als de onderzoeksvraag een construct betreft waarvoor geen meetinstrument beschikbaar is, is eerst kwalitatief onderzoek nodig.

We gaan er hier verder vanuit dat het studie-ontwerp past bij de onderzoeksvraag, en dat het meetinstrument en eventuele manipulaties valide zijn. De validiteit van het studie-ontwerp kan dan alleen nog worden bedreigd als het studie-ontwerp niet is uitgevoerd zoals gepland.

Bij het uitvoeren van een studie kunnen allerlei problemen optreden. Die zijn niet altijd van-te-voren allemaal bekend; dat is een van de redenen waarom pilot-studies zo belangrijk zijn (zie sectie Pilot Studies). Omdat studie-opzetten heel erg kunnen variëren is het niet mogelijk om een compleet overzicht te geven, maar de volgende domeinen zijn handige hulpmiddelen om een overzicht to houden.

12.1.1 De werving van deelnemers

De werving is de toepassing van de wervingsstrategie, die is opgesteld om de juiste steekproef te produceren. Als het bijvoorbeeld de bedoeling is dat de studie iets zegt over de algemene populatie, dan is het belangrijk dat de wervingsstrategie zo is opgesteld dat in de algemene populatie wordt geworven; terwijl als het de bedoeling is dat de studie iets zegt over jongeren in buitenwijken, dan moet de wervingsstrategie zijn ontwikkeld om die te werven.

Echter de wervingsstrategie wordt niet altijd uitgevoerd zoals het de bedoeling is. Organisaties die medewerking hebben toegezegd kunnen zich terugtrekken; wervers kunnen instructies verkeerd begrijpen of verkeerd toepassen; en de voorgenomen wervingsroute kan ineffectief blijken waardoor bijstelling nodig is.

12.1.2 Eventuele randomisatie

In experimenten worden deelnemers gerandomiseerd. Het is belangrijk dat die procedure goed wordt uitgevoerd: anders kunnen er (mogelijk onbekende) variabelen samenhangen met de groep waarin deelnemers vallen.

12.1.3 Eventuele blindering

In veel gevallen is het belangrijk dat de deelnemers niet in contact komen met mensen die de achtergrond van de studie kennen; anders kan daarmee hun gedrag worden beïnvloed, waardoor verbanden niet meer valide zijn. Daarom zijn degenene waarmee de deelnemers interacteren vaak geblindeerd voor de groep waarin deelnemers zitten of voor de hele studie-opzet.

Bovendien is het vaak nodig dat deelnemers zelf niet weten waaraan ze worden blootgesteld. Als dat wel gebeurt kunnen hun eigen verwachtingen de studie verstoren. Als deelnemers bijvoorbeeld weten dat ze in de groep zitten die therapie krijgt, terwijl de andere groep geen therapie krijgt, dan kunnen ze zich daardoor anders gedragen of zelfs sneller herstellen (een placebo-effect).

Die blindering betreft een procedure die verkeerd kan worden toegepast, dus het is belangrijk hier goed op te letten.

12.1.4 De procedure

De procedure van een studie beschrijft het verloop van deelnemers door de studie. Als deelnemers bijvoorbeeld nadat de eerste vragenlijst is ingevuld gebeld moeten worden om iets te controleren, dan moet dat ook daadwerkelijk gebeuren. Voor elke aspect van de procedure is het dus goed om bij te houden of dat volgens plan wordt uitgevoerd.