Hoofdstuk 13 Onderzoeksvraag Bepaalt Methode

13.1 Van wetenschapsfilosofie naar methodologie

In wetenschappelijk onderzoek worden onderzoeksvragen of hypothesen onderzocht. Als zo’n onderzoeksvraag of hypothese eenmaal is geformuleerd kan een studie worden ontworpen om die te onderzoeken.

Het ontwerpen van een studie behelst een serie beslissingen. Een deel van deze beslissingen is vaak al genomen als de onderzoeksvraag of hypothese duidelijk is. Dat komt omdat onderzoeksvragen of hypothesen zijn gebaseerd op iemands ontologische perspectief (zie hoofdstuk Wetenschap, hoofdstuk 1 in deze versie van het boek). Bovendien hebben wetenschappers opvattingen over epistemologie. Samen volgen hier al een serie beperkingen uit met betrekking tot wat voor soort studies gebruikt kunnen worden om een gegeven onderzoeksvraag te beantwoorden of hypothese te toetsen.

Naast die wetenschapsfilosofische uitgangspunten gelden ook methodologische overwegingen. Samen bepalen deze kaders welke methode geschikt is om een onderzoeksvraag of hypothese te onderzoeken. Sommige vragen zijn goed te beantwoorden met een vragenlijstudie; andere vragen vereisen een kwalitatief onderzoek; en weer andere vragen vereisen een experimenteel ontwerp. Een algemeen principe is dat hoe ‘zwaarder’ een vraag is, hoe meer eisen er worden gesteld aan de methode. Om causale invloed te onderzoeken gebruik je bijvoorbeeld een experimenteel ontwerp. Als je vraag niet een causaal pad betreft, maar twee, zoals een onderzoeksvraag of hypothese over moderatie, dan heb je al een factorieel experiment nodig (waarin zowel de voorspeller als de moderator worden gemanipuleerd). Als je mediatie wil onderzoeken (een causaal verband dat via een mediator loopt), dan heb je zelfs een longitudinaal factorieel experimenteel ontwerp nodig.

In Tabel 13.1 staan een aantal voorbeelden uitgewerkt voor empirisch onderzoek en scoping reviews. Elk van de empirische vragen is ook te beantwoorden met een systematische review. Op die manier worden meestal sterkere antwoorden verkregen dan mogelijk is uit een enkele empirische studie (uitzonderingen hierop zijn situaties waar weinig of geen goed empirisch onderzoek is gedaan, en/of de geplande empirische studie een zeer sterk ontwerp en een zeer grote steekproef heeft).

Tabel 13.1: Voorbeelden van onderzoeksvragen, bijpassende methoden, voorbeelden van data-verzameling, en voorbeeld-analyses
Vraag Methode Voorbeeld van data-verzameling Voorbeeld-analyses
Hoe wordt X gedefinieerd in studies naar X? Scoping Review Data extraheren uit artikelen Heatmaps
Hoe is de manier waarop Y is onderzocht over tijd veranderd? Scoping Review Data extraheren uit artikelen Heatmaps
Hoe ervaren mensen Y? Kwalitatief onderzoek Interviews houden en transcripten coderen Codestructuur inspecteren
Welke redenen hebben mensen om Y te doen? Kwalitatief onderzoek Interviews houden en transcripten coderen Codestructuur inspecteren
Hoe verloopt psychologisch proces Y bij mensen? Kwalitatief onderzoek Interviews houden en transcripten coderen Codestructuur inspecteren
Wordt een meetinstrument goed begrepen in een gegeven populatie? Cognitieve interviews Interviews houden en notities coderen Heatmaps
Is een meetinstrument valide (verlopen responsprocessen volgens het narratieve responsmodel)? Interviews houden en notities coderen Coderen van notities Is een meetinstrument valide toegepast?
Kwantitatief cross-sectioneel onderzoek Een vragenlijststudie Confirmatieve factor-analyse, interne consistentie Is een meetinstrument betrouwbaar?
Kwantitatief longitudinaal onderzoek Een vragenlijststudie met twee meetmomenten Test-hertest betrouwbaarheid Welke items meten welk construct?
Kwantitatief cross-sectioneel onderzoek Een vragenlijststudie Exporatieve factor-analyse Hoe sterk is het verband tussen X en Y?
Kwantitatief cross-sectioneel onderzoek Een vragenlijststudie Correlatie Hoeveel verschilt groep X1 van groep X2 op Y?
Een vragenlijststudie Kwantitatief cross-sectioneel onderzoek Cohen’s d, t-toets Hoe verandert Y over tijd?
Kwantitatief longitudinaal onderzoek Een ESM-studie Multilevel regressie Veroorzaakt X Y?
Kwantitatief experimenteel onderzoek Een experiment waarin X wordt gemanipuleerd en Y wordt gemeten Cohen’s d, t-toets, (factoriële) anova, \(\omega^2\), Multilevel regressie Verhoogt of verlaagt X Y?
Kwantitatief experimenteel onderzoek Een experiment waarin X wordt gemanipuleerd en Y wordt gemeten Cohen’s d, t-toets, (factoriële) anova, \(\omega^2\), Multilevel regressie Voorspelt X Y (causaal)?
Kwantitatief experimenteel onderzoek Een experiment waarin X wordt gemanipuleerd en Y wordt gemeten Cohen’s d, t-toets, (factoriële) anova, \(\omega^2\), Multilevel regressie Welke effect heeft interventie X op Y?
Een experiment waarin X wordt gemanipuleerd en Y wordt gemeten Kwantitatief experimenteel onderzoek Cohen’s d, t-toets, (factoriële) anova, \(\omega^2\), Multilevel regressie Is het causale pad van X naar Y anders als gevolg van M (moderatie)?
Kwantitatief factorieel experimenteel onderzoek Een experiment waarin X en M worden gemanipuleerd en Y worden gemeten Meerweg anova, \(\omega^2\), regressie-analyse Loopt het causale pad van X naar Y via M (mediatie)?
Kwantitatief longitudinaal factorieel experimenteel onderzoek Een experiment waarin X en M worden gemanipuleerd en M en Y worden gemeten Meerweg anova, \(\omega^2\), regressie-analyse Hoe wordt X gedefinieerd in studies naar X?

13.2 Pragmatische overwegingen

13.2.1 Een andere onderzoeksvraag of hypothese onderzoeken

Als je een studie ontwerpt, is dat een iteratief proces. De methode wordt daarom niet uitsluitend bepaald door iemands ontologische en epistemologische opvattingen en de onderzoeksvraag of hypothese. Het kan bijvoorbeeld zo zijn dat de methodologische vereisten om een onderzoeksvraag of hypothese te onderzoeken niet haalbaar zijn in een gegeven context. In dat geval is het vaak nodig om de onderzoeksvraag aan te passen.

Een voorbeeld is onderzoek naar causaliteit. Onderzoeksvragen over causaliteit spreken erg tot de verbeelding, en hebben vaak een duidelijk praktisch nut. Ze vereist alleen bijna altijd een experimenteel ontwerp, en onderzoeksvragen naar mediatie of moderatie zelfs factoriële en longitudinale ontwerpen. Als eenmaal is vastgesteld hoe sterk de verwachte effecten zijn, en is berekend hoeveel deelnemers nodig zijn, blijkt vaak dat er honderden of duizenden deelnemers nodig zijn. Zulke studies zijn zeker goed uitvoerbaar, maar als dit voor een bachelor- of masterthese is, is er meestal niet voldoende tijd (laat staan geld) beschikbaar.

In zulke gevallen kan een onderzoeker dus door pragmatische overwegingen worden gedwongen om een andere onderzoeksvraag te kiezen. Gegeven dat de oorspronkelijke onderzoeksvraag niet haalbaar is, kan een gerelateerde onderzoeksvraag worden gekozen, bijvoorbeeld om het benodigde aantal deelnemers voor de oorspronkelijke onderzoeksvraag te verlagen. Dit kan bijvoorbeeld door een manipulatie te verbeteren zodat de effectgrootte hoger wordt, of door de betrouwbaarheid van een meetinstrument te verhogen, zodat er minder error is. Ook kan bijvoorbeeld een enkel causaal pad worden onderzocht (in plaats van moderatie of mediatie), waardoor nog slechts een experiment met twee groepen nodig is.

13.2.2 Een ander studie-ontwerp kiezen

Vroeger was het gangbaar om in plaats van een andere onderzoeksvraag te kiezen, een niet-passend studie-ontwerp te kiezen. Dan werd er bijvoorbeeld een mediatie-analyse gedaan op cross-sectionele of longitudinale data, zonder dat de voorspeller en mediator werden gemanipuleerd. Dit is heel begrijpelijk want op zo’n dataset kun je wel gewoon een statistische mediatie-analyse uitvoeren – jamovi, R, of SPSS weten tenslotte niet welk studie-ontwerp is gebruikt om een dataset te produceren. Die mediatie-analyse levert vervolgens resultaten op, bijvoorbeeld schattingen van het ‘indirecte effect’ van de voorspeller op de mediator. Die schatting representeert echter niet een eventueel mediatie-effect, omdat de correlaties waar dat effect uit is geschat waarschijnlijk manifestaties zijn van verbanden tussen allerlei ongemeten variabelen John G. Bullock et al. (2010).

Het gevaarlijke hier is dat het wel mogelijk is dat dergelijke verbanden iets zeggen over mediatie. In veruit de meeste cross-sectionele, niet-experimentele studies zullen uitkomsten van een mediatie-analyse of moderatie-analyse niet corresponderen met wat er in werkelijkheid gebeurt, maar heel soms toevallig wel. Als een onderzoeker heel graag een mediatie of moderatie wil onderzoeken, kunnen ze zich er soms toe laten verleiden er vanuit te gaan dat hun studie nu net zo’n uitzonderlijk geval is waarin de uitkomsten wel valide zijn.

Tegenwoordig zijn er duidelijke richtlijnen om dit te voorkomen. Sinds 2018 is de Nederlandse Gedragscode Wetenschappelijke Integriteit van kracht. Deze stelt dat onderzoekers moeten werken volgens de vijf ZOVET principes: Zorgvuldigheid, Onafhankelijkheid, Verantwoordelijkheid, Eerlijkheid, en Transparantie. Het streven naar onafhankelijkheid, verantwoordelijkheid, en zorgvuldigheid maken duidelijk dat wetenschappers zich niet kunnen permitteren om wat ze zelf graag willen onderzoeken te laten prevaleren boven methodologische principes. Overigens zijn ook op dit algemene principe uitzonderingen (bijvoorbeeld als er een uitgebreide en plausibele Directed Acyclic Graph kan worden opgesteld).

Referenties

Bullock, John G., Green, D. P., & Ha, S. E. (2010). Yes, but what’s the mechanism? (Don’t expect an easy answer). Journal of Personality and Social Psychology, 98(4), 550–558. https://doi.org/bw5pxx