Hoofdstuk 39 Preregistratie

Auteurs: Gjalt-Jorn Peters; laatste update: 2022-11-03

In dit hoofdstuk wordt besproken:

Wat is preregistratie?
Wat is het nut van preregistratie?

Deze stof wordt behandeld in de volgende Open Universiteitscursus(sen):

Onderzoekspracticum bachelor thesis (PB9966)
Onderzoekspracticum scriptieplan (PM9514)

39.1 Inleiding

Preregistratie is een van de ‘best practices’ die onderdeel uitmaken van het werken volgens de open science principes. Preregistratie draagt bij aan alle vijf de basisprincipes van de Nederlandse gedragscode wetenschappelijke integriteit (ZOVET: zorgvuldigheid, onafhankelijkheid, verantwoordelijkheid, eerlijkheid en transparantie). De principes van open science worden besproken in het hoofdstuk Open science.

In dit hoofdstuk leggen we uit wat preregistratie is, welke functies het vervult en ook welke functies het niet vervult. Daarna gaan we kort in op het nut van registratie, waarvan preregistratie een speciaal geval is. Tot slot geven we een aantal links naar (pre)registratieformulieren en -diensten.

39.2 Wat is preregistratie

De bekendste vorm van preregistratie is het vooraf publiek vastleggen van je onderzoeksplannen. Hiervoor zijn vele formulieren beschikbaar zodat je je plannen zeer gedetailleerd kunt vastleggen. Een groot deel van deze formulieren zijn toegespitst op specifieke typen onderzoek, bijvoorbeeld voor systematische reviews, kwalitatieve onderzoeken of kwantitatieve onderzoeken (zie de paragraaf ‘Preregistratie- en registratieformulieren’ voor een overzicht).

Een preregistratieformulier biedt je niet alleen de gelegenheid om te beschrijven wat je precies wilt gaan doen en hoe, maar ook waarom. Op dit formulier kun je tot in detail onderbouwen waarom je denkt dat je gekozen aanpak een goede manier is om je onderzoeksvragen te beantwoorden.

Met het vastleggen van je onderzoeksplannen in een preregistratieformulier worden vaak ook de bestanden die bij het betreffende project horen bevroren. Hierbij moet je denken aan vragenlijsten, broncodes van computertaakjes, datasets, analysescripts, ruwe resultaten (bijvoorbeeld grafieken en tabellen van een pilotonderzoek), sjablonen voor werving en communicatie met deelnemers, aanvragen en toekenningen van ethische toestemming, protocollen en stimuli. Kortom, alles wat nodig is om het onderzoek te kunnen uitvoeren.

Vanuit de principes van open science dragen de Nederlandse universiteiten en de Nederlandse gedragscode wetenschappelijke integriteit het credo uit ‘Zo open als mogelijk, zo gesloten als nodig’. Dit uitgangspunt helpt je om te bepalen of het nodig is om een selectie te maken van de gegevens die je openbaar maakt, of dat alle bestanden openbaar vastgelegd kunnen worden. Persoonsgegevens worden bijvoorbeeld nooit openbaar gemaakt. Dit is in strijd met de Algemene verordening gegevensbescherming.

39.3 Het nut van preregistratie

Vanuit pragmatisch oogpunt zijn preregistratieformulieren heel nuttig om je plannen te structureren, omdat ze zijn ontwikkeld om een hele serie aan belangrijke punten te beschrijven voor verschillende typen onderzoek. Preregistratieformulieren voor systematische reviews helpen je om goed na te denken over je screening, extractie en synthese. Preregistratieformulieren voor kwalitatieve onderzoeken helpen je om goed na te denken over je werving, initiële codestructuur en codeerinstructies. Preregistratieformulieren voor kwantitatieve onderzoeken helpen je te beschrijven hoe je omgaat met screening, randomisatie en data voorbewerking.

Vanuit wetenschappelijk oogpunt hebben preregistraties veel voordelen. Omdat je onderzoeksplannen openbaar bekend zijn, draagt dit bij aan het voorkomen van ‘publication bias’ – het fenomeen dat wetenschappelijke tijdschriften vaak alleen onderzoek met ‘positieve uitkomsten’ willen publiceren (bijvoorbeeld uitkomsten die de verwachtingen van de onderzoekers bevestigen), waardoor er in de literatuur het beeld kan ontstaan dat een bepaald verschijnsel bestaat, terwijl dat niet zo is. De preregistraties maken het mogelijk om ook die onderzoeken te vinden die journals niet willen publiceren.

Bovendien maken preregistraties het mogelijk om het vertrouwen in sommige analytische tests te vergroten. Dit omdat er minder onzichtbare flexibiliteit is bij de onderzoekers. Zonder preregistratie worden veel beslissingen over de analyses pas genomen nadat de data zijn verzameld, en onderzoekers kunnen dan makkelijk bewust of onbewust worden beïnvloedt door de data en uitkomsten. Als je vooraf je analyseplan openbaar maakt is die kans veel kleiner. Je kunt nog steeds je analyses aanpassen, maar dan moet je ook uitleggen waarom je dat doet, zodat het proces transparant is en andere onderzoekers kunnen beoordelen of je niet naar een bepaalde uitkomst toewerkt.

Ondanks hun simpelheid zijn preregistratieformulieren dus een zeer krachtig hulpmiddel om als wetenschapper zorgvuldig, onafhankelijk, verantwoordelijk, eerlijk en transparant te werk te gaan. Een preregistratie is daarmee een essentieel onderdeel van het uitvoeren van wetenschappelijk onderzoek volgens de Nederlandse gedragscode wetenschappelijke integriteit.

39.4 Preregistratie is geen keurslijf

Bij het invullen van preregistratieformulieren is het belangrijk om je twee dingen te realiseren. Het eerste is dat preregistraties plannen zijn. Je kunt altijd van die plannen afwijken. De waarde van preregistraties is dat je het afwijken van je plannen expliciet maakt, waardoor het onderbouwen van elke afwijking een logisch onderdeel van het onderzoeksproces wordt. Dit werd ooit treffend beschreven in de blogpost Preregistration: a plan, not a prison.

Het tweede is dat preregistratieformulieren niet zijn opgesteld om een oordeel te vellen over ‘goed’ of ‘slecht’ onderzoek, maar puur om zoveel mogelijk belangrijke beslissingen en hun onderbouwingen expliciet te maken. Sommige praktijken, zoals het gebruiken van meerdere onafhankelijke analisten die elk blind zijn voor het doel van de studie, hebben duidelijke voordelen, maar zijn tegelijkertijd vaak niet praktisch haalbaar door gebrek aan middelen of expertise. Dat is niet erg. Wetenschap is mensenwerk, en pragmatische, contextuele en politieke overwegingen spelen een rol bij het ontwerpen, uitvoeren en rapporteren over wetenschappelijk onderzoek. Zolang je deze overwegingen maar expliciet maakt en elke beslissing onderbouwt.

Het is daarom belangrijk om je te realiseren dat het geen zwaktebod is om uit te leggen dat jullie onderzoeksteam een bepaalde aanpak niet hanteert omdat er geen geld, tijd of expertise beschikbaar is. Er is dus geen normatief kader buiten ‘Denk goed na over wat je doet en wees transparant en eerlijk’. Sterker nog, gegeven de validiteit van verschillende ontologische en epistemologische uitgangspunten is er geen ‘enige juiste manier om wetenschap te beoefenen’. Om die reden zijn de ZOVET-principes uit de Nederlandse gedragscode wetenschappelijke integriteit zo belangrijk. Preregistraties zijn een krachtig hulpmiddel om, zoals Feynman zei, jezelf niet voor de gek te houden.

The first principle is that you must not fool yourself – and you are the easiest person to fool. So you have to be very careful about that. After you’ve not fooled yourself, it’s easy not to fool other scientists. You just have to be honest in a conventional way after that. Feynman, 1974

39.5 Registratie

Hoe je vooraf over je onderzoek denkt, kan gedurende het uitvoeren van je onderzoek veranderen, bijvoorbeeld omdat je nieuwe literatuur leest, met deelnemers interacteert, of ziet hoe bepaalde procedures verlopen. Het is daarom vaak nuttig om niet alleen vooraf, maar ook tijdens en na het onderzoek je perspectief te registreren. Een registratie is een momentopname van een onderzoek, die net als een preregistratie bestaat uit een verzameling bestanden en een formulier die je samen bevriest. Eigenlijk zijn preregistraties een speciale vorm van registraties, waarbij een preregistratie een registratie is die voorafgaand aan het uitvoeren van je onderzoek plaatsvindt.

Door herhaaldelijk een registratie vast te leggen, geef je inzicht in hoe je perspectief verandert tijdens het uitvoeren van je onderzoek. Je kunt bovendien garanderen dat je kunt verwijzen naar een set bestanden zoals ze op een bepaald moment zijn. In kwalitatief onderzoek kun je dit bijvoorbeeld gebruiken om veranderingen in je coderingen van de data inzichtelijk te maken. Bovendien kunnen eenmaal geregistreerde gegevens niet meer worden veranderd. Je kunt dit dus ook gebruiken om te voorkomen dat er opzettelijk of per ongeluk iets verandert aan een set bestanden.

39.6 Preregistratie- en registratieformulieren

Als je je onderzoek wilt preregistreren, kun je het beste een formulier gebruiken dat zo goed mogelijk past bij het type onderzoek dat je wilt gaan uitvoeren. De zaken die je hierop moet invullen zijn afgestemd op jouw type onderzoek waardoor je je optimaal kunt voorbereiden. Er bestaan allerlei preregistratieformulieren. Hieronder staat een lijst van (pre)registratieformulieren inclusief de links naar de formulieren.

Als er geen formulier is dat goed bij jouw type onderzoek past, dan kun je altijd het Inclusive General-Purpose Registration Form (het ‘Inclusieve algemene registratieformulier’) gebruiken. Dat formulier wordt in detail besproken in het hoofdstuk Preregistratie in het boek Onderzoek in de Praktijk.