Skip to main content

Onderzoek in de praktijk

Hoofdstuk 4 Preregistratie

Gjalt-Jorn Peters

Laatste update: 16 juni 2022

Dit hoofdstuk geeft praktische handvatten voor het uitvoeren van een preregistratie. Wat preregistratie precies is en waarom het belangrijk is wordt uitgebreid besproken in hoofdstuk Preregistratie in het boek Open Methodologie en Statistiek. Dat is een goed startpunt als je nog niet bekend bent met het onderwerp.

In dit hoofdstuk wordt eerst besproken hoe je een preregistratie uitvoert. Daarna wordt een algemeen preregistratieformulier in detail besproken.

4.1 Preregistratie in de praktijk

Je kunt eenvoudig studies preregistreren op het Open Science Framework. Dit is het meest gebruikte platform om wetenschappelijke repositories aan te maken en te delen met de wereld. Het is gratis om te gebruiken, en wordt onderhouden door het nonprofit Center for Open Science.

Je kunt op https://osf.io een account maken, waarna je een project kunt aanmaken. In dat project is een van de tabs “Registrations”, en daar kun je op “New registration” klikken om een nieuwe registratie toe te voegen. Zoals je hier al ziet wordt er geen onderscheid gemaakt tussen preregistraties en andere registraties: dit wordt alleen bepaald door het moment waarop je de registratie doet.

Je kunt in het project bestanden uploaden (daarom wordt er vaak naar verwezen met de naam ‘repository’), en je kunt het koppelen met andere diensten zoals een Git repository in de “Add-ons” tab. Daar kun je ook bijvoorbeeld automatisch een OneDrive, Dropbox, of Google Drive folder synchroniseren met je OSF repository. Als je dan je (pre)registratie bevriest, worden al die bestanden automatisch meebevroren. Houd er rekening mee dat de OU alleen met Microsoft een verwerkersovereenkomst heeft, dus pas goed op welke clouddienst je gebruikt, als je een cloud-dienst gebruikt waar je persoonsgegevens upload.

Naast het Open Science Framework bestaan er ook andere diensten. Voor “Randomized Controlled Trials”, de medische term voor een specifieke vorm van experimenteel onderzoek, bestaan aparte diensten, zoals het Nederlands Trial Register, en voor systematische reviews van gezondheidsonderzoek bestaat er PROSPERO.

4.2 Voorbeeld: Het Inclusieve Algemene Registratieformulier

Hieronder wordt versie 1.1 van het Inclusive General-Purpose Registration Form integraal opgenomen en besproken. Dit start gelijk hieronder met de instructie, waarna de items een voor een worden besproken.

4.2.1 Intended use

This Inclusive General-Purpose Registration Form is designed to be applicable across disciplines (i.e., psychology, economics, law, physics, or any other field) and across study types (i.e., qualitative studies, quantitative studies, experiments, systematic reviews, case studies, archive studies, comparative legal studies, or any other type of study). This form, therefore, is a fall-back for more specialized forms and can be used if no specialized form or registration platform is available. As such, if at all possible, it is recommended to avoid using this form and instead use a specialized form. This inclusive general-purpose registration form achieves that inclusiveness and general-purposeness at the cost of specificity and comprehensiveness. Still, if specialized forms don’t fit for your study, this form may be a good backup.

4.2.2 Section: Metadata

Discipline (discipline): Here you can specify your discipline (e.g. law, chemistry, anthropology, etc).

In dit item specificeer je je discipline, bijvoorbeeld “Psychologie”, “Onderwijswetenschappen”, “Managementwetenschappen”, of “Rechten”.

Title (title): The title of this study (at this stage, anyway).

Hier kun je je studie een titel geven. Dat kan de uiteindelijke titel zijn van het manuscript dat je over de studie gaat schrijven, maar het kan ook een werktitel zijn.

Author(s) / contributor(s) (authors): The authors of / contributors to this study.

Hier noem je wie allemaal een bijdrage leveren aan de studie. Dit is een goede gelegenheid om alvast te bespreken wie co-auteur willen worden op de publicatie, als die er gaat komen: het is belangrijk om dat helemaal aan het begin te bespreken en jullie beslissingen te documenteren, omdat er dan gelijk taken kunnen worden gekoppeld aan auteurschappen. Bovendien voorkom je zo ruzie achteraf.

Tasks and roles (tasks_and_roles): Describe the expected tasks and roles of each author/contributor, for example using the Contributor Roles Taxonomy (CRediT).

Hier specificeer je dan vervolgens wie wat gaat doen. Het is slim om een lijst te maken van alle taken in de studie, en alle betrokkenen te laten invullen welke taken ze gaan uitvoeren. Dat kun je dan vervolgens bespreken totdat iedereen het overal over eens is. In parallel maak je een overzicht van de CRediT-items waar elke taak bij hoort. Dit is nodig omdat CRediT een zogenaamde ‘high-level taxonomy’ is: hij is breed inzetbaar, maar daarom ook erg algemeen.

Als je bijvoorbeeld een systematische review doet, zijn er werkzaamheden zoals screening en extractie, waarvan je moet besluiten of je ze in ‘data curation’ of ‘investigation’ plaatst (of een andere categorie). Als je empirisch onderzoek doet en er worden deelnemers geworven, moet je bedenken waar je dat binnen laat vallen. Als je kwalitatief onderzoek doet, moet je bepalen waar je het coderen binnen laat vallen.

In het “Tasks and roles” item specificeer je steeds beiden: per betrokkene enerzijds de taken zoals ze binnen je project bestaan en anderzijds welke CRediT rollen je hieraan hebt gekoppeld. Op deze manier is er volledige transparantie met betrekking tot wie wat gaat doen, zowel in operationele termen als in de wereldwijd en wetenschapswijd vergelijkbare termen van CRediT.

Funding (funding): List the funding sources for everybody that is involved in this study at this stage. If the work is not funded, please state this as such.

Beschrijf hier alle subsidiebronnen waarvan deze studie wordt gefiniancierd.

Conflicts of interest (cois): List any potential conflicts of interest (e.g., if there is a potential outcome of this study that can in any way have negative or positive effects for anybody involved in this study in terms of funding, prestige, or opportunities). If there are no conflicts of interest, please state this as such.

Beschrijf hier of er mogelijke belangenverstrengeling is. Een voorbeeld hiervan is als de studie iets onderzoekt waar een (of meer) van de betrokkenen geld mee kan verdienen (een therapievorm, een coachingsaanpak, een lesprogramma, een training). Dit kan ook indirect zijn, als een theorie of benadering wordt onderzocht waar iemand geld mee kan verdienen door er lezingen over te geven of mensen erin te trainen. Een vorm van belangenverstrengeling die moeilijker te duiden is, is als de uitkomsten implicaties kunnen hebben voor iemands status of prestige, bijvoorbeeld als er mogelijk gezichtsverlies kan optreden.

Het is belangrijk dat alle betrokkenen hier goed over nadenkenen en eventuele risico’s op belangenverstrengeling tijdig identificeren en bespreken. Dit geeft de gelegenheid om goed na te denken hoe eventuele bias die kan ontstaan door belangenverstrengeling kan worden tegengegaan.

4.2.3 Section: Background

Type of study (type_of_study): How would you describe the type of study you are (pre)registering (examples are “systematic review”, “cost-effectiveness trial”, or “observational study”, but use your own words)?

Beschrijf hier het soort studie dat je gaat uitvoeren, bijvoorbeeld een experiment, een observationele studie, een interviewstudie, cognitieve interviews, focusgroepen, een ESM-studie, of iets anders.

Background (background): Introduce the topic of your study, its aims, and/or provide a short summary of known literature and what you want to add to this literature with your study.

Hier kun je beschrijven waarom je de studie uitvoert: schets kort welke theorieen en eerdere empirische bevindingen of praktische ontwikkelingen de aanleiding vormen en hoe je studie daarop aansluit.

Philosophy of Science (philsci): Describe the relevant elements of your ontological perspective (e.g. realism, relativism, pragmatism) and your epistemological perspective (e.g. empiricism, constructivism, skepticism), that is, those elements that are most relevant as a basis for the methodological choices you make in this study.

Beschrijf de ontologische en epistemologische standpunten die jullie innemen. Dit hoeft niet per se hetzelfde te zijn voor alle betrokkenen (hoewel dat in de praktijk vaak wel zo is).

Je ontologische standpunt beschrijft wat je denkt dat de realiteit is (dus los van wat je waar kunt nemen), en je epistemologische standpunt beschrijft hoe je denkt dat kennis over die realiteit vergaard kan worden. Deze twee standpunten zijn fundamentele subjectieve keuzes, die bepalen welke theorieen zinnig zijn en welke methodologische benaderingen bruikbaar zijn om kennis te vergaren.

Een veel voorkomend ontologisch perspectief is het realisme, waarbij wordt verondersteld dat datgene dat je onderzoekt onafhankelijk is van hoe je het ziet. Een ander veel voorkomend perspectief is relativisme, dat juist stelt dat waarheid afhangt van iemands perspectief. Tot slot komen vooral bij toegepast onderzoek pragmatische ontologieen veel voor: dan is het niet relevant of iets ‘objectief waar’ is, als het maar werkt.

Een veel voorkomend epistemologisch perspectief is empirisme, waarbij wordt verondersteld dat systematische observatie van de realiteit kennis kan opleveren. Een ander veel voorkomend epistemologisch perspectief is constructivisme, waarbij wordt verondersteld dat kennis sociaal is geconstrueerd, in interactie tussen sociale actoren. Tot slot stelt het rationalistische perspectief dat kennis kan worden vergaard door goed na te denken.

Met een realistisch ontologisch perspectief en een empirisch epistemologisch perspectief is het meten van constructen een zinnige exercitie. Met een relativistisch ontologisch perspectief en een constructivistisch epistemologisch perspectief is meting onzinnig: er is niets aanwezig dat los van context en perspectief bestaat en gemeten kan worden.

Deze perspectieven hebben ook implicaties voor theorie en analyse: met een realistisch ontologisch perspectief kunnen constructen objectief bestaan, en dit maakt een reflectief meetmodel mogelijk. Als je een relativistisch perspectief neemt is dit niet logisch: als een bepaald construct niet op dezelfde manier voor iedereen bestaat (omdat waarheid afhankelijk is van context), hoe kunnen de scores op items dan worden veroorzaakt door dat construct?

Een goed voorbeeld van de verregaande implicaties van ontologische en epistemologische perspectieven is het radicale behaviorisme. Hier wordt gesteld dat constructen niet zinnig zijn om psychologie te bestuderen, en dat het primaire doel is om de wetmatigheden in kaart te brengen die bepalen hoe gedrag wordt gestuurd door stimuli.

Positionality (positionality): Describe how you (as a person) see your association with the studied phenomenon, describe your position in the research setting / field, and describe your academic and personal standpoints, assumptions and values (to the degree that they may shape how you approach this study). You don’t need to repeat what you already describe in the items “Conflicts of interest” and “Philosophy of Science” (both in the Background section) and “Expectations / hypotheses” (in the Methods section). Instead you can use this item to enter information that wouldn’t fit there but that might nonetheless potentially color your interpretations or otherwise shape your approach.

Hier kun je beschrijven wat de relatie van de betrokkenen is tot het onderwerp van de studie. Dit is belangrijk omdat dit biases kan veroorzaken, en als je die van te voren identificeert, kun je stappen zetten om dat te minimaliseren. Denk hierbij aan professionele relaties (misschien heeft een van de onderzoekers al veel onderzoek gedaan naar het onderwerp en daardoor een bepaalde zienswijze ontwikkeld) of persoonlijke relaties (misschien heeft iemand in hun priveleven ervaring met het onderwerp, wat hun zienswijze ook kan kleuren).

Het is belangrijk om hier duidelijk over te zijn omdat de illusie dat wetenschap objectief is er makkelijk toe kan leiden dat de persoonlijke geschiedenis en achtergrond van wetenschappers ongemerkt weerslag krijgt in hoe de studie wordt opgezet, uitgevoerd, of geinterpreteerd.

Als iemand bijvoorbeeld onderzoek doet naar een onderwerp waar hen persoonlijk ervaring mee heeft (hoogbegaafdheid, depressie, verslaving, of mindfulness), dan kan de aard van die ervaring beslissingen rondom de studie beinvloedden. Door hier expliciet over te zijn, bereik je enerzijds dat je zelf rekening kunt houden met je achtergrond, en anderzijds stel je anderen in staat je beslissingen in de juiste context te plaatsen.

Study stages (stages): Indicate the stages in which you will conduct this study. Common stages are preparation, data collection, and analysis, specify the stages you will use using your own words.

Hier kun je de stadia beschrijven die je onderscheid in je studie. Als je de studie preregistreert is een van de stadia vaak “voorbereiding”, en als er data worden verzameld is “dataverzameling” vaak ook een stadium. Andere veel-voorkomende stadia zijn “analyse” en “rapportage”. In systematische reviews zijn er bijvoorbeeld ook “screening” en “extractie”, en stadia kunnen elkaar ook opvolgen: in een Delphi studie zijn er bijvoorbeeld meerdere rondes met dataverzameling en analyse.

Current study stage (stage): From the list you specified in the “Study stages” item, indicate in which stage you are at this moment (i.e., when you freeze this registration).

Geef hier aan in elk stadium je je op dit moment bevindt (uit de lijst die je in het vorige item hebt gespecificeerd).

Start date (start_date): Indicate the planned start date, or if you already started, the actual start date.

Dit is de datum waarop je van plan bent te starten met de studie.

End date (end_date): Indicate the planned end date, or if you already completed the study, the actual end date.

Dit is de datum waarop je van plan bent klaar ze zijn met de studie.

4.2.4 Section: Methods

Primary research question(s) (primary_research_question): List the specific questions this study is meant to answer (i.e., the questions that ultimately informed the decisions made when designing the study plans you are registering). Note that all analyses pertaining to primary research questions should normally be reported in the final report.

Hier beschrijf je de primaire onderzoeksvraag (of onderzoeksvragen; vanaf hier zal het meervoud worden gebruikt, maar het kan er ook een zijn). De primaire onderzoeksvragen zijn de onderzoeksvragen die het studie-ontwerp vormgeven (samen met de ontologische en epistemologische standpunten en de relevante theorieen). Dit zijn ook de onderzoeksvragen waar de eventuele steekproefberekeningen op worden gebaseerd (zie “Data sampling” hieronder).

Secondary research question(s) (secondary_research_question): List additional research questions that you will examine, but that took less central roles in informing the study’s design. Note that all analyses pertaining to secondary research questions should normally be reported in the final report (the difference is that the study’s design is mainly geared towards answering the primary research questions).

Hier beschrijf je de secundaire onderzoeksvragen, als die er zijn. Secondaire onderzoeksvragen zijn onderzoeksvragen die interessant zijn om mee te nemen, maar waar het studieontwerp niet of nauwelijks op wordt gebaseerd. Dit betekent ook dat studies niet altijd sterke uitspraken kunnen doen over de secondaire onderzoeksvragen: hiervoor kan bijvoorbeeld de hoeveelheid verzamelde data ontoereikend zijn. Dat is geen probleem; het zijn immers maar secundaire onderzoeksvragen, niet de onderzoeksvragen waarvoor de studie wordt uitgevoerd.

Expectations / hypotheses (expectations_hypotheses): Describe any hypotheses and/or expectations you have. These can pertain to your research questions, the types of sources you will find, social and political contexts, and contextual information that you know may color your interpretations and decisions.

Beschrijft hier de verwachtingen die je hebt. Soms, als bijvoorbeeld een hypothetico-deductief toetsingskader wordt gebruikt, worden die verwachtingen geoperationaliseerd in hypothesen, die dan vaak uitmonden in inferentiele criteria (zie “Criteria for conclusions / inference criteria” hieronder). Echter, in veel onderzoek worden geen hypothesen geformuleerd, maar hebben de onderzoekers desalniettemin bepaalde verwachtingen, bijvoorbeeld op basis van theorieen of eerder onderzoek.

Waar bij “Positionality” de relevante achtergrond en geschiedenis van de onderzoekers wordt beschreven, is hier ruimte om te beschrijven hoe die zich manifesteert in specifieke verwachtingen over de uitkomsten van de studie.

Main variable(s) / outcome(s) / dependent variables (main_vars): List the concepts or main / dependent / outcome variables you are interested in. If this study concerns one or more associations, list the outcome variable(s) or dependent variables. If this study does not concern one or more associations, list the main variables of interest here.

Beschrijf hier de belangrijkste concepten of variabelen in de studie. Als er een studie-ontwerp wordt gebruikt waarbij er een of meerdere uitkomstvariabelen of afhankelijke variabelen zijn, beschrijf die dan hier. Beschrijf in alle andere gevallen de concepten of variabelen waar jullie als onderzoeksteam primair in geinteresseerd zijn. Deze moeten allemaal terugkomen in de primaire, en wellicht secundaire, onderzoeksvragen.

Secondary variable(s) / independent variable(s) / intervention(s) / treatment(s) (secondary_vars): If this study’s research question(s) concerns one or more associations or effects, list the variable(s) that theoretically cause them or are assumed to otherwise explain the main variable(s) / dependent variable(s) / outcome(s). If this is a manipulation, treatment, or intervention, make sure to describe it in full: that means also describing all groups, including any control group(s) or comparator(s). If there are no secondary variables, you can just state that.

Beschrijf hier de secondaire variabelen. Als er onafhankelijke variabelen zijn, bijvoorbeeld in een experiment, beschrijf die dan hier. Het is belangrijk om dat voldoende uitgebreid te doen, zodat het voor anderen wetenschappers goed te doen is datzelfde experiment uit te voeren. Omdat bij preregistraties normaal alle gerelateerde bestanden ook worden opgeslagen, bijvoorbeeld alle bestanden die in het Open Science Framework repository staan op het moment dat de preregistratie wordt bevroren, kun je hier ook naar verwijzen.

Het is ook mogelijk dat er geen secundaire variabelen zijn (dit komt zelfs best vaak voor). In dat geval kun je dat gewoon melden.

Additional variable(s) / covariate(s) (additional_vars): Here, list any additional variables you are interested in that were not included in the two lists above, such as covariates, moderators, or mediators. If there are no additional variables, you can just state that.

Soms worden er nog andere variabelen meegenomen in een studie, zoals covariaten, mediatoren, of moderatoren. Die kun je hier beschrijven. Weer geldt dat dit dermate uitgebreid moet worden beschrveen dat andere onderzoekers er mee aan de slag kunnen.

Data origin (data_origin): Describe the origin of the data you will examine. Data here is meant as a broad term: it refers to primary or secondary data; data you will collect or data that already existed; data that are measurements, recordings, existing documents or reports. Basically, which bits of the world will you look at to answer your research question(s), and how will you obtain those bits? For example, will you study humans, animals, chemicals, laws? Which procedures do you plan to employ? If your study does not involve the analysis of data at all, you can also indicate that here (but in that case this form will probably mostly not be applicable).

Voor onderzoek in de sociale wetenschappen worden de data bijna altijd (maar niet altijd) verzameld bij mensen. Hier kun je verder uitleggen welke procedures je gaat gebruiken om die data te verzamelen (zoals in de proceduresectie van een manuscript). Ook hiervoor geldt dat je, als je wil, kunt verwijzen naar bestanden die je met de preregistratie meebevriest.

Data sampling (data_sampling): Describe whether you will sample your data from a larger population. If not (i.e. if you will study an entire population), you can also indicatie that here. If you do plan to sample from a larger set of potential research units, this is where you can describe your sampling procedure, explain why that procedure fits with your goals, and explain how you will minimize bias (e.g. various forms of selection bias). If you aim to obtain a sample with specific characteristics (e.g. stratified according to some variable or optimized for heterogeneity in some respects), you can also describe that here, explain why you strive for that, and explain why you believe that your procedure will achieve your aims.

In veel onderzoek is het niet mogelijk om de hele populatie te onderzoeken. Er wordt dan een steekproef genomen. Als deze steekproef willekeurig wordt genomen uit de populatie, verschilt hij alleen van de populatie door toeval. Dat betekent dat patronen die je in die steekproef ziet generaliseren naar de populatie. In andere gevallen wordt een steekproef juist bewust samengesteld, bijvoorbeeld om heterogeniteit te optimaliseren (zoals in veel kwalitatief onderzoek het geval is). En soms wordt er helemaal geen steekproef genomen, bijvoorbeeld bij een case study of bij de meeste systematische reviews.

In dit item kun je uitleggen welke procedure je wil gebruiken om je steekproef te verzamelen en onderbouwen waarom je denkt dat die procedure zal leiden tot een steekproef die voldoet aan de eisen die nodig zijn gegeven je epistemologische en methodologische kader. Als je bijvoorbeeld kwantitatief onderzoek doet en je uitkomsten wil generaliseren naar de populatie, is het belangrijk dat de steekproef aselect wordt gekozen uit die populatie. Hier kun je uitleggen hoe je dat wil gaan doen - of, als je besluit om niet aselect te kiezen, en in plaats daarvan te werven via sociale media of onder bekenden, dan kun je hier uitleggen waarom je er vanuit gaat dat dat geen problemen op zal leveren met betrekking tot zelfselectie.

Data registration (data_registration): Describe how you will register your data. If you will obtain your data through measurement, state the measurement instruments that you will use and expain your basis for assuming that those measurement instruments are appropriate (e.g., given the sample and context of your study). If you will not use measurement to obtain your data, explain how you will register the data you will use. Here, you can also explain what the data will look like after registration, for example by describing the columns in the dataset you will analyze, or the media you will use to store your data (e.g. bitrates).

Beschrijf hier hoe je precies de data die je gaat verzamelen gaat registreren. Voor systematische reviews betreft dat de extractie (welke entiteiten worden geextraheerd en hoe?); voor kwalitatief onderzoek eventuele opnames en notities, en hoe die worden opgeslagen en verwerkt; en voor kwantitatief onderzoek, de meetinstrumenten die je wil gaan gebruiken.

Omdat bij preregistraties normaal alle gerelateerde bestanden ook worden opgeslagen, bijvoorbeeld alle bestanden die in het Open Science Framework repository staan op het moment dat de preregistratie wordt bevroren, kun je die meetinstrumenten, indien mogelijk, ook daar opslaan en er naar verwijzen, zodat je de tekst hier relatief kort kunt houden.

Data bias minimization (data_bias_minimization): Describe whether any procedures are in place to minimize bias that may be introduced as data are obtained. For example, will masking be applied? If data will be collected by people, will they be masked from the implications of patterns in the data for the research questions? If data will be collected from people (e.g., archivists, clerks, or research participants), will they be masked from the researchers’ expectations regarding those data? If data are collected by an automated procedure (e.g., scraping websites), will the algorithms performing the data collection be vetted by others to try to identify biases? If no procedures will be implemented to minimize bias, you can also indicate and explain that here.

Hier kun je beschrijven welke maatregelen er worden genomen om bias tijdens de dataverzameling te proberen tegen te gaan. Een voorbeeld is een studie waarbij een bepaalde methode of techniek wordt onderzocht die door een van de onderzoekers eerder is gebruikt of zelfs in hun professionele praktijk wordt gebruikt. Als in die situatie die onderzoekers die methode zouden toepassen in de betreffende conditie van een experiment, kunnen zij door hun verwachtingen invloed uitoefenen op het gedrag van de deelnemers. Een oplossing kan zijn de proefleiders te maskeren: dan worden proefleiders gebruikt die niet bekend zijn met de betreffende methode, en die niet weten welke condities er in het experiment zijn en welke verwachtingen er zijn over de uitkomsten. Als er geen maatregelen worden genomen, kan dat hier ook worden beschreven.

Amount of data to be collected (data_amount): Describe how much data you plan to collect. For example, here you can explain whether you will study one research unit (often referred to as a case study), study the entire population, or for anything in between, how much data you plan to collect and why. If your data consists of archival records, social media data, case law, or chat logs, you can explain how many data sources you will analyse. If you will collect qualitative data, you can describe how much you plan to collect, and if you use saturation as a stopping rule, how you operationalize saturation. If you will conduct quantitative analyses, you can describe your sample size computations and which parameters you use (e.g. SESOI, alpha, power). In all cases, this is also where you explain why that amount of data is appropriate given your aims. If you have no specific plans for how much data you will collect, you can also explain that here.

In dit item kun je uitleggen hoeveel data je van plan bent te verzamelen, met andere woorden, hoeveel onderzoekseenheden (meestal deelnemers) je in je steekproef op wil nemen. Afhankelijk van de analyses die je wil uitvoeren (bijvoorbeeld kwalitatief of kwantitatief; om te beschrijven, om met nulhypothese significantietoetsing, om nauwe betrouwbaarheidsintervallen te verkrijgen, of om met Bayesiaanse statistiek te analyseren, etc) en afhankelijk van je aannames over wat je wil bestuderen kun je vervolgens die voorgenomen steekproefomvang onderbouwen.

In dit item beschrijf je dus niet alleen hoeveel data je gaat verzamelen, maar ook op basis van welke aannames en met welke procedures je tot dat aantal bent gekomen. In kwantitatief onderzoek is in dit kader de zogenaamde “Smallest Effect Size of Interest” belangrijk, en in kwalitatief onderzoek de verwachte complexiteit van het te bestuderen onderwerp en de verwachte heterogeniteit in de data die bij verschillende deelnemers worden verzameld.

Als je de steekproefomvang afhankelijk laat zijn van de verzamelde data (zoals in kwalitatief onderzoek als saturatie wordt gebruikt als criterium om de steekproefomvang te bepalen, en in kwantitatief onderzoek als er gebruik wordt gemaakt van sequentieel toetsen in een formeel toetsingskader) kun je de procedure die je daarvoor wil gebruiken hier ook beschrijven.

Anyware (anyware): List the software and hardware you plan to use for the study. Include model/version numbers, producers, and operating systems, if applicable.

Beschrijf hier de soft- en hardware die je gaat gebruiken (bijvoorbeeld LimeSurvey, LabJS, RStudio, R, jamovi, etc). Houd er rekening mee dat volgens de Open Science richtlijnen het gebruik van betaalde software in principe moet worden vermeden, zodat alle bestanden die je produceert toegankelijk zijn voor andere wetenschappers (en andere leden van de maatschappij) zonder dat zij geld hoeven hebben voor bepaalde licenties.

Repositories (repositories): List the repositories you will use to publish your data, analyses, materials, and documentation. If you do not plan to publish one or more of these, you can indicate and explain that here.

Geef hier de URL naar de repositories waar je alle documentatie, datasets, analyse scripts, en andere bestanden voor je studie openbaar maakt. Meestal maak je, voordat je gaat preregistreren, een Open Science Framework repository aan op https://osf.io, en hier kun je de URL naar dat repository opnemen. Als je Git gebruikt voor versiebeheer, kun je hier ook de URL naar het Git repository opnemen (bijvoorbeeld op https://gitlab.com). Het kan natuurlijk ook zijn dat je een ander repository gebruikt.

Preprint server (preprint): Indicate which preprint server you plan to use to publish the preprint(s) from this project. If you do not plan to publish a preprint, you can indicate and explain that here.

Als je een studie doet, dan is het belangrijk dat niet alleen alle data en andere bestanden openbaar toegankelijk zijn, maar ook de rapportage over de uitkomsten. Dit kan een wetenschappelijk artikel zijn, een bachelor of master these, of een ander verslag. Hier kun je aangeven welke server je gaat gebruiken om het manuscript over deze studie te publiceren. Voor wetenschappelijke artikelen in de psychologie is bijvoorbeeld https://psyarxiv.com gangbaar, en voor onderwijswetenschappen, https://edarxiv.org. Op https://osf.io/preprints/ kun je een hele serie preprint server zien, en op https://en.wikipedia.org/wiki/List_of_preprint_repositories een nog grotere lijst.

Voor bachelor en master theses is https://thesiscommons.org heel geschikt. Door hier zelf je bachelor of master these te plaatsen, houd je de regie over hoe je het openbaar maakt voor mensen uit de praktijk en wetenschap. Je kunt dan bijvoorbeeld een voorpagina opnemen waar je mensen kunt informeren over nieuwe ontwikkelingen, bijvoorbeeld als je een vervolgstudie doet, of je kunt mensen naar je e-mail, LinkedIn of Twitter profiel leiden voor als ze vragen hebben.

Als je om de een of andere besluit om de rapportage over dit project niet openbaar te maken, dan kun je dat hier uitleggen. De Nederlandse universiteiten hebben zich gecommitteerd aan het Open Access toegankelijk maken van wetenschappelijk onderzoek, en vanuit de Nederlandse Gedragscode Wetenschappelijke Integriteit en haar ZOVET principes (zorgvuldigheid, onafhankelijkheid, verantwoordelijkheid, eerlijkheid, en transparantie) hebben wetenschappelijk onderzoekers ook de plicht om te streven naar het openbaar maken van hun rapportages. Echter, soms kunnen er zwaarwegende redenen zijn waarom dat niet mogelijk is, en dan kun je die hier uitleggen.

Miscellaneous methods details (misc_methods_details): Here, you can describe any details that are not captured in the other fields in this section.

Hier is ruimte voor extra informatie die je nog niet kwijt kon in de andere items maar die wel belangrijk is voor hoe je je studie uit wil voeren.

4.2.5 Section: Analyses

Missing data (missing_data): Describe how you plan to deal with missing data (e.g. observations that cannot go through as planned, archive materials that cannot be obtained, problems with recordings, missing data points, participants who drop out, etc).

Hoezeer je ook je best doet tijdens je dataverzameling, soms ontbreekt er toch data. Bij dit item kun je uitleggen en onderbouwen hoe je van plan bent daarmee om te gaan. Deze onderbouwing is belangrijker voor sommige soorten missende data dan voor anderen, en dit hangt af van de kan dat er bias ontstaat doordat die data ontbreken.

Als deelnemers aan een studie met meerdere dataverzamelingsmomenten bijvoorbeeld uit kunnen vallen, dan kan die uitval samenhangen met het onderwerp van de studie, waardoor de data die op latere momenten worden verzameld een bias bevatten. In een studie naar hoe eenzaamheid zich over tijd ontwikkelt kan het bijvoorbeeld het geval zijn dat deelnemers deels juist meedoen omdat die dataverzameling hen de gelegenheid tot contact biedt. Voor deelnemers waarbij hun eenzaamheid zich over tijd zodanig ontwikkelt dat we minder eenzaam worden, vervalt die functie, waardoor ze uit kunnen vallen. Dit zou het beeld dat uit de data ontstaat van hoe eenzaamheid zich over tijd ontwikkelt verstoren.

Een ander voorbeeld is een systematische review waar de faculteit en afdeling van de auteurs wordt geextraheerd uit de bronnen. Sommige auteurs werken bij instellingen waar de governance op een andere manier is geregeld, waardoor ze zijn ingedeeld in ‘schools’ en geen faculteit of afdeling hebben. In studies waar die vorm van governance niet toevallig datgene is dat wordt bestudeerd, is de kans dat die missende waarden invloed hebben op de resultaten nihil.

Op basis van je redenering over mogelijke bias van de verschillende mogelijke missende waarden kun je hier uitleggen welke procedure je gaat hanteren om er mee om te gaan.

Data validation (data_validation): Describe your process of ensuring that the data are correct and useful (e.g., identifying outliers, establishing correct and valid application of measurement instruments, triangulating with other sources, or other methods of verifying data integrity). Also describe your criteria for assessing data validity and how you will deal with data violating those criteria. Or, if you will not assess the correctness, usefulness, or validity of your data, you can explain that here.

Naast dat data kunnen ontbreken, kan er ook van alles fout gaan waardoor de data niet goed worden verzameld. Het verifieren hiervan wordt wel data validatie genoemd. Als data zijn gemeten met meetinstrumenten, betreft dit onder andere de procedure hoe je verifieert dat die meetinstrumenten valide zijn toegepast in je steekproef. Bij kwalitatief onderzoek betreft dit bijvoorbeeld of je de transcripten voorlegt aan de deelnemers, en soms de gecodeerde transcripten, om samen te bespreken of de interpretaties van wat de deelnemers zeiden klopt. Bij experimenteel onderzoek kan het nodig zijn te verifieren of deelnemers zich bewust waren van de condities die bestonden en/of waar ze zelf in zaten.

Voor onderzoek dat vanuit een meer realistische ontologie en vanuit een empiristisch epistemologisch perspectief wordt uitgevoerd geldt dat je in principe de validiteit van je meetinstrumenten en manipulaties van te voren moet vaststellen, dus voordat je start met een studie om een substantieve onderzoeksvraag te beantwoorden. Hier kun je dan uitleggen hoe je weet dat die meetinstrumenten in je doelpopulatie en -context de corresponderende doelconstructen zullen meten, en hoe je weet dat die manipulaties in je doelpopulatie en -context de corresponderende doelconstructen zullen beïnvloeden (en geen andere constructen).

Analysis plan (analysis_plan): Describe the specific procedure you will apply to arrive at an answer to the research question(s). If you distinguish analysis tiers (e.g., primary and secondary analyses, or confirmatory and exploratory analyses), list them and indicate which procedures you plan to use for each. Also specify what you will do if parts of the plan cannot be properly executed. This is also where you can explain your reasons for assuming that your chosen procedure is appropriate to arrive at the answers you seek.

Hier kun je uitleggen welke analyses je van plan bent om uit te voeren op de data die je gaat verzamelen. Hier kun je uitleggen hoe de primaire variabelen, secundaire variabelen, en covariaten een rol spelen in die analyses. Je kunt bovendien uitleggen op basis waarvan je aanneemt dat die analyses adequaat zijn om de antwoorden op je onderzoeksvragen te vinden.

Criteria for conclusions / inference criteria (criteria_for_conclusions): If you plan to draw your conclusions based on pre-specified criteria (e.g., a minimal effect size of interest, a significance level, or a saturation point), list these here, explain what they were based on, and explain your reasoning. If you plan to draw conclusions but will not use pre-specified criteria, you can explain why you will establish criteria later, by what procedure, and how you plan to ameliorate the risk of bias. Finally, if you will not draw any inferences (e.g., about theories or hypotheses), you can also explain that here.

Soms wil je bij onderzoek een duidelijke conclusie kunnen trekken. Dat is noodzakelijkerwijs het geval als je een hypothese toetst, maar soms ook in andere gevallen. In zulke gevallen moet je van te voren de criteria voor je conclusies vaststellen. Soms kan dat niet, en bepaal je die criteria laten; dan kun je hier uitleggen welke procedure je gaat gebruiken, en hoe je het risico op bias wil minimaliseren. Tot slot, als je niet van plan bent conclusies te trekken (bijvoorbeeld over hypothesen of theorieen), dan kun je dat hier uitleggen.

Analyst masking (analyst_masking): Describe the procedure, if any, used to mask analysts (i.e., the person(s) analyzing the extracted data to arrive at answers to your research question(s)) from the research questions, expectations, hypotheses, and/or specific roles of each variable in this study. If you decide to not use masked analysists, you can state that decision here.

Tijdens kwalitatieve en kwantitatieve analyses neemt de onderzoeker honderden of duizenden beslissingen, die lang niet allemaal expliciet worden gedocumenteerd en onderbouwd. Hier is veel gelegenheid voor bewuste of onbewuste beinvloedding van de uitkomsten, en het maskeren van degene die de analyses uitvoert is een middel om dit tegen te gaan. Hier kun je uitleggen of je daar gebruik van gaat maken, en zoja, hoe. Als je besluit om de analysten niet te maskeren, kun je dat hier ook uitleggen.

Miscellaneous analysis details (misc_analysis_details): Here, you can describe any details that are not captured in the other fields in this section.

Hier kun je details beschrijven die belangrijk zijn voor de analyses, maar die je nog niet hebt kunnen beschrijven.

4.3 Geavanceerd gebruik: preregr

In R bestaat het preregr package, waardoor je rechtstreeks binnen R een preregistratie kunt uitvoeren. Zie voor meer informatie hierover de website. Met preregr kun je ook nieuwe preregistratieformulieren specificeren. Dit kan nuttig zijn als je merkt dat er voor een bepaald type onderzoek eigenlijk nog geen geschikt preregistratieformulier bestaat. Het komen tot een nieuw preregistratieformulier kun je ook weer door middel van een studie doen, bijvoorbeeld een Delphi studie of een systematische review, die je dan ook weer kunt preregisteren.

Onderstaande “vignettes” geven meer informatie over hoe je met deze functionaliteit aan de slag kunt: