Hoofdstuk 38 Open science
Auteurs: Gjalt-Jorn Peters; laatste update: 2022-11-04
- Wat is open science?
- Wat valt er allemaal onder open science?
- Onderzoekspracticum bachelor thesis (PB9966)
- Onderzoekspracticum scriptieplan (PM9514)
38.1 Inleiding
In 2021 publiceerde de United Nations Educational, Scientific and Cultural Organization (UNESCO) de UNESCO Recommendation on Open Science (zie https://bit.ly/unesco-os). In het persbericht dat hiermee gepaard ging, stelde UNESCO
“The first international framework on open science was adopted by 193 countries attending UNESCO’s General Conference. By making science more transparent and more accessible, the UNESCO Recommendation on Open Science will make science more equitable and inclusive.
Through open science, scientists and engineers use open licenses to share their publications and data, software and even hardware more widely. Open science should, thus, enhance international scientific cooperation.”
Deze 193 landen, waaronder Nederland, hebben hiermee toegezegd zich in te zullen spannen om open science te bevorderen. In Nederland was open science al langer bekend. Al in 2017 adopteerde de Open Universiteit een openscience-beleid en veel wetenschappers bedreven open science al voor die tijd. In dit hoofdstuk wordt uitgelegd wat open science precies is en waarom het zo expliciet wordt omarmd.
38.2 De replicatiecrisis
In 2005 verscheen een artikel met de sensationele titel ‘Why most published research findings are false’ (beschikbaar op https://doi.org/chhf6b). In dat artikel presenteerde John Ioannidis een aantal simulaties waaruit hij concludeerde dat het zeer waarschijnlijk is dat van alle gepubliceerde bevindingen er minder waar dan onwaar zijn.
In 2011 verscheen ‘Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect’ van Daryl Bem (beschikbaar op https://dbem.org/FeelingFuture.pdf). In dit artikel presenteerde de auteur evidentie uit maar liefst negen experimenten met in totaal meer dan 1000 deelnemers waaruit het bestaan van ‘psi’ bleek: het fenomeen dat mensen de toekomst kunnen voorspellen. De psychologische wetenschappelijke gemeenschap reageerde geschokt en het artikel en de gerapporteerde onderzoeken en analyses werden uitvoerig bediscussieerd. Twee dingen werden duidelijk. Ten eerste, deze onderzoeken en analyses waren uitgevoerd volgens de geldende methodologische en statistische normen. Ten tweede, deze normen leken onvoldoende rigoureus.
Datzelfde jaar verscheen ‘False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant’ van Joe Simmons, Leif Nelson en Uri Simonsohn (beschikbaar op https://doi.org/bxbw3c). Zij presenteerden, weer volgens de regels van het spel, evidentie waaruit ze concludeerden dat het luisteren naar bepaalde nummers mensen ouder of jonger kon maken. Ze introduceerden de term ‘reseachers degrees of freedom’, oftewel ‘onderzoekersvrijheidsgraden’, die verwijst naar de duizenden beslissingen die wetenschappers nemen, en stelden dat onvolledige transparantie over die beslissingen en onderbouwingen het mogelijk maken om resultaten van een onderzoek als evidentie voor eender wat te presenteren, ongeacht de patronen in de verzamelde data.
In 2015 publiceerde een groep wetenschappers ‘Estimating the reproducibility of psychological science’, de resultaten van het Reproducibility Project: Psychology (verkrijgbaar via http://hub.hku.hk/bitstream/10722/230596/1/Content.pdf). Hier concluderen ze dat de effectgroottes van replicaties ongeveer de helft waren van de originele effectgroottes, dat 36 procent van de replicaties significante resultaten behaalde en dat 38 procent van de uitkomsten als gerepliceerde resultaten werden beoordeeld als onderzoekers naar hun subjectieve oordeel werd gevraagd.
Samen met andere soortgelijke artikelen – bijvoorbeeld waaruit bleek dat veel onderzoeken naar het fenomeen priming of naar het ego-depletioneffect niet te repliceren waren – maanden deze artikelen de psychologische wetenschap tot zelfreflectie. Hoe was het mogelijk dat zo weinig onderzoek repliceerde? Hoe konden we onze aanpak verbeteren zodat we meer konden vertrouwen op de conclusies van onze onderzoeken? Een aantal oplossingen zijn gesuggereerd, zoals constructdefinities en meetinstrumenten serieuzer nemen, meer gebruikmaken van computationele modellen, en de alfa verlagen van .05 naar .005. Een van die oplossingen is open science.
38.3 Open science als oplossing
Een substantieel deel van de problemen die ten grondslag liggen aan de replicatiecrisis hebben betrekking op gebrekkige transparantie in wetenschappelijk onderzoek. Transparantie is een van de pilaren van open science en – niet geheel toevallig – een van de vijf principes van de Nederlandse gedragscode wetenschappelijke integriteit.
Tot voor kort was het niet gangbaar dat wetenschappers in de psychologie de materialen (zoals vragenlijsten en broncodes), data, analysescripts en ruwe resultaten van onderzoek proactief publiek toegankelijk maakten. Hierdoor is het heel moeilijk voor andere wetenschappers om het onderzoek op waarde te schatten en om bijvoorbeeld een beeld te krijgen van beslissingen die de uitkomsten, bedoeld of onbedoeld, kunnen vertekenen. Om deze situatie te verbeteren worden vanuit de openscience-gedachte een aantal praktische oplossingen aanbevolen die hier kort worden besproken.
38.3.1 Preregistraties
Tegenwoordig start een onderzoek met een preregistratie. Een preregistratie is een openbaar toegankelijke, bevroren, gedetailleerde beschrijving van de procedure van een onderzoek. Vooraf wordt precies uitgewerkt hoe een onderzoek zal worden uitgevoerd, hoe zal worden omgegaan met bijvoorbeeld missende waarden of verdachte verdelingsvormen, hoe de resultaten zullen worden geanalyseerd, en wanneer precies welke conclusies zullen worden getrokken.
Door deze preregistratie is het makkelijker voor de onderzoekers om helder te hebben wanneer wordt afgeweken van die planning, zodat die afwijkingen gedocumenteerd en onderbouwd kunnen worden. Bovendien verkleint preregistratie publication bias, het fenomeen dat wetenschappelijke tijdschriften vaak alleen onderzoek met ‘positieve uitkomsten’ willen publiceren (bijvoorbeeld uitkomsten die de verwachtingen van de onderzoekers bevestigen). De preregistraties maken het mogelijk om ook die onderzoeken te vinden die journals niet willen publiceren.
Preregistratie is een belangrijk onderwerp, en studenten aan de Open Universiteit voeren zelf ook preregistraties uit. Daarom wordt preregistratie in meer detail besproken in een eigen hoofdstuk: Preregistratie.
38.3.2 Open infrastructuur
Openscience-onderzoek wordt uitgevoerd op open infrastructuur. Dit betekent dat zogenaamde propriëtaire (proprietary) software zoveel mogelijk wordt vermeden en in plaats daarvan wordt er gebruikgemaakt van free/libre open source software (FLOSS), tenzij het echt niet anders kan.
Propriëtaire software is software met restrictieve licenties, waardoor de broncode niet vrij toegankelijk en aanpasbaar is. Vaak (maar niet altijd) zijn dergelijke softwarepakketten bovendien niet gratis te gebruiken.
Dit is een van de redenen waarom in de Onderzoekspractica bij de Open Universiteit voor statistische analyses steeds minder SPSS wordt gebruikt (een commercieel pakket van IBM), maar jamovi of R (FLOSS-pakketten), waarom de Open Universiteit vooral LimeSurvey gebruikt voor dataverzameling, en waarom Zotero wordt aangeraden als referentiemanager.
Overigens is een bijkomend voordeel in een onderwijscontext dat FLOSS-pakketten vaak niet alleen krachtiger zijn, maar ook toegankelijk voor iedereen, ongeacht inkomen. Vaardigheden die je als student opdoet, kun je daardoor ook na je studie nog blijven inzetten. Als je leert werken met propriëtaire software is die na je studie vaak niet meer beschikbaar, omdat je dan geen gebruik meer kunt maken van de goedkope licenties die je als student kunt krijgen. SPSS kost bijvoorbeeld ongeveer 1000 euro per jaar. In Tabel 38.1 staat een overzicht met een aantal voorbeelden van gesloten (propriëtaire) en open software.
| Propriëtaire software | Open source software | |
|---|---|---|
| Dataverzameling | Qualtrics, Google Forms, SurveyMonkey | LimeSurvey, formr, LabJS |
| Referentiemanagement | Endnote, Mendeley | Zotero, JabRef |
| Kwantitatieve data-analyse | SPSS, SAS, STATA, Excel | R, jamovi, JASP, python |
| Kwalitatieve data-analyse | NVivo, Atlas.TI, Dedoose | ROCK, QualCoder, Taguette |
| Kantoor software | Microsoft Office, Google Docs | LibreOffice |
38.3.3 Open data
Vroeger was het niet gangbaar om data openbaar te maken, maar tegenwoordig wordt het door bijna alle subsidieverstrekkers vereist. Logisch, want er kleven veel voordelen aan open data. Om een paar voorbeelden te noemen: onderzoeken kunnen goed worden geverifieerd door andere wetenschappers als deze toegang tot de data hebben, het aggregeren van evidentie wordt beter mogelijk, en er hoeft minder nieuwe data te worden verzameld wanneer er al goede data beschikbaar zijn.
Open data wordt meer in detail besproken in het hoofdstuk Open data.
38.3.4 Open materialen
Naast het delen van data worden ook de materialen die worden gebruikt om data te verzamelen en te analyseren gedeeld. Dit zijn bijvoorbeeld vragenlijsten, analysescripts, protocollen, standaarddocumenten voor communicatie, en aanvragen en goedkeuringen voor ethische toestemming. Kortom, alle bestanden die bij wetenschappelijk onderzoek worden geproduceerd of gebruikt.
Door deze materialen proactief beschikbaar te maken voor andere wetenschappers wordt voorkomen dat onnodig publieksgeld wordt gestoken in het opnieuw produceren of opzoeken van materialen. Bovendien verhoogt het de kans dat foutjes worden gevonden en kunnen worden rechtgezet, waardoor de betrouwbaarheid van wetenschappelijke bevindingen toeneemt.
Bij het openbaar maken van materialen gelden dezelfde principes als voor het openbaar maken van data. Zo is het belangrijk om open bestandsformaten te gebruiken, zodat andere wetenschappers geen specifieke licenties nodig hebben om de bestanden te openen, en is het belangrijk om te zorgen dat de materialen goed vindbaar zijn voor andere wetenschappers. Bovendien is het belangrijk om voor materialen expliciet een permissieve licentie te specificeren (zie het hoofdstuk Intellectueel eigendom).
38.3.5 Preprints
Preprints zijn openbaar toegankelijke versies van wetenschappelijke artikelen, hoofdstukken, of andere teksten die in speciale preprint repositories worden geplaatst. Dit gebeurt meestal (maar niet altijd) voordat de betreffende tekst is verschenen in een wetenschappelijk tijdschrift of voordat een boek is uitgegeven.
Het plaatsen van preprints heeft een aantal voordelen. Het versnelt wetenschappelijke vooruitgang doordat de informatie in de preprints eerder toegankelijk is voor andere wetenschappers. Bovendien verhoogt het de kwaliteit van de uiteindelijke artikelen, omdat andere wetenschappers vaak al kunnen reageren op de preprint terwijl de tekst nog niet zijn definitieve vorm heeft (bijvoorbeeld terwijl de tekst in peer review is).
Door het beschikbaar stellen van preprints zijn wetenschappelijke producten ook toegankelijk voor een breder publiek. Zelfs als het uiteindelijke artikel niet open access wordt gepubliceerd (zie de volgende paragraaf), is de preprint openbaar toegankelijk. Tot slot geldt dat preprints meer worden geciteerd door andere wetenschappers dan artikelen uit wetenschappelijke tijdschriften. Dit voordeel heeft geen wetenschappelijke waarde, maar universiteiten en tijdschriften zijn hier blij mee omdat zij soms nog worden afgerekend op verouderde indicatoren zoals het aantal citaties of de impact factor (het gemiddelde aantal citaties naar artikelen uit een wetenschappelijk tijdschrift in een bepaalde periode).
Een risico van preprints is dat iedereen in principe preprints kan plaatsen en dat hier vaak geen controle op is (hoewel sommige preprint-servers, zoals PsyArXiv, wel gemodereerd zijn). Veel wetenschappelijke journals hanteren peer review als methode om de kwaliteit van de artikelen wat te verhogen. Deze procedure is recent echter onder vuur komen te liggen. Vaak komen fouten in onderzoeken toch door de peer-review heen en soms introduceert peer review juist fouten, bijvoorbeeld omdat reviewers erop staan dat achterhaalde (maar bij hen bekende) methoden worden gebruikt.
Hoewel het gebrek aan grondige controle bij preprints dus een risico is, lijkt het erop dat datzelfde risico in vergelijkbare mate bestaat bij artikelen die wel gepeer-reviewed zijn. Bij het lezen van preprints is dus een uiterst kritische houding op zijn plaats – net als bij het lezen van gepubliceerde artikelen.
38.3.6 Open access
De term open access wordt op twee manieren gebruikt. Ten eerste wordt het specifiek gebruikt voor een manier om wetenschappelijke artikelen te publiceren: zodanig dat ze voor iedereen gratis te lezen en te downloaden zijn, en dus open toegankelijk. Ten tweede wordt het in meer algemene zin gebruikt om aan te duiden dat bepaalde documenten of materialen openbaar toegankelijk zijn.
Vroeger werkten wetenschappelijke tijdschriften met abonnementen. Deze waren erg duur en werden bovendien vaak verkocht in bundels. Vaak konden alleen universiteitsbibliotheken voor die grote bundels kiezen. Dit maakte toegang voor burgers en organisaties die niet bij een universiteitsbibliotheek waren aangesloten praktisch onmogelijk.
De opkomst van het internet veranderde deze situatie. Toegang verkrijgen tot documenten kan nu voor elke honderden euro’s per jaar, ongeacht het aantal artikelen. De kosten voor typesetting – het opmaken van de manuscripten – blijven, maar in totaal zijn de kosten slechts enkele honderden euro’s per artikel. Hierdoor kwam het openaccess-model op. De schrijvers van artikelen betalen article processing costs (APC) en dan is het artikel gratis toegankelijk.
Wetenschap wordt grotendeels betaald met publieksgeld. Hierdoor heeft er een grote verschuiving plaatsgevonden waarbij Nederlandse subsidieverstrekkers nu eisen dat het onderzoek gratis toegankelijk is en dus open access gepubliceerd moet worden. Vaak kan dit ook gratis als je bij een Nederlandse universiteit bent aangesloten.
Bij sommige tijdschriften worden artikelen nog niet gratis toegankelijk gemaakt. In deze gevallen maken wetenschappers hun artikelen alsnog open access door ze op preprintservers te plaatsen. Heel soms staan tijdschriften zelfs dat niet toe en moeten de wetenschappers een andere route vinden, of accepteren dat hun onderzoek niet goed toegankelijk is voor anderen.
De term open access wordt dus ook in bredere zin toegepast op allerlei producten van het wetenschappelijk bedrijf. Zo kan worden gesproken over openaccess-data, openaccess-vragenlijsten of openaccess-software. Dit gebruik is verwarrend omdat data altijd in het publieke domein bestaan (tenzij het persoonsgegevens zijn; zie het hoofdstuk Open data en het hoofdstuk Intellectueel eigendom en omdat voor software al de term open source bestaat, die betrekking heeft op het type licentie dat wordt toegepast. Let in deze gevallen daarom goed op wat precies wordt bedoeld met de term open access.
38.4 Open science is (veel) meer
Open science omvat nog een aantal aspecten waarmee je in je rol als studentonderzoeker waarschijnlijk minder direct in aanraking komt. Deze worden hier kort aangestipt.
38.4.1 Open educational resources
Om toegang tot (onderwijs in) wetenschappelijke inzichten te vergroten, is het belangrijk dat met publieksgeld gratis toegankelijke materialen worden ontwikkeld. Dit boek is hiervan een voorbeeld: het is een openaccess-boek, waardoor het een zogenaamde open educational resource is. Dit boek is dus niet alleen toegankelijk voor studenten van de Open Universiteit, maar voor iedereen, ongeacht hun inkomen. Op deze manier wordt de toegang tot wetenschappelijke kennis bereikbaar voor iedereen, wat bijdraagt aan het verkleinen van socio-economische verschillen tussen mensen.
38.4.2 Inclusiviteit en diversiteit
Open science betekent ook dat er meer nadruk ligt op inclusieve en diverse wetenschap. Dit houdt niet alleen in dat iedereen deel moet kunnen nemen aan wetenschap, los van waar je woont of vandaan komt. Maar ook is epistemologische heterogeniteit van wetenschap – dat wil zeggen, onderzoek doen vanuit verschillende zienswijzen over hoe je kennis kunt verwerven – van algemeen belang voor wetenschappelijke vooruitgang. De nadruk op inclusiviteit en diversiteit gaat zelfs nog iets breder en behelst ook het streven om meer aandacht en respect te hebben voor ontologische en epistemologische benaderingen die niet traditioneel westers zijn, de zogenaamde ‘indigenous knowledge systems’.
38.4.3 Citizen science
Een andere pilaar van open science is citizen science: het betrekken van burgers bij wetenschappelijk onderzoek, niet alleen als deelnemers, maar bij het onderzoek zelf. Dit kan bijvoorbeeld betekenen dat burgers meehelpen bij een systematische review, zelf een experiment doen met hun huisdieren, mede vormgeven aan het onderzoeksontwerp of geraadpleegd worden bij het prioriteren van onderzoek. In sommige stromingen binnen kwalitatief onderzoek, vaak in meer activistische benaderingen, was dit al langer gangbaar, maar op andere gebieden, zoals de sociale psychologie, is dit een nieuwe ontwikkeling.