Hoofdstuk 24 Respons Proces Evaluatie

In dit hoofdstuk wordt besproken:
  • Response Process Evaluation
Deze stof wordt behandeld in de volgende Open Universiteitscursus(sen):
  • Onderzoekspractium cross-sectioneel onderzoek (PB0812)
Dit hoofdstuk bouwt voort op deze andere hoofdstukken:
  • Constructen
  • Constructen Meten
  • Validiteit van Meetinstrumenten

24.1 Inleiding

In hoofdstukken Constructen, Constructen Meten, en Validiteit van Meetinstrumenten wordt uitgelegd dat validiteit is of een meetinstrument meet wat het moet meten. Bij onderzoek bij mensen betekent dat meestal dat de scores op het meetinstrument worden veroorzaakt door het construct dat het meetinstrument moet meten. De kwestie van validiteit kan dus worden beschouwd als het equivalent van de vraag of het meetinstrument “het doet”. Net als dat een kapotte thermometer of weegschaal niet gebruikt kan worden in onderzoek naar temperatuur of gewicht kan een meetinstrument dat het doelconstruct niet meet niet worden gebruikt in onderzoek bij mensen (e.g. psychologie, onderwijswetenschappen, managementwetenschappen, of andere velden waar mensen worden onderzocht).

Een meetinstrument bestaat uit een procedure, nul of meer stimuli, en bovendien een of meerdere items. Een item bestaat uit een procedure, nul of meer stimuli, en een respons-registratie. Toepassing van zo’n meetinstrument bestaat eruit dat een deelnemer volgens de procedure wordt blootgesteld aan de stimuli en er een of meerdere responsen worden geregistreerd. Als het meetinstrument valide is, worden de geregistreerde responsen veroorzaakt door het doelconstruct (i.e. het construct dat het meetinstrument beoogt te meten). Hoe dit plaatsvindt hangt af van het responsmodel van het meetinstrument. Deze responsmodellen beschrijft hoe het doelconstruct precies zorgt voor de responses. Responsmodellen starten vaak bij de perceptie en interpretatie van de procedure, stimuli, en responsregistratie door de deelnemer, waarna het doelconstruct is betrokken bij het produceren van de respons op basis van die interpretatie.

Een eerste voorwaarde voor validiteit is daarom dat de procedure, stimuli, en respons registratie door de deelnemer worden geïnterpreteerd zoals bedoeld. Er zijn twee methoden om dit te onderzoeken: Cognitieve Interviews en Respons Proces Evaluatie. Cognitieve Interviews worden verder besproken in hoofdstuk Cognitieve Interviews, en Respons Proces Evaluatie wordt verder besproken in dit hoofdstuk.

24.2 Responsprocessen

Het responsproces is het proces dat plaatsvindt als iemand aan een item wordt blootgesteld.18 Als een item aan iemand wordt gepresenteerd, start het responsproces met perceptie van dat item (i.e. de responsregistratie, die eventueel in combinatie met een of meer stimuli wordt aangeboden, volgens de procedurele informatie in het item). Dit betekent dat via een of meer van de zintuigen (zie hoofdstuk Stimuli) informatie binnenkomt. Die wordt vervolgens verwerkt, en uiteindelijk resulteert dat in een respons. Dit wordt snel abstract, dus laten we een concreet voorbeeld nemen.

Alcoholgebruik is zeer schadelijk. Een enkel glas is al ongezond, maar de schade neemt toe naarmate er meer wordt geconsumeerd. Tegelijkertijd is alcohol (net als koffie) in Nederland een van de gelegaliseerde drugs, dus mensen mogen het kopen en bezitten.19 Omdat de schade door alcoholgebruik toeneemt naarmate er meer wordt geconsumeerd, worden er preventie-campagnes ontwikkeld om overmatig alcoholgebruik te ontmoedigen. Om zulke campagnes te ontwikkelen is het eerst nodig om inzicht te hebben in waarom sommige mensen veel drinken en anderen niet (Peters, 2014a). Hiervoor wordt onder andere onderzoek gedaan naar de intentie van mensen om hun alcoholgebruik te modereren. Dit wordt gemeten met de volgende vraag:

Ik ben van plan om volgende week maximaal 14 alcoholische drankjes te drinken. absoluut niet 🔾 🔾 🔾 🔾 🔾 absoluut wel

Een zeer rudimentair responsmodel bij dit item kan als volgt worden omschreven:

  1. De deelnemer neemt het item waar; interpreteert de beelden; en verwerkt de teksten.
  2. De deelnemer begrijpt dat er een antwoord moet worden gegeven door een van de vijf opties te selecteren;
  3. De deelnemer begrijpt dat het antwoord op een schaal van “absoluut niet” tot “absoluut wel” moet worden gegeven;
  4. De deelnemer begrijpt dat er wordt gevraagd naar of hen van plan is om volgende week maximaal 14 alcoholische drankjes te drinken;
  5. De deelnemer denkt na over de plannen die hen volgende week heeft;
  6. De deelnemer schat in op welke dagen hen van plan is om alcohol te drinken;
  7. De deelnemer bedenkt of hen van plan is om op die dagen hun alcoholconsumptie te beperken, zodanig dat die over de gehele week de 14 drankjs niet overstijgt.
  8. De deelnemer bepaalt welke van de vijf antwoordopties die antwoordoptie het beste correspondeert met de mate waarin de deelnemer van plan is hun alcoholconsumptie te modereren.
  9. De deelnemer selecteert die antwoordoptie.

De nummering is hier gebruikt om deelprocessen onderscheiden. In dit responsmodel zijn een aantal deelprocessen sequentieel (stap 1 moet bijvoorbeeld plaatsvinden voor de overige stappen), maar kunnen andere deelprocessen in parallel worden uitgevoerd (zoals het verwerken van de antwoordschaal en het verwerken van de vraagtekst).

Dit is het responsmodel voor het item: als alle deelnemers dit item op deze manier verwerken, dan is het item valide, volgens de definitie van validiteit uit hoofdstuk Validiteit van Meetinstrumenten.20 Een responsproces van dit item kan er bijvoorbeeld zo uitzien:

  1. De deelnemer neemt het item waar; interpreteert de beelden; en verwerkt de teksten.
  2. De deelnemer begrijpt dat er een antwoord moet worden gegeven door een van de vijf opties te selecteren;
  3. De deelnemer begrijpt dat het antwoord op een schaal van “absoluut niet” tot “absoluut wel” moet worden gegeven;
  4. De deelnemer begrijpt dat er wordt gevraagd naar of hen van plan is om volgende week ongeveer 14 alcoholische drankjes te drinken;
  5. De deelnemer denkt na over de plannen die hen volgende week heeft;
  6. De deelnemer schat in op welke dagen hen van plan is om alcohol te drinken;
  7. De deelnemer bedenkt of hen van plan is om op die dagen ongeveer zoveel te drinken dat die over de gehele week ongeveer 14 drankjes worden gedronken.
  8. De deelnemer bepaalt welke van de vijf antwoordopties die antwoordoptie het beste correspondeert met de mate waarin de deelnemer van plan is om ongeveer 14 drankjes te drinken.
  9. De deelnemer selecteert die antwoordoptie.

Dit responsproces divergeert op een fatale manier van het responsmodel. Die divergentie start hier in deelproces 4. Het is gelijk duidelijk dat dit item voor deze deelnemer geen validiteit heeft: de respons van de deelnemer is niet veroorzaakt door het doelconstruct.

24.3 Respons Proces Evaluatie

Het doel van Respons Proces Evaluatie21 (RPE) is om het responsproces van items in een meetinstrument te evalueren. Hiermee kan worden gekeken of het responsproces consistent lijkt met het responsmodel van het meetinstrument.

RPE bestaat uit het aanbieden van de betreffende items met per item een aantal metavragen die zijn ontworpen om het responsproces van dat item in kaart te brengen. Voorbeelden van algemeen bruikbare metavragen zijn: “Wat denk je dat deze vraag betekent?” en “Waarom heb je het antwoord gegeven dat je gaf?”. Een specifieke metavraag die bij het voorbeelditem hierboven gesteld kan worden is bijvoorbeeld “Wat betekent ‘maximaal 14 alcoholische drankjes drinken’ voor jou?”. Wolf et al. (2019) geven in hun uitgewerkte voorbeeldvraag meer voorbeelden.

Deze metavragen zijn vaak (maar niet noodzakelijk) open vragen. Er worden dus kwalitatieve data verzameld met RPE. Deze worden daarna gecodeerd door twee of meer experts (met betrekking tot het doelconstruct en het meetinstrument), bijvoorbeeld met categorieën als “begrepen”, “niet begrepen” of “onvoldoende informatie”; of “consistent met responsmodel”, “inconsistent met responsmodel”, of “onvoldoende informatie”. De items en de metavragen worden aan een klein aantal deelnemers gepresenteerd. Wolf et al. (2019) geven aan dat in hun ervaring ongeveer vijf deelnemers lijkt te volstaan.

De gecodeerde evaluaties van de experts worden dan vergeleken. Als een item door iedereen is gecodeerd met de wenselijke categorie (bijvoorbeeld “begrepen” of “consistent met responsmodel”), wordt het item weer aan een volgende groep deelnemers gepresenteerd; en als dat niet het geval is, dan wordt het item verbeterd. Dit gaat door totdat elk item voldoende vaak achter elkaar is gepresenteerd en door alle experts met de wenselijke categorie is gecodeerd [dit lijkt ongeveer twintig opeenvolgende toedieningen te vereisen; Wolf et al. (2019)].

Er is een korte opgenomen presentatie van Melissa Wolf, een van de ontwikkelaars van RPE, waarin ze het uitlegt. Deze is hier beschikbaar. Houd er rekening mee dat de definitie van validiteit die ze op slides 8 (“What is Validity”), 9 en 10 geeft anders is dan de definitie die in dit boek wordt gehanteerd; zij volgt de definitie van Kane (zie sectie “Geschiedenis: criterium, content, en construct-validiteit” in hoofdstuk Validiteit van Meetinstrumenten), niet die van Borsboom et al.22

24.4 Respons Proces Evaluatie versus Cognitieve Interviews

Respons Proces Evaluatie en Cognitieve Interviews hebben elk een aantal unieke voor- en nadelen ten opzichte van elkaar. In de tabel hieronder staan deze op een rijtje.

Tabel 24.1: Een vergelijking van Respons Proces Evaluatie en Cognitieve Interviews
Cognitieve Interviews Response Process Evaluation
AVG Als er alleen aantekeningen worden gemaakt, worden er geen persoonsgegevens verzameld. Als er audio-opnames worden gemaakt, wellicht wel (overleg met de Privacy Officer). Als deelnemers goed worden geïnstrueerd om geen persoonsgegevens in de tekstvelden te typen (en die instructies opvolgen), worden er geen persoonsgegevens verzameld.
Tijd Cognitieve Interviews kunnen tijdrovend zijn; er zijn vaak minstens twee rondes nodig en er moeten interviews worden ingeplanned en gehouden. Als het nodig is om audio-opnames te maken, moeten die bovendien vaak worden getranscribeerd. Respons Proces Evaluatie kan relatief snel. Hoewel er veel iteraties nodig zijn, zijn in elke iteratie maar enkele deelnemers nodig. Bovendien zijn de antwoorden van deelnemers vaak kort en kunnen ze snel worden gecodeerd.
Flexibiliteit Cognitieve Interviews zijn uitermate flexibel. Als een deelnemer informatie geeft over hun responsproces die interessant is, kan de interviewer daarop doorvragen. Omdat bij Respons Proces Evaluatie de metavragen van te voren moeten worden opgesteld, is de flexibiliteit lager. Tegelijkertijd kunnen tussen iteraties metavragen wel worden aangepast.

Referenties

Peters, G.-J. Y. (2014a). A practical guide to effective behavior change: How to identify what to change in the first place. European Health Psychologist, 16(5), 142–155. https://doi.org/10.31234/osf.io/hy7mj
Wolf, M. G., Ihm, E. D., Maul, A., & Taves, A. (2019). Survey Item Validation [Preprint]. PsyArXiv. https://doi.org/10.31234/osf.io/k27w3

  1. Op een hoger niveau geldt ditzelfde voor een meetinstrument: meetinstrumenten bestaan immers uit een of meer items met eventueel additionele stimuli en procedurele informatie.↩︎

  2. Drugs zelf, en consumptie van drugs, zijn legaal voor alle drugs; alleen handelingen kunnen strafbaar zijn.↩︎

  3. Het responsmodel kan natuurlijk fout zijn, waardoor alsnog niet echt het doelconstruct wordt gemeten.↩︎

  4. In de naam van de methode is de spatie intact gelaten om de parallel met de oorspronkelijke Engelstalige naam te behouden.↩︎

  5. Dit onderscheid maakt in de praktijk weinig uit, maar om verwarring te voorkomen even de expliciete melding.↩︎