De nadruk op cijfermatige kennis heeft in de sociale wetenschappen niet veel nuttigs opgeleverd.
Ik heb sociale psychologie gestudeerd. Daar heb ik weinig aan gehad, eerlijk gezegd. Toen ik afstudeerde, in 2011, bleek mijn diploma waardeloos. Het was crisis en niemand zat te wachten op een sociaal psycholoog. Diederik Stapel besmeurde mijn papiertje daarnaast ook nog eens met zijn gesjoemel; zijn fraude zette dikke vraagtekens bij de sociale psychologie als wetenschap, en daarmee bij mijn master.
Nu, vijf jaar later, blijkt dat tweederde van het sociaalpsychologisch onderzoek niet repliceerbaar is en sneuvelt de ene 'klassieke' bevinding na de andere. Met andere woorden: het hele vakgebied staat bol van de gebakken lucht.
Wat heb ik eigenlijk gestudeerd, vraag ik me nu af. Maar meer nog vraag ik me af waarom niemand het heeft over de vragenlijst - het drijfzand onder de bouwval die de sociale psychologie nu blijkt te zijn.
Als eerstejaars student maakte ik al snel kennis met de vragenlijst, hét instrument van de psychologie. In de eerste maand kreeg ik een eindeloze vracht enquêtes te verstouwen, bomvol vragen die ik moest beantwoorden door een cirkeltje om een cijfer zetten. Zo hielp ik de promovendi en onderzoekers aan hun data, en mocht ik op de universiteit blijven. Het was geen goed begin van het studiejaar, en het zou nog even duren.
Tijdens mijn studie heb ik me vaak afgevraagd of de vragenlijst nou echt de manier is om de mens beter te begrijpen. De sociale psychologie pretendeert menselijk gedrag te kunnen verklaren en voorspellen middels vragenlijstonderzoeken, maar theorieën met een grote verklarende en voorspellende waarde bleken schaars. Het wrong, zeker op de maandagochtenden waarop ik me wéér door een nieuwe cursus statistiek moest ploegen. Vragenlijsten leveren namelijk cijfertjes op, dus wie zich aan psychologie waagt, waagt zich aan heel veel wiskunde.
Gewoonte om statistiek te gebruiken
Binnen de sociale wetenschappen bestaat al decennialang de gewoonte statistiek te gebruiken, ook al leent de aard van de wetenschappelijke disciplines zich daar niet direct voor. 'Physics envy' wordt deze ontwikkeling wel schamper genoemd: de neiging van wetenschappers binnen de 'zachtere' wetenschappen, zoals psychologie en sociologie, zich te beroepen op de statistiek om zo wetenschappelijk en 'bèta' mogelijk te lijken. Cijfermatige gegevens zijn, zo is de redenering, betrouwbaarder en 'harder' dan kwalitatieve gegevens waarin geen cijfers voorkomen.
Daarbij: als we iets over mensen willen weten, kunnen we het ze gewoon vragen, is het idee. Het is gemakkelijker mensen een vragenlijst in te laten vullen dan ze te observeren, en proefpersonen zijn natuurlijk ook gewoon mensen met een gezond verstand, niet waar? En zo vullen dagelijks honderden studenten en andere slachtoffers vragenlijsten in, vaak aan de hand van de Likertschaal.
Via deze schaal kan een respondent aangeven in hoeverre hij of zij het eens is met een stelling, of de sterkte van een gemoedstoestand uitdrukken, vaak op een schaal van één tot vijf of zeven. Zo kan uiteindelijk berekend worden of een bepaald onderzoeksresultaat binnen een vooraf bepaalde kansmarge valt - of het toevallig is dat mensen zich in een onderzoek beter voelen na een glimlach, bijvoorbeeld, of dat het om een wetmatigheid gaat.
Het gebruik van vragenlijsten levert echter altijd een aantal problemen op. Het gevaar bestaat ten eerste dat mensen niet eerlijk zijn, omdat ze een sociaal wenselijk antwoord geven. Ook kan het zijn dat mensen de vraag verkeerd of zelfs helemaal niet begrijpen. Beide problemen zijn in bepaalde mate te ondervangen, maar niet te elimineren.
Het is hiernaast moeilijk te controleren of een 'vier' op de Likertschaal voor iedereen hetzelfde betekent. Met andere woorden: de afstanden tussen de cijfers binnen de Likertschaal hoeven niet voor iedereen hetzelfde te zijn - maar daar is moeilijk achter te komen.
Inschatten
Een nog groter probleem bij het gebruik van vragenlijsten is dat werkelijk gedrag moeilijk te vangen is in vragen op papier. Vaak wordt mensen gevraagd zich een hypothetische situatie voor te stellen, waarna een aantal vragen moet worden beantwoord. 'Hoe denkt u dat zou reageren wanneer uw partner u zou bedriegen', bijvoorbeeld. Hoe mensen écht reageren in een dergelijke situatie wordt niet gemeten, en het is daarbij de vraag hoe goed mensen dit zélf betrouwbaar in kunnen schatten.
Beide problemen leiden tot een groter probleem: ze tasten de betrouwbaarheid van de gegevens en dus het onderzoek aan.
Dan is er nog het verschil tussen theorie en praktijk. De context waarbinnen gedrag plaatsvindt, wordt binnen sociaalpsychologisch onderzoek doelbewust uitgesloten. Mensen worden vaak gemanipuleerd in psychologische vragenlijststudies en de onderzoekers zijn natuurlijk vooral geïnteresseerd in het effect van datgene wat ze hebben gemanipuleerd - bijvoorbeeld de temperatuur. De proefpersonen worden daarom in een laboratorium ondervraagd, zonder alle contextuele factoren die van invloed zouden kunnen zijn op datgene wat wordt gemeten - bijvoorbeeld agressie.
Het gevolg is dat veel sociaalpsychologische theorie moeilijk is te implementeren buiten de universiteitsdeuren. In het lab kan een hogere temperatuur wel leiden tot meer agressie, maar is dat buiten het lab, waar tal van andere factoren aanwezig zijn, ook waar? Niet per se.
Een voorbeeld: sociaalpsychologen concludeerden na bestudering van een hele batterij aan studies rondom de invloed van attitudes (meningen) op gedrag: het is afhankelijk van de context of die invloed bestaat. Als context van belang is, is contextvrije kennis het resultaat van verspilde moeite. En voor de implementatie van kennis is context altijd van belang. Daarbij is het nog maar de vraag of een herhaling van de onderzoeken hetzelfde resultaat geeft!
In het boek Making social science matter pleit sociaal-wetenschapper Bent Flyvbjerg voor een nieuwe werkwijze binnen de sociale wetenschappen. De sociale wetenschappen zouden hun eigen aard moeten accepteren en niet moeten proberen een bètawetenschap te zijn. Dat laatste is geprobeerd, en het heeft klaarblijkelijk niet veel nuttigs opgeleverd.
Het is daarom misschien goed eens na te denken over waarom de vragenlijst en de statistiek worden gebruikt door sociaalpsychologen. Begrijpen we mensen beter door ze een vragenlijst in te laten vullen? Meten we echt iets wezenlijks? Is de kennis betrouwbaar? Nu het antwoord op die vragen pijnlijk duidelijk wordt, is het misschien tijd om na te denken over een andere invulling van de wetenschap en het accent niet op cijfermatige data te leggen. Misschien snappen studenten dan ooit weer wat ze hebben geleerd, en wordt hun in het eerste jaar een hoop ellende bespaard.
(Dit stuk verscheen eerder in de Volkskrant op 19 september 2016)