Een lesje kansberekening

Door Marc van Oostendorp


Toen ik me ruim een jaar geleden hier op Neder-L afvroeg of studenten in het wetenschappelijk onderwijs wel echt gemiddeld veertig fouten per A4’tje maakten, en hbo’ers tachtig, wist ik niet wat ik me op de hals haalde.

Het werd een lange tocht om te proberen de teksten te achterhalen waar al die fouten dan in zouden staan; een tocht die zelfs langs een geschillencommissie van de Rijksuniversiteit Groningen leidde, maar die naar het zich nu laat aanzien nooit tot enige klaarheid zal komen, omdat de auteurs van het proefschrift weigeren inzage te geven in het materiaal en niemand enige macht heeft om hen daartoe alsnog aan te zetten het bericht in NRC Handelsblad van vorige week>.

Voor wie uit eerste hand kennis wil nemen van de stijl van argumenteren die deze twee geleerden in het afgelopen jaar hebben gehanteerd, is er sinds gisteren gelukkig een blogpost die zij plaatsten op hun eigen weblog Basale schrijfvaardigheid. Iedereen die zelfs maar om de gegevens durft te vragen, wordt van alles en nog wat in de schoenen geschoven: onwetenschappelijkheid, intimidatie, corruptie, en nu ook nog discriminatie.

Precies

Het enige wat ik en mijn collega’s wilden, is inzage in de opstellen die gebruikt waren bij het onderzoek, en de aangestreepte fouten. In hun blogpost zeggen de onderzoekers dat er “maar één waterdichte methode in de wetenschap” is om onderzoeksresultaten te controleren, “en zeker bij mensen die je niet vertrouwt. Het onderzoek overdoen (repliceren). Voor dat doel hebben we onze methode, zoals dat hoort, precies beschreven.”

Hoewel dit argument hout snijdt  – wij hebben overigens nooit beweerd dat we de onderzoekers niet vertrouwden, alleen dat we hun gegevens wilden inzien om te kunnen zien om wat voor fouten het nu precies ging–, is er één probleem: de methode ís in het proefschrift helemaal niet precies beschreven.

Reclamefolder

Althans, er is wel in enig detail ingegaan op de vraag hoe de fouten precies zijn geteld, maar we weten niet om wat voor teksten het precies ging; we weten niet wat de studenten dachten dat ze deden toen ze hun teksten schreven.

Dat komt doordat de opdracht die de studenten uitvoerden in 2007 mondeling is verstrekt (zoals de auteurs zelf toegaven bij de zitting van integriteitscommissie). Het maakt nogal verschil of een student een uur de tijd krijgt en van te voren gewaarschuwd wordt dat er heel precies op taalfouten wordt gelet, of dat hij achteloos wat op de achterkant van een oude reclamefolder knalt. Maar we zullen dat dus niet meer weten, want het verstrekken van de opdracht rekenden de onderzoekers niet tot de ‘methode’. En daarom kun je onderzoeken wat je wilt, het onderzoek van de promovendi repliceren kun je niet.

Geloofwaardig

Instructief voor het wetenschappelijk gehalte van de twee gepromoveerden vind ik het einde van hun betoog waarin ze uiteenzetten waarom ze aangifte van discriminatie willen doen. Een van de twee is travestiet:

Het meest harde argument is een kansberekening. De kans dat de universiteit na een promotie reageert met een veroordeling (van het gedrag van de gepromoveerde na de promotie) als ‘wetenschappelijk niet integer’ is vrijwel zeker kleiner dan een op duizend. De kans dat de promovendus openlijk travestiet is, is vrijwel zeker ook kleiner dan een op duizend. De kans dat beide zaken tegelijkertijd optreden is dan een op het miljoen. Die kans is te klein om nog geloofwaardig te zijn. Het lijkt dus wetenschappelijk gezien, volstrekt zeker dat mijn openlijke travestie een rol moet hebben gespeeld bij de reactie van de RUG.

Lucia

Een van de twee auteurs van dit blog heeft tot zijn pensioen statistiek gedoceerd in Groningen, maar het tweetal maakt hier een klassieke beginnersfout: dat iets onwaarschijnlijk is, betekent niet dat het niet toevallig kan gebeuren. Laten we voor het gemak aannemen dat de gegeven cijfers kloppen en de kans dat een promovendus én travestiet is én niet-integer handelen wordt verweten één op een miljoen is. Gegeven het feit dat er op de wereld zeker een paar miljoen gepromoveerden zijn, kun je dus redelijkerwijs verwachten dat het weleens gebeurt, zelfs zonder dat er enige kwade opzet in het spel is.

En zelfs als er minder gepromoveerden zijn: dingen waarop de kans één op het miljoen is, gebeuren aan de lopende band, vooral omdat eigenlijk iedere gebeurtenis die zich voordoet volgens de kansberekening heel onwaarschijnlijk is, zoals de kans op een hand van vier azen even groot is als een hand van schoppenboer, harten drie, ruiten zeven en ruiten acht. Iedere combinatie is onwaarschijnlijk, maar er moet toch wat gebeuren in het leven.

Kansberekening

Ironischerwijs verwijzen de auteurs elders in hun blog naar de zaak Lucia de Berk, waar precies dit misverstand speelde: een collega-statisticus toonde aan dat Lucia wel schuldig moest zijn, omdat de kans dat het toeval was dat zoveel kinderen in haar nabijheid overleden, onwaarschijnlijk klein was. Dit methodologische misverstand was in ieder geval in de formele procedure een minstens even belangrijke oorzaak voor haar onterechte veroordeling als een ‘lastercampagne’.

Een jaar geleden schreef ik dat er van alles in dit proefschrift problematisch was, maar dat we er in ieder geval van konden leren “dat studenten in de International Business Communication aan de Hanzehogeschool zo’n 80 ‘fouten’ maken in een tekst van een A4’tje.” Nu, een jaar later, denk ik dat zelfs die voorzichtige conclusie voorbarig was. Het is heel moeilijk om uit hun proefschrift wat voor gevolg dan ook te trekken.