Dubieus onderzoek over Wikipedia

U bent er gisteren misschien ook van geschrokken: het bericht dat onderzoekers van de Universiteit Twente hadden vastgesteld dat bijna driekwart van de artikelen op Wikipedia moeilijk te lezen zou zijn. Het bericht haalde de website van de Volkskrant (die verwijst naar De Telegraaf, maar die laatste krant heeft het bericht voor zover ik kan achterhalen niet online gezet) en die van Webwereld en van Onze Taal.

Dat zijn stuk voor stuk serieuze bronnen. Het is gebaseerd op een artikel in het wetenschappelijke elektronische tijdschrift First Monday. Maar het onderzoek is dubieus.

In de eerste plaats hebben de onderzoekers iets gedaan wat wel erg eenvoudig is en daar om op zich al geen wetenschappelijke publicaties waardig: ze hebben een bestaande formule uit de kast gehaald, de Flesch reading ease-toets. Dat is de formule die ook in Word zit. U gebruikt die functie nooit meer, omdat u toen u er tien jaar geleden een paar keer mee gespeeld had, ontdekte dat u er eigenlijk niets aan had. Dat is ook niet zo gek: de formule rekent eigenlijk alleen uit hoeveel woorden uw zinnen hebben en hoeveel letters uw woorden. Het leesbaarste artikel in het Engels is “You. You. You.” Hoe meer letters en hoe meer woorden, hoe onleesbaarder.

Ook de serieuze wetenschap is er allang achter dat deze formule onbruikbaar is. In Onze Taal stond enkele jaren geleden een mooi. kritisch overzichtsartikel over Flesch en andere leesbaarheidsformules.

De Twentse onderzoekers hebben desondanks kritiekloos deze formule gebruikt en hem vervolgens met een computer op miljoenen Wikipedia-pagina’s toegepast. Dat is alles wat ze hebben gedaan: een middagje programmeren, een nachtje de computer laten draaien. Het opschrijven van het artikel zal ze nog een ochtend hebben gekost. Het meeste werk zat zo te zien uit het slopen van tussenkopjes en opmaakcodes uit de artikelen.

Ze hebben daarbij niet de moeite genomen om bijvoorbeeld de Wikipedia te vergelijken met een andere encyclopedie: is Wikipedia inderdaad slechter te lezen dan de ouderwetse concurrent? Dat was ook iets meer werk geweest – ze hadden op zoek moeten gaan naar een gedigitaliseerde versie van een Engelse encyclopedie. Dat lijkt me niet onmogelijk, maar het was kennelijk teveel gevraagd.

Wel hebben de onderzoekers nog een website gemaakt waarin u de resultaten van hun ‘onderzoek’ zelf kunt testen. Als ik het goed zie, is dit het werk van een Masterstudent en een promovendus – een studentproject waaraan ook de begeleidende hoogleraar zijn naam heeft verbonden. Maar waarom stuurt een respectabele universiteit als die in Twente daar een persbericht over rond? En waarom nemen De Telegraaf, de Volkskrant en al die anderen dat over?

Even een test gedaan voor dit stukje, zodat u weet waarom het voorafgaande zo moeilijk te begrijpen is:
The Flesch reading ease score is 42, this means that 32% of the articles on Wikipedia are harder to read than this one.