Dubieus onderzoek over Wikipedia

U bent er gisteren misschien ook van geschrokken: het bericht dat onderzoekers van de Universiteit Twente hadden vastgesteld dat bijna driekwart van de artikelen op Wikipedia moeilijk te lezen zou zijn. Het bericht haalde de website van de Volkskrant (die verwijst naar De Telegraaf, maar die laatste krant heeft het bericht voor zover ik kan achterhalen niet online gezet) en die van Webwereld en van Onze Taal.

Dat zijn stuk voor stuk serieuze bronnen. Het is gebaseerd op een artikel in het wetenschappelijke elektronische tijdschrift First Monday. Maar het onderzoek is dubieus.

In de eerste plaats hebben de onderzoekers iets gedaan wat wel erg eenvoudig is en daar om op zich al geen wetenschappelijke publicaties waardig: ze hebben een bestaande formule uit de kast gehaald, de Flesch reading ease-toets. Dat is de formule die ook in Word zit. U gebruikt die functie nooit meer, omdat u toen u er tien jaar geleden een paar keer mee gespeeld had, ontdekte dat u er eigenlijk niets aan had. Dat is ook niet zo gek: de formule rekent eigenlijk alleen uit hoeveel woorden uw zinnen hebben en hoeveel letters uw woorden. Het leesbaarste artikel in het Engels is “You. You. You.” Hoe meer letters en hoe meer woorden, hoe onleesbaarder.

Ook de serieuze wetenschap is er allang achter dat deze formule onbruikbaar is. In Onze Taal stond enkele jaren geleden een mooi. kritisch overzichtsartikel over Flesch en andere leesbaarheidsformules.

De Twentse onderzoekers hebben desondanks kritiekloos deze formule gebruikt en hem vervolgens met een computer op miljoenen Wikipedia-pagina’s toegepast. Dat is alles wat ze hebben gedaan: een middagje programmeren, een nachtje de computer laten draaien. Het opschrijven van het artikel zal ze nog een ochtend hebben gekost. Het meeste werk zat zo te zien uit het slopen van tussenkopjes en opmaakcodes uit de artikelen.

Ze hebben daarbij niet de moeite genomen om bijvoorbeeld de Wikipedia te vergelijken met een andere encyclopedie: is Wikipedia inderdaad slechter te lezen dan de ouderwetse concurrent? Dat was ook iets meer werk geweest – ze hadden op zoek moeten gaan naar een gedigitaliseerde versie van een Engelse encyclopedie. Dat lijkt me niet onmogelijk, maar het was kennelijk teveel gevraagd.

Wel hebben de onderzoekers nog een website gemaakt waarin u de resultaten van hun ‘onderzoek’ zelf kunt testen. Als ik het goed zie, is dit het werk van een Masterstudent en een promovendus – een studentproject waaraan ook de begeleidende hoogleraar zijn naam heeft verbonden. Maar waarom stuurt een respectabele universiteit als die in Twente daar een persbericht over rond? En waarom nemen De Telegraaf, de Volkskrant en al die anderen dat over?

Even een test gedaan voor dit stukje, zodat u weet waarom het voorafgaande zo moeilijk te begrijpen is:
The Flesch reading ease score is 42, this means that 32% of the articles on Wikipedia are harder to read than this one.

Over Marc van Oostendorp

Marc van Oostendorp is onderzoeker aan het Meertens Instituut (KNAW). hoogleraar aan de Radboud Universiteit en hoofdredacteur van Neerlandistiek. Hij heeft een website, een YouTube-kanaal en een Twitter-account.
Dit bericht is geplaatst in geen categorie met de tags , . Bookmark de permalink.

4 reacties op Dubieus onderzoek over Wikipedia

  1. musiqolog schreef:

    Ik ben inderdaad overtuigd door je betoog, maar dat betekent (uiteraard) niet dat Wikipedia-artikelen daarom wél leesbaar zijn.

    Voorheen was de eerste zorg – begrijpelijkerwijs – of de artikelen, die door Jan en alleman konden worden geschreven, wel betrouwbaar waren. De juistheid van Wikipedia is er al jaren geleden met sprongen op vooruit gegaan.
    De leesbaarheid echter is een ander verhaal. Artikelen worden namelijk door talloze verschillende auteurs geschreven. De gevolgen:
    * Veel auteurs weten genoeg maar kunnen hun kennis niet overbrengen. Je wordt niet gauw geblokkeerd omdat je niet leesbaar kunt schrijven;
    * De artikelen bevatten een lappendeken aan persoonlijke schrijfstijlen, van te spreektalig voor woorden (meer een leraar voor een middelbareschoolklas) tot overdreven formeel (om maar vooral zakelijk over te komen, een beetje zoals bepaalde ambtenaren);
    * Door de additieve werkwijze zijn de artikelen niet noodzakelijk logisch opgebouwd. Het herschrijven van zo'n onleesbaar artikel is een heidens karwei dat niemand op zich neemt; bovendien betekent herschrijven meestal dingen weglaten (omdat ze minder relevant zijn en ergens anders staan) en dat levert al gauw het verwijt van 'informatievernietiging' op: artikelen zijn volgens velen nooit te lang.

    Dit zeg ik dan maar als langjarig Wikipedia-auteur.

  2. Het zou inderdaad interessant zijn om te onderzoeken hoe het dan wél zit met de leesbaarheid. Ik kan me bij ieder van de bezwaren die je noemt wel iets voorstellen – het zijn natuurlijk ook buiten Wikipedia veelvoorkomende problemen. Ik weet eigenlijk niet of er ook Wikipedianen zijn die zich specifiek toeleggen op het herschrijven/redigeren van andermans lemma's – weet jij daar wel iets van? Ik kan me voorstellen dat het op veel moeilijkheden stuit (beledigde auteurs).

  3. musiqolog schreef:

    Specifiek is wat veel gezegd, maar nogal wat auteurs houden zich met taal en stijl bezig. Meestal gaat het om het verbeteren van regelrechte taal-, spel- en stijlfouten (nogal positief verbeterwerk dus). Dat is niet zoveel werk en een veel geziene 'core business' van auteurs die (tijdelijk) weinig inhoudelijke bijdragen leveren. Zelf pas ik nog wel eens artikelen of alinea's met een te informele, spreektalige stijl aan (het Wikipediajargon hiervoor is 'niet-encyclopedisch taalgebruik'). Er worden ook wel eens hele of halve paragrafen weggehaald met als argument 'hier niet relevant' of 'staat al op [willekeurig ander artikel]'. Van het volledig herschrijven van artikelen komt het meestal niet; dat gebeurt hoogstens in één moeite door als de auteur vindt dat de inhoud niet klopt.

    Dit alles kan inderdaad beledigde auteurs opleveren, maar in de praktijk wordt er vaker ruzie gemaakt om inhoudelijke meningsverschillen, of om zaken in de gemeenschap.

  4. Ingmar Roerdinkholder schreef:

    Ik mag het zelf met name op de Nedersaksische Wikepedie wel eens doen, zowel inhoudelijk als qua taal, spelling en stijl, ook vul ik de info graag aan met relevante en aansprekende feiten en wetenswaardigheden – dat laatste dus net als ik hier in de opmerkingen vaak doe 😉
    Maar dan moet het wel om artikelen gaan die of echt vol fouten, onjuistheden of omissies zitten, of om onderwerpen die mij zelf na aan het hart gaan en/of waar ik veel (extra's) over weet.

Reacties zijn gesloten.