Weg met de wetenschappelijke tijdschriften

Door Marc van Oostendorp

Trends in de betrouwbaarheid van de wetenschap. Afbeelding uit het besproken artikel

Ranglijsten van wetenschappelijke tijdschriften zijn zélf onwetenschappelijk en moeten worden afgeschaft. Dat beweert een groep Duitse en Britse onderzoekers in het wetenschappelijk tijdschrift Frontiers in Human Neuroscience.

In het artikelen sommen ze allerlei problemen op die er bestaan met het bestaande systeem. Zo is helemaal niet duidelijk dat artikelen in de tijdschriften die bovenaan in de lijst staan inderdaad beter zijn. Integendeel, er zijn aanwijzingen dat zulke artikelen vaker moeten worden teruggetrokken en bovendien lijken zij bij uitstek onderhevig aan het effect dat latere replicaties een kleiner effect vinden dan gerapporteerd. Allebei die zaken kunnen mogelijk overigens juist deels verklaard worden doordat iedereen graag in deze tijdschriften wil publiceren: de kans op overrapportage en mogelijk zelfs fraude is daardoor groter. (Er komt overigens wel bij dat dit soort artikelen om diezelfde reden ook meer in de aandacht staan en problemen dus mogelijk sneller worden ontdekt. Ik heb het gevoel dat de auteurs dit methodologische probleem met hun aanname wat onderschatten.)

Kraakt

Bovendien zijn de ranglijsten zelf volgens de auteurs vaak op een krakkemikkige manier samengesteld, waarbij dubieuze factoren worden gebruikt zoals de impact factor. Die bereken je als redactie, grofweg, door het aantal keren dat artikelen uit je blad worden geciteerd te delen door het aantal artikelen dat je publiceert. Maar in die formules zit heel veel vrijheid: welke artikelen reken je bijvoorbeeld nu wel of niet mee (het is redelijk dat een redactioneel waarin het vertrek van een redactieassistent wordt aangekondigd niet meetelt, maar redacties blijken heel creatief met dit soort zaken om te kunnen gaan).

Uiteindelijk zorgt het systeem voor grote problemen. Doordat auteurs geneigd zijn een artikel eerst naar een tijdschrift bovenaan de rangorde op te sturen en pas naar een ‘lager’ tijdschrift als het hoger is aangewezen, wordt de de verspreiding van wetenschappelijke kennis onnodig vertraagd. Bovendien moet bij ieder blad een batterij aan redacteuren en beoordelaars aan de slag – dat zijn allemaal onderzoekers die daar tijd voor moeten vrijmaken en dat systeem kraakt in zijn voegen.

Goed artikel

Weg dus met die rangordening! Aan het eind van hun artikel maken de onderzoekers echter een veel radicalere draai. Niet alleen het systeem van tijdschriften ordenen moet verdwijnen, de tijdschriften zelf hebben hun langste tijd gehad. De reden is (vermoedelijk, ze maken dit niet echt expliciet) dat je zelfs als je ‘officiële’ systemen van ordening afschaft, nog altijd informele systemen houdt. Science en Nature blijven ook bovenaan staan als geen ambtenaar meer probeert de impact factors bij te houden.

Het alternatief zou zijn dat de universiteiten en onderzoeksinstellingen zelf artikelen, na een zorgvuldige beoordelingsprocedure gratis online zetten in grote archieven. Een artikel kan het dan niet hebben van het tijdschrift, je kunt het alleen nog goed doen door een goed artikel te schrijven.

Prestige

Op Twitter zag ik al een onderzoeker die aankondigde voortaan in zijn literatuurlijst alleen nog de titels van zijn artikelen op te nemen, en geanonimiseerde links:

Anderen merkten op dat er dan nog steeds problemen zijn, omdat de naam van de auteur vast ook dergelijke effecten heeft (beroemde auteurs worden vaker gelezen, maar het is vast niet zo zeker dat zij ook beter werk leveren). Je zou kunnen zeggen dat zoiets ook geldt voor de onderzoeksinstituten die de archieven moeten beheren: een artikel via de site van Harvard wordt vast vaker gelezen dan één via de site van de Radboud Universiteit, helemaal los van de feitelijke kwaliteit.

Omdat er zoveel wetenschappelijk onderzoek is, is het onmogelijk alles te lezen, en vrijwel het enige filter dat dan een beetje werkt is prestige. Dat is volkomen onterecht en leidt tot nare effecten. Maar als we deze crisis in de wetenschap willen oplossen, zouden we daar moeten beginnen.