Er is de laatste tijd veel te doen over de problematische repliceerbaarheid van veel sociaal-wetenschappelijk onderzoek. Het betreft een probleem dat zich in de sociale wetenschappen op een breed vlak voordoet, de bedrijfskunde en de management- en organisatiewetenschappen niet uitgezonderd.
Onlangs werd hier in een NRC-wetenschapsspecial uitvoerig op ingegaan. Hoewel de bijdragen daarover veel elementen bevatten die hout snijden, laten zij het op enkele onderliggende, fundamentele punten afweten.
Over de wijdverbreide toepassing van (pseudo-)statistiek wordt door een van de auteurs terecht gesteld dat die kritiek behoeft. Die is overigens uitgebreid geleverd door Nassim Nicholas Taleb die van die toepassing op een degelijk onderbouwde manier geen spaan heel laat. Lees daarover zijn boeken The Black Swan, Fooled by Randomness en Antifragile.
Diezelfde auteur stelt als alternatief ‘Bayesiaanse’ statistiek voor. Dat is echter geen afdoende remedie. Hij stelt dat die beschrijft hoe mensen hun overtuigingen op een rationele manier, in het licht van data, veranderen. Dat dit een misvatting is, blijkt uit het werk van onderzoekers als de Duitse wetenschapper Gerd Gigerenzer. Deze onderzoekers bestuderen besluitvorming van mensen onder onzekerheid. Hun conclusie: als er sprake is van onzekerheid volstaan logica en statistiek niet, maar zijn ook intuïtie en slimme vuistregels nodig.
Van veel fundamentelere aard is echter het volgende punt.
Het impliciete doel van de bekritiseerde experimenten en onderzoeken op basis van statistische procedures is wat de Amerikaanse filosoof John Dewey de ‘Quest for Certainty’ heeft genoemd: het streven naar de ontwikkeling van contextloze kennis die een natuurwettelijke status heeft: kennis die te allen tijde en onder alle omstandigheden geldig is.
Die zoektocht leidde ertoe dat we prioriteit zijn gaan geven aan algemeen geldende natuurwetten. Daarmee kregen het lokale, het individuele, het bijzondere en het tijdelijke een lage status toegekend. Verwaarlozing werd hun deel.
Een tweede gevolg van die zoektocht was dat prioriteit werd gegeven aan regelmaat, stabiliteit en evenwicht. Verandering, onregelmatigheid, instabiliteit, onevenwicht en chaos werden gezien als afwijkingen van ‘normale’ toestanden. En daarmee werden ook die verschijnselen gemarginaliseerd.
Lichtend voorbeeld voor de jagers op die contextloze kennis is de klassieke natuurkunde. Daar gold een wereldbeeld waarbij ervan werd uitgegaan dat we te maken hebben met een onafhankelijk van ons bestaande realiteit die we stap voor stap kunnen doorgronden als we dat maar systematisch en ‘objectief’ genoeg doen.
Schrijnend is echter dat dit wereldbeeld ongeveer een eeuw geleden met de komst van de kwantummechanica is ontploft. Zo bleek die realiteit niet onafhankelijk van ons te zijn: de waarneming bleek wel degelijk van invloed op het waargenomene. Bovendien bleek de zoektocht naar het ultieme deeltje waaruit ons universum is opgebouwd een illusie te zijn.
De natuurkundigen hebben inmiddels al lang erkend dat hiermee de bodem onder hun oude wereldbeeld is weggeslagen. De mainstream sociale wetenschappers, inclusief bedrijfskundigen en management- en organisatiewetenschappers, doen echter nog steeds alsof hun neuzen bloeden. Wat zouden zij moeten doen?
Allereerst hun streven naar contextloze kennis achter zich laten. Wat is het alternatief? Kwalitatief onderzoek, met een herwaardering van het individuele, bijzondere, tijdelijke.
Een voorbeeld: de Britse hoogleraar Ralph Stacey heeft een promotieprogramma ontwikkeld waarbij ervaren managers kunnen promoveren. Object van studie: hun eigen persoonlijke ervaringen als manager. Zullen sociale wetenschappers hun streven naar contextloze kennis inderdaad achter zich laten? Op korte termijn zeker niet. Te veel wetenschappelijke carrières zijn immers op dat inmiddels ontplofte wereldbeeld van de klassieke natuurkunde gebaseerd. Op langere termijn zeker wel. Dan zal ongetwijfeld de wetmatigheid in werking treden die door Max Planck als volgt is verwoord: nieuwe inzichten triomferen niet door te overtuigen, maar doordat hun tegenstanders uitsterven en een nieuwe generatie aantreedt die ermee vertrouwd is.
Terug naar het thema van voornoemde wetenschapsspecial: repliceerbaarheid. Wat daarvan overblijft is de vraag: waarom iets willen repliceren dat op een illusie is gebaseerd?
Nico Lemmens is eigenaar van assist42 en publicist.
