Consultant wordt Eurocommissaris
Kom op Maarten, léés ons artikel!
© cc-foto: Frederic Bisson
Reacties (17)
"Ons onderzoek is niet reproduceerbaar en dat geldt voor veel veldonderzoek, ook in de natuurwetenschappen want het veld heeft de onhebbelijke gewoonte om continu te veranderen" Volslagen nonsens. Natuurwetten zijn onveranderlijk (twijfel daaromtrent is alleen binnen de cosmologie een thema), omstandigheden inderdaad niet. De crux bij goed natuurwetenschappelijk veldonderzoek bestaat er dan ook uit dan men zich er rekenschap van geeft of men geen appels met peren vergelijkt, zich niet op een zeer bijzonder geval richt en of de omstandigheden bij vervolg- of controlewaarnemingen dezelfde zijn als bij de voorgaanden. Zo kunnen een redelijk tot goede reproduceerbaarheid en betrouwbare conclusies worden gegarandeerd. En als het al zo is (met nadruk op "als") dat er disciplines zijn waarbij reproduceerbaarheid van veldonderzoek uitgesloten dan wel zeer problematisch is, dan diskwalificeert dat die disciplines als wetenschap. Door het niet reproduceerbaar zijn van de resultaten van zijn onderzoek af te doen als een normaal gegeven binnen de discipline waarin de auteur werkzaam is brengt diezelfde auteur dus niet alleen de inhoud zijn eigen artikel aan het wankelen maar zijn hele vakgebied. Ik vraag me af of hij zich dat realiseert.
Bij het wetenschappelijk onderscheidt men formele, empirische, en sociale wetenschappen waarbij de laatste zonder twijfel naar haar aard de minst betrouwbaar wetenschappelijke is daar haar onderzoek en nog meer haar onderzoeksresultaten het meest kwetsbaar is. Aan de methodes van de formele wetenschap kan zij niet tippen maar zij probeert wel aan te sluiten bij de methodes van de empirische wetenschappen. Maar ook dat is vaak een te hoge eis gebleken zelfs als dat serieus nagestreefd wordt met bijvoorbeeld voldoende statistische data, en empirische methodes. Bij de sociale wetenschappen wordt echter vaak terecht gesteld dat de onderzoeker deel uitmaakt van dat wat onderzocht wordt. Er is dan een causaliteit sterk verbonden met de betekenis die de actor geeft aan gedrag, handelen en interactie. Men stelt dan ook dat waarnemen niet voldoende is, maar dat het gaat om het interpreteren en verklaren waarmee achterliggende waarden of betekenissen achterhaald kunnen worden. Om dat zekere probleem enigszins te ondervangen wordt, als het goed is tenminste, net als bij de empirische wetenschappen zowel deductie als inductie gebruikt. De grote socioloog Max Weber stelde daarbij zowel causale als zinadequaatheid als noodzakelijk voor goed sociologisch onderzoek. Causaal adequaat is een gemaakt verband als er een statistische waarschijnlijkheid is tussen oorzaak en gevolg, een causaal verband. Een gemaakt verband is zinadequaat als het als zinvol wordt ervaren. Bij het onderzoek van Martijn de Koning en Annelies Moors is er geen spoor van een kwantitatief voldoende mate om enige statistisch betrouwbare resultaten te kunnen presenteren en kunnen die ook nog eens niet objectief op hun kwaliteit worden gecontroleerd. Dat er sprake is dat de betrokken onderzoekers of hun indirecte bronnen te zeer deel uitmaken door persoonlijke banden bij het voor onderzoek veel te kleine aantal personen wat werd onderzocht is zeker. Causaal adequaat is het onderzoek daarmee ook zeker niet. Zinvol adequaat hoeven we het voor wie wetenschap wenst al helemaal niet te noemen.
Zouden niet juist de Antropologen waakzaam moeten zijn? Denk aan Margaret Mead die in haar boek Coming of Age in Samoa (1928) een volstrekt idyllisch beeld schetste van het leven op dit Zuidzee-eiland. Ze bleek geen bedrieger, ze wérd bedrogen door haar informanten. Dichter bij huis VU hoogleraar Mart Bax die een complete samenleving heeft verzonnen en er jarenlang over publiceerde. Het betreffende artikel heeft alle schijn tegen, temeer omdat de auteur zich eerde extremistisch over Sjia en Christenen heeft uitgelaten en haar partner op niet frisse wijze in verband wordt gebracht met IS.
De resultaten van onderzoek die de pretentie van wetenschappelijkheid hebben dienen naar gangbare wetenschapfilosofische maatstaven verifieerbaar of falsificeerbaar te zijn. Dat betekent niet dat als iemand 'A' beweert collega-wetenschappers keihard aan het werk gaan om aan te tonen dat dit onzin is (juristen misschien uitgezonderd), maar dat de uitspraken van zodanige aard moeten zijn dat zij in beginsel vatbaar zijn voor een toetsing op veri/falsi-ficeerbaarheid. Het klassieke tegenvoorbeeld is de bewering dat God bestaat. Of niet bestaat. Dat kan niemand aantonen. Iets dichter bij huis kunnen ook meningen principieel niet geverifieerd of gefalsificeerd worden. Een mening laat altijd een tegenmening toe, anders is het geen mening maar een feit. Meningen bij (niet in!) de wetenschap zijn vaak niet te vermijden, maar dienen dan wel duidelijk als zodanig gepresenteerd te worden. Zoals elke goede journalist weet dat er een verschil is tussen verslaggeving en opinie (waarbij opiniemakers ook weer geen recht hebben op hun eigen feiten, tenzij ze Trump heten en spreken over "alternative facts"). Het is overigens een hardnekkig misverstand dat de "harde" wetenschappen niet door meningen worden geteisterd. Zelfs een wiskundige kan het ene bewijs mooier (of "eleganter") vinden dan het andere. Van mij mag ook een jihad-strijder terechte wetenschappelijke pretenties hebben, als in de publicaties maar duidelijk wordt aangegeven wat een (persoonlijke) mening is. Iets anders is dat de ware jihadist een strijder is voor een ideaal (of je dat nou afkeurt of niet), en dat zulke mensen daar meestal veel te druk mee zijn om zorgvuldig (veld-) onderzoek te analyseren. Een vertroebelende factor is dat Colleges van Bestuur van Universiteiten graag zien dat "hun" wetenschappers spraakmakende artikelen schrijven, en dat is moeilijk te verenigen met wetenschappelijke evenwichtigheid. Nog voordat ik begon met mijn eigen promotieonderzoek schreef ik een rapport dat veel politieke aandacht trok van activisten, waardoor ik opeens om de haverklap in Brussel, Straatsburg en Genève zat. Toen ik zes jaar later mijn proefschrift inleverde begreep ik dat dit rapport op z'n best voor jeugdzonde kon doorgaan. Het bevestigde de mening die de opdrachtgever wenste - en waar de opdrachtgever de noodlijdende universiteit vet voor wilde betalen. Mijn super-verantwoorde proefschrift trok veel minder aandacht. Moraal: er zijn veel perverse prikkels om vooral niet de wetenschappelijke "deontologie" (plichtenleer) in acht te nemen als je als wetenschapper nog een beetje leuk leven wilt hebben! Anders word je zoals de man op wiens grafsteen stond "hij had gelijk - hij kwam van rechts".
Het is heel simpel eigenlijk. Indien je wetenschap bedrijft en met conclusies komt die niet controleerbaar en niet reproduceerbaar is, dan is het geen wetenschap. Net zoals een junior-onderzoeker die een zelfmoordaanslag goedpraat en sympathie toont met de gewapende jihad, en daarnaast verklaart geen sympathie te hebben, welke moeten we geloven? Indien we slechts mogen aannemen wat wetenschappers stellen, omdat hun vertrouwen, vrijheid en veiligheid belangrijker zijn dan waarheidsvinding, dan kunnen we net zo goed stoppen het wetenschap te noemen. Ik heb natuurlijk geen flauw idee van de inhoud verder, ik snap ook wel dat dergelijk veldonderzoek amper reproduceerbaar en controleerbaar is, dat betekent juist dat er extra zorgvuldigheid nodig is om dit gebrek op te kunnen vangen. Ik lees nergens hoe extra zorgvuldigheid is ingebouwd, de gegeven voorbeelden vindt ik standaard voor elk wetenschappelijk werk. Het lijkt erop alsof De Koning voor een uitzonderingspositie opteert. Ten slotte, wetenschap is niet rechtvaardig, wetenschap geeft de werkelijkheid weer en de werkelijkheid heeft niets met rechtvaardigheid te maken. Bovendien behoort journalistiek niet tot de academische cultuur, dus om deze te betrekken bij de academische cultuur voor je eigen pleidooi vind ik onrechtvaardig.
Eens dat het beter als journalistiek stuk dan als een wetenschappelijk artikel gepresenteerd had kunnen worden.
Je kunt wat mij betreft antropologie, sociologie, en psychologie gewoon wetenschappen noemen, hoor - als er hoogwaardig kwalitatief onderzoek gedaan wordt, en als niet één hoogst dogmatische en politiek gekleurde, dominante, en exclusive richting tot sterke vooringenomenheid leidt, dat is daar in mijn optiek niets op tegen. Dan nog kun je heel goed deze studies onderscheiden van de 'hard sciences', de traditionele natuurwetenschappen, die zelf een rijke historie kennen aan wetenschapsfilosofie (Democritus, Heraclitus, Anaximander, Aristoteles, Feyerabend, Lakatos, Popper (demarcatie, falsificatie), en Kuhn). De criteria voor toetsing, acceptatie en verwerping van hypotheses hier zijn ook maar moeizaam ontwikkeld, en er bestaan ook nu nog verschillende interpretaties, zonder dat daar zich kwakzalverij tussen bevindt. Kennis is altijd voorlopig (afgezien van de zuivere wiskunde, zou ik zeggen). In elk geval: de humaniora en de sociale wetenschappen zijn toch iets heel anders als de journalistiek. Tenslotte: de filosofie is de moeder van de wetenschappen; en in den beginne was er het Woord.
@ Cliff Clavin Helemaal mee eens, dus ik neem aan dat jij ook je niet kunt vinden in het betoog van Annelies en Martijn. En tja ook de wiskunde, 'de taal van het universum', is gestoeld op axioma's, een fundament is wellicht nergens aanwezig.
--- Dit bericht is verwijderd —
Als alumnus van de TU Delft moet ik u tegenspreken. Daar wordt baanbrekend onderzoek gedaan naar bijv. kwantumcomputers en biotechnologie. Dat zijn (niet toevallig) ook voorbeelden van het soort onderzoek dat aan universiteiten thuis hoort: onderzoek dat nog te weinig zicht heeft op rendement voor de aandeelhouders van bedrijven. De ontwikkeling van fundamentele natuurwetenschap gaat tergend langzaam. Zo is de fysica achter mobieltjes bijna honderd jaar oud, en sommige achterliggende theorieën stammen zelfs uit de 19de eeuw. In dit licht is het ronduit oerstom dat de politiek vraagt om "valorisatie", d.w.z. om snel toepasbare wetenschap. Dat bedenken dus mensen die geen benul hebben van wetenschap. Slimme hoogleraren zorgen er dan maar voor dat ze het onderzoek doen dat de politiek vraagt, en daar zoveel subsidie mee binnenharken dat ze óók het onderzoek kunnen doen waar ze echt achter staan, en dat de wetenschap werkelijk vooruit helpt. Helaas constateer ik een vicieuze cirkel. Omdat universiteiten zo onder bezuinigingen te lijden hebben, worden ze wel gedwongen niet helemaal eerlijk te zijn in hun beroep op financiële middelen - en dan worden ze dus helaas terecht niet vertrouwd! Zelf werd ik tot twee maal toe gedwongen "valorisatie" onderzoek te doen. Snel werd mij duidelijk dat zulk onderzoek geslaagd is als de rekening wordt betaald, en kwaliteit is daar vak niet nodig. Het gaat de opdrachtgevers er veeleer om de gewenste mening bevestigd te krijgen met de handtekening van een echte professor eronder, en die is op zijn beurt best bereid zijn reputatie te verzilveren (collega's weten toch wel wat hij meent en wat hij niet meent). Toen ik over mijn onderzoek met mijn baas de hoogleraar wilde overleggen kreeg ik de eerste keer knallende ruzie. of ik wel begreep hoe druk de prof was. Later herhaalde dit tafereel zich aan een andere universiteit, met dien verstande dat de prof zich toen wel beheerste. Maar van helpen kon natuurlijk geen sprake zijn. Enfin, bedrukt papier produceren kan ik zelf wel.
Een publicatieverbod van het boek is volledig de wereld op zijn kop. Ben trouwens ook van mening dat "Mijn kamp" van A. Hitler ook gewoon in de boekhandel voorhanden moet zijn evenals de geschriften van Marx, Pol Pot en Mao.
'Voor Zeegers moet sociaal wetenschappelijk onderzoek ‘controleerbaar en reproduceerbaar’ zijn. Dat is een fraai mantra, maar het gaat alleen op voor bepaalde soorten onderzoek, zoals laboratorium onderzoek waarbij je variabelen kunt controleren. Ons onderzoek is niet reproduceerbaar, en dat geldt voor veel veldonderzoek' Prima, maar dan is het ook geen wetenschappelijk onderzoek maar meer een soort oefening in levensbeschouwing. Ik zie het geld dan liever naar onderzoek gaan dat bewezen kan worden, en lees de heer Koning cs hun overpeinzingen wel op de opiniepagina van de krant of een weblog.
"Ons onderzoek is niet reproduceerbaar, en dat geldt voor veel veldonderzoek, ook in de natuurwetenschappen, want het veld heeft nu eenmaal de onhebbelijke gewoonte om voortdurend te veranderen. Het huidige Syrië is daar bij uitstek een voorbeeld van. Ons artikel is inmiddels een historische tekst geworden." Als het onderzoek niet reproduceerbaar is, en de bronnen niet te checken, wat is dan precies de toegevoegde waarde van dit onderzoek?
Jammer dat deze repliek voor een groot deel op de persoon wordt gespeeld, men had er ook voor kunnen kiezen om aan te geven wat men misschien beter kan doen om het risico van vooringenomen/persoonlijk betrokken onderzoekers in te perken. Een eenvoudige manier om je onderzoeksmethode wat betrouwbaarder te maken was geweest om van meer dan één bron/doorgeefluik gebruik te maken. Dat er anonimiteit moet zijn om mensen zo ver te krijgen iets te vertellen is begrijpelijk, maar door slechts 1 informatiekanaal aan te boren wordt het heel waarschijnlijk dat je een voorgeselecteerd geluid te horen krijgt, en wordt je als onderzoeker heel kwetsbaar voor manipulatie.
Heel interessante uitleg - eerlijk gezegd wachtte ik al een paar dagen op een verklaring van de onderzoekers zelf. Het mag dan om een kort verkennend onderzoek gaan, de principes waarom het uiteindelijk gaat worden daar niet minder belangrijk door. Ik zal het enkele keren geduldig opnieuw lezen. En kijken of ik nu een andere opvatting over de zaak ga formuleren. (Detail: ik vind 'generaliseren' mooier dan 'veralgemeniseren'.)