De witte tranen van Rosanne Hertzberger
Mensenrechtencollege buigt zich over racistische antispieksoftware universiteiten
Een student aan de Vrije Universiteit in Amsterdam dient vrijdag een klacht in bij het College voor de Rechten van de Mens (CvRM). Dat meldt de Volkskrant. De antispieksoftware die de universiteit tijdens de coronalockdowns gebruikte tijdens de online afgenomen tentamens werkt niet goed op de gezichten van zwarte mensen. De student vindt dat de universiteit zich hier beter over had moeten laten informeren.
In de krant wordt beschreven hoe masterstudent Robin Pocornie meermaals problemen ondervond met het inloggen in de tentamenomgeving. De software registreert haar gezicht simpelweg niet en vraagt haar om in een goed verlichte kamer te gaan zitten, waar ze op dat moment al zit. Pas nadat ze een lamp recht in haar gezicht schijnt mag ze inloggen, een kwartier later. Het niet herkennen van haar gezicht gebeurt vaker, een keer wordt ze zelfs tijdens een tentamen automatisch uitgelogd omdat de software – die in de gaten houdt of een student in beeld is en niet overlegt - denkt dat ze er niet meer is. Pocornie maakt uiteindelijk alle tentamens, maar wel met minder tijd en beduidend meer stress.
Het gebruikte softwarepakket is het Amerikaanse Proctorio, dat behalve aan de VU ook door de UVA, TU Eindhoven en Universiteit Twente gebruikt wordt. En het is niet bepaald onomstreden, blijkt uit gebruikerservaringen in de Verenigde Staten: veel zwarte studenten aldaar hebben net als Pocornie de grootst mogelijke moeite om in te loggen wanneer de antispieksoftware wordt gebruikt. Een Amerikaanse software-onderzoeker concludeerde na een test met 11 duizend gezichten dat in meer dan de helft van de gevallen zwarte gezichten niet door Proctorio worden herkend.
Het is al jaren bekend dat gezichtsherkenningssoftware in veel gevallen een racistische bias heeft. De krant schrijft daarover:
Berucht is het voorbeeld van Google Photos, dat zwarte mensen in 2015 aanmerkte als gorilla’s. Hoe donkerder de huid, hoe slechter gezichtsherkenningssoftware presteert, bleek ook uit een studie naar drie grote aanbieders van gezichtsherkenningssoftware uit 2018.Ook worden vrouwen minder vaak herkend als mens, zagen de onderzoekers.Zwarte vrouwen werden in bijna 35 procent van de gevallen niet herkend, tegenover 0,8 procent bij witte mannen.
Een van de redenen hiervoor is dat de software zichzelf patronen aanleert aan de hand van een ingevoerde collectie foto’s van gezichten. Aan de basis hiervan staan veelal witte, mannelijke programmeurs die te weinig oog hebben voor mensen met een niet-witte huidskleur. Het gevolg is dat bij de ingevoerde foto’s veel te weinig gezichten van kleur zitten, waardoor het algoritme zich hoofdzakelijk op witte mensen richt. Zo bleek ook al dat zelf-rijdende auto’s die zijn geprogrammeerd om overstekende voetgangers te ontwijken, dat niet doen wanneer die voetganger zwart is.
Ondanks deze voorhanden zijnde kennis, deed de VU geen onderzoek naar dergelijke tekortkomingen in hun softwarepakket. Pocornie werd na klachten intern van het kastje naar de muur gestuurd. Het verzoek om geen bevooroordeelde software meer te gebruiken en excuses aan te bieden aan benadeelde studenten, weigerde de universiteit. Het onderzoek dat volgens de universiteit wel is ingesteld, wordt uitgevoerd door Proctorio zelf. ‘De software herkent me niet als mens, en de universiteit erkent mijn ervaring niet’ concludeert Pocornie die nu bij het CvRM alsnog haar gelijk wil halen. Het is de eerste keer dat het College een klacht over gezichtsherkenning behandelt.
Praat mee
Heb je een vraag, suggestie of wil je gewoon iets kwijt? Dat kan hier. Lees onze spelregels.
Reacties (21)
Dit is in feite hetzelfde probleem als dat van de autonoom rijdende auto: zogenaamd "intelligente" systemen, die in feite niet echt intelligent zijn, en daardoor de mist ingaan. Het probleem van het automatisch herkennen van gezichten met een donkere huid wordt veroorzaakt doordat de meeste camera's met automatische instelling de belichting afstemmen op het totale beeld. Als de omgeving relatief licht is, zal de camera het beeld donkerder maken tot een gemiddelde waarde, waardoor een donkere huid nog een extra donker wordt afgebeeld. Nu is een donkere huid toch al moeilijk te fotograferen door de geringe contrasten daarin, maar een fotograaf kan de verlichting en de belichting - en bij bewerking de helderheid en het contrast - zo aanpassen dat een duidelijk herkenbare foto ontstaat. Een KI systeem dat getraind is op "goede" foto's van mensen met een donkere huid, kan echter falen bij registreren van slechter belichte beelden. Een mens kan bij een minder goed beeld toch nog altijd direct herkennen dat er iemand wordt afgebeeld, ook al is het contrast slecht of zijn er andere storende factoren. Het KI systeem weet niet wat een mens is, is alleen getraind op bepaalde patronen. Nu kun je zo'n systeem nog zo veel trainen, het kan altijd volledig naast zitten bij relatief geringe afwijkingen, zoals de auto die een bus voor een vogel aanziet, of het systeem dat een donkere persoon als een schaduw interpreteert.
Kortom, als die software leidt tot racistische en discriminerende gevolgen moet je dergelijke software niet gebruiken. Dat is eigenlijk wat je hier wilt vertellen, ja toch, niet dan?
@LaBou : Wat Beisser zegt, die heeft het al afdoende geformuleerd. Alleen hoeft het volgens mij nog geen slechte software te zijn, het is gewoon een illusie te denken dat je überhaupt zoiets blindelings aan een softwaresysteem zou kunnen overlaten, een overschatting van de "intelligentie" van zogenaamd intelligente systemen.
@LaBou 16 jul. 2022 - 18:23: wat "racistische" betreft: Beisser heeft dat al perfect uitgelegd. Ik vraag me alleen af of je die software "slecht" moet noemen omdat die foutieve resultaten oplevert. De fout ligt eerder bij het idee dat je in zo'n situatie blindelings op een volautomatisch systeem kunt vertrouwen, ook al is het nog zo sophisticated. De software van het navigatiesysteem in mijn auto lijkt me prima, maar ook daar kun je niet blindelings op vertrouwen, want dan kun je wel eens in het kanaal eindigen, zoals toch nog wel eens gebeurt. Zulke software kun je als hulp, als "assistent" gebruiken, maar er moet altijd menselijke supervisie zijn, die kan ingrijpen als het verkeerd dreigt te gaan. Je zou wellicht het systeem kunnen verbeteren, maar dat is nog niet zo eenvoudig. Je zou bijvoorbeeld 2 - of beter nog 3 - camera's kunnen gebruiken om een 3-D reconstructie van de situatie te kunnen genereren, wat het in ieder geval makkelijker maakt om te herkennen dát er iemand aanwezig is, en waar die zich bevindt. Maar dat zal wel niet passen binnen het relatief simpele concept dat nu gehanteerd wordt.
Dat mensen met een donkerder huidskleur door gezichtsherkenningssoftware niet of minder goed herkend worden mag natuurlijk niet gebeuren. Dat deze mensen daar schade door lijden al helemaal niet. Dat ze zich hierover beklagen is terecht. En dat er dringend iets aan gedaan moet worden is evident. Maar de term “racisme” of “racistisch” gebruiken is klinkklare onzin. Nee, meer dan dat is tekenend voor de doorgeslagen emoties in het hele racismedebat en werkt als zodanig alleen maar averechts De studente die de zaak aangekaart heeft had het overigens niet over “racisme”. Ze voelde zich ‘gediscrimineerd’. Dat klinkt al heel wat redelijker, maar wat mij betreft nog steeds onjuist en te emotioneel. Racisme, discriminatie, dat zijn menselijke reacties die met emoties en instincten te maken hebben. Machines hebben dat niet die zetten de beelden van de camera om in eentjes en nulletjes en als de beelden niet genoeg contrast hebben lukt dat niet. Mensen met een minder goed gezichtsvermogen kunnen vaak ook niet bijvoorbeeld een blauwe tekst op een groene achtergrond lezen. Te weinig contrast Vertel gewoon dat de software slecht functioneert. Te veel contrast in het beeld nodig heeft, waardoor iemand met een donkerder huidskleur niet of nauwelijks kan inloggen. Gewoon slechte software
Zonder het zelf in de gaten te hebben zit je hier nu racisme en discriminatie te verdedigen (ik geef je het voordeel van de twijfel).
Je hebt het helemaal mis LaBou. Ik behoor tot een minderheidsgroep. Ben m'n leven lang geconfronteerd met discriminatie, uitsluiting en alle andere vormen van etnische vooroordelen. Ik ken het belemmerende en vernederende effect ervan. Maar racisme (het echte racisme) heb ik na onze vlucht uit het postkoloniale Indonesië hier in Nederland eigenlijk niet meer ervaren. Volgens mij is racisme (het èchte racisme) in Nederland dan ook in de laatste decennia van de vorige eeuw langzaam maar zeker uit het collectieve denken in onze samenleving verdwenen. Het wordt alleen nog aangehangen door wat extreem rechtse randfiguren en een paar populisten in het parlement die sowieso niet serieus genomen worden. Discriminatie is dus ook voor mij wèl een probleem, vooral als het in het beleid van instituties als de politie en de belastingdienst terecht komt. Maar voortdurend 'Racisme!' Racisme!' of 'Discriminatie!' 'Discriminatie!' roepen en nieuwe wetjes maken werkt niet. Daar is veel meer voor nodig. En machines discrimineren niet. Ik ga niet uitleggen hoe het dan wel zit. Nemo2 heeft dat hierboven al gedaan. En veel beter dan ik dat kan.
Beisser Ik weet nooit wat ik met uw gesteggel aanmoet. Agressie, bijvoorbeeld, is ook een puur menselijke reactie. En die puur menselijke reactie wordt, bijvoorbeeld, ook gewoon beregeld, omdat die puur menselijke reactie problemen veroorzaakt. Waarom zo moeilijk doen? En deze software is 'gewoon' slecht OMDAT die discriminatie veroorzaakt.
Nee. Zandb Deze software is gewoon slecht OMDAT die niet in staat is minder contrastrijke beelden te herkennen. Inloggen gaat volautomatisch. Komt geen menselijke handeling aan te pas. KAN dus geen discriminatie veroorzaken. (Wat niet betekent dat er niets hoeft te gebeuren. De klacht van de studente is terecht en de fout MOET opgelost worden. Maar benoem het probleem dan voor wat het is: slechte software. Zakelijk zonder lange tenen, zonder overtrokken ego). Mijn ’gesteggel’ gaat erover dat de associatie met racisme en discriminatie onjuist en overtrokken is (De lange tenen, het overtrokken ego) en zo het debat vertroebelt, wat weer tot gevolg heeft dat het probleem verergert. En ehh… kun je me een voorbeeld geven van software die agressie ‘beregelt’? Ik heb daar nog nooit van gehoord.
Iets heel anders is de software die de belastingdienst gebruikte. Die was DOOR EEN MENSELIJKE PROGRAMMEUR zo ingesteld dat die “islamitische” namen, dubbele nationaliteiten en “dubieuze” donaties signaleerde. De ambtenaar kon die dan op zijn zwarte lijst plaatsen. Dat is institutionele discriminatie met gebruikmaking van de computer. We kennen allemaal de voor de slachtoffers rampzalige gevolgen. Zie je het verschil?
"De inhoud van deze reactie voldoet niet aan de spelregels. Het is niet (langer) mogelijk om te reageren."
Waarom wordt dergelijke software uberhaupt gebruikt? De afgelopen 2 jaar waren bijzonder zwaar voor studenten. De lockdowns, de eenzaamheid, noem het maar op. Een beetje vertrouwen en flexibiliteit vanuit de universiteiten was dan wel op z'n plaats. Dan glipt er maar een enkeling door die 'gespiekt' heeft.
Als men kan spieken, dan zal men spieken. Dat gaat helemaal niet over een enkeling. Dat er een systeem nodig is om dat te voorkomen is helemaal niet de vraag. Daar is men het in het algemeen gewoon over eens. De kwestie gaat over een systeem dat niet fatsoenlijk werkt.
Miss Piggy Prima idee, Als u dan dat "een beetje vertrouwen en flexibiliteit" zo definieert, dat dat voor iedereen acceptabel is.
Bij open boek tentamens met tijdslimiet heb je dit soort kreupele software dat individuele studenten op achterstand kan zetten niet nodig. Bij essays wordt de inhoud gecontroleerd op plagiaat. Ook dat is natuurlijk niet waterdicht.
Het is een kwestie van tijd tot de slimmere spiekers ook dit systeem omzeilen. https://www.vice.com/en/article/3an98j/students-are-easily-cheating-state-of-the-art-test-proctoring-tech
"De inhoud van deze reactie voldoet niet aan de spelregels. Het is niet (langer) mogelijk om te reageren."
Schandalig! Institutioneel racisme voor een deel verklaard! Wie dergelijke systemen aan studenten aanbiedt is dan schuldig aan racisme? Moet dan lesjes gaan volgen? Dit is wat ik te vaak lees om racisme aan te pakken. Zo werkt het averechts….. Zoek de fouten in het systeem. Jeanine Abbring heeft dit probleem aangekaart voor software die vrouwen niet herkend. Software ontwikkeld door mannen volgt mannenlogica…..
Mannenlogica is logica ontspruitend aan het mannelijk brein. Men verzamelt data, die het best te verzamelen zijn. Vrouwen hebben menstruaties en zwangerschappen, dus die kies je niet om data te verzamelen…… Welke data voert men in?
Wie ondanks de bekende bias van het systeem niet eens erkent dat de student hierdoor is benadeeld maakt zich schuldig aan racisme. Het niet serieus nemen van zo'n klacht valt ook onder die noemer, het zit dus niet alléén in het systeem
Karingin als je het probleem niet analyseert, kom je er niet van af. Problemen in elk systeem aankaarten is uiterst belangrijk. Of de benadeelde nu kleur heeft of vrouw is of ongeacht welke andere kwaliteit bezit. Karingin, wie gaan de systemen nu eindelijk veranderen?
Natuurkundig gezien is het zo dat hoe donkerder een voorwerp is, hoe meer licht het absorbeert. De gezichtsherkenningssoftware is afhankelijk van het licht dat teruggekaatst wordt door het voorwerp, in dit geval dus een gezicht. Natuurkunde is in dat opzicht racistisch.
MicroWolf Dat vind ik onzin: "Natuurkunde is in dat opzicht racistisch." Als het zo is, als u schetst dan is dat natuurkundige principe eenvoudigweg niet toepasbaar in deze situatie.
Ook beperkte trainingsets spelen een rol. Ook daar wordt aan gewerkt las ik.
Dus als een de software van een bewakingscamera een door rood licht rijdende zwarte auto niet herkent is dat racistisch? Of een donker geklede junkie met het blonde haar onder een zwarte cap verborgen die bezig is een fiets te stelen. Ook racistisch?
@ Zandb. "dan is dat natuurkundige principe eenvoudigweg niet toepasbaar in deze situatie". En hoe wilt je dan dat software moet werken ? Zelfs het menselijk oog functioneert via natuurkundige principes. Door de mate van reflectie van licht registreert je objecten en de kleuren er van. Persoonlijk vind ik het heel ver gezocht om de racisme-kaart te trekken als een natuurkundig principe in strijd is met een bepaalde denktrant.
Bijzonder woke om hier racisme in te zien - weg met het zelfstandig nadenken!
Beisser Doe niet zo dom: "Dus als een de software van een bewakingscamera een door rood licht rijdende zwarte auto niet herkent is dat racistisch?" Auto's worden niet in rassen ingedeeld. Wanneer in vergelijkbare omstandigheden, een donker mens niet behandeld wordt als een licht mens, dan is er 100% sprake van discriminatie. En voor wie vindt dat die discriminatie plaats vindt op basis is van 'ras', is dat racistisch. Is er iets anders aan de hand, dan is er iets anders aan de hand.