Opinie

Opinie: Stop algoritmen van overheid die tot discriminatie en uitsluiting leiden

Uitvoeringsdiensten gebruiken talloze ‘zwarte lijsten’ met potentiële fraudeurs. Dat kan leiden tot (indirecte) etnische profilering en nieuwe drama’s, na de toeslagenaffaire.

 Gedupeerde ouders van de toeslagenaffaire protesteren bij het Catshuis. Beeld ANP
Gedupeerde ouders van de toeslagenaffaire protesteren bij het Catshuis.Beeld ANP

Wie denkt dat alle ellende achter de rug is als de 46 duizend claims in de toeslagenaffaire eindelijk afgehandeld zijn, vergist zich. Want daarnaast spelen er ook belangrijke structurele problemen, die opnieuw tot misstanden kunnen leiden. Zo hebben uitvoeringsinstanties van de Nederlandse overheid meer dan tweehonderd ‘zwarte lijsten’ met (vermeende) potentiële fraudeurs in gebruik, die, als we niet oppassen, binnenkort met behulp van technologie nog zwaarder kunnen worden ingezet. Want als na de Tweede Kamer ook de Eerste Kamer de Wet gegevensverwerking door samenwerkingsverbanden oftewel ‘Super-SyRI’ aanneemt, mogen gegevens niet alleen worden gedeeld tussen overheidsdiensten, maar ook tussen overheid en private partijen. Daarmee zou een nachtmerrie à la Big Brother werkelijkheid worden.

De senaat heeft onlangs advies aangevraagd bij de Raad van State, hoe het staat met risico’s voor de grondrechten van burgers. Een terechte zorg, gelet op de voorgeschiedenis. Super-SyRI is de beoogde opvolger van het ‘Systeem Risico Indicatie’ (SyRI), waarvan de rechter vorig jaar oordeelde dat het in strijd is met het recht op privacy. Bedoeld om preventief fraude op te sporen, werd een algoritme losgelaten op persoonsgegevensbestanden van verschillende overheidsinstanties. Deze betroffen onder meer details over inkomstenbelasting, woonplaats, pensioenregelingen en het al dan niet hebben van een zorgverzekering.

Inwoners met migratieachtergrond

Hoe dit geautomatiseerde opsporingsprogramma werkte – dus welke factoren bepaalden wie werd aangemerkt als potentiële fraudeur – werd geheimgehouden. Het systeem werd toegepast in buurten met relatief veel lage inkomens en inwoners met een migratieachtergrond, zonder dat er objectieve aanwijzingen waren dat daar meer fraude voorkomt. Burgers die door het systeem werden gemarkeerd, wat hen blootstelde aan nader onderzoek door overheidsdiensten (inclusief de politie), wisten hier niets van, tenzij ze zelf om deze informatie vroegen.

Het kabinet ging niet in beroep tegen het vonnis dat SyRI ongedaan maakte, maar zat niet stil: vorig jaar nam de Tweede Kamer bovengenoemde wet aan, ondanks verzet van een brede maatschappelijke coalitie. De bijnaam Super-SyRI dankt het wetsvoorstel aan het feit dat het de grondslag wil bieden ‘persoonsgegevens systematisch te delen en te verwerken, waaronder door profilering’. En dus niet alleen tussen overheden, maar ook met private partijen.

Het automatiseren van overheidsdiensten wordt vaak gemotiveerd met argumenten als kostenbesparing en efficiëntie. Ook bestaat het misverstand dat technologie neutraal is in plaats van een menselijk product dat de vooroordelen, discriminatie en machtsstructuren in onze samenleving niet alleen kan reproduceren, maar zelfs kan versterken. Een cruciaal, maar onderbelicht punt is dat dit soort technologie wordt uitgerold in een context van structureel racisme. In haar rapport van 2019 gaf VN-rapporteur Tendayi Achiume een verontrustend beeld over de aanwezigheid van structureel racisme in Nederland, een beeld dat later werd bevestigd door de Autoriteit Persoonsgegevens, die oordeelde dat het profileren van ontvangers van kindertoeslag op basis van nationaliteit door de Belastingdienst discriminerend was.

Gezichtsherkenningssoftware

Technologie die voornamelijk door witte mannen wordt ontworpen kan negatieve consequenties hebben voor gemarginaliseerde en geracialiseerde groepen in de samenleving, omdat de door hen ontwikkelde software hun eigen positie en wereldbeeld, bewust of onbewust, reproduceert. Met vaak discriminatoire effecten. Dit zien we bijvoorbeeld bij het zogeheten ‘proctoring’: bij onlinetentamens worden zwarte studenten minder goed herkend door de gezichtsherkenningssoftware, met alle stress van dien.

In het geval van de Belastingdienst was de discriminatie eenvoudig te duiden: er werd gefilterd op dubbele nationaliteit. Maar met technologie kun je dit soort filters niet alleen veel beter verstoppen – zie de geheimhouding over de werking van SyRI – je kunt ook een zogenaamd transparant programma gebruiken om discriminatie eenvoudigweg te verbergen. In plaats van op nationaliteit te filteren, gebruik je op het eerste gezicht neutrale gegevens, zogenaamde ‘proxies’, zoals postcode, achternaam, inkomstenbelasting en het al dan niet hebben van een strafblad, om risico-indicatoren toch toe te spitsen op etniciteit.

Deze nieuwe werkelijkheid wordt te makkelijk geaccepteerd. De parlementaire ondervragingscommissie Kinderopvangtoeslag waagde zich niet aan uitspraken over racisme. Een parlementaire enquête die dit aspect wel onderzoekt, zal op zijn vroegst plaatsvinden in 2022, waarschijnlijk te laat om van nut te zijn voor de behandeling van Super-SyRI in de senaat. In januari verwierp de Tweede Kamer een motie om het gebruik van nationaliteit of etniciteit bij risicoprofilering in wetshandhaving verbieden, en intussen wordt een tamelijk slap debat gevoerd over de juridische kaders van etnisch profileren.

Etnisch profileren

Het College voor de Rechten van de Mens, het instituut dat hier bij uitstek verstand van zou moeten hebben, miste onlangs de essentie in een advies aan de Eerste Kamer over de legitimiteit van etnisch profileren. Door vooral te focussen op het probleem van ‘gekleurde datasets’ die historische ongelijkheden reproduceren in de technologie, gaat het College voorbij aan het feit dat dit lang niet het enige probleem is. Het toepassen van technologie op bepaalde groepen in de samenleving zal deze groepen namelijk doorgaans sowieso geweld aandoen, door die (al dan niet bewuste) vooroordelen bij de ontwerpers – los van de vraag hoe goed die technologie werkt.

Dat het gebruik van technologie ontberingen verergert, machtsstructuren verankert en de toegang tot het recht belemmert of zelfs blokkeert, blijkt uit talloze voorbeelden, zoals bij het toezicht op migratie en grenzen, rechtshandhaving of het verlenen van essentiële overheidsdiensten. Door onvoldoende aandacht te besteden aan de context waarbinnen de praktijk van ‘profileren’ wordt geautomatiseerd, voedt het College – wellicht onbedoeld, maar duidelijk onwetend – een narratief dat het krijgen van overheidssteun door (met name) zogenaamde ‘niet-Nederlanders’ criminaliseert.

We moeten ophouden met geloven dat automatisering niet te stoppen is. Technologie wordt ontwikkeld door mensen: wij beslissen wat we maken, waar we het inzetten en hoe we het reguleren. Daarbij moeten we ook rekening houden met de context waarin die technologie opereert. In Nederland moeten we onderkennen dat dit – net als elders ter wereld – een context van institutioneel racisme is. Dat betekent dat we, tot we goed hebben uitgezocht hoe we de disproportioneel negatieve impact van algoritmen op bepaalde groepen kunnen voorkomen, onze drang tot ‘vooruitgang’ moeten intomen. In het besef dat de beslissingen die we nu nemen, blijvende gevolgen hebben voor de komende generaties.

Nani Jansen Reventlow is oprichter en directeur van het Digital Freedom Fund in Berlijn.

Meer over