Nieuws

Algoritmes gemeente Rotterdam kunnen leiden tot ‘vooringenomen uitkomsten’

De algoritmes die de gemeente Rotterdam gebruikt om bijvoorbeeld uitkeringsfraude op te sporen kunnen leiden tot ‘vooringenomen uitkomsten’. Dit concludeert de Rekenkamer Rotterdam in een rapport dat donderdag verschijnt. Voorzitter Paul Hofstra legt uit wat er is misgegaan.

De skyline van Rotterdam vanuit de Euromast Beeld Arie Kievit
De skyline van Rotterdam vanuit de EuromastBeeld Arie Kievit

Bent u een nieuwe toeslagenaffaire op het spoor? Bij de Belastingdienst selecteerde een algoritme vooral mensen met een dubbele nationaliteit voor nader onderzoek.

‘Zo erg is het in Rotterdam niet. Maar onze bevindingen vragen op z’n zachtst gezegd wel aandacht.’

Ambtenaren beseffen nauwelijks dat er ethische risico’s zijn bij het gebruik van algoritmes, schrijft u. Dat is een stevige conclusie.

‘Het beeld is inderdaad zorgelijk. Er kan veel misgaan waar het ethische principes als verantwoordelijkheid, transparantie en eerlijkheid betreft. Wat ons betreft moet er wel wat gebeuren.’

Over wat voor algoritmes hebben we het?

‘Rotterdam gebruikt bijvoorbeeld een algoritme om uitkeringsfraude op te sporen. Dat algoritme berekent op basis van gegevens uit verschillende systemen wat het risico is dat iemand onterecht een uitkering ontvangt. Het algoritme geeft aan wie opnieuw aan een onderzoek onderworpen moet worden.’

Wat kan daarbij misgaan?

‘Iedereen is zich ervan bewust dat het algoritme bepaalde kenmerken niet mag meenemen, zoals bijvoorbeeld afkomst of nationaliteit. Dat is in strijd met de wet. Maar ondertussen gebruikt het algoritme wel kenmerken die ‘meelopen’ met afkomst, zoals bijvoorbeeld laaggeletterdheid. Daardoor kunnen toch relatief veel mensen met een migratieachtergrond de klos zijn. Er kan daardoor een bepaalde vooringenomenheid in het systeem sluipen. En dat is een probleem.’

Dus net als in de toeslagenaffaire worden mensen feitelijk op basis van hun achtergrond geselecteerd voor nader onderzoek?

‘Juist. En dat is in strijd met een ethisch principe: eerlijkheid. Dus dat moet anders.’

Wordt daar onvoldoende over nagedacht?

‘Er wordt wel over nagedacht, maar niet naar gehandeld. Er zijn bijvoorbeeld plannen om een algoritmeregister aan te leggen, waarin alle algoritmes die de gemeente gebruikt worden vastgelegd, inclusief de bijbehorende risico’s en hoe daarmee moet worden omgegaan. Alleen is dat register er nog steeds niet. Ook werken de ambtenaren nog niet met De Ethische Data Assistent, een model dat teams helpt ethische problemen te herkennen in dataprojecten.’

Welke andere algoritmes gebruikt de gemeente Rotterdam?

‘Dat zou uit zo’n register moeten blijken. Nu is het onduidelijk. Ook bij de gemeente zelf heeft niemand het overzicht.’

U kent geen enkel ander voorbeeld?

‘Jawel. Ook bij de gemeentebelastingen worden algoritmes gebruikt. Maar dat hebben we niet nader onderzocht.’

In het rapport adviseert u om werk te maken van dat register van algoritmes. Ook moet iemand verantwoordelijk worden voor het ontwikkelen van algoritmes en het toezicht erop.

‘Ja. We hebben zes aanbevelingen. Er moet vooral beter samengewerkt worden tussen de afdeling die het algoritme ontwikkelt en de afdeling die het gebruikt. Nu neemt niemand de verantwoordelijkheid. Ze wijzen soms naar elkaar als het fout dreigt te gaan.’

Het college van burgemeester en wethouders heeft al laten weten alle adviezen over te nemen.

‘Klopt. En dat gebeurt echt niet bij al onze rapporten.’

Hebben andere steden hun algoritmes beter op orde?

‘Rotterdam loopt in Nederland voorop bij het gebruik van algoritmes. Andere grote steden zullen ze ook wel gebruiken. En die lopen vermoedelijk tegen dezelfde problemen aan. Ik denk dat ze daar zeker wat hebben aan onze aanbevelingen.’