opinie

Opinie: We denken te snel dat meekijkende computers het beter kunnen

Gelokt door beloftes van digitalisering laten politieke partijen, bedrijven en burgers AI-systemen los op de samenleving. Van microtargeting tijdens verkiezingscampagnes tot selectie op de werkvloer. Het gekke is: de hamvraag wordt zelden gesteld.

Controlekamer van bewakingscamera’s.  Beeld Martijn Beekman
Controlekamer van bewakingscamera’s.Beeld Martijn Beekman

Surveillancetechnologie is allang geen exclusief speeltje meer van dictatoriale regimes die hun bevolking onder de knoet willen houden. Artsen, werkgevers en buurmannen houden zich er ook mee bezig. Terecht dus dat allerlei instanties aan de bel trekken om excessen te voorkomen. Ondertussen lijken we de belangrijkste vraag vergeten te stellen: wordt de samenleving über- haupt beter van meekijkende computers?

Surveillancedictatuur, surveillancekapitalisten - wie het debat over surveillerende digitale technologie volgt, struikelt over de waarschuwingen van partijen als Amnesty International, het Brookings Instituut en de Amerikaanse denker Shoshana Zuboff. En ze vinden politiek gehoor. Zo stelt de Europese Commissie voor het real time biometrisch identificeren van mensen op straat door de politie te verbieden, net als de inzet van andere gevaarlijke vormen van kunstmatige intelligentie.

Al deze ophef is goed en nodig. Het schandaal rond de Israëlische Pegasus-software toonde bijvoorbeeld aan dat tal van overheden surveillancetechnologie inzetten om journalisten en mensenrechtenadvocaten te bespioneren. Maar het debat is eenzijdig. De aandacht richt zich op het voorkomen van het allerergste, terwijl surveillancetechnologie ook een tweede probleem met zich meebrengt: de nuttige opbrengst kan vaak moeilijk bewezen worden.

Dat inzicht is cruciaal. Want als de werking van surveillancesoftware onbewezen is, is het niet alleen de vraag of de technologie te ver gaat. Dan is het ook de vraag of surveillancesoftware überhaupt de maatschappelijke prijs waard is.

Doordat surveillancetechnologie in veel domeinen wordt toegepast (bijvoorbeeld de arbeidsmarkt, het onderwijs, de opsporing van criminaliteit) bestaat er veel onderzoek naar de werking ervan. Toch is het zo simpel niet om het nut van surveillancetechnologie te bewijzen. Neem bijvoorbeeld politieke microtargeting. Politieke partijen betalen Facebook om met behulp van algoritmes gericht advertenties te sturen naar gebruikers. Werkt dit? Dat weten we eigenlijk niet.

Zo is er aan de ene kant wetenschappelijk onderzoek van de Amerikaanse Northwestern University dat vraagtekens zet bij de effectiviteit van dit soort advertenties. Het zou zelfs moeilijk zijn aan te tonen dat het advertentiebeleid van Facebook mensen beter overtuigt dan traditionele reclamemethoden.

Aan de andere kant blijkt uit onderzoek van de Universiteit van Amsterdam dat politieke microtargeting zeker een effect heeft. Niet omdat linkse stemmers overtuigd worden rechts te stemmen, maar wel omdat ze aangezet worden nog linkser te stemmen.

Deze discussie is niet verrassend. Duizenden factoren sturen de keuzes die we maken en het gedrag dat we vertonen, van onze genetische opmaak tot ons maandagochtendhumeur. Wat onze keuzes precies bepaalt, is moeilijk te voorspellen, en daarom moeilijk te beïnvloeden.

Het is opzienbarend dat talloze ‘actoren’ surveillancetechnologie gebruiken waarvan de werking niet wetenschappelijk bewezen is. Gelokt door de mooie beloften van digitalisering laten politieke partijen, bedrijven en burgers AI-systemen los op de samenleving - dikwijls zonder dat ze kunnen bewijzen dat die werkelijk ergens goed voor zijn. Dat inzicht zou onze kijk op digitale surveillance moeten bijstellen. Want waarom zouden we surveillancetechnologie inzetten als die misschien niet bijdraagt aan het oplossen van maatschappelijke uitdagingen?

Bedenk, surveillancetechnologie heeft altijd een prijs. Wie zich bekeken voelt, gaat zich anders gedragen. En digitale systemen kunnen gehackt worden. De digitale wereld is al decennia oud, maar wordt helaas steeds onveiliger. Bovendien tast surveillancetechnologie onze autonomie aan. Als de computer bepaalt welke kandidaten een uitnodiging krijgen voor een sollicitatiegesprek, ontlast hij een werkgever, maar verkleint hij diens autonomie om zelf te kiezen.

Het is goed om dit alles te laten bezinken. Want als surveillancetechnologie vrijwel altijd privacy, veiligheid en autonomie kost, moet ze die prijs waard zijn. Dan is een zorgvuldige ethische analyse wenselijk en nodig.

Nuchterheid is geboden. We hoeven zeker niet alle surveillancetoepassingen overboord te gooien, maar moeten ze kritisch op hun maatschappelijke meerwaarde beoordelen. Er zijn andere manieren om onze straten veiliger te maken, boodschappen te verspreiden en mensen aan te nemen. Als AI-systemen ons werk en beoordelingsvermogen kunnen aanscherpen, dan zijn ze van harte welkom - maar denk niet op voorhand dat bestaande praktijken minder succesvol zijn dan geautomatiseerde. Het omgekeerde kan zomaar het geval zijn.

Linda Kool is onderzoeker digitale samenleving aan het Rathenau Instituut.
Jurriën Hamer is filosoof en jurist en doet onderzoek naar surveillancetechnologie aan het Rathenau Instituut.

Recht op privéleven - Systeem Risico Indicatie

Vorig jaar oordeelde de rechtbank Den Haag dat het Systeem Risico Indicatie (SyRI), waarmee de overheid fraude opspoorde bij uitkeringen, toeslagen en belastingen, in strijd was met artikel 8 van het Europees Verdrag voor de Rechten van de Mens (EVRM), het recht op privéleven. De wetgeving zou onder andere niet inzichtelijk maken hoe de gebruikte risico-scans werden gevalideerd, waardoor oncontroleerbaar was of SyRI naar behoren werkte. Het maatschappelijke belang van de wet woog daardoor niet op tegen de inbreuk op het privéleven.

Selectie op de werkvloer - AI-gedreven assessments

Werkgevers maken steeds vaker gebruik van digitale monitoringsinstrumenten, bijvoorbeeld om sollicitanten te beoordelen. Het monitoringsinstrument kan een selectie maken van kansrijke kandidaten. Uit het rapport Werken op waarde geschat van het ­Rathenau Instituut blijkt echter dat de werking van diverse AI-gedreven assessments onvoldoende is bewezen, en dat onvoldoende helder is hoe deze systemen gecontroleerd moeten worden. Een nieuwe sollicitatiecode vereist dat algoritmen gevalideerd en transparant moeten zijn, maar nadere voorschriften ontbreken.

Beleid gebaseerd op hoop - Digitalisering van overheidstaken

De wetenschappelijke dienst van de Europese Commissie (JRC) voerde een grootschalig onderzoek uit naar de digitalisering van overheidstaken in de EU. Daarbij ging het onder meer om het gebruik van AI-voorspellingen in de gezondheidszorg, de criminaliteitsbestrijding en het onderwijs. De onderzoekers concludeerden dat overheden doorgaans veel te optimistisch tegen innovaties aankijken, en hun beleid vaker baseren op hoop dan op hard empirisch bewijs. Ze raadden overheden aan realistischer te werk te gaan, en de complexiteit van digitale innovaties te onderkennen.

Meer over