Zes handvatten voor toezicht op AI

Een aparte toezichthouder voor artificial intelligence (AI) en algoritmen? De Tweede Kamer staat al een tijd voor die vraag en het antwoord is er nog niet. Als het ligt aan Frans van Bruggen en Joep Beckers van de Nederlandse Zorgautoriteit (NZa) is dat antwoord er wel. Na onderzoek bij meerdere – ook buitenlandse – toezichthouders stellen zij: breng het toezicht op AI en algoritmen onder bij bestaande toezichthouders. Hoe? Daarvoor geven ze zes handvatten die ze bij de NZa zelf ook al grotendeels aangrijpen.

In een eerder artikel op ToeZine.nl over de verkiezingsprogramma’s van verschillende politieke partijen gaven we al aan dat de politieke partijen redelijk eensgezind zijn: ze spraken bijna allemaal de wens uit voor een aparte toezichthouder op algoritmen en artificial intelligence. Dus: één plek waar alle expertise op dit gebied gebundeld is, zodat toezichthouders qua kennis in ieder geval niet voorbijgestreefd worden door hun ondertoezichtstaanden.

“Een aparte toezichthouder op AI is nergens voor nodig. De kennis over AI bezitten de meeste toezichthouders zelf al wel.”

Kennis is al in huis…

“Een aparte toezichthouder op AI is nergens voor nodig”, stelt Van Bruggen. “De kennis over AI bezitten de meeste toezichthouders zelf al wel. Bovendien onderzoeken ze praktisch allemaal hoe ze toezicht op AI moeten inrichten. Ook bij de NZa hebben wij genoeg zeer goed ingevoerde datawetenschappers en ervaren toezichthouders in huis die zich hiermee bezighouden. Waar het vaak nog wel aan schort, is de communicatie tussen de experts bínnen toezichthouders op het gebied van data, toezicht, wet- en regelgeving en ethiek. Net als bij veel andere toezichthouders is dat voor ons de belangrijkste stap. Hoe cliché het ook is, de eerste quick win zit in die interne samenwerking.”

…Maar er is meer nodig

1. Toepassing van het juridisch kader

“AI is veelzijdig en ontwikkelt zich snel. De wet- en regelgeving waarop toezichthouders zich baseren, kan die ontwikkeling vaak niet bijbenen. Daarom is het allereerst belangrijk om te analyseren wat de concrete risico’s zijn van AI-toepassingen in je toezichtsdomein. Aan de hand daarvan kun je bekijken of regelgeving moet worden aangepast.”

De onderzoekers identificeren zes risico’s:

1. AI-systemen die onvoldoende rekening houden met onze leefomgeving. Een voorbeeld zijn zelfrijdende auto’s die aanrijdingen veroorzaken.
2. Discriminerende AI-systemen die bijvoorbeeld sneller bepaalde bevolkingsgroepen aanwijzen als mogelijke fraudeurs.
3. AI-systemen die niet transparant zijn. Als niet te achterhalen is hoe het systeem tot een beslissing komt, valt het ook niet te controleren.
4. AI-systemen die door samenwerking met andere AI-toepassingen zorgen voor onvoorziene situaties. Bijvoorbeeld de flash crash op de Amerikaanse beurs in 2010: zogenaamde high-frequency trading algoritmen werkten op elkaar in en verkochten massaal aandelen. Niemand had inzicht in hun gezamenlijke werking of had er controle over. De crash herstelde automatisch na 36 minuten.
5. Privacyschending door AI-systemen. Bijvoorbeeld doordat ze gebruikmaken van datasets waaruit toch informatie als medische gegevens of BSN-nummers zijn te herleiden.
6. Mensen die hun gedrag aanpassen zodat ze gunstiger worden beoordeeld door een algoritme. Denk aan leraren die met studentevaluaties frauderen om niet ontslagen te worden door de uitkomsten van een AI-analyse.

“In veel gevallen zijn risico’s af te dekken met bestaande wet- en regelgeving.”

“In veel gevallen zijn bovenstaande risico’s af te dekken met bestaande wet- en regelgeving over privacy, non-discriminatie, aansprakelijkheid en gegevens- en consumentenbescherming. Waar dat niet zo is, moet de regelgeving worden aangepast. In de praktijk merken we bij de NZa dat al veel wordt afgedekt door ons bestaande juridische kader. Een voorbeeld: AI in de zorg wordt wellicht in de toekomst toegepast voor declaraties. Of dat correct gebeurt, valt binnen de regels rondom correcte administratie en registratie.”

2. Universele principes als basis

“De mogelijkheden op het gebied van AI zijn duizelingwekkend groot. We kunnen dus niet vooraf een set van specifieke eisen formuleren waaraan elke toepassing moet voldoen. Wel zijn er universele principes te benoemen, waarmee inspecties principle-based toezicht kunnen uitoefenen. Ontwikkelaars mogen dan alleen AI-toepassingen bouwen die aan deze principes voldoen. Zo ondervangen we de belangrijkste risico’s al aan de voorkant. Dus: via de principes kun je aan de voorkant de ruimte bepérken door eisen te stellen, maar je laat tegelijkertijd ook genoeg ruimte voor de ontwikkelaar om te innoveren.”

“Meerdere toezichthouders in Nederland, maar ook bijvoorbeeld de Europese Commissie, werken aan zulke universele principes. Uit de eerste pogingen zijn al vier principes te destilleren. AI-toepassingen moeten controleerbaar, betrouwbaar en niet-vooringenomen zijn. En degene die de toepassing gebruikt, moet verantwoordelijkheid nemen voor de uitkomsten.”

“Veel AI-toepassingen zijn omgeven door morele dilemma’s. Deze zijn te ondervangen door al in een vroegtijdig stadium de discussie te voeren.”

3. Aandacht voor morele dilemma’s

“Mogen zorgrobots medicatie toedienen aan patiënten? En hoe moeten zelfrijdende auto’s omgaan met levensgevaarlijke situaties op de weg? Veel AI-toepassingen zijn omgeven door morele dilemma’s. Deze ondervang je in een vroegtijdig stadium door de discussie te voeren met ondertoezichtstaanden. Er bestaan ook tools om meer inzicht te krijgen in morele afwegingen, zoals De Ethische Data Assistent (DEDA) van de Utrecht Data School. Bij de NZa voeren we dit soort discussies al. Zo zijn we in gesprek met zorgverzekeraars over de toepassing van AI.”

4. Vanaf de ontwikkeling meedenken

“Toezichthouders kunnen ook al adviseren als algoritmen ontwikkeld worden. Bijvoorbeeld door een open gesprek aan te gaan of de AI-toepassing, de gebruikte data en de risico’s voldoende zijn afgedekt. De Amerikaanse Food and Drug Administration is hier al ver mee en werkt met een keurmerk voor AI-toepassingen. Hun keuringen vooraf geven inzicht in de werking van een toepassing. Bij de NZa zijn we nog niet zo ver, omdat dit veel kennis en vooral capaciteit vereist. Wij kijken wel met interesse naar de Autoriteit Consument en Markt en Auditdienst Rijk, die hier al wel mee bezig zijn.”

5. AI meenemen in risicoanalyse

“Wij zien AI als onderdeel van de bedrijfsprocessen van onze ondertoezichtstaanden. Bestuurders, managers en interne toezichthouders dragen daarom wat ons betreft de verantwoordelijkheid voor de gevolgen van hun AI-toepassingen. De mogelijke risico’s van die AI-toepassingen kun je als toezichthouder dus meenemen in je risicoanalyses.”

“Ons gezamenlijke doel is om goed toezicht te houden op AI, zónder het ‘kapot te reguleren’.”

6. Kennisdoelen en samenwerken

“Het zijn twee begrippen die je vaak hoort en ook hier zijn ze onmisbaar: kennisdeling en samenwerking tussen toezichthouders. In Nederland doen we dat sinds vorig jaar in de werkgroep Toezicht op AI/algoritmen van de Inspectieraad, mede opgezet door Agentschap Telecom. Alle grote toezichthouders doen hierin mee. We komen elke twee maanden bij elkaar en delen dan nieuwe inzichten en best practices. Ons gezamenlijke doel is om goed toezicht te houden op AI, zónder het ‘kapot te reguleren’. We mikken dus op een balans tussen ruimte voor innovatie en grip op de risico’s. De genoemde handvatten helpen ons als NZa hierbij – en hopelijk ook andere toezichthouders.”