Over ongeveer een jaar gaat de Europese Artificial Intelligence Act (AI Act) waarschijnlijk in. Huub Janssen is kwartiermaker toezicht op AI bij de Rijksinspectie Digitale Infrastructuur en verdiept zich al langer in de verordening in wording. Hij zet op een rijtje wat toezichthouders over de AI Act moeten weten en hoe zij zich het beste kunnen voorbereiden.
Algoritmen en AI zijn inmiddels diepgeworteld in onze samenleving. Denk aan op maat gemaakte reclame, nieuws of tv-shows die we online voorgeschoteld krijgen. En bijvoorbeeld chatbots en persoonlijke assistenten als Siri en Alexa. Of slimme apparaten in huis die anticiperen op wat wij willen. Surveillance op basis van gezichtsherkenning. En artsen die hulp krijgen van AI bij hun diagnoses. Toezichthouders houden dus toezicht op steeds meer toepassingen die gebruikmaken van algoritmen. Maar zij maken ook steeds vaker zélf gebruik van algoritmen Zoals fraudedetectie en webscraping – zelflerende software die het internet afstruint op zoek naar relevante data. Of AI die grote hoeveelheden data analyseert.
De AI Act
In ToeZine vertelde Huub Janssen vorig jaar al over hoe toezichthouders zich het best kunnen voorbereiden op de risico’s van AI. De AI Act geeft hier extra handvatten voor. Deze Europese verordening treedt naar verwachting in 2024 in werking. Daarna is er nog een ingangstermijn van twee of drie jaar, dat moet nog worden besloten. Janssen: “De verordening maakt het op Europees niveau mogelijk om AI-toepassingen te verbieden. Bijvoorbeeld voor meer autocratische overheden die met biometrische gegevens aan massasurveillance willen doen.”
“De AI Act maakt het mogelijk om hoog risico AI-toepassingen te verbieden.”
De verordening kent ook een risico-classificatie. De act bestempelt sommige AI-toepassingen als hoog risico, vooral als ze in staat zijn om te discrimineren of onbetrouwbaar zijn. En zeker als ze worden gebruikt voor kritieke infrastructuur, gezondheid, personeelsselectie of onderwijs. Onder de verordening kunnen dat soort toepassingen worden verboden, tenzij ze aan strenge eisen voldoen waarmee je aantoont dat deze toepassingen betrouwbaar zijn. Voor laag risico AI-toepassingen stelt de verordening eisen voor transparantie . Zo moet bijvoorbeeld bij een deepfakevideo vermeld staan dat het beeld nep is.
Toezicht op producten
AI-toepassingen met hoog risico moeten getoetst zijn voordat ze op de markt mogen worden gebracht of gebruikt mogen worden. De AI Act biedt productregelgeving die werkt met conformiteitsbeoordelingsinstanties (CBI’s) gespecialiseerd in AI. Een toezichthouder of ministerie wijst CBI’s aan, vervolgens wordt er toezicht gehouden op de kwaliteit van die bureaus.
Productregelgeving bestaat uit meer dan zeventig verordeningen – van liften tot explosieven – en het toezicht op dit type productregelgeving ligt in Nederland bij vijf inspecties: ILT, NVWA, Rijksinspectie Digitale Infrastructuur (voorheen Agentschap Telecom), ISZW en de IGJ. Hoog risico AI-toepassingen mogen alleen op de markt worden gebracht en gebruikt als ze voldoen aan de eisen uit de AI-Act. Daarbij moet de fabrikant de juiste conformiteitsprocedure doorlopen. CBI’s houden toezicht op die beide zaken, en de vijf bovengenoemde inspecties houden weer toezicht op de CBI’s.
Onvoorspelbare AI-toepassingen
Wat betekent de AI Act voor de rest van de toezichthouders? “Elke toezichthouder moet zich ervan bewust zijn dat er AI-toepassingen worden gebruikt in sectoren die onder het eigen toezicht vallen”, stelt Janssen. “Hierbij heeft een van de bovenstaande vijf toezichthouders erop toegezien dat de toepassing aan de Europese veiligheidseisen voldoet. Maar dat hoeft nog niet te betekenen dat de toepassing in jouw sector volgens de regels wordt gebruikt.”
“Bij veel AI-toepassingen is straks onduidelijk wie erachter zit, dat is een uitdaging voor toezichthouders.”
Hoe zit dat? “Veel AI-toepassingen beperken zich niet tot een specifieke sector. Een AI-toepassing kan zijn goedgekeurd volgens de AI Act en mag op de markt worden gebracht. Dat betekent niet dat hij in alle sectoren mag worden ingezet. Zo kunnen aan het gebruik ervan in medische apparaten of vitale infrastructuur aanvullende eisen worden gesteld. Dus los van de controle of een AI op de markt mag worden gebracht, moeten alle toezichthouders zelf nog beoordelen of inzet ervan in hun sector past binnen wet- en regelgeving.”
Nieuwe risico’s
Ook general purpose algoritmen die voor meerdere doeleinden inzetebaar zijn, zoals ChatGPT, brengen grote risico’s en uitdagingen met zich mee waar toezichthouders van op de hoogte moeten zijn. Janssen: “General purpose AI is soms open source. Iedereen kan de software aanpassen. En als je genoeg capaciteit hebt, kun je ook langs de ingebouwde veiligheidseisen komen. Zo kan iemand die kwaadwillend is ChatGPT razendsnel malware laten schrijven – software die andere computers kan infecteren. Dat kan dan zo snel, dat onze huidige beveiligingssystemen er wellicht te traag voor zijn. Een uitdaging daarnaast is dat bij veel general purpose AI onduidelijk is wie het gebouwd heeft. Bij wie moet je dus zijn als zo’n toepassing onder hoog-risico valt? Hier moeten we nog antwoorden op vinden.”
Ongekende ontwikkelingen
Nog iets waarvan toezichthouders zich bewust moeten zijn, is de snelheid waarmee algoritmen zich ontwikkelen. ChatGPT is ook hier weer een sprekend voorbeeld. “Het bedrijf OpenAI dat erachter zit, is eigenlijk al een versie verder”, vertelt Janssen. “En concurrent Google heeft AI-chatbot Bard op de markt gebracht, maar ook zij zijn eigenlijk al verder met een model dat veel meer rekenkracht heeft. Beide partijen investeren miljarden in deze modellen. Dit geldt ook voor een aantal Chinese bedrijven. De vraag is dan natuurlijk: welke toepassingen hebben die toekomstige versies allemaal waarmee deze bedrijven verwachten die miljarden terug te verdienen?”
Vooruitkijken en voorbereiden
“Op veel van de ontwikkelingen rondom AI – die straks onder de AI Act vallen – heb je als toezichthouder nog geen grip”, stelt Janssen. “Maar het is wel belangrijk je er bewust van te zijn wat er allemaal aan zit te komen. En er zijn voorbereidingen die je kunt treffen.” Janssen zet ze op een rij:
- Zorg dat je op de hoogte bent
“Het is verstandig om op de hoogte te blijven van de nieuwste ontwikkelingen rondom AI en de AI Act. Dat kan bijvoorbeeld door lid te worden van de werkgroep Toezicht op AI en Algoritmen. Hierbij sluiten steeds meer toezichthouders aan. We wisselen kennis uit en delen casussen met elkaar.”
- Check je eigen systemen
“Onderzoek nu al of de systemen die je als toezichthouder zélf wilt bouwen aan de eisen van de AI Act voldoen. Dat geldt voor alle systemen die te maken hebben met AI, algoritmen en datagedreven werken.” - Maak een risicoanalyse van je sector
“Wat betekent de komst van de AI Act voor de markt waar je toezicht op houdt? Zul je bijvoorbeeld cruciale leveranciers moeten weigeren die niet voldoen aan de eisen uit de AI Act? Dat kan heel disruptief zijn. Neem als extreem en hypothetisch voorbeeld de zorg. Als een grote leverancier van medische apparatuur niet kan voldoen, kan dit impact hebben op de werking van operatiekamers.”
“Bedenk ook dat het per bedrijf sterk verschilt hoe goed men zich bewust is van de aankomende regelgeving. Misschien komt er wel uit je risicoanalyse dat je als toezichthouder een belangrijke rol hebt om je markt op de hoogte te brengen van nieuwe eisen en regels voor AI-toepassingen. Zo hebben we vanuit de Rijksdienst Digitale Infrastructuur een presentatie gegeven over de AI Act bij de Nederlandse AI Coalitie, een publiek-private samenwerking rondom AI.”
“Wat er nu aankomt is zo nieuw dat er geen weg meer terug is.”
Geen weg terug
Tot slot wil Janssen nog eens benadrukken: “We zitten nu op een breuklijn. Door digitalisering verandert er veel en heel snel. Laatst vroeg een toezichthouder van een andere inspectie: ‘Is dit iets nieuws wat eraan komt, of is dit het begin van een nieuwe weg?’ En mijn antwoord daarop is: dat laatste én er is geen weg meer terug. Daar kunnen we ons als toezichthouders maar beter zo goed mogelijk op voorbereiden. Gelukkig biedt de AI Act daarin extra houvast.”
