Gezichtsherkenning, AI en het demonstratierecht: wie houdt de mens aan het stuur?

AI-agenten komen steeds dichter bij een rol waarin ze niet alleen antwoorden geven, maar ook zelfstandig handelen. Ze kunnen taken uitvoeren, keuzes maken en namens een gebruiker met digitale systemen communiceren.

Dat gemak klinkt aantrekkelijk. Maar naarmate een systeem meer voor ons gaat doen, wordt een andere vraag steeds belangrijker: wie blijft uiteindelijk verantwoordelijk voor wat er gebeurt?

Een AI-agent is meer dan een zoekmachine of een chatbot. Wanneer een systeem zelfstandig informatie beoordeelt, keuzes maakt en vervolgens actie onderneemt, krijgt technologie invloed op de werkelijkheid. Juist daar ontstaat een risico: dat mensen de uitkomst van een systeem gaan behandelen als een objectieve waarheid.

De Nederlandse toeslagenaffaire laat zien hoe problematisch dat kan worden. Daar speelde geautomatiseerde risicoselectie met algoritmen een belangrijke rol bij het selecteren van aanvragen en het ten onrechte bestempelen van ouders als fraudeur. De parlementaire stukken en onderzoeken laten zien dat algoritmische risicoselectie onderdeel was van een veel breder geheel van politieke, juridische en organisatorische keuzes. Het was dus niet simpelweg een geval van “een algoritme dat een fout maakte”.

Het probleem kan ontstaan wanneer een algoritmisch systeem mensen selecteert en mensen vervolgens te veel vertrouwen op die uitkomst.

Juist daarin zit de belangrijke les.

Wanneer een systeem een risicoscore geeft, kan die score de indruk wekken van precisie en objectiviteit. Maar achter zo’n uitkomst zitten gegevens, aannames, ontwerpkeuzes en menselijke beslissingen. Als vervolgens niemand meer kritisch naar de uitkomst kijkt, kan een hulpmiddel langzaam veranderen in een autoriteit.

Bij AI-agenten wordt dat vraagstuk nog groter. Een systeem dat alleen een medewerker adviseert, heeft een andere impact dan een systeem dat zelfstandig een dossier selecteert, een aanvraag afwijst, een bericht verstuurt of een andere digitale actie uitvoert.

Ook bij gezichtsherkenning wordt zichtbaar hoe ver de gevolgen kunnen reiken. De Europese grondrechtenorganisatie FRA waarschuwde onlangs voor remote biometrische identificatie in de openbare ruimte. Uit onderzoek van de organisatie bleek dat 29 procent van de ondervraagden minder bereid zou zijn aan een vreedzame demonstratie deel te nemen als daar gezichtsherkenning wordt gebruikt. Alleen al de mogelijkheid om tijdens een protest automatisch geïdentificeerd te worden kan dus invloed hebben op de bereidheid om van een grondrecht gebruik te maken. In Nederland is realtime gezichtsherkenning voor openbare-ordedoeleinden momenteel niet toegestaan; achteraf identificeren van verdachten kan onder voorwaarden wel. De discussie over de grenzen daarvan is daarmee nog lang niet voorbij.

Daar komt een ongemakkelijke timing bij. De Europese AI-verordening bestaat inmiddels, maar juist een deel van de regels voor AI-systemen met een hoog risico is uitgesteld. Voor verschillende hoogrisicosystemen gaan de strengere verplichtingen pas op 2 december 2027 gelden. Dat betekent dat de technologie zich intussen verder kan ontwikkelen en steeds meer invloed kan krijgen, terwijl belangrijke waarborgen nog niet volledig van toepassing zijn.

Daarom is menselijke controle geen formaliteit. Het moet mogelijk zijn om te begrijpen waarom een systeem iets doet, om een beslissing te betwisten en om een systeem daadwerkelijk te stoppen wanneer het verkeerde keuzes maakt.

Ook transparantie is daarbij essentieel. De Autoriteit Persoonsgegevens wijst erop dat gebrekkige transparantie het voor mensen moeilijk kan maken om zich tegen een algoritmische beslissing te verweren. Dat geldt niet alleen voor AI-agenten, maar voor algoritmische systemen in het algemeen.

De vraag is daarom niet alleen wat AI technisch gezien kan. De belangrijkere vraag is welke beslissingen we aan technologie willen overlaten.

Technologische vooruitgang kan veel waarde toevoegen. Maar menselijke waardigheid vraagt dat technologie de mens ondersteunt — en niet dat de mens zich uiteindelijk moet voegen naar de uitkomst van een systeem dat hij niet meer kan begrijpen, controleren of tegenspreken.