Een algoritme mag niet zomaar je inkomen afsnijden

Een app kan voor een chauffeur de toegang tot werk betekenen. Maar wat gebeurt er als diezelfde app besluit dat een account verdacht is of de klantbeoordelingen onvoldoende zijn? Als zo’n beslissing automatisch wordt genomen, kan de toegang tot werk in één klap verdwijnen — zonder dat iemand eerst zorgvuldig naar het verhaal van de chauffeur kijkt.

Dat is geen theoretisch risico. De Nederlandse Autoriteit Persoonsgegevens heeft Uber een boete opgelegd van bijna 825 miljoen euro omdat het bedrijf volgens de toezichthouder volledig geautomatiseerde besluiten nam over chauffeurs. Bij vermoedens van fraude of lage klantbeoordelingen werden accounts automatisch tijdelijk gedeactiveerd. Bij aanhoudend lage beoordelingen kon dat permanent gebeuren. Tijdens zo’n blokkade viel het inkomen dat chauffeurs via Uber verdienden weg.

Een algoritmische verdenking mag nooit genoeg zijn om iemands inkomen af te snijden.

De zaak kwam op gang na klachten van 171 Franse Uber-chauffeurs, die via de mensenrechtenorganisatie Ligue des droits de l’Homme bij de Franse privacytoezichthouder terechtkwamen. Omdat Uber zijn Europese hoofdkantoor in Nederland heeft, behandelde de Autoriteit Persoonsgegevens de zaak. De onderzochte gebeurtenissen speelden tussen 2018 en 2022. De toezichthouder oordeelde dat Uber de AVG had overtreden door volledig geautomatiseerde besluitvorming met zulke ingrijpende gevolgen toe te passen. Ook waren chauffeurs onvoldoende geïnformeerd over de automatische besluitvorming.

Uber is tegen de boete in beroep gegaan. Er ligt dus nog geen definitieve rechterlijke uitspraak. Dat is belangrijk om erbij te zeggen. Maar het juridische geschil verandert niets aan de principiële vraag die deze zaak blootlegt: hoeveel macht mag een digitaal platform krijgen over het dagelijks leven en de bestaanszekerheid van mensen die ervan afhankelijk zijn?

Voor Freedom Matters is de grens helder. Een platform mag technologie gebruiken om patronen te herkennen, fraude te onderzoeken of de dienstverlening te verbeteren. Maar zodra een systeem bepaalt of iemand nog kan werken en inkomen kan verdienen, is gemak geen rechtvaardiging meer. Dan zijn zorgvuldigheid, transparantie en echte menselijke verantwoordelijkheid onmisbaar.

Een klantbeoordeling is geen objectieve waarheid. Een signaal dat op fraude wijst, is nog geen bewijs. Een algoritme kan patronen zien, maar begrijpt niet vanzelf de omstandigheden achter een klacht, een misverstand of een afwijkende rit. Wanneer een automatisch systeem een account blokkeert, kan de betrokkene bovendien vaak niet zien welke gegevens of aannames de doorslag gaven. Zonder begrijpelijke uitleg wordt het vrijwel onmogelijk om een fout te herkennen en te corrigeren.

De AVG trekt daarom een grens bij besluiten die uitsluitend op geautomatiseerde verwerking zijn gebaseerd en mensen juridisch of anderszins aanzienlijk treffen. Daarvoor gelden strenge voorwaarden en waarborgen. Het gaat niet om een verbod op alle automatisering. Het gaat om de erkenning dat sommige beslissingen te ingrijpend zijn om zonder passende menselijke tussenkomst te nemen. Wie door een besluit zijn inkomen verliest, moet kunnen begrijpen waarom dat gebeurt, zijn kant van het verhaal kunnen vertellen en een daadwerkelijke herbeoordeling door een mens kunnen krijgen.

Dat is geen administratieve luxe. Het is elementaire rechtsbescherming. Een bezwaarformulier dat ergens diep in een app verstopt zit, of een standaardantwoord dat de oorspronkelijke beslissing herhaalt, is geen betekenisvolle controle. Menselijke beoordeling moet daadwerkelijk verschil kunnen maken: de beoordelaar moet de relevante informatie kunnen bekijken, de beslissing kunnen wijzigen en verantwoordelijkheid kunnen nemen voor de uitkomst.

De machtsverhouding maakt dit extra belangrijk. Een groot platform beschikt over de gegevens, de software en de regels. Een individuele chauffeur heeft vaak weinig zicht op hoe het systeem werkt en kan niet eenvoudig onderhandelen over de voorwaarden. Als een account wordt geblokkeerd, kan de betrokkene niet alleen omzet mislopen, maar ook tijd verliezen aan een procedure waarvan de spelregels onduidelijk zijn. Juist in zo’n ongelijke verhouding moet de partij met de meeste macht aantoonbaar zorgvuldig handelen.

Ook transparantie hoort daarbij. Mensen moeten vooraf kunnen begrijpen welke gegevens worden gebruikt, welke soorten signalen tot een blokkade kunnen leiden en welke gevolgen dat kan hebben. Dat betekent niet dat een platform ieder fraudedetectiemechanisme tot in detail openbaar moet maken. Wel moet de uitleg voldoende zijn om mensen hun rechten te laten uitoefenen en een concrete beslissing te kunnen aanvechten. Bedrijfsgeheimen mogen geen schild worden waarachter iedere controle onmogelijk wordt.

Freedom Matters vindt het onaanvaardbaar wanneer ingrijpende besluiten over mensen worden teruggebracht tot een geautomatiseerde score, terwijl de betrokkenen onvoldoende inzicht of effectieve mogelijkheden tot verweer hebben. Technologie moet mensen ondersteunen, niet hun waardigheid en bestaanszekerheid ondergeschikt maken aan een systeem dat niemand ter verantwoording kan roepen.

De les reikt verder dan één taxiplatform. Overal waar algoritmes toegang tot werk, inkomen, huisvesting, krediet of publieke voorzieningen beïnvloeden, moet dezelfde vraag worden gesteld: kan iemand begrijpen wat er is besloten, kan diegene het besluit werkelijk aanvechten en is er een verantwoordelijke mens die kan ingrijpen? Als het antwoord nee is, is niet de burger degene die zich aan de machine moet aanpassen. Dan moet het systeem veranderen.