Luistertip: Argos over vooringenomen fraude-algoritmen

Argos maakte een onthullende reportage over de algoritmen die Rotterdam inzet om bijstandsfraude op te sporen. Daarbij worden hoe langer hoe meer selectiekenmerken geschrapt omdat ze discriminerend werken. Naar het einde van de reportage toe wordt echter duidelijk dat de hele methode op vooringenomenheid is gestoeld.

Luister de reportage van Argos hier terug: https://www.vpro.nl/argos/media/luister/argos-radio/onderwerpen/2021/In-het-vizier-van-het-algoritme-.html

Onderzoeksjournalisten van Argos doken in het algoritmebeleid van gemeente Rotterdam, dat eerder in opspraak kwam door het rapport “Gekleurde technologie” van de Rotterdamse Rekenkamer. Die waarschuwde voor vooringenomenheid bij het selecteren van burgers voor een onderzoek naar bijstandsfraude. De Rekenkamer constateerde bijvoorbeeld dat de nationaliteit van burgers wegens gevoeligheid geen rol speelde in de selectie, maar dat taalvaardigheid wel als kenmerk werd meegenomen. Dit zou een ‘proxyvariabele’ kunnen zijn om toch te selecteren op afkomst, omdat burgers met een migratieachtergrond vaker een taalachterstand zouden hebben.

Indicatoren schrappen

Argos ontdekt uit opgevraagde stukken dat naast taalvaardigheid nog meer variabelen een dubieuze rol spelen in het bepalen wie te boek komt te staan als frauderisico. Onder meer leeftijd, geslacht, gezinssamenstelling en indicaties voor psychische, medische en financiële problemen wegen mee in de risicoscore die het algoritme burgers toedicht. Rotterdam paste haar algoritmes aan na de kritiek van de Rekenkamer en discussie in de gemeenteraad. Een aantal gevoelige indicatoren werden eruit gehaald, zoals taal en geslacht, maar dit geldt bijvoorbeeld niet voor de wijk waar iemand woont.

Cynthia Liem, specialist Kunstmatige Intelligentie van de TU Delft, zegt hier het volgende over tegen Argos: “Een deel van de variabelen zijn zaken waar je niets aan kunt veranderen, zoals je leeftijd, de wijk waar je woont, je geslacht. Daar wil je niet op stereotyperen. ‘Omdat je een man bent, ga ik vaker achter je aan’, dat zijn afleidingen die dubieus zijn. Tegelijkertijd zie je dus ook na dat Rekenkamer rapport en het debat dat die variabelen eruit zijn gehaald.”

Diepere ethische discussie vereist

Er moet volgens Liem echter een “diepere ethische discussie” worden gevoerd, die verder gaat dan de wenselijkheid van selectiekenmerken. “Er is veel aandacht voor het algoritme en die voorspellende stappen die worden gemaakt op grond van data. Maar als ik kijk hoe erover wordt gediscussieerd en de vragen die erover worden gesteld, dan zie ik dat de meeste vragen gaan over ‘wat hebben we erin gestopt en waarom hebben we het erin gestopt en willen wij dat erin stoppen?’”

Ludo Hekman bestudeerde de door Argos opgevraagde stukken over de algoritmen en stelt: “We weten dat het algoritme is getraind met historische data van fraudegevallen in Rotterdam. Je pakt dan een set data waar al vooroordelen in zitten, ze komen voort uit afdelingen die voorheen al onderzoeken hebben gedaan in bepaalde wijken, misschien ook op bepaalde controversiële indicatoren gericht. Het enige wat het algoritme dan doet, is het reproduceren van vooroordelen uit het verleden.” En daarmee wordt de discussie verlegd van de vooringenomenheid van bepaalde soorten data naar de vraag of de hele werkwijze niet inherent vooringenomen is.

Statistisch discrimineren

Argos interviewt mede-eiser in de SyRI-procedure Maxim Februari over het vonnis, waarin de rechter SyRI verbood wegens gebrek aan inzage: “Als achter jou een systeem draait met algoritmes waarvan je niet weet hoe die in elkaar steken en die gaan uitspraken doen over jouw gedrag terwijl je niet weet waar de data vandaan komen, je mag die data niet aanvechten, je kunt ze niet volgen, je kent kent de algoritmes niet; dan sta je in feite tegenover een grote black box en dat gaat precies in tegen één van de meest fundamentele principes van de rechtsstaat, namelijk dat de wet bekend moet zijn.”  

Het controleerbaar maken van deze systemen is echter slechts het startpunt van deze diepere ethische discussie. Systemen zoals SyRI, het dit jaar gestopte Totta Data Lab in Nissewaard en de Rotterdamse fraude-algoritmen konden jarenlang functioneren als een black box zonder dat hun werking ter discussie stond. Sinds de onthullingen in de Toeslagenaffaire komt dit debat nu van de grond. De Argos reportage toont dat dit debat meer moet omvatten dan de vraag welke data geschikt zijn om burgers mee te profileren. Meer fundamenteel geldt de vraag of het überhaupt gerechtvaardigd is om iemand op grond van statistische overeenkomsten met een risicoprofiel anders te behandelen.

AI-snake oil

In de datawetenschap wordt het doen van voorspellingen over gedrag met data-analyses al langer bestempeld als AI snake oil, wat vrij kan worden vertaald naar Big Data kwakzalverij. Ook in de Argos uitzending wordt en passant afgerekend met de veronderstelling dat algoritmen een effectief middel zijn om fraudeurs op te sporen: de ‘pakkans’ van het algoritme is nauwelijks hoger dan wanneer men op basis van willekeur burgers zou selecteren voor een fraudeonderzoek.

Dit bleek overigens al eerder bij de inzet van Totta Data Lab in Nissewaard en bij het Systeem Risico Indicatie, systemen die vele burgers als ‘risico’ hebben aangemerkt, maar waarvan is vast komen te staan dat er nauwelijks of geen fraude mee is opgespoord. Het college van Nissewaard kondigde na het stoppen met deze methode aan dat de herbeoordelingsonderzoeken in de bijstand voortaan op basis van willekeurige selectie plaats zullen vinden.

Gereduceerd tot risicoprofiel

Het zou Rotterdam sieren als ze een voorbeeld nam aan haar buurgemeente en niet langer vooruitloopt op de fundamentele discussie over de inzet van voorspellende algoritmes. Vandaar dat het Platform Burgerrechten tezamen met FNV de Rotterdamse gemeenteraad eerder dit jaar opriep te stoppen met voorspellende algoritmes in de bijstand. We schreven in NRC daar het volgende over:

“Want op basis van welke kennis meen je dat je iemand op een risicolijst mag plaatsen? Omdat diegene statistisch lijkt op iemand die in het verleden iets fout deed? In het geval van afkomst of etniciteit zouden we dat onacceptabel vinden, maar waarom is het wel gerechtvaardigd wanneer iemand volgens de logica van een algoritme op andere gronden ‘bedenkelijk’ is? Het reduceren van burgers tot risicoprofielen past niet bij een overheid op zoek naar de menselijke maat. In plaats van regels te bedenken om risicovolle algoritmen te legitimeren, zou op zoek moet worden gegaan naar methoden die wél in onze rechtsstaat passen.”