‘Algoritmes zijn onzichtbaar, maar kunnen een ingrijpende werking hebben op levens van mensen. Een meldplicht moet ervoor zorgen dat niet elke gemeente voor een bepaald onderwerp, bijvoorbeeld over de huurtoeslag of de opsporing van belastingfraude, zelf een algoritme gaat optuigen’, aldus Tweede Kamerlid Kees Verhoeven van D66. Hij hoopt dat het kabinet met de invoering van de meldplicht meer grip krijgt op het gebruik van algoritmes. ‘We hebben nu geen idee hoeveel projecten er draaien’, zegt Verhoeven.
Willekeur en discriminatie
Momenteel gebruiken gemeenten en andere overheidsinstanties verschillende algoritmes. Dat kunnen onschuldige rekenmodellen zijn, maar ook complexere formules die gebruikt worden bij het opsporen van fraude. ‘Daar kunnen willekeur en discriminatie op de loer liggen’, zegt Verhoeven. Bij de inzet van een algoritme kunnen inwoners van hele wijken onderzocht worden zonder dat er sprake is van een verdenking. Ook als de rekenformule niet discriminatoir is, kan de keuze van de gebruikte data dat wel zijn. Uit eerder onderzoek van de NOS is gebleken dat het risico op discriminatie op de loer ligt.
Bodemprocedure tegen de Staat
Onlangs besloot de gemeente Rotterdam te stoppen met het gebruik van het programma Systeem Risico Indicatie (SyRI), een omstreden fraudeopsporingssysteem dat verschillende persoonlijke gegevens in een algoritme koppelt om fraude met uitkeringen en toeslagen te bestrijden. In de havenstad werden de inwoners van twee achterstandwijken getarget. Volgens tegenstanders van SyRI maakt het programma een onwettelijke inbreuk op de privacy van de onderzochte mensen. Verschillende maatschappelijke organisaties, waaronder Bij Voorbaat Verdacht, de Stichting Bescherming Burgerrechten, het Nederlands Juristen Comité voor de Mensenrechten en de Stichting Privacy First, hebben een bodemprocedure tegen de Staat aangespannen vanwege het gebruik van SyRI. De organisaties stellen dat het algoritme niet transparant is en dat burgers zonder aanleiding of verdenking van fraude worden doorgelicht. ‘Burgers zijn bij voorbaat verdacht en vrijwel alle informatie die ze delen met de overheid kan zonder verdachtmaking of concrete aanleiding op heimelijke wijze tegen hen worden gebruikt.’
Excessen voorkomen
Ook Verhoeven ziet gevaren rond het gebruik van dergelijke algoritmes. ‘De besluitvorming is onzichtbaar en wordt genomen op basis van allerlei data in een algoritme dat vaak ook door derde partijen is ontwikkeld. Het is problematisch dat mensen over wie een besluit genomen wordt, niet weten dat zij onderzocht zijn en hoe een besluit over het stopzetten van bijvoorbeeld de huurtoeslag genomen is’, aldus het Kamerlid.
Hij ziet ook dat algoritmes vaak op lagere inkomensgroepen en in achterstandswijken worden toegepast. ‘Deze groepen zijn nog te vaak de dupe van experimenten met algoritmes.’ Verhoeven ziet de meldplicht als een volgende stap om het gebruik van algoritmes te verbeteren. De eerste stap is het instellen van een onafhankelijke waakhond die de algoritmes ook inhoudelijk kan controleren om willekeur en discriminatie te voorkomen. Verhoeven: ‘We moeten voorkomen dat we over tien jaar hier in de Tweede Kamer verbaasd staan te doen dat er door algoritmes mensen zijn benadeeld en er onterechte besluiten zijn genomen zonder dat we het wisten.’
Een algoritme melden is één. Een algoritme beoordelen een tweede.
Alle besluitvormings-algoritmen die ik ken, zijn gebaseerd op pakweg twee denkfouten.
De eerste is een variant op het vooroordeel-probleem:
In mijn perceptie is er vaak een x in de buurt van y, dus ga ik in de buurt van y naar een x zoeken.
De perceptie “vaak een x in de buurt van y” klopt vaak, en voor het zoeken naar y is meestal een legale basis. En de output van het beleid is vaak succesvol: het streefgetal opgespoorde x wordt gehaald. De terugkoppeling naar het -inmiddels zelflerende- algoritme is ook succesvol: na een aantal iteraties is de correlatie x_y pakweg 100%. Iedereen blij?
De denkfout: “vaak” betekent niet “alleen maar”. Maar de output van deze algoritmische beleidsopvatting zal naderen tot een homogene bak x-en uit de buurt van y. En dat is niet alleen minder legaal (grondrechten 1 en 16), het leidt ook tot waterbed-effecten: als zij in de buurt van y zoeken, ga ik mijn x lekker bij z doen.
Voorbeelden:
_In Wassenaer wordt veel belasting ontdoken, dus ik laat mijn fraudeteam voor al aanslagen uit dat postcodegebied uitpluizen, en niet in Laakkwartier. (Dus ik lekker met een koffertje naar de Cayman eilanden.)
_In straten met autoverkeer wordt vaker foutgeparkeerd, dus ga ik daar controleren, en niet in parken. (Dus ik parkeer lekker oerend op het Malieveld.)
De tweede denkfout is een variant op de beschikbaarheids-bias, en laat zich met een bekend grapje schetsen:
Kom ik ’s avonds laat thuis, zit mijn buurvrouw op haar knieën onder de lantarenpaal.
Vraag ik “wat doe jij nou?”
Zegt zij “ik zoek mijn sleutels”.
Zeg ik: “waar ben je ze verloren dan?”
Wijst zij: “daar verderop, maar daar is het zo donker”.
Veel besluitvormings-algoritmen voor x-beleid worden pragmatisch gebaseerd op beschikbare percepties, onder ICT-ers geloof ik “ontsluitbare data” geheten.
De denkfout is, dat de beschikbare data meestal niet verzameld zijn om x-beleid uit te voeren.
Er kunnen dus onevenredige verdelingen of gaten in zitten, die de uitvoering van x onevenredig maken.
Voorbeelden:
_In het verleden zijn symptomen voor hartfalen vooral bij mannelijke proefpersonen geobserveerd, dus reageert het hartfaal-opsporings-algoritme vooral op mannelijke symptomen.
_In de beschikbare bevolkingsdata van voor pakweg 2000 komen maar twee geslachten voor, dus kan een algoritme gebaseerd op die data niet overweg met interseksuelen.
En kom me nou niet aan met “in werkelijkheid wegen algoritmen veel meer regels in onderlinge afhankelijkheid af” en dergelijke: daarin zit meestal een stapeling van denkfouten.
En wees maar blij, dat ik zo weinig besluitvormings-algoritmen ken. Er zijn vast ook hele goede?