Algoritmische experimenten – met wie wordt er geëxperimenteerd?

Opkomende technologieën hebben altijd een zekere mate van onzekerheid met zich meegebracht, wat misschien de reden is dat de uitrol ervan vaak gepaard gaat met bezorgdheid en scepsis onder de bevolking. Dat komt onder meer omdat de sociale aspecten van die nieuwe technologieën, anders dan de technische aspecten, alleen kunnen worden getest in reële omstandigheden, anders gezegd onder de bevolking.

Een relevant voorbeeld van een dergelijke technologie is algoritmisch bestuur. Steeds vaker wordt nieuwe software geïmplementeerd om de efficiëntie van publiek beleid te optimaliseren. De controverses en mislukkingen die ermee gepaard gaan zijn talrijk. De bekendste voorbeelden hebben betrekking op fraudedetectie en uitkeringstoewijzing, zoals de SyRi-, Toeslagen– en Duo-schandalen in Nederland, het algoritme voor fraudedetectie door het Department for Work and Pensions in het Verenigd Koninkrijk en het Social Card-algoritme in Servië. Andere controversiële toepassingen zijn te vinden bij politiewerk, zoals het controversiële en experimentele gebruik van COMPAS en CompStat in de VS, en bij surveilleren en criminaliseren van vluchtelingen rond de wereld, onder anderen door de Palantir software.

Heel wat nieuwe technologie die voor beleidsdoeleinden wordt ingezet, is dus ook experimenteel, omdat men de effecten en werking ervan nog niet echt kent. Het woord ‘experimenteren’ heeft twee betekenissen: ten eerste kan het verwijzen naar een wetenschappelijke methode gebaseerd op experimenten (om een hypothese te bevestigen of te ontkennen), en ten tweede kan het verkennende proces van het uitproberen van nieuwe ideeën of activiteiten betekenen. Hoewel deze twee betekenissen verschillend zijn, zijn ze verbonden door een gemeenschappelijke noemer – namelijk de onzekerheid van de uitkomst, wat ook de motivatie is achter elke vorm van experimenteren.

Verkennende experimenten op het gebied van openbaar bestuur kennen dan weer twee varianten: “Darwinistisch experimentalisme”, gericht op het uitproberen van uiteenlopende benaderingen met als doel de uitkomsten te vergelijken, en “generatief experimenteren”, gericht op het testen en verbeteren van één benadering. De laatste variant lijkt met name relevant voor algoritmisch bestuur, en is de meest voorkomende beleidsexperimentele variant. Algoritmisch bestuur lijkt geaccepteerd te zijn als een weg naar goed bestuur (bijvoorbeeld door de Europese Commissie – het digitale decennium van Europa), en het experimenteren dient om deze reeds overeengekomen aanpak te perfectioneren. De consensus dat dit een goed idee is, is echter beperkt tot de hogere echelons van staten en bedrijven, zoals blijkt uit de Nederlandse digitaliseringsstrategie). Algoritmisch bestuur wordt daarentegen op grote schaal bekritiseerd door klokkenluiders, academici, advocaten en activisten.

De meeste publieke verontwaardiging is gericht op vormen van algoritmisch bestuur die in symbiose werken met andere opkomende technologieën, zoals biometrie en digitale surveillance, om bijzonder dystopische realiteiten vorm te geven. Gezichtsherkenningstechnologie is bijvoorbeeld gebruikt om vreedzame Black Lives Matter-demonstranten te identificeren, en wordt routinematig gebruikt in immigratieprocedures. Over het algemeen worden immigratieprocedures geassocieerd met de meest indringende vormen van algoritmisch bestuur, waaronder GPS tagging, een praktijk die zo ontmenselijkend is dat deze door gerichte asielzoekers werd omschreven als psychologische marteling.

Dus, als algoritmisch bestuur als experiment kan worden beschouwd, op wie wordt er dan geëxperimenteerd? Vaak blijken de proefpersonen kwetsbare individuen en groepen, zoals gebruikers van uitkeringen en studentenleningen, vluchtelingen, en individuen die te maken hebben met het criminele systeem. Algoritmisch bestuur verergert dan reeds bestaande ongelijkheden en kwetsbaarheden en creëert nieuwe ongelijkheden en kwetsbaarheden; je zou kunnen zeggen: het  automatiseert ongelijkheid! Het gerichte gebruik ervan op kwetsbare mensen is slechts een evolutie van de bestaande tendensen om de armen te controleren en te straffen. Misschien heeft deze neiging om de armen te controleren wel bijgedragen aan het feit dat er historisch gezien meer gegevens over arme mensen werden verzameld, wat vandaag de dag nog steeds het geval is.

Twee complementaire conclusies springen in het oog. In het slechtste geval lijkt het erop dat algoritmisch bestuur een weerspiegeling is van bestaande machtsverschillen, waardoor het deze bestendigt, en tegelijkertijd een actieve factor is in het creëren van machtsverschillen, waardoor het diepere en nieuwe ongelijkheden creëert. Dit komt doordat kwetsbare bevolkingsgroepen worden gebruikt als geschikte proefpersonen voor de ontwikkeling van technologie (weerspiegeling van machtsverschillen), en tegelijkertijd wordt de technologie ontwikkeld om diezelfde kwetsbare bevolkingsgroepen te controleren en in de gaten te houden (actieve rol in het creëren van machtsverschillen). In het beste geval is algoritmisch bestuur een voorbeeld van technologisch oplossingsgericht denken, waarbij technologie wordt gezien als de enige haalbare oplossing en technologie als zodanig de ontwikkeling van beleid stuurt, in plaats van andersom. Hoe dan ook, de voorbeelden van mislukkingen van algoritmisch bestuur die pas aan het licht kwamen nadat ze een blijvende stempel hadden gedrukt op het leven van sociaal kwetsbare individuen waarop ze werden getest, komen maar al te vaak voor. Deze mislukkingen weerspiegelen de beperkingen van technologische oplossingen. Ik zou denken dat sociale kwetsbaarheid moet worden beschouwd als een tegenindicatie voor experimenteren met algoritmisch openbaar bestuur.