De Constitutionalist en de puzzel van algoritmische besluitvorming

Op 13 mei 2022 mocht ik een voordracht houden ter gelegenheid van het Afscheidssymposium voor Ernst Hirsch Ballin als universiteitshoogleraar aan de Tilburg University. Dit blog is een herwerking van mijn mondelinge voordracht. Daarbij gebruikte ik een Powerpointpresentatie, die in het Engels was. Waarom was die in het Engels, terwijl het symposium zich in het Nederlands afspeelde?

Het eerlijke antwoord is: omdat het AI-systeem van het softwareprogramma Powerpoint dan beter werkt. Als je gebruik maakt van de online-versie van dit programma hoef je niet meer na te denken over de lay-out van je slides; al typende doet het programma verschillende suggesties. Omdat ik het vervelend vind om het internet af te speuren naar rechtenvrije afbeeldingen die ik kan gebruiken voor mijn presentaties en ik ook niet zo visueel vaardig ben, vind ik dit ideaal. Het is ergens ook stressvol. Als je namelijk verschillende titels uitprobeert, om te kijken of je misschien nog mooiere plaatjes krijgt voorgeschoteld, en dan vervolgens weer teruggaat naar je oorspronkelijke titel omdat het er namelijk niet beter op wordt, zijn de oorspronkelijke suggesties alweer vervangen door andere afbeeldingen. Het algoritme heeft geleerd, denk je dan, al weet je niet precies wat het heeft geleerd en waarvan. Ik heb toen maar snel op iets geklikt.

Het resultaat van mijn AI-gebruik voor deze bijeenkomst is dus dat ik een beetje gestrester en luier ben en met hooguit een marginaal beter uitziende presentatie dan wanneer ik gewoon ‘old school’ het format van mijn universiteit gebruikt had.

Nog zoiets: als u wilt controleren of ik wel echt dit AI-systeem gebruikt heb, en of ik niet heb valsgespeeld door het systeem te manipuleren, bijvoorbeeld door eerst andere termen in te voeren en die later te veranderen of door handmatig foto’s erin te plakken, dan is dat niet mogelijk. Dat het algoritme bij u een andere uitkomst geeft dan bij mij, zegt namelijk niks.

AI als ‘frenemy’ van de democratische rechtsstaat

Maar als het niet om een algoritme voor luie powerpointers gaat, maar om een dat helpt bepalen of iemand zich extra moet verantwoorden voor zijn uitkering of wie visumvrij naar de EU mag reizen is het geen leuke gimmick meer, maar een micro-ondermijning van de democratische rechtsstaat.

Algoritmen, en dan vooral die van het soort die gedreven worden door data in plaats van door regels, zijn langzaam maar zeker de praktijk van de overheidsbesluitvorming binnen gekropen, in hoeken en door gaten waar juristen niet gewend zijn te kijken.

En ook nu we wel in groten getale aan het observeren zijn wat er gebeurt in het voorgeborchte van de bestuurlijke besluitmachine, is het voor de Constitutionalist nog niet zo simpel zich tot deze praktijk te verhouden. Geautomatiseerde besluitvorming kan namelijk de doeleinden van het constitutionele recht, en van zijn praktische broertje het administratieve recht, zowel ondersteunen als tegenwerken.

Neem het doel van het tegengaan van willekeur in overheidsbesluitvorming. Kunstmatige intelligentie kan helpen bij het identificeren en verminderen van menselijke vooringenomenheid, maar kan het probleem van bias – zoals het dan meestal opeens genoemd wordt – ook verergeren.

Zo was de IND deze week in het nieuws vanwege etnisch profileren via een risicomodel van werkgevers die gebruik maakten van de kennismigrantenregeling. Dit blijkt echter een geval van human bias aangezien het ging om een handmatig toegevoegde variabele. Opvallend genoeg wordt de oplossing binnen de organisatie gezocht in … automatisering.

Of neem het doel om inmenging van overheden in de persoonlijke levenssfeer tegen te gaan. Zoals we weten uit de commerciële praktijk is juist dat, het persoonlijk targeten van mensen, veel makkelijker geworden door AI. Dat willen we natuurlijk niet, maar een persoonlijke benadering dan weer wel.

Allerlei tendensen, in het openbaar bestuur, in de politiek, in de mens, waar de Constitutionalist zijn loopbaan lang tegenwicht aan probeert te bieden, worden door AI versterkt. En dan ook nog eens op een manier die ervoor zorgt dat de oplossingen niet eenvoudig te vinden zijn binnen de constitutionele rationaliteit.

Waar legaliteit, bescherming van de persoonlijke vrijheid, transparantie en responsiviteit in een wereld zonder AI al lastig genoeg te realiseren zijn, gaat een AI-systeem left to its own devices regelrecht tegen deze waarden in. AI zoekt ‘van nature’, voor zover we daarvan in dit verband kunnen spreken, de ‘rechtsvrije ruimte’ op. Het verschil tussen een simpel algoritme een één dat we doorgaans met ‘echte AI’ associëren is immers dat het laatste soort zelf op zoek gaat naar patronen.

Een AI-systeem vindt normen in de werkelijkheid, althans in de werkelijkheid zoals gerepresenteerd door data, in plaats van in een eeuwenlang zorgvuldig ontwikkelde doctrine. Deze normen kunnen vanuit constitutioneel perspectief absurdistisch aandoen. Zo zou een AI-systeem prima kunnen voorstellen dat het voor de handhaving van de maxiumsnelheid op de Nederlandse snelwegen een goed idee is om mannen met een abonnement op een bepaalde krant en een inkomen boven een bepaald bedrag niet in Tesla’s te laten rijden. Door AI-gegenereerde normen kunnen tegelijkertijd schrikbarend accuraat, want “fijnkorrelig” en “gepersonaliseerd” zijn. Of dat voor het zojuist genoemde fictieve voorbeeld ook geldt, laat ik even in het midden. Maar neem bijvoorbeeld een algoritme dat allerlei factoren mee zou kunnen nemen om zo een gepersonaliseerd bijstandbedrag te berekenen. Een AI-systeem maakt het dus mogelijk individuen ‘persoonlijk’ te kennen en te reguleren. Een aanslag op de persoonlijke vrijheid, die juist door algemene regels wordt gewaarborgd, of het ultieme ‘maatwerk’?

Een schending van het legaliteitsbeginsel levert het in ieder geval op: normen, terug te voeren op ‘beslisregels’, zijn niet vastgesteld volgens de procedures van de democratische rechtsstaat en zijn ook lang niet altijd kenbaar. Het schema van de normenhiërarchie wordt in de war geschopt.

Uiteraard worden we niet zomaar overgeleverd aan een AI-systeem. Systemen worden ingezet door instanties en dus door mensen. Mensen kiezen er eventueel voor om de door AI-systemen in datasets gevonden ‘normen’ ook als zodanig in te zetten, in plaats van als onderzoeksbevinding die aan beleidsmakers doorgegeven wordt. Maar werken met AI doet mogelijk ook iets met de psychologie van organisaties. Een AI-systeem maakt actoren binnen het openbaar bestuur minder geneigd verantwoording af te leggen en misschien ook wel gewoon dommer. En, wie weet, ook wel zelfgenoegzamer. Maar mensen blijven verantwoordelijk en moeten dus ook zorgen dat zij verantwoordelijk kunnen blijven. Zie daar een van de taken voor het constitutionele en administratieve recht.

Dit betekent dat constitutionele oplossingen alleen maar méér rekening moeten houden met menselijk gedrag dan ze al deden.

Hoe moet de Constitutionalist op deze ontwikkeling reageren? Nog harder werken of gewoon slimmer zijn? Want het bijltje erbij neergooien is geen optie.

Negeren

Toch is ‘negeren’ een reactie die we nog wel eens zien. Law & technology wordt dan nog steeds gezien als een niche-terrein. Het is niet zo waarschijnlijk dat dit uw reactie is. U bent hier immers omdat Ernst Hirsch Ballin op de een of andere manier uw professionele en/of persoonlijke vorming beïnvloed heeft.

Toch is er een reactie die ik ‘negeren light’ wil noemen, die we toch wel veel aantreffen omdat deze erg verleidelijk is voor de jurist: namelijk de aanname dat de uitgangspunten van de democratische rechtsstaat voldoende zijn om algoritmische besluitvorming te beteugelen.

Hierbij stelt de jurist zichzelf onvoldoende de vraag of deze uitgangspunten, en hun op zich vaak geslaagde vertaling naar regels voor bestuursorganen zoals in de AERIUS-zaak, dat voorgeborchte van de bestuursbesluitvorming wel bereiken. Met andere woorden: ik twijfel niet aan de normatieve kracht van deze uitgangspunten, maar wel aan hun regulerende kracht. De combinatie van algoritmische vooringenomenheid en menselijke vooroordelen geven exponentieel meer risico op administratief onrecht, en dat onrecht is ook moeilijker te herstellen als de oorzaak ervan eenmaal diep in een IT-systeem ingebed zit.

Verbieden

Een tweede mogelijke reactie is ‘verbieden die systemen’. Enerzijds is dit een serieuze intellectuele positie binnen de AI-ethiek. Anderzijds worden er ook daadwerkelijk pogingen ondernomen om bepaalde toepassingen van AI-systemen te verbieden. In het voorstel voor een nieuwe Europese AI-verordening staat een aantal verbodsbepalingen, waaronder een over social scoring door overheden.

Tegelijkertijd is verbieden van AI-systemen in den brede problematisch. Zoals de discussie over de definitie van AI rond het voorstel voor een AI-verordening al laat zien, zou een ontwikkelverbod al snel neerkomen op een forse beperking op de ontwikkeling van data science en andere wetenschapsgebieden. Zo stelt een Franse wet uit 2019 het hergebruik van de rechterlijke identiteit in kwantitatieve analyse van jurisprudentie strafbaar, wat gezien kan worden als een innovatieve norm maar tegelijkertijd leidt tot zorgen over de academische vrijheid. Een gebruiksverbod voor overheden kan, maar het is de vraag of de burger uiteindelijk gediend is met een technologisch veel sterker ontwikkelde private sector.

Ook valt er een argument te maken dat een verbod niet handhaafbaar is. Nederland of Europa zou een ‘digitale kluis’ moeten worden.

Reguleren

Het verstandige antwoord van de Constitutionalist is: reguleren.

Maar hoe dan? Uiteraard gelden al verschillende kaders voor de inzet van algoritmen door overheden, waarbij de nadruk in Nederland de laatste tijd ligt op soft law mechanismen zoals het Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) en algoritmeregisters die mogelijk verplicht gaan worden én op het uitrollen van gespecialiseerd toezicht.

Vanuit Europa komt daar een wetsvoorstel dat ‘AI-systemen’ – en dus niet ‘algoritmen’! – als reguleringsobject heeft bij. Hier valt heel veel over te zeggen, maar ik beperk me tot één invalshoek, namelijk de vraag welk reguleringsmodel eigenlijk passend is. Dat van de ‘productveiligheid’, waar het Europese wetsvoorstel van uitgaat, een ‘voedselveiligheidsmodel’ zoals geopperd door Marlies van Eck, een reguleringsmodel toegesneden op een ‘digitale leefomgeving’, of vormt ‘comptabiliteit’ een beter uitgangspunt? Of is er gewoon geen analogie en moeten we op dit punt wel degelijk een wiel gaan uitvinden?

Ook bij de optie ‘reguleren’ is de handhaafbaarheid een probleem, en net als bij een verbod draait dat grotendeels om ‘outsourcing’. Als je bepaalde fysieke producten buiten de Europese grenzen wilt houden is dat, afhankelijk van het type product, nog wel te doen. Met digitale producten zijn ontduikingspraktijken veel moeilijker door middel van regulering te beperken.

Ombuigen

Er is nog een laatste reactie mogelijk en die luidt ‘ombuigen’. Een beetje zoals Deep Blue de menselijke schaakspeler beter heeft gemaakt, zou AI misschien kunnen helpen de overheid transparanter en responsiever te maken.

Er is bepaald geen overheidsmonopolie op het gebruik van AI-systemen. Als de juiste datasets voorhanden zijn – en daar wringt het vaak nog wel – kunnen allerlei organisaties en wetenschappers, en – als meer gebruiksvriendelijke tools beschikbaar komen – ook burgers daar geavanceerde analyses op los laten. Zo kan de relatief sterke informatiepositie van overheden omgebogen worden.

Er gebeurt ook wel het een en ander concreet op dit vlak, vaak onder de benaming ‘inverse surveillance’. Ook experimenteren sommige landen, waaronder Spanje, met AI-systemen die corruptie detecteren. Een soort omgekeerde Fraude Signalering Voorziening dus. Gaat deze ontwikkeling weer gepaard met zijn eigen nadelen en valkuilen? Zeker. Privacy, verdere doorvoering van de hyperpersonalisering waar we misschien juist instituties willen versterken, verminderde aantrekkelijkheid van een baan in de publieke sector… De Franse wetgever had heus wel een punt.

Nu wil ik toch nog even terugkomen op dat maatwerk. De discussie over evenredigheid en maatwerk domineert momenteel het debat over het bestuursrecht. Wat dat betreft beleeft het staats- en bestuursrecht een bijzondere periode. Sinds de toeslagenaffaire is spraken van popularisering van ons vakgebied. Als je sterrenkundige bent heb je regelmatig te maken met een amateur-sterrenkundige, maar voor ons is het nieuw dat opeens veel mensen een mening hebben over het bestuursrecht (en dat het rechtsgebied überhaupt in de belangstelling staat).

De aandacht voor evenredigheid en maatwerk lijkt ook te leiden tot een revival van het vertrouwen in menselijk beslisvermogen. Het lastige is: die menselijke maat terugbrengen in bestuursbesluitvorming komt met een heleboel risico op discriminatie, vooroordelen, vriendjespolitiek en ongelijkheid. AI draagt de belofte in zich van een gepersonaliseerde behandeling waarbij in ieder geval de ‘indruk’ van de behandelend ambtenaar niet doorslaggevend is. Moeten we dan toch niet de gedachte van geautomatiseerd maatwerk, in mijn inleiding eigenlijk al afgeserveerd als absurdistisch en vrijheidsbeperkend, serieus oppakken?

Ik ben geen voorstander van het toevoegen van de term ‘maatwerk’ aan de conceptuele gereedschapskist van het publiekrecht, omdat door het gebruik van die term maatwerk als ‘ieder het zijne’ en ‘maatwerk als de ultieme evenredigheid’ door elkaar gaan lopen. Evenredigheid in bestuursbesluitvorming moeten we volgens mij wel stimuleren, maar de gedachte dat het recht jou altijd geeft wat jou toekomt (of wat je meent dat je moet toekomen), volgens mij niet.

En als we dan dus even afstappen van de route die leidt naar hypergepersonaliseerde normen en eerder denken in termen van het geautomatiseerd opsporen van maatwerkgevallen, zit hier best iets in, als we het maar met voldoende waarborgen omgeven. Zo’n waarborg zou bijvoorbeeld kunnen zijn dat een ambtenaar een vlaggetje op zijn of haar scherm krijgt om aan te geven dat een geval menselijke aandacht nodig heeft omdat er sprake is van een bijzondere combinatie van omstandigheden, maar niet kan zien welke omstandigheden dit zijn. Ook biedt inverse automated decision-making kansen voor het detecteren van allerlei problemen bij de uitvoering van regelgeving. Er zijn al commerciële toepassingen die heel accuraat kunnen voorspellen of bezwaar tegen een verkeersboete zinvol is en die vervolgens ook geautomatiseerd het bezwaar voor de burger afhandelen. Dezelfde toepassingen kunnen ook worden ingezet om de ‘mazen in de wet’ te vinden en regelgeving te verbeteren.

Is dit techno-optimisme? Jazeker. Maar het is ook techno-realisme. Er zijn nu eenmaal grote gebieden van het materiële bestuursrecht, waarin we niet meer om automatisering heen kunnen.

De puzzel

Duidelijk is dat de mogelijkheden die de inzet van AI door overheden biedt om precies dát te doen wat de rechtgeaarde Constitutionalist het bloed onder de nagels vandaan haalt, talrijk zijn. Het antwoord van de Constitutionalist zal waarschijnlijk moeten bestaan uit een combinatie van verbieden, reguleren en ombuigen (en heel af en toe de kop in het zand steken is misschien ook best gezond, want anders worden we digi-moe). De sturingsmechanismen moeten in ieder geval gericht zijn op het ontwikkelen van de ‘menselijke bestuurlijke intelligentie’, en die term komt uiteraard van Ernst.

Het constitutionele recht moet behouden maar ook meebewegen. Waar mogelijk moet het ontwikkelingen die de samenleving en de vrijheid van het individu bedreigen vóór zijn. Het behouden ziet dan ook niet per definitie op het in stand houden van doctrines, regels en mechanismen, maar om het veiligstellen van ‘een toekomst die het waard is om te willen’. Dat is een citaat van Shannon Vallor en klinkt in het Engels “a future worth wanting” toch wel iets beter.

Dat vergt niet alleen een constante afweging, maar ook ‘hard werken’ en, in de woorden van Ernst “waakzaamheid”. Het vinden van een juiste mix van verbieden, reguleren en ombuigen vergt ook verbreding en samenwerking.

Het is u misschien opgevallen dat ik soms heb gesproken van ‘de jurist’ en soms van ‘de Constitutionalist’. Wat is het verschil?

Naast dat verder kijken dan het positieve recht, wordt de Constitutionalist gekenmerkt door de reflex om altijd de “onderliggende machtsverhoudingen” mee te nemen. Is een constitutionalist dan een heel bijzonder specimen? Ja en nee. De meeste juristen zijn gelukkig in enige mate constitutionalist en bijna alle constitutionalisten zijn ook jurist, vaak in hart en nieren.

Maar het is misschien toch een beetje zoals bij die sterrenkundigen. Laten we de ontwikkeling dat op eens veel mensen interesse hebben voor het staats- en bestuursrecht stimuleren. Brede groepen professionals en burgers betrekken bij het constitutionale gedachtengoed. Voor mij is dát ook onderdeel van het gedachtengoed van Ernst.

Wel nieuw is de mate waarin de Constitutionalist behoorlijk veel zal moeten begrijpen niet alleen van het recht, maar ook van de techniek en van de mens (alhoewel, voor sommige constitutionalisten is dat allemaal niet zo nieuw…).

Tot slot: wat kunnen amateur-constitutionalisten en gewone constitutionalisten nog leren van de topsporter-Constitutionalist?

Misschien kijken sommigen soms iets te veel alleen naar de sterrenhemel, het hoogste, de fundamentele rechten. Ernst heeft onlangs nog, en eigenlijk al veel vaker in zijn loopbaan, een lans gebroken voor het veel meer koppelen van fundamentele rechten aan politiek staatsrecht via de ontwikkeling van ‘constitutioneel procesrecht’. Het verwezenlijken van “fundamentele rechten, met inbegrip van sociale, economische en culturele rechten” lukt het beste als “processen van rechtsvorming en beleidsontwikkeling op zo’n manier [worden gereguleerd] dat inzichten van belanghebbenden en professionele expertise in de beoordeling kunnen worden betrokken”. Ik denk dat dit zeer sterk geldt voor het leggen van de constitutionele puzzel rond AI en algoritmische besluitvorming.