Evaluaties van Europese wetgeving: een nuttige exercitie

Sinds 2000 heeft de Europese Commissie herhaaldelijk beloofd om systematisch te evalueren hoe Europese wetgeving in de praktijk functioneert. In theorie zijn er dan ook goede redenen om zulke zogenaamde ex-post wetgevingsevaluaties uit te voeren. Europese verordeningen en richtlijnen raken het bestaan van miljoenen burgers en bedrijven. De doelen van zulke wetgeving zijn vaak groots en meeslepend – denk bijvoorbeeld aan meer internationale samenwerking, meer economische groei en meer veiligheid voor alle Europeanen. Het is echter lang niet altijd duidelijk in hoeverre deze doelen daadwerkelijk worden behaald. Bovendien kan Europese regelgeving onverwachte neveneffecten hebben: wetgeving die de grenzen opent kan bijvoorbeeld criminaliteit of een leegloop van arme regio’s veroorzaken. Evaluatierapporten kunnen zulke gewenste en ongewenste effecten van wetgeving in kaart brengen.

Op papier heeft dergelijke informatie minstens twee concrete functies. Ten eerste draagt het bij aan leren: de kennis uit evaluatierapporten kan tijdens beleidsprocessen op tafel komen om de Europese Commissie en andere actoren te helpen om de implementatie van bestaande wetgeving te versterken en de kwaliteit van nieuwe wetteksten te verbeteren. Verbeteringen aan wetteksten kunnen bijvoorbeeld gaan over het verhelderen van dubbelzinnige of tegenstrijdige passages die in evaluaties zijn opgemerkt. Een hogere kwaliteit van wetteksten kan op zijn beurt bijdragen aan minder onduidelijkheid en regeldruk voor burgers en bedrijven.

Ten tweede kan de informatie uit ex-post wetgevingsevaluaties bijdragen aan democratische verantwoording. Dit betekent dat actoren zoals het Europees Parlement, de Raad van Ministers en individuele burgers op basis van de kennis uit evaluatierapporten kritische vragen kunnen stellen aan de Commissie, bijvoorbeeld over de keuzes die gemaakt zijn tijdens de implementatie van Europese wetgeving.

De afgelopen vier jaar werkte ik aan een proefschrift dat gaat over deze Europese ex-post wetgevingsevaluaties. Evaluaties van EU wetgeving die nog in werking moet treden (‘impact assessments’) vielen nadrukkelijk buiten het onderzoek, net als evaluaties van EU beleid dat geen bindende wetgeving betreft (zoals evaluaties van beschikkingen en beleidsprogramma’s).
De centrale assumptie van het proefschrift is dat ex-post wetgevingsevaluaties de bovenstaande doelen alleen kunnen bereiken als ze aan drie voorwaarden voldoen.

Ten eerste moet er sprake zijn van systematische initiëring: alle wetgeving moet periodiek geëvalueerd worden en elke selectie in dit opzicht moet transparant zijn. Als hieraan niet wordt voldaan ontstaat al snel het beeld dat de Commissie selectief bepaalde wetgeving evalueert waarvan ze verwacht dat de resultaten positief zijn, wat de geloofwaardigheid van alle evaluaties onderuit kan halen. Als de Commissie alleen evaluaties start op bepaalde beleidsterreinen kan er bovendien geen sprake zijn van leren of verantwoording in de breedst mogelijke zin.

Op basis van twee grote datasets van 313 ex-post wetgevingsevaluaties (2000-2014) en 277 belangrijke verordeningen en richtlijnen (2000-2004) laat mijn proefschrift zien dat de Commissie na tien jaar circa 42% van de wetgeving heeft geëvalueerd. Bijna zes van de tien belangrijke Europese verordeningen en richtlijnen lijken dus niet te worden geëvalueerd, wat laat zien dat de Commissie selectief is bij het evalueren.

Eén verklaring voor deze selectiviteit ligt in evaluatiecapaciteit: directoraten-generaal (DGs) met meer middelen evalueren een groter deel van hun richtlijnen en verordeningen. Ook heeft de aanwezigheid van een clausule in de wetgeving die een evaluatie verplicht een positief effect op de kansen dat de Commissie zo’n evaluatie daadwerkelijk start. Verder evalueert de Commissie richtlijnen vaker dan verordeningen en meer complexe wetgeving vaker dan minder complexe wetgeving, wat te maken kan hebben met het feit dat zulke wetgeving meer ruimte laat voor nationale invulling. Evaluaties kunnen bij zulke wetgeving een instrument zijn voor de Commissie om te controleren of de lidstaten de Europese regels wel goed naleven.

Een tweede voorwaarde waar ex-post wetgevingsevaluaties aan moeten voldoen om bij te dragen aan leren en verantwoording afleggen is hoge kwaliteit. Ex-post evaluaties zijn een vorm van onderzoek en moeten dus voldoen aan methodologische standaarden die ook voor andere studies gelden. Als dit niet het geval is kloppen de resultaten van de evaluaties mogelijk niet, wat ze nutteloos maakt als bron om keuzes op te baseren.

Het onderzoek voor mijn proefschrift toont dat de kwaliteit van de ex-post wetgevingsevaluaties van de Commissie sterk varieert. Circa 75% van de evaluaties maakt gebruik van een combinatie van consultatie van belanghebbende actoren (zoals de doelgroep van de wetgeving) en andere onderzoeksmethoden, wat laat zien dat de analyses vaak gebaseerd zijn op diverse bronnen. De kwaliteit van de onderliggende data is echter twijfelachtiger. Slechts circa 30% van de evaluaties biedt voldoende informatie om het gedane onderzoek te kunnen herhalen; ongeveer 70% van de rapporten onderzoekt alle lidstaten of legt goed uit waarom bepaalde landen geselecteerd zijn voor het onderzoek, maar de keuze voor bepaalde cases of stakeholders binnen die landen wordt slechts in iets meer dan 40% van de evaluaties uitgelegd. Ook de afbakening en de conclusies van de evaluaties variëren sterk qua kwaliteit.

De verklaring voor deze variatie ligt vooral in wie de evaluatie uitvoert: evaluaties gedaan door externe consultants zijn gemiddeld genomen van hogere kwaliteit dan evaluaties die intern worden uitgevoerd door de Commissie. De extra expertise en/of onafhankelijkheid van externe partijen draagt dus bij aan methodologische kwaliteit. In mijn proefschrift onderzocht ik ook of de kwaliteit van de evaluaties afhangt van politieke factoren, zoals de mate van controversie rond de wetgeving en het belang dat de Commissie heeft bij het behouden van de status quo, maar voor zulke verbanden vond ik geen bewijs.

Een derde voorwaarde waar ex-post wetgevingsevaluaties aan moeten voldoen om bij te dragen aan leren en verantwoording afleggen is systematisch gebruik. Dit betekent dat de resultaten van de rapporten niet zomaar in een la mogen verdwijnen, maar serieus moeten worden meegewogen in de besluiten van de Commissie en andere Europese instanties over wetgeving. Als dit niet gebeurt zijn de evaluaties een verspilling van geld en energie.

Het onderzoek voor mijn proefschrift laat zien dat de Commissie sommige evaluaties gebruikt voor beleidsleren, maar andere evaluaties direct naast zich neer legt. De verklaring voor deze variatie ligt deels in de tijdigheid van de rapporten: als ze meer dan een jaar voor het verschijnen van een nieuw wetsvoorstel over hun onderwerp worden uitgebracht is de kans dat hun resultaten worden meegenomen groter. Ook politieke factoren verklaren het gebruik: als een onderwerp tot de prioriteiten van de top van de Commissie behoort is er veel ruimte voor evaluaties om de details van nieuwe wetsvoorstellen in te vullen, maar als de Commissie juist van plan is om op een bepaald onderwerp geen nieuw beleid te maken kunnen de evaluaties daar weinig aan veranderen, ongeacht hun resultaten.

Wat betreft gebruik voor democratische verantwoording laat mijn proefschrift zien dat slechts 22% van de onderzochte evaluaties expliciet wordt genoemd in vragen van het Europees Parlement. Vooral in gevallen waar er tijdens het wetgevingsproces veel conflict was met de Commissie haalt het parlement vaak evaluaties aan om te proberen het gedrag van de uitvoerende macht bij te sturen.

Al met al toont mijn proefschrift dat de ex-post wetgevingsevaluaties van de Commissie slechts ten dele voldoen aan de eisen van systematische initiëring, kwaliteit en gebruik. Dit betekent ook dat deze evaluaties slechts deels hun potentie waarmaken rond leren en democratische verantwoording. In theorie bieden de rapporten een schat aan informatie om te controleren hoe overheden omgaan met Europese regelgeving, maar dat doel kan alleen worden bereikt als de Commissie systematisch al haar wetgeving evalueert, die evaluaties van hoge methodologische kwaliteit zijn en de resultaten daadwerkelijk worden meegenomen in besluiten. Wat dat betreft valt er voor de EU nog veel te winnen.