De ontwikkeling van onderzoek naar doelmatigheid en doeltreffendheid van beleid

• 1814: oprichting Algemene Rekenkamer
• Vanaf 1927: een eerste aanzet voor onderzoek naar de doelmatigheid
• Vanaf 1976: verruiming van het doelmatigheidsbegrip
• Vanaf 1990: wordt het doel bereikt?
• Eind jaren 90: effectiviteitsonderzoek
• Doelmatigheids- en doeltreffendheidsonderzoek vanaf 2001

1814: oprichting Algemene Rekenkamer

De instructiewet 1814 was de allereerste wetgeving voor de Algemene Rekenkamer en gaf haar het mandaat voor een beperkte vorm van doelmatigheidsonderzoek. Deze vorm was vooral gericht op het zuinig omgaan met Rijksgeld: werden goederen wel op de voordeligste manier ingekocht? Waren er geen aankopen van zaken die niet of slecht benut werden? Naast opmerkingen over de rechtmatigheid van uitgaven rapporteerde de Algemene Rekenkamer regelmatig over kleine en grote ondoelmatigheden die ze (meestal) in het kielzog van het rechtmatigheidsonderzoek aantrof.

Vanaf 1927: een eerste aanzet voor onderzoek naar de doelmatigheid

De Algemene Rekenkamer had de plicht om ondoelmatigheden te rapporteren die werden aangetroffen als afgeleide van de rechtmatigheidscontrole. In de Comptabiliteitswet van 1927 werd ook de doelmatigheidscontrole een op zichzelf staand onderdeel van de taak van de Algemene Rekenkamer. Alleen was de definitie van doelmatigheidscontrole nog zeer nauw: de Algemene Rekenkamer moet zoveel mogelijk nagaan ‘of de rijkseigendommen, daarvoor vatbaar, in voldoende mate productief zijn’ (artikel 60, lid 1, Comptabiliteitswet 1927). In de jaren rond de Tweede Wereldoorlog was bijvoorbeeld de mechanisering van administraties (met ponskaarten) een dankbaar object voor doelmatigheidsonderzoek. In de jaren zestig vormde de Algemene Rekenkamer onder de titel van deze oude wet al specifieke onderzoekseenheden die naar de doelmatigheid van organisaties en de opkomende automatisering keken.

Vanaf 1976: verruiming van het doelmatigheidsbegrip

Een nieuwe wet waarvan de totstandkoming een jaar of dertig had geduurd, breidde voor de Algemene Rekenkamer de grondslag voor het doen van doelmatigheidsonderzoek verder uit (doelmatigheid beheer, organisatie en functioneren van ’s Rijksdienst: artikel 74, lid 1, Comptabiliteitswet 1976). Het woord ’beleid’  kwam nog niet voor in de wettekst, maar dat belette de Algemene Rekenkamer niet drie bureaus op te richten die onderzoek deden naar de ‘beleidsdoelmatigheid’. In deze periode begon ze ook het doelmatigheidsonderzoek te professionaliseren en handleidingen te ontwikkelen, het was tot dan toe meer een kwestie van ‘fingerspitzengefühl’.
In de jaren tachtig waren er diverse typen van doelmatigheidsonderzoek te onderscheiden. Om te beginnen was het onderzoek een aantal jaren vooral gericht op waarborgen: is er een goed plan?; wordt gekeken naar de uitvoering van het plan en worden uitkomsten geëvalueerd? Dit alles in de vooronderstelling dat bij een goed gemanaged proces, de uitkomsten voor het beleid ook wel goed zullen zijn. Ander type onderzoek was het zogenaamde ‘benchmarking’. Hierbij werden (delen van) ministeries met elkaar vergeleken op zoek naar ‘best practices’. Daarbij konden de ministeries die minder goed presteerden leren van de ministeries die beter presteerden. Ook werd in onderzoek gebruik gemaakt van voor de Algemene Rekenkamer nieuwe onderzoekstechnieken, zoals interviewtechnieken, vragenlijsten en statistische analyses.

Vanaf 1990: wordt het doel bereikt?

De vraag of beleidsdoelen werden gehaald behoorde tot de jaren negentig niet tot de reikwijdte van het onderzoek van de Algemene Rekenkamer. Met name het onderzoek naar de organisatorische waarborgen begon vragen op te roepen: hoe erg is het eigenlijk dat aan bepaalde voorwaarden niet is voldaan of dat waarborgen niet toereikend zijn? In hoeverre zijn procedureel-organisatorische voorzieningen van invloed op het behalen van een doel of effectiviteit? Ondanks een negatief oordeel van de Algemene Rekenkamer konden de gecontroleerden soms aantonen goede beleidsresultaten gehaald te hebben. De vraag of men de goede dingen doet, werd belangrijker dan de vraag of het goed werd gedaan. Een wijziging in de Comptabiliteitswet introduceerde het woord ‘beleid’ binnen het mandaat van de Algemene Rekenkamer: om aandacht te wijden aan de doelmatigheid van beheer, organisatie en beleid van het Rijk (Artikel 57, lid 1, Comptabiliteitswet na de vijfde wijziging in 1992).

Eind jaren 90: effectiviteitsonderzoek

Eind jaren negentig begon de Algemene Rekenkamer op beperkte schaal met effectiviteitsonderzoek naar de gevolgen van het beleid. Dit bleek uiterst lastig te zijn doordat:

• Het moeilijk is aan te tonen dat bepaalde gevolgen het resultaat zijn van beleid (de zogenaamde causaliteitsvraag);
• Het lastig is betrouwbare gegevens te achterhalen als deze niet bij de beleidsmakers voorhanden zijn, wat overigens al een belangrijke constatering is;
• Er omgevingsfactoren zijn buiten het beleidsterrein die (op zichzelf) goed beleid kunnen frustreren;
• Er vaak sprake is van beleidsketens waarbij sommige schakels zelfs buiten het onderzoeksmandaat van de Algemene Rekenkamer kunnen vallen.  

Doelmatigheids- en doeltreffendheidsonderzoek vanaf 2001

Sinds 2001 is de wettelijke taak van de Algemene Rekenkamer op het gebied van  doelmatigheids- en doeltreffendheidsonderzoek geformuleerd als onderzoek naar de doelmatigheid en de doeltreffendheid van het gevoerde beleid. Dit is verankerd in de strategie van de Algemene Rekenkamer.
In het rapport “Tussen beleid en uitvoering” (maart 2003) constateerde de Algemene Rekenkamer op basis van een groot aantal eerdere doelmatigheids- en doeltreffendheidsonderzoeken dat er sprake is van een overwaardering van de beleidsvorming en een onderwaardering van de uitvoering, waardoor burgers geen “waar voor hun geld” krijgen. In de strategie 2004-2009 van de Algemene Rekenkamer werd voor performance audit* het presteren van het openbaar bestuur als uitgangspunt genomen. Daarmee sluit de strategie aan bij twee van de acht door de Verenigde Naties onderscheiden kenmerken van goed openbaar bestuur, namelijk “effectief en efficiënt” en “vraaggericht”.
In ons doeltreffendheidsonderzoek staat het maatschappelijk probleem dat met het beleid moet worden opgelost en het perspectief van de burger centraal. Daarvoor kijken we naar het beleid én de uitvoering van het beleid als belangrijke verklaringen voor achterblijvende beleidsresultaten. Aan de ene kant gaan we na of het plausibel is dat met het gevoerde beleid de beoogde resultaten kunnen worden bereikt. Aan de andere kant kijken we naar de uitvoering en de uiteindelijke effecten van het beleid: gebeurt wat er is afgesproken en zijn de resultaten merkbaar in de samenleving?

* Het begrip performance audit (“audit of the economy, efficiency and effectiveness with which the audited entity uses its resources to achieve its goals”, intosai-guidelines) wordt vrij algemeen gebruikt. Daarnaast wordt bijvoorbeeld gesproken over comprehensive auditing en value-for-money auditing.