Hoe voer je een effectevaluatie uit?

Betrek evaluatiedeskundigen bij het onderzoek

Weeg af of uitbesteden zinvol is. Zo ja:

• Selecteer een uitvoerder die goede kwaliteit kan leveren.
• Denk mee met de uitvoerder gedurende opzet en uitvoering.
• Maak goede afspraken over de rapportage. Laat hierin goed vastleggen: wat gemeten is, hoe dit gemeten en geanalyseerd is en, hoe hierop de conclusies zijn gebaseerd.
• Beoordeel rapport en conclusies op kwaliteit.

Zorg voor een evaluatie die praktisch nut heeft voor de gebruikers

• Bedenk van tevoren waarvoor de resultaten van de evaluatie zullen worden gebruikt en welke gegevens daarvoor vereist zijn. 
• Onderzoek mogelijke verklaringen voor de mate van effectiviteit van de subsidie.

Ga naar de voorbeelden...

Baken de doelen van de subsidie af

• Ga na of het doel en de beleidstheorie van de te evalueren subsidie helder genoeg is voor evaluatie, en zo nee of reconstructie mogelijk is. 
• Kader de evaluatie duidelijk in: welke doelen worden meegenomen?

Ga naar de voorbeelden...

Bewaak de kwaliteit van de metingen

• Validiteit: denk goed na over de juistheid van de indicatoren.
• Betrouwbaarheid: gebruik en vergelijk verschillende metingen en meetmethoden voor de effectiviteit. Beschrijf de gevolgde methoden goed.
• Causaliteit: denk samen met de uitvoerder en evaluatiedeskundigen na over hoe het causale verband tussen subsidie en het gemeten effect aannemelijk wordt gemaakt. Blijf alert op de (on)mogelijkheden van de voorgestelde methoden.

Ga naar de voorbeelden...

Bewaak de kwaliteit van de conclusies

• Zorg voor heldere conclusies over effectiviteit.
• Onderbouw conclusies met valide en betrouwbare bevindingen.
• Geef bij oordelende conclusies de norm expliciet weer, of vervang het oordeel door een meer feitelijke conclusie.
• Zorg voor een zo groot mogelijke mate van onafhankelijkheid in de uitvoering van de evaluatie.

Ga naar de voorbeelden...