Impact meten: zoektocht naar de Graal?

Datum: 30 april 2014

Ontwikkelingssamenwerking blijft een complexe zaak. Dat blijkt uit het laatste rapport van de Dienst Bijzondere Evaluatie van Internationale Samenwerking (DBE): Ex-post impactevaluatie van vier projecten van de gouvernementele samenwerking. De impact ervan blijkt vrij beperkt. De cases tonen aan dat we onze inspanningen moeten voortzetten om de doeltreffendheid van onze samenwerking te verbeteren.

Onze plicht om rekenschap af te leggen tegenover de belastingbetaler, maar ook ons professionalisme, dwingen ons om over onze aanpak na te denken. Hebben onze acties een impact? Hoe kunnen we daar zeker van zijn? Op welke basis? Werpt ons werk vruchten af? Indien ja of nee, waarom? Hoe kunnen we het verbeteren?

Tot nu toe hebben onze evaluaties vooral de bijdrage van de interventies tot het bereiken van de resultaten beoordeeld door na te gaan of het geëvalueerde project een van de mogelijke oorzaken van de vastgestelde veranderingen was of niet. Maar we hebben nooit echt de effecten gemeten, met andere woorden of de vastgestelde veranderingen daadwerkelijk konden toegekend worden aan de geëvalueerde interventie. Dat is een impactevaluatie. 

De Dienst Bijzondere Evaluatie heeft beslist om elk jaar impactevaluaties in zijn programma op te nemen:

  • om onze kennis over de effecten van ontwikkelingssamenwerking te verbeteren
  • om de voorwaarden te identificeren, noodzakelijk om de impact te kunnen meten
  • om onze evaluatiemethodologie te verfijnen

Een eerste pilootevaluatie werd in 2013 uitgevoerd met een focus op vier interventies van de gouvernementele samenwerking, vier jaar na de afsluiting. De doelstelling was de effecten van die interventies te meten en te verifiëren in welke mate die effecten toegekend kunnen worden aan de interventies en lessen te trekken om de doeltreffendheid en de impact van de Belgische samenwerking te verbeteren.

De resultaten zijn zeer gemengd. Geen van de geëvalueerde projecten heeft echt bijgedragen om de vastgestelde/gezochte impact (of de vaak weinig realistische algemene doelstelling) te bereiken. Niettegenstaande alle projecten hun ‘outputs’ hebben opgeleverd, zijn de resultaten (of outcomes) toch beperkt.

Deze voorbeelden tonen goed aan hoe complexontwikkeling wel is. Ontwikkelingssamenwerking blijft dan ook een leerproces. De context speelt gedeeltelijk een rol maar de evaluaties legden ook een aantal tekortkomingen bloot op vlak van ontwerp, uitvoering en monitoring & evaluatie van de projecten.

De conclusies van deze evaluatie mogen niet voor de volledige gouvernementele samenwerking gegeneraliseerd worden. De omvang van het staal was immers zeer klein. Bovendien zijn de gekozen projecten al enige tijd afgelopen en sindsdien zijn er veranderingen in de formulering en de projectbeheer doorgevoerd. Toch leggen de evaluaties een vinger op de wond. Het is duidelijk dat verdere inspanningen moeten geleverd worden om het beheer en de evaluatie van de interventies van de gouvernementele samenwerking meer op resultaten en impact te richten .

De volgende impactevaluatie (2014) zal zich toespitsen op ngo-interventies.

Het volledige rapport is beschikbaar in het NL (PDF, 1.57 MB), FR (PDF, 1.65 MB) en EN (PDF, 1.65 MB). Er is ook een samenvatting beschikbaar in het NL (PDF, 2.29 MB), FR (PDF, 2.29 MB) en EN (PDF, 2.29 MB).
Voor meer informatie kunt u terecht bij de Dienst Bijzondere EvaluatieNo label found for: as_externallink.alttag.

Impact meten, op zoek naar de Heilige Graal?