- Resultatmåling prioriteres ikke i praksis
Evaluering av resultatmåling av bistand
Bakgrunn for evalueringen
Tross stort fokus på resultater i evalueringsarbeidet de siste årene, er det evalueringsavdelingens erfaring at det ofte er vanskelig å si noe om virkningene av bistanden. Derfor igangsatte de denne evalueringen.
Behovet for å styrke resultatrapporteringen i norsk bistand ble også nylig påpekt av OECD DACs gjennomgang av norsk bistand.
Om evalueringen
Rapporten er skrevet av det britiske konsulentselskapet Itad i samarbeid med Christian Michelsens Institutt.
Den har blant annet sett på planlegging og oppfølging av 20 tiltak, 20 sluttgjennomganger av tiltak, og 6 uavhengige evalueringer.
Mens evalueringene ble publisert i tidsperioden 2010-2013, er gjennomgangene publisert i perioden 2008-2013. De 20 tiltakene hvor evalueringsteamet har vurdert resultatrammeverket forut for tiltakene, var alle startet i 2008 eller senere, og avsluttet i 2012 eller tidligere.
I tillegg har det blitt gjennomført intervjuer og en spørreundersøkelse, og det norske systemet er blitt sammenlignet med andre giverland.
Evalueringen «Kan vi måle resultatene av norsk bistand?» er bestilt av evalueringsavdelingen i Norad. Den ser på hvordan Utenriksdepartementet, Norad og ambassadene jobber med å måle resultater av prosjektene og programmene de støtter.
Ikke tid til resultatfokus
Til tross for klare føringer fra politisk ledelse om at resultatmåling skal prioriteres, finner evalueringen at dette ikke følges opp i praksis. En av årsakene er press på utbetalinger av bistandsmidler.
- Evalueringen viser at politiske initiativ og presset på å utbetale penger i løpet av budsjettåret, kan gå på bekostning av å måle resultater, sier avdelingsdirektør Tale Kvalvaag i evalueringsavdelingen.
Evalueringen viser at ansatte i bistandsforvaltningen opplever at de ikke har tid til å følge opp denne delen av forvaltningsansvaret. Samtidig er ledere i Utenriksdepartementet, Norad og ambassadene lite opptatt av resultatmåling i planlegging og systematisk oppfølging av tiltak, og ifølge evalueringen etterspør de sjelden slikt fra sine ansatte.
Tapte muligheter
- Svak resultatstyring betyr ikke nødvendigvis at bistanden ikke gir resultater. Det betyr at resultatene av norsk bistand ikke blir målt og rapportert på en tilfredsstillende måte. Men det innebærer også tapte muligheter til å forbedre bistanden, sier Kvalvaag.
- Om vi hadde visst mer om bistandens resultater, kunne vi enklere ha redusert på dårlig bistand og gjøre mer av det som fungerer bra.
Evalueringsrapporten ser også på om evalueringsavdelingen legger vekt på å dokumentere resultater. Ett funn er at det ofte er avstand mellom den opprinnelige oppdragsbeskrivelsen for evalueringer og det som står i de ferdige evalueringsrapportene.
Oppdragsbeskrivelsene fra evalueringsavdelingen er så omfattende at konsulentene som får evalueringsoppdraget, ikke rekker over alt. Dette kan hindre grundig vurdering av resultatoppnåelsen i evalueringene.
Gode håndbøker og regelverk blir ikke brukt
Ifølge evalueringen er bistandsforvaltningens regelverk, håndbøker, kurs og rådgivning for å oppnå resultater i bistanden stort sett av god kvalitet. Problemet er at retningslinjene ikke blir fulgt. Flere tiltak blir godkjent uten at det blir tilrettelagt for at resultater skal kunne måles underveis i tiltakene, og oppfølgingen etterpå er er mangelfull.
I rapporter ramses det ofte opp hvilke aktiviteter som er satt i gang eller gjennomført, men det skrives lite om hva aktivitetene har ført til. Evalueringen viser til konkrete eksempler på tiltak som har blitt godt fulgt opp, og hvor resultater har blitt målt og rapportert på en tilfredsstillende måte.
Ifølge rapporten skyldes dette snarere dedikerte medarbeidere enn et godt fungerende system for resultatmåling.
- Resultatmåling må prioriteres og premieres
Evalueringen anbefaler at ledere må styrke kunnskapen om, og prioriteringen av, praktiske sider ved resultatmåling og resultatbasert styring. Videre foreslår evalueringen at de ansatte bør ha klare insentiver for dette arbeidsområdet, med konsekvenser for karriereløp.
Evalueringen viser klart at Norge kan gi bedre bistand ved at vi blir flinkere til å bruke eksisterende forskning og evalueringer i planleggingen av bistandstiltak.
- Kunnskapsbasert planlegging innebærer å lære av det vi vet at virker. Man bør sørge for å ha en klar strategi for resultatmåling innenfor hva som er realistisk i hvert enkelt tiltak. Hvis det er et felt man vet lite om bør man i tillegg vurdere behovet for å evaluere tiltaket. Ansatte bør belønnes for god resultatstyring, og ikke nødvendigvis for resultatene som sådan, siden dette stort sett er utenfor deres kontroll, sier Tale Kvalvaag.
Evalueringen ble presentert under et åpent seminar i Norad 4. april .