Norad Policy Forum: Bistand + evalueringer = bedre bistand

Evaluering er et av de viktigste virkemidlene for å få bedre bistand. Likevel møter flere evalueringer fra evalueringsavdelingen i Norad både aktiv motstand og motvilje, eller enda verre, de ignoreres hvis de peker på at ting bør gjøres annerledes enn det gjøres i dag.

Evaluering var temaet for årets første Norad Policy Forum. Evalueringsavdelingen i Norad tok debatten: Hvordan kan evaluering gjøres bedre slik at den bidrar til bedre bistand?

- Det er behov for å gjøre forbedringer både i bistandsforvaltningen generelt, og i evalueringsvirksomheten spesielt for at sistnevnte best skal kunne ivareta tiltenkt funksjon om å bidra til bedre bistand, sier evalueringsdirektør Per Øyvind Bastøe i Norad.

Han peker på noen forutsetninger som må være tilstede for å nå målet. Det første er utformingen av evalueringssystemet – ikke minst at det er en kobling mellom de desentraliserte evalueringene som gjøres på prosjekt- og programnivå, og de tematiske evalueringene som gjøres av evalueringsavdelingen. Det andre er måten de gjennomføres på og det tredje er hvordan de brukes og følges opp.

- Hele hensikten med evalueringer er at de brukes. At beslutningstakere opplever evalueringene som relevante, og er villige til å benytte funn og resultater.

Motvilje

I 2015 ble en evaluering av norsk utdanningsbistand til Unicef og det globale partnerskapet for utdanning (GPE) forsøkt stanset av toppledelsen i Unicef. Det var mye motvilje mot evalueringen da den kom, men i etterkant har flere av anbefalingene fra evalueringen blitt implementert og den har vært en viktig kilde til læring, ikke minst for Unicef selv.

- Det ligger i evalueringsvirksomhetens natur å påpeke svakheter og mangler, heller enn bare fokusere på alt det som er positivt. I en virksomhet som er opptatt av læring – noe som burde være opplagt i en så komplisert virksomhet som bistand med så stor avstand til brukerne – må man akseptere en åpenhet om dette – særlig fra ledelsens side. Visstnok må man forsvare det man gjør, men ikke nødvendigvis med å anklage evalueringsvirksomheten for å være usaklig og negativ, sier Bastøe. 

Bruk av evalueringer

Bastøe understreker at alt ikke er helt svart. En rekke evalueringer av humanitær bistand, av utdanning, bistandskanaler og land, som er tatt i bruk og er fulgt opp, har ført til endringer av norsk politikk og endringer i gjennomføringen av norsk politikk.

Under debatten i Norad Policy Forum trekker assisterende utenriksråd Torgeir Larsen i Utenriksdepartementet frem Syria-evalueringen fra Norad som en evaluering som traff dem som jobbet med dette, ble oppfattet som nyttig og har ført til konkrete forbedringer i arbeidet.

En evaluering av norsk bistand til Afghanistan i 2012 avdekket målsetninger og betraktninger om nasjonsbygging som ifølge Larsen «er out of this world». Larsen trekker frem at det strategiske rammeverket for sårbare stater bygger på blant annet anbefalinger fra evalueringer av norsk bistand som involverer store norske penger over lang tid, vanskelige prosjekter, svake stater og ambisiøse målsetninger.

Likevel er det stort rom for forbedring, noe som blant annet pekes på i OECD/DACs Peer review av norsk bistand og flere studier av evalueringsvirksomheten peker på.

- Det er store utfordringer knyttet til mål- og resultatstyring, det er manglende helhetlig tilnærming til evaluering, det er varierende kvalitet på desentraliserte evalueringer og gjennomganger og stort potensiale for bedre bruk og læring, sier Bastøe.

Prosjekt vs system

Under debatten på Norad Policy Forum var paneldeltakerne, som inkluderte Marit Brandtzæg, assisterende direktør i Norad, nevnte Larsen fra Utenriksdepartementet og avdelingsdirektør Nora Ingdal fra Redd Barna, enige om at det som evalueres må oppleves som relevant, og med mer konkrete evalueringer som er gjennomførbare. 

Er vi gode til å lære, spør Larsen retorisk på vegne av Utenriksdepartementet under debatten. Han trekker frem at departementet har gjort grep og lært på prosjektnivå, men på systemnivå har UD som organisasjon ikke vært gode nok.

Han erkjenner at departementet ikke er gode nok til å ta den dype læringen videre inn i styringsvirkemidlene og det strategiske arbeidet.

- Det jobber vi med. Reformprosessen har et viktig grunnlag i det behovet, sier Larsen.  

Fem forslag

I nettopp den nevnte reformen har det vært foreslått å flytte evalueringsvirksomheten ut av Norad.

Bastøe understreker at det blant andre organisasjoner ikke finnes eksempler på at noen har helt flyttet evalueringsvirksomheten ut av en bistandsforvaltning eller utviklingsinstitusjon.

Han foreslår fem punkter til forbedring av evalueringsvirksomheten, slik at den bidrar til enda bedre bistand: 

Det første er å lage en egen evalueringspolicy, som skal bidra til avklaring av roller, ansvar og oppgaver knyttet til all evalueringsvirksomhet – både desentralisert og sentralisert  – i hele bistandsforvaltningen. Det andre er å drive systematisk opplæring innen evaluering, som blant annet kan bidra til bedre bestillingsevne og generelt evalueringskompetanse hos de har ansvar for desentraliserte evalueringer.

Videre å fylle kunnskapshull – det vil si å frambringe kunnskap om land, virkemidler og områder det er lite kunnskap om. Det fjerde er å utgi en årlig rapport som systematiserer viktig kunnskap fra både desentraliserte og sentrale evalueringsrapporter.

Avslutningsvis, som et femte punkt, foreslår Bastøe å styrke dialogen om evalueringsarbeidet mellom evalueringsavdelingen i Norad og ledelsen i Utenriksdepartementet og Klima- og miljødepartementet.