BOEKBESPREKINGEN

Realistische synthese als relatietherapie voor beleidsmakers enbeleidsevaluatoren?

Jo Baele

Bij de titel van dit boek verwacht ik een werk over beleid

op grond van bewijsvoering. Gezien de palmares van de

auteur zou dat op realistische wijze moeten (wie zou dat

overigens tegenspreken?). Het boek timmert inderdaad

noest verder aan de weg van de Realistic Evaluation

(1997). ‘Realistische evaluatie’ beoordeelt een pro-

gramma niet op een resultaat, maar ontrafelt de pro-

grammatheorie of de samenhang tussen

werkingsmechanismen, context en uitkomstpatronen.

De vraag is dan: ‘hoe koppel ik dat aan beleidskeuzes?’

De auteur vindt het antwoord in de ‘realistische syn-

these’. Dat het boek draait rond een methodiek die al in

2002 is gepubliceerd roept bij mij gemengde gevoelens

op: wat wil Pawson hiermee nog bewijzen?

De eerste drie hoofdstukken wijdt Pawson aan de

vraag waarom beleidsmakers de resultaten van courante

programma-evaluaties niet gebruiken. Een oorzaak zou

de teleurstelling zijn over het feit dat evaluaties onvol-

doende cumulatief inzicht opleveren en dat (quasi-)expe-

rimentele bewijslast te schraal is om beleid op te steunen.

In hoofdstuk 2 probeert de auteur de interesse van

beleidsmakers in ‘wat werkt’ om te buigen naar de ana-

lyse van ‘hoe het werkt’. Ik zie niet in hoe de verstand-

houding tussen evaluatoren en beleidsmakers kan

verbeteren door het eigen denkkader en gelijk nog eens

dik in de verf te zetten. Ook de strategie geraakt versle-

ten: creeer een vijand (in hoofdstuk 3) en red vervolgens

(in hoofdstuk 4) de slachtoffers. Hoofdstuk 3 haalt onge-

nuanceerd uit naar meta-analyse als orgelpunt van de

systematische review. Meta-analyse stevent schijnbaar

rechtdoorzee af op eenvoudig toepasbare resultaten,

maar in werkelijkheid klopt daar niets van: de eenvoud

is het resultaat van eenzijdig gekozen experimentele stu-

dies en verwaarlozing van de complexiteit. Ik vermoed

dat Pawson door zijn strijd enkele evoluties gemist heeft.

Zo zou je ook met structural equation modeling of multi-

levelanalyses mooi genuanceerde programmatheorieen

kunnen testen.

De sleutel van het boek is dus te vinden in hoofdstuk 4.

De realistische synthese volgt het standaard stappenplan

van een review en vereist eveneens transparantie en audi-

teerbaarheid (Pawson gelooft niet in ‘repliceerbaarheid’).

Ze verschilt van meta-analyse door de analyse van uit-

komstpatronen eerder dan van uitkomsten. Een boeiend

idee en wat mij betreft het meest vernieuwende is dat de

onderzoekseenheid van de realistische synthese niet stu-

dies of programma’s zijn, maar de elementen uit de pro-

grammatheorie: de mechanismen en contextvariabelen

die het resultaat veroorzaken. De gevolgen daarvan zijn

spectaculair. Zo komt een groter spectrum van studies in

aanmerking, zoals een studie over slechts een of meerdere

schakels van de programmatheorie of kwalitatief onder-

zoek. Er zijn ook nadelen. Leg als onderzoeker maar uit

aan de minister van verkeer dat die studie over perso-

neelszaken relevant is voor de geplande verkeersmaat-

regel, omdat daar dezelfde mechanismen aan het werk

zijn. Daarnaast zou de complexiteit van de opzet een

sterke inperking van de onderzoeksvragen vereisen en

zou de onderzoeker over twee jaar voorbereidingstijd

voor een realistische synthese moeten beschikken.

Benieuwd hoe realistisch de sponsors dat vinden… .Wel-

licht heeft de auteur het zelf nog niet uitgetest: ‘Only time

… will tell whether such a strategy may find favour in the

policy community’ (p.100).

Gelukkig adviseert Pawson de realistische synthese

met mondjesmaat te consumeren en niet minutieus het

voorgestelde taak- en tijdpad te volgen. Dat hij het zelf

ook zo aanpakt blijkt uit de volgende drie hoofdstukken,

die telkens een of twee van de zes stappen beschrijven.

Jammer dat de auteur ook hier enkel vroeger

Psychologie en Gezondheid, jaargang 2007 (2007) 35:240–241

DOI 10.1007/BF03071806

13

gepubliceerd werk herkauwt. De verwijzingen doorheen

het boek naar uitgebreidere versies van de hoofdstukken

op zijn website maken pijnlijk duidelijk dat het boek

grotendeels gerecycleerd is. De letterlijk gekopieerde

voorbeelden en figuren voegen daardoor weinig over-

tuigingskracht toe aan de ‘nieuwe’ methodiek. Toch heb-

ben deze hoofdstukken hun verdienste. De concrete

voorbeelden verhelderen het soms ietwat wereldvreemde

discours en bombastische taalgebruik en illustreren con-

creet hoe elke stap wordt uitgevoerd. Hoofdstuk 5 toont

dat een gefundeerde sterktezwakteanalyse van de onder-

zochte programma’s beleidsmakers meer inhoudelijke

inspiratie kan opleveren dan een berekende effectgrootte.

De synthese overMegan’s Law beoordeelt de houdbaar-

heid van vooronderstellingen in de programmatheorieen,

bijvoorbeeld over risicobeoordeling, daderregistratie of

reacties van daders en bevolking. Hoofdstuk 6 distilleert

vergelijkbare gegevens uit onderzoeken met uiteenlo-

pende methodologie, gaande van interviews en gevalstu-

dies over (quasi)-experimenten tot en met een meta-

analyse. Het voorbeeld behandelt negen studies over

vier werkingsmechanismen van jongerenbegeleiding.

Hoofdstuk 7 illustreert treffend hoe werkingsmechanis-

men zinvol en bruikbaar te evalueren met inhoudelijk en

methodologisch zeer divers onderzoeksmateriaal dat de

inclusiecriteria voor een meta-analyse niet zou door-

staan. Studies over bekendmaking van diefstalgevoelige

automerken, wanbetalers of prestatiegegevens van zie-

kenhuizen worden hier gebruikt om gedragseffecten te

verklaren van ‘namingandshaming’ en vijf

contextvariabelen.

In het laatste hoofdstuk vraagt Pawson zich af of zijn

visie op realistische evidentie meer kans zou maken bij

beleidsmakers. Hij stelt voor ze op hun eigen terrein te

verslaan. Omdat beleidsmakers meer zouden denken in

termen van modellen dan van data moeten evaluatoren

uitleggen waarom een programmatheorie beter werkt in

de ene dan in de andere context en de resultaten presen-

teren per programmatheorie in plaats van per studie.

Niet toevallig zijn dat de uitgangspunten van de realis-

tische synthese. Daarom had het boek volgens mij ook

met dit onderwerp moeten beginnen. Een grondiger stu-

die van de beweegredenen van politici en de mechanis-

men van agendavorming en beleidsvoorbereiding –de

literatuurlijst bevat geen bestuurskundig werk- had de

auteur kunnen leren dat het rationele model van de

beleidsmaker meer niet dan wel opgaat. Volgens mij

dreigt zijn methode dan ook hier de aansluiting met het

beleid te missen.Correspondentieadres: Jo Baele, Rekenhof, Regentschapsstraat 2,1000 Brussel. E-mailadres: BaeleJ@ccrek.be

Literatuur

PawsonR., & Tilley, N. (1997).Realistic Evaluation. London: Sage.Pawson, R. (2002). Evidence-based Policy: The Promise of ‘Realist

Synthesis’. Evaluation, 8, 340-358.R. Pawson (2006). Evidence-based policy. A realist perspective.

London: Sage.

Psychologie en Gezondheid, jaargang 2007 (2007) 35:240–241 241

13