gebruik van buurtgegevens in evaluatieonderzoek

Sociaal en Cultureel Planbureau

Gebruik van buurtgegevens in evaluatieonderzoek

Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 20131

Propensity score matching en buurtinterventies


Inhoud

2

1) Monitoring van stadswijken2) Effecten van interventies op stadswijken?3) Quasi-experimenteel evaluatieonderzoek: propensity score matching4) Illustratie: Effect van herstructurering op leefbaarheid en veiligheid

in stadswijken



Monitoring (1)

3

Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken 2006-2010

Bron: CBS Outcomemonitor Wijkenaanpak 2012


2006 2008 2010

-50

-45

-40

-35

-30

-25

-20

-15

-10

-5

0

-46-44 -44

Sociaal en Cultureel Planbureau4

2006 2008 2010

-50

-45

-40

-35

-30

-25

-20

-15

-10

-5

0

-37

-31 -32

-46-44 -44

G18 gemiddeldeaandachtswijken in G18

Overlast en onveiligheid (leefbaarometerscore) in de 40 aandachtswijken en het stedelijk gemiddelde 2006-2010

Monitoring (2)

Bron: CBS Outcomemonitor Wijkenaanpak 2012



Essentie

Buurtgegevens lenen zich voor monitoring. Buurtgegevens kunnen ook gebruikt worden om uitspraken over de effectiviteit van interventies te doen.

Daarvoor is het monitoren van een trend in de groep wijken met een interventie niet voldoende. Ook het monitoren van een trend in de interventiegroep t.o.v. het stedelijk gemiddelde is niet voldoende.

Om iets over het effect van de interventie te kunnen zeggen is het nuttig om de buurten met een interventie te koppelen aan vergelijkbare buurten zonder interventie.

5Gebruik van buurtgegevens in evaluatieonderzoek Donderdag 28 maart 2013


Effectstudies (1)

Effectstudies proberen causale relatie tussen interventie en uitkomstmaat vast te stellen:

Heeft invoering van een bepaalde interventie geleid tot effecten?

Kwaliteit van effectstudies is onder meer afhankelijk van:-- Interne validiteit-- Externe validiteit



Effectstudies (2)

Verschillende designs beschikbaar om te proberen uitspraken te doen over effectiviteit van interventies. Belangrijk verschil tussen experimenteel design en quasi-experimenteel design is dat bij de laatste geen random toewijzing heeft plaatsgevonden van de interventie.



Quasi-experimenteel onderzoek

Verschillende soorten designs beschikbaar. Maar welk design het meest bruikbaar is hangt onder meer af van de wijze waarop de interventie is opgelegd en je data.

Betekent soms veel werk en kan het resultaat zijn dat het gekozen design zich toch niet leent voor jouw data.



Propensity Score Matching (1)

Propensity Score Matching is een voorbeeld van quasi-experimenteel design.

Tracht de experimentele groep te koppelen aan een zo goed mogelijk gelijkende controlegroep.




Stappen:1) Vaststellen van interventie (bijv. herstructurering, aanleg

speelvoorzieningen, verkoop sociale huurwoningen, krachtwijkenbeleid), en begin en eind interventie.

2) Vaststellen van uitkomstmaten (waar is beleid op gericht geweest?)3) Vaststellen van controlegroep4) Kwaliteit matching



Propensity Score Matching (3)Vaststellen van controlegroep

Voor elke experimentele wijk vergelijkbare wijk zonder interventie vinden op basis van afzonderlijke buurt kenmerken. Buurt met hoog % huur aan andere buurt met hoog % huur.

Probleem a) hoe meer kenmerken gebruikt worden, hoe kleiner kans op match. b) veel interventies ingezet op buurten met stapeling van specifieke kenmerken. Dat experimentele groep verschilt van controlegroep is niet uniek. Begin jaren ‘80 Propensity Score Matching ontwikkeld (Rosenbaum en Rubin).



Propensity Score Matching (4)Alle kenmerken waarop gematcht wordt, worden samengevoegd in 1 score: propensity score. De combinatie van kenmerken in experimentele groep wordt ook waargenomen in controlegroep.

3a) Bereken propensity score (logistisch model)Afhankelijke variabele: kans op interventie (0=geen ingreep; 1=ingreep).Onafhankelijke variabelen: buurtkenmerken die (mogelijk) invloed hebben op de kans op ingreep en op de uitkomstmaat (gemeten na de interventie).

3b) Koppel experimentele buurten aan controlebuurten op grond van propensity score (verschillende matchingsalgoritmes).



Kwaliteit matching

1) Het is van groot belang dat de buurtkenmerken tussen de experimentele groep en controlegroep overeenkomen. Als de kenmerken van de groepen veel verschillen, moet het model herzien worden (toevoegen hogere functies, interacties, andere variabelen).

2) Zijn er veel experimentele buurten die niet gekoppeld kunnen worden? (o.m. overlap; common support) Wat voor buurten zijn dit?

SOMS PAST PSM GEWOON NIET BIJ JE DATA….helaas….op naar een ander design (regressie-discontinuïteit?)




Effecten?Nameting verminderen met voormeting voor de experimentele groep en controlegroep. Hoe verhoudt de ontwikkeling tussen deze twee groepen? Difference in difference. Testen op significantie.

Volgens PSM zou je mogen concluderen dat er een effect van de interventie is als de ontwikkeling (bijv. leefbaarheid) in de experimentele groep groter is dan in de controlegroep.



Illustratie: Herstructurering woningvoorraad (1)In hoeverre is herstructurering effectief geweest bij het verbeteren van van leefbaarheid en veiligheid in stadswijken?

1) Vaststellen herstructureringsinterventie in 4ppc-gebieden en interventieperiode

15

Algemene herstructurering

Interventieperiode 1 januari 2000 – 31 december 2006

Interventie

aandeel onttrokken woningen minimaal 3% van dewoningvoorraad in 2000 + minimaal 100woningen onttrokken en minimaal 100 woningen nieuwgebouwd

Aantal experimentele buurten 100

Aantal experimentele buurten in quasi-experiment 70



Illustratie: Herstructurering woningvoorraad (2)2) Vaststellen uitkomstmaten: wat zijn de doelen van het beleid geweest?

-- Leefbaarheid verbeteren (tevredenheid met woonomgeving).-- Veiligheid verbeteren (perceptie op voorkomen van criminaliteit en overlast; onveiligheidsgevoelens).-- Sociale cohesie vergroten.



3) Vaststellen controlegroep

schat propensity scores (logistische regressie).

Kan in SPSS, maar STATA biedt veel meer opties (m.n. bij de matching hierna!).

17

Illustratie: Herstructurering woningvoorraad (2)



4) Koppel de experimentele wijken aan wijken met een vergelijkbare propensity score, die echter niet de interventie opgelegd hebben gekregen (keuze uit verschillende matchingsstrategieën) .

18

postcode herstructurering? propensity score3581 nee 0,1533562 nee 0,1733532 ja 0,1873523 nee 0,2163525 ja 0,2573582 nee 0,2813555 ja 0,2953531 nee 0,3073554 nee 0,3213552 nee 0,3603564 nee 0,3813561 nee 0,4183526 nee 0,5003527 nee 0,634

Experimentele buurt die je kunt koppelen aan een buurt zonder interventie.

Controlebuurt die gekoppeld wordt aan experimentele buurt.




Uiteindelijk 70 herstructureringsbuurten kunnen koppelen aan vergelijkbare buurten zonder interventie. Voormeting komt overeen, maar nog niet perfect. Ontwikkeling in experimentele buurten gunstiger geweest.

19




Problemen bij dit voorbeeld (/PSM algemeen)Conceptueel Inzicht in omvang effecten, maar niet de achterliggende

mechanismen. Welke mechanismen zitten achter de effectiviteit van herstructurering? verplaatsing van mensen?

Geen duidelijk begin/eind van interventies. Rol van andere interventies? Wat zijn de kosten en de baten van interventies?

Modeltechnisch Niet-opgenomen variabelen die kans op interventie beïnvloeden(modelselectie is zeer belangrijk). Groepen komen soms onvoldoende met elkaar overeen na matching



Literatuur

Propensity scores for the estimation of average treatment effects in observational studies (L. Grilli & C. Rampichini)

Some practical guidance for the implementation of propensity score matching (M. Caliendo & S. Kopeinig)

Propensity Score Matching for social epidemiology (M. Oakes & P.J. Johonson)

Matching and Propensity Scores (M. Oakes, in P.M. Steiner)


gebruik van buurtgegevens in evaluatieonderzoek

Documents