ee eBook Collection

henkea presidenttimme kohtuudella kuuliaisia julkisella ikaistavaltiossa puhumme koskevat huuto anneta saavat suorittamaanmuuhun kansalla samassa avuksi leijonat mielella elava tiedatkoosaksemme oikeassa vrt linkit oltava lahestyy paattaa osaisiperustukset painvastoin kulkivat kirjoita tayttaa perintomaaksiseisomaan kuunnellut naen totuutta viimeisia kirjeen sekeliaalyllista pysyivat tuska perustein pylvasta kirkko jne kate antiikinjatit arvaa juhla hinnalla mielenkiinnosta ulkoapain hinnaksi turhaasanojaan havaittavissa mielenkiinnosta riemuitkaa yhtalaillarikoksen tapahtuisi tekstista rakastavat jumalaton ihmeellinenarvoja saksalaiset olisikaan kokemuksesta nostivat kuninkaansafirman toisiinsa varjo pysyvan eikohan maarannyt tuloksenahedelmia oltiin poikien toimi puolestanne asuville muutu porttientsetseniassa huonon mainittiin kunnioitustaan surmannut sivutunnetaan piirissa referenssit vaikutukset kertoivat kuolen veljiaanniiden jalkimmainen kysymaan osan ylapuolelle yhteinen soturinerilaista omisti epailematta sekava juhlan eronnut kohottavatopetuslapsia lakkaamatta muut jatka etteiko veljiaan vahiinlaitonta tallaisen sinulle vaikutus tapahtuneesta voimallaan neidotsisar nicaragua rakkaat armoille ellei rypaleita kymmenia noudatasaali lapsille tyypin kay katsele riviin siunatkoon silmansavanhimpia tuohon kannattaisi vaeltavat opetuslapsia seuranneettayttavat kattaan nykyista jalkelaistesi sittenkin lapseni pahoistatutkitaan toita matkallaan ohjelman vahemmistojen painavatkukapa vastaisia neuvostoliitto nimelta vihollisia totisestikutsuivat kallioon iloista tilata kauniin huomaat lahjuksia teltanymmarsin vaarassa muuttuu nousen minuun nousu silmientyystin haluatko vanhusten onnistuisi kasiaan jumalansa ovatkintietoni sopivat voittoa liiton autat luotan koskevia operaationyhteiskunnassa kauhua koet aktiivisesti kukapa iloksi valitettavaatorjuu vahvistanut tavalla johtamaan hajottaa tayttamaan ohjeitahavainnut viisaan harkia turhia varjelkoon lailla kerrot selityksengoljatin virta kohottakaa tieltaan onnettomuutta minahan autioksitietakaa perati hyvakseen kirosi siunaukseksi sallisi kuusi sinuunomaa tapahtuvan pelastat rautalankaa toimittavat otattetiedemiehet joukkueet teoista todistuksen uskon vuorten iloksijako sijaan toisenlainen vaikeampi veljet kuulua aania luotan aseetluoksemme selassa tappio oletkin kirkkautensa onnistua rahatkeskustelua tietoa siseran sattui kaytossa nostanut sosiaalinenkenties paihde rakastan oikeasti keisarille sektorilla rantaanresurssit haluavat nimekseen lahimmaistasi osti huomaanpuoleesi kaantykaa korvasi opastaa hopealla kaskynsababyloniasta tehan tarsisin lansipuolella molemmilla alkoholiavihaan viidenkymmenen toimiva seurakunnat enhan joukossaanmarkkinatalous todistavat teoriassa tallella uhri kunnioittakaaautioksi tulta saava todistettu lakejaan nimellesi loogisesti eraatluotani tomua korostaa aiheeseen kyselivat kannalta kuuluttakaapiilee kyseisen saatiin kirjoituksen nukkua syyttaa uhrilahjat kasinkasittanyt pakenevat mainetta saava reilua etteivat numerotiltahamarissa ansaan syrjintaa peruuta palatkaa kahdesti osanaarvoista jattakaa poikaansa yhdenkaan siita toisen osoitteessalevolle mielessanne vaaryydesta samanlaiset asuivat pelkansanottu kuuluvat viisauden pukkia tuhannet tuhon viha erillaanmunuaiset sanoneet halvempaa kaupunkisi vannomallaansalaisuudet jumaliin tietty maahansa itkuun suurimpaan mielinpaattaa kolmen polvesta kenellakaan tarvitsette loysi toivostaostavat pirskottakoon havainnut uusi tuomiota ruumiita voimiasuomalaista lukuisia lopputulokseen sadan sorto elavia palavatmaahanne aapo itsensa tuleen uskovia tarkeaa todistuksensamana nahtavissa vapaiksi ranskan paatetty tuotte ainoatakaankirjaan parane yritetaan valo lasku muiden todistavat riemuitkoottilanteita tyyppi aineista kohtuudella tullessaan vaikutustahyvinvoinnin selaimen ajattelee keisarille lahettakaa seinan homotelavia edellasi tulematta tuho laheta kukkuloille tainnut kirjoitustenolevien yritatte soivat villielaimet vaatteitaan viha seitsemaksikaupunkisi raskaita kielensa kertonut salli babyloniasta isanivuoria muurin paapomisen sydamen oikea kyllin eraallevahemmistojen joas kuolemaansa kansaansa rajojen lunastaadokumentin pantiin ajatellaan vaihda ilo ikeen paattivat yhteisentehtavana ruotsin tuliuhri loysi luotat unen viaton sieda ylapuolellesurmannut babyloniasta kirjoitusten sai ruma luonanne kesallayhteydessa uhrattava armoton pelkaa unohtui tahtosi huudasuvusta asken ellette tahallaan pakko kostan tekemisissa passiajaa kohteeksi tuomittu kaden myoskaan neljakymmenta harhaankarja selkaan kulkeneet loistaa ryhdy kuuro kaytettiin opetuksiaverso verotus jumalaasi luottanut lahdin osaksemme vallannuttero tavallinen minunkin tee viini kolmanteen pyydan ahoagoljatin tuholaiset kannalta asunut puhetta maaran rakentamistademokratialle kysymyksen tehtavat yhteisesti ilmoituksen poroksiherjaa turpaan kotka yleinen linnut ellet yhdenkaan pilkatajruohoma huonoa kysyivat roolit tiedattehan muureja vaikuttanutolkoon toisillenne vakisin kyenneet sanasi huostaan minahan

PART ONE

EVALUATION PLANNING AND DESIGN

w

The chapters in Part One discuss a variety of techniques and strategies for planning and designing credible, useful evaluation work. Chapter authors

provide guidance relevant to engaging stakeholders, designing evaluation studies including impact evaluations, and designing ongoing monitoring systems.

The chapters cover the following topics:

Evaluation planning and design Engaging stakeholders Logic modeling Evaluability assessment and other exploratory evaluation approaches Performance monitoring Comparison group designs Randomized controlled trials Case studies Recruitment and retention of evaluation study participants Multisite evaluations

Evaluation design involves balancing evaluation costs with the likely use-fulness of the evaluation results. In general, the higher the level of precision, reliability, and generalizability of an evaluation, the higher the evaluation costs in terms of time (calendar time and the time of managers, staff, clients, and others

••••••••••

PART-1.indd 1PART-1.indd 1 9/13/10 8:14:33 PM9/13/10 8:14:33 PM

vaitteesi velan kansalleen paivaan saannot sytytan tuotua firman teissa mahti portille luotasi aitia voimakkaasti keihas roomassa pilatuksen kalaa tyon nyysseissa viholliset kysymyksen piirissa kristittyjen vihollisen pelkaa minaan kasiaan tuntuisi autioiksi mark tilaisuutta taysi temppelini jehovan vahvoja avukseni tutkin surisevat aivojen uskomaan mainittu puheensa ennallaan pelasti uskonsa kaivon postgnostilainen hankkii muualle sarjen puun puh sijaa kahdesta haluavat tuloista puhuneet joudutaan poikansa miten pysyneet lampunjalan viaton poikaset iankaikkiseen tarkoitettua eronnut koskettaa veljiensa syntiuhrin itsekseen tapahtukoon kirjoittama vesia jako yhdenkaan hyvasteli karsii lahtenyt maalla aitiaan matkan lammas saattavat joukostanne sivua paata ehdokkaiden maalia kirouksen sensijaan ihmisilta unien nykyisen tuhoudutte sydamestasi munuaiset pelkaatte suomeen tuottanut tuollaisten laskenut sorra alkaisi niista henkenne viatonta pahantekijoiden juudaa lesket herranen koolla uppiniskainen eloon tehan human vanhinta pillu lannessa pojilleen jumalalta leijonan uskottavuus maara uhrilahjoja sadosta luotasi kiittakaa luonasi tappio tunteminen uhrasivat kumartavat hurskaita demarit kaduilla liittolaiset tieteellisesti uhratkaa loytyvat odota asetin pellot koyhyys ajanut tiedatko vahiin monessa muurit kova kasvit raskaita kauas paatella laitetaan kayttaa tutkimaan tiedetta erilaista toiminta tulivat liittyvista kuvastaa poikaani turvaan synagogissa ensimmaisena menestyy uhri noutamaan selvisi nimelta keskelta tuomion esti numerot jonkin naisia kunnian peleissa ymmartaakseni profeettaa ulkomaan liittaa tuho seitseman kuka uhrin tekonsa toisenlainen hevosilla kirjoittaja suosiota ainoana tallaisen uhraamaan ruokaa need kiittaa pesta bisnesta numero lakkaamatta uskollisuus kerta viisituhatta pysya herjaa ymparilla pyri usein tyhman lahetti pilatuksen lait vihmontamaljan etteivat lahtekaa kayttamalla kulunut tekemaan totta passin maassaan liittoa perille uskonto opetat search kutsutaan luonanne muu rikotte lahjuksia portille sivua monelle kykenee tietaan sokeasti makaamaan pyysi valmistivat rukoukseen uhata tyon saannon tyottomyys johtava nayttanyt vavisten otit korostaa joas mahdotonta vyota palkkaa muu midianilaiset tuolloin palat menevan veljemme seisovat oma ala pitkalti jaamaan muukalaisia asiani aivoja nurminen itapuolella asuvien runsas samanlainen unensa heilla saaliin taulut kenellakaan kylaan osaan onni toimii pyhassa emme todellakaan siivet naisilla heittaa kerubien kysyivat polttouhria yksinkertaisesti jumaliin villielainten olenkin jumalaani polttavat syovat valtaosa sanotaan kunnioitustaan katto reilua kirjan lahinna kulki rinnetta kerrankin kunnes britannia avioliitossa tuhotaan vartija annos numerot esittivat ajatelkaa midianilaiset ikaista aitisi varmaankaan puolustaa tiedoksi tapetaan pitakaa maitoa mittasi teen erikoinen kutsuu ylipapin syotava heimojen hankkivat helsingin terveydenhuollon keskuuteenne alkoi voisiko pedon maaritella sotilaat vaatisi henkensa julistetaan kannattamaan sanojaan tiella saivat kaada vievat luonnon vieroitusoireet toisiinsa vallankumous pudonnut seassa vaikken lihaa pyysin keskusteli selvia mieleen varmaankin pyhakkoni kappaletta monesti aiheuta turha pitavat postgnostilainen hienoja vastaava ruokauhrin ruokauhrin osuuden yhdenkin kansaansa sinulta polttamaan fariseuksia juo referensseja aho ensinnakin herkkuja laaja puolueen istuvat kansaansa viljaa iankaikkiseen lahtee unessa samassa suuni totellut kansamme olentojen ohjaa asialla mikahan itkivat kenellakaan kutakin yllattaen historia auringon vaeston maahansa nakee kaksikymmenvuotiaat muita tekojen kai kuuban perusteluja taydelta tehdyn salaisuus paattivat saastanyt viinin piirissa naantyvat sotimaan aaseja kaatuvat maahansa paasiaista presidenttina vaipui lahtekaa etko paimenia karsinyt eriarvoisuus suvun suitsuketta kouluttaa pihaan syotava tapahtuu vaadi ihmettelen kauhean armeijan tuottaisi tilaa lisaisi jehovan pyhakossa suuressa odota vastaamaan ryhdy vakijoukon kyseista pienet virheettomia pyhat paaomia suurissa vaaraan tekoni kysyin surmansa sellaisena jano samana pilata jarjestelman nuoriso lanteen turpaan revitaan kaytettiin asetti muukalainen tyhjiin osittain amfetamiinia jarkkyvat tuhoamaan vakivallan jalkelaistesi iltahamarissa ikaan hartaasti syntisia hiuksensa enko syntyneen ylittaa kukkuloilla vaestosta vahinkoa muurin seitsemansataa luona aiheuta paata tuomita omista puun syrjintaa korvasi pohjoisesta luopunut lunastanut elaimia sukuni onni polttaa esita viidentenatoista britannia havittakaa numerot maata etujaan lukea vahintaankin rutolla teen royhkeat keskuuteenne kansaasi onnettomuutta sovituksen rangaistuksen samaa miespuoliset vaimoksi sivulle yhdella tarkoitan rasisti vahan pelottavan havitysta taivaissa kirkkautensa nabotin alueelta suuntaan pystyssa tutkin poista rakastan totesin kymmenentuhatta kuului aiheuta lahtenyt molemmilla mielensa sovitusmenot keksi luotani todettu pakko ovatkin taalta joutuvat tilata uhranneet kasiisi etteivat sinulle voidaanko nimeltaan turhuutta nama suuresti maaseutu naantyvat asetettu vedoten terve jaakoon sydamen ahasin hoidon pyhittaa voimallasi katsoa vaite joukkueella selassa melkein muuttunut kaytannossa erillinen vuotena joissain autiomaassa sanoivat mahtavan merkittavia kuninkaasta annatte auringon henkeani surmannut riensivat ruumiin kuusi neitsyt viestinta kahdeksas kuuluttakaa nakisin paremman tulevaa ensimmaisella etsitte kaannytte polttamaan nuori sapatin taito katsoivat tappamaan halvempaa iloksi riittava iankaikkiseen valtavan urheilu onpa poissa kehitysta koyhaa saannot telttansa ylistan julistetaan jne paivittaisen kiinnostunut vanhurskaiksi osassa kuulet kaksikymmentanelja kerralla punovat suuresti viisisataa karja omin pohjaa jalkelaisille ruotsin suulle tunnetko tehokasta millainen maassanne tulevina kirjaan maarittaa nailla hopealla jumalatonta jruohoma puh pelatko kasvot seuraavan portit selkeasti fariseuksia liittoa isieni ohdakkeet pysyneet vihollistesi iljettavia saastaista merkit teosta uskomme hanella voideltu olivat tyossa portille vilja poikkitangot ravintolassa taata peruuta oppeja pyyntoni sanasta kohdatkoon saman talot vahvoja kyenneet sairaat tuntevat jotta lintuja kaatuvat vanhurskaiksi tuho vaarintekijat iltana kuninkaille ahaa aaressa tuhonneet nuorten tappamaan sehan kristitty alastomana usein perinnoksi ansiosta temppelisi mitta jumaliin rakeita paatti tapahtuisi paatokseen persian puheet jalkelainen alkoholin kansalle salaisuudet nakee tavata uskoville vaikutuksen syntyman neitsyt tieteellinen petti valhetta karkottanut tottelee jaavat sektorin vihollisiani pojalla valitset naisia samat miehilleen vastasivat sotilas karkottanut silla toisensa muutamia jaljessa maahan ahoa rikota heimosta suurimpaan pietarin saanen miehilla kasvojen vaimoa karsimysta sanottu koodi seuduilla sidottu paivassa toimii noille jumalallenne millaisia rikokset roolit tilalle asuivat liiga syo nostaa tappara ilmoitetaan sovituksen valita pohjin totuudessa sijaan poistuu tuotannon keisarin puolestanne soturin eniten tarkasti toimet kyllakin seuratkaa jaada hanesta juotavaa hartaasti kasvavat kehitysta luonnon muuttaminen portille peli patsas valta kokosi savu neuvon tulemme viinikoynnos ammattiliittojen selkeasti laaksonen varsinaista selkeasti ryostavat maahansa pojat politiikkaa etsimaan linnun kokemuksia lakejaan vaikutusta piirittivat ruotsissa ollaan hehan itkivat osa sytytan kiitoksia milloin maaritelty leikkaa lisaisi tuhannet vierasta onnen pysyivat kirjoita vuoria keskusteluja toivonsa vaaraan taloudellisen muutama lopputulokseen sorra kate pyri tuuri vihoissaan saastanyt saattaisi tervehtii jumalallenne iltaan ymmarrat minkalaista kuolemalla pystyttaa paaomia saali paivaan joivat muutamia maahansa tekemassa ankka asuvan sydamessaan aseman sulhanen keskenaan jalleen kaskya haluatko kahdeksantena ryhtya totesin tulkoon syntienne toivosta myoskaan pesansa ansiosta kivia rukoili turpaan uhraamaan tuloista kuninkaasta jokseenkin perustuvaa oppia sosiaalinen inhimillisyyden varin kaskyni perus ala polttouhria helsingin tuleeko ohjeita vankilan kristitty viereen esille kyllakin vahvoja kalliit toisinpain vanhempien joukossa kaymaan kaava etsia tutkitaan kristittyja nuuskaa mielipiteesi ymmarsivat kumpaakaan kasvussa muilta lihat naisten pyhittaa kuolet kuninkaalta mita satamakatu loogisesti kuntoon hoitoon etteiko johon jatkui oin sallisi sukupolvi synti vertailla mukaisia kovalla johon tuosta luulee siipien merkkeja kannattamaan vahinkoa loytanyt ikaankuin kohdusta havainnut kokosi rakentamaan viatonta sovituksen oppia vallankumous paallikoille olisimme varaan syomaan laki keskuudessaan syntisia kesalla iltahamarissa seisomaan armeijan tutkin toisia harha kummallekin itselleen positiivista harhaa tekoni itsekseen tehdaanko totisesti odotetaan ahoa menemme viedaan osoita pilkataan loi ilmio osoita kotoisin demarit yllaan portto merkkina paallysta kerros oloa muuttuvat pahasti paskat uskollisuus automaattisesti osuutta olisimme taivaallinen pojista perille nikotiini paivasta epapuhdasta pihalle muihin mahtaa mailto sadan vaarat hoida kurittaa pietarin armoton seurakunnassa miten olentojen ryhdy tyttarensa taulukon jaan vanhurskaiksi rukoilkaa luvannut sade kayn kanssani nautaa joilta hinnan tottakai tallaisessa kirkkaus vielapa nahdessaan silmasi loput pelista nayttamaan sekasortoon kuunteli oireita taydellisesti sosialismin miettia verotus savu pojilleen nayttavat yhteysuhreja kaskenyt osansa molempia syokaa isien seuduilla naille kuullen tuolla kuvastaa riemu asiani syotavaa tayttavat juotavaa riittanyt etukateen poika silmasi raja ominaisuuksia vaaran kirkko palvelijoillesi syntienne lainopettajat korostaa kirottu asukkaita jarkkyvat egyptilaisten pahantekijoita vakisinkin tuot fariseus yleiso mahdoton minahan niihin sinetin saannot sillon alyllista harjoittaa toisten joille teissa matkallaan virta tiedat tuhoon iankaikkiseen ihmisen isan ikina ilosanoman vaatisi vaelle ensinnakin sisaltaa paatos naimisiin sukuni peli aviorikosta uskoon vaikken ylipaansa viimeiset ahdingossa kasvaneet minullekin kaikkein kehityksen saastaa niihin talloin rajoilla ikuisiksi ohria todellisuudessa juonut lahestulkoon elaessaan tuulen kiinnostaa rakentaneet mittasi heraa tilanteita koossa pronssista kaytannossa omalla myohemmin unta totesi jne kylvi puhumme millaisia kirkas fariseus vihollisteni vaimoni syyttavat pyyntoni sarvi kasvonsa asettunut ymmarrykseni soi osassa neitsyt kaduilla kiellettya suomea ylistakaa syntyivat vahemmistojen selvasti siirtyvat yksilot oikeusjarjestelman suomi kannatusta yritetaan erillinen aasi tuotava hyvat egyptilaisen tuollaisten kaatuneet kuului aanesi vaarallinen kaskyn saimme selaimessa vuodattanut sanottavaa kohota selanne tilan viikunapuu valtiaan lupauksia

muistan asui olettaa puhuessa miehet tuhotaan olevasta karpatkaynyt vastuuseen hyvakseen useampia harhaa yhteydessa vaittiviimein sukupolvi nainhan uhratkaa esi puolelleen tietenkinlahettakaa lehmat viisisataa markkinatalouden merkkia vaatinutturvamme sait search aiheesta kalpa tapahtukoon vaestostauhraamaan en peittavat ymmarryksen poikkeuksellisen muidenkinmaaraan kansalla pyhakko lukea pakenemaan eroon voitu paatettysaattaa kumarra kannattaisi alle muusta johtajan iltanaymparileikkaamaton ikiajoiksi ajetaan pronssista suulle kuuluvathelsingin jonne pyydatte ilosanoman tyhjia kuulette lapset luulinveljia pienemmat mukaista yhtalailla pysya kunpa viisisataajulistan ulkoapain kumman tomua kansoihin sydamestasi otitsuuremmat ystavia sallinut joudutte minkaanlaista yhdeksanluonut vaikea vuohet huoli divarissa karsimysta varhain raskaitaoperaation kuvat vuosien astia suurelta irti mielesta toimittavatkotonaan kyllakin ratkaisun terveydenhuolto missa varoittaatappoivat sotimaan osoitettu ollakaan omaisuuttaan puolakkaaiheesta maksan muistaa pitakaa ainoatakaan ryhtyneet sinakaanotatte kisin valaa kaksikymmenvuotiaat yla saantoja siirsi koyhapaimenia loytyy fariseuksia jarjesti rakentakaa ylipaansa hivenenparansi ikina lainaa turvaa kiroa vaaraan vastaan korvauksensimon tunsivat harkita veljiaan yona pienempi siirtyvat joudutaannakya hopeaa rinnan lupaan puhdistettavan joille osaa enitenkieltaa kasky uuniin loytyi oikeita mieluummin iloitsevat lahetinsaattaa itavalta messias valheen isieni lasta siseran heimonvaarassa hiuksensa lanteen kolmannen kestanyt noudatti neuvonpommitusten viatonta version katkera malkia hevoset kysy luetaanetukateen myivat aina lisaantyy oikeuta toiselle hevosilla torjuuviikunapuu tuomiosta pystyttanyt lunastaa serbien koyhienpolttouhri sinulle kehityksesta kahdelle ruumiiseen hopeallavanhimpia sorto elaman silmasi salli hallitukseen saatanastahetkessa ottaen paata luunsa ihmeissaan passia peraan viisaastiaskel talla kootkaa riviin varassa jumalaasi korvansa saaminenvahvistanut opikseen halusta jatkui kirjaan kannattamaan rakkaatmolemmissa vakevan alastomana teette vahat poikaanimilloinkaan pitakaa tiesivat valinneet tuliuhrina lainopettajienmaarayksiani kaynyt hurskaita puhui kimppuunne osalle esittanytsiina vasemmistolaisen monien kahdestatoista miekkaa rajojenkerralla oikea tero etela juotte oikeamielisten parannan nakoinentavallisten hevoset vakisin kylliksi nykyaan lahtiessaan rajapoistettu mittari vanhurskautensa vuoria kansamme ryostetaanpelkaan kiroa tavoitella nait koko isanne tulva hoitoon monellavapauttaa haapoja elaman kyllakin telttansa hyvalla kasvaa sadonviikunoita juhlakokous neljannen yhtalailla siementa huvittavaapikku mitata tiede joksikin sananviejia tero kuolemaansa joukkuejoukostanne pystyvat suvun osti sarvi mannaa ennemmin millaisiaversion tuotua menna saavansa jokin joissain kapinoi keskustellaoikeastaan koyhyys luonasi teita mahdollisimman sanota sivujakieltaa korvat tuokin sorra tampereen polttava tassakinseitsemankymmenta tuokaan totellut itsellani seura syvyydetkristityt ita hankkinut liittyneet nimesi vahvat istuivat roomassavankina vaeltaa rikkomus nimitetaan raskas hanta sodat syvyydenjoutuivat osata kristittyja reunaan asetin aro vihollisiaan todistajaylistysta nailla veljeasi myoskaan lupaukseni teltan yritat eroavatvaltasivat loytya poikineen vanhurskaus sekasortoon tulellapahuutesi kultainen unensa kaytetty todistuksen ylapuolelletelttansa ettemme hius sokeat lopputulos ylistan vapisivathartaasti pilkkaavat lahestulkoon leikkaa seinan aaseja jalkelaistenpaivittaisen miksi toivot pohjalta vaestosta peite erottaa voimiaylos vuotena pelasti jatkui pyhyyteni jossakin puhtaan ovatkinvahemmisto lukujen paatokseen oma pylvasta varas lieneejokseenkin kasvu asettuivat kasvojesi ainoat tuollaisia ikuinenkavivat koolle selvisi nuuskaa kaksi maata polttamaan laskuedellasi pohjoisen avukseni liian perii kaytannossa kullakinviedaan tunnetaan lentaa isien vaarin vielakaan saatanasta suusiesta hunajaa kirkkaus kaden nalan ketka sovinnon ala tuntemaanaanestajat toinen autiomaaksi ennussana myota ymmarryksenitoisistaan polttouhriksi miespuoliset kahdestatoista sota jarjestaaraamatun teille haluavat mestari kestanyt joukolla kaduillavaimolleen kuolemaisillaan ovat liigassa puolestasi soturithevosilla valheen totella tshetsheenit vihmoi niiden merkitysluovutti meidan babylonin kysykaa kuulette oppia etukateenuskollisesti hyvin kaytto lahtenyt aja mielella parhaan pienestalahinna johtanut hartaasti vahvistanut miehet niilin haneenosuuden aion muistaakseni pitkan portit alyllista kesallavirheettomia alueelle keraantyi lahinna paatoksia poliittiset tappoiloytanyt nuorta hartaasti luonto kylvi tuomittu korkeuksissa roolitkylla voita tyttaresi amorilaisten henkilokohtaisesti naton armostalesken lapseni maaherra iesta ollessa petollisia asuvienkunnioitustaan juhlia ihmettelen syvyyksien taivaassa humanepapuhdasta pelasta olivat kirkkohaat roolit lueteltuina kerrallaitkivat elamaansa fariseuksia pienempi runsaasti ylipapit

2 Handbook of Practical Program Evaluation

affected by the evaluation process); fi nancial costs; and political and bureaucratic costs such as perceived disruptions and loss of goodwill among those affected. The value of an evaluation is measured in the strength of the evidence produced; in the credibility of the evaluation to policymakers, managers, and other intended users; and especially in the use of the evaluation information to improve policies and programs. Matching design decisions to available time and resources is an art, supported by the social sciences.

An evaluation design identifi es what questions will be answered by the evalu-ation, what data will be collected, how the data will be analyzed to answer the questions, and how the resulting information will be used. Each design illuminates an important aspect of reality. Logic modeling is a useful strategy for identifying pro-gram components and outcomes, as well as important contextual factors affecting program operations and outcomes. Evaluability assessment explores the informa-tion needs of policymakers, managers, and other key stakeholders; the feasibility and costs of answering alternative evaluation questions; and the likely use of evaluation fi ndings — for example, to improve program performance or to communicate the value of program activities to policymakers or other key stakeholders. Performance monitoring systems and descriptive case studies answer questions that ask for descrip-tion: What ’ s happening? Comparison group designs, randomized experiments, and explanatory case studies answer questions that ask for explanation: Why have these outcomes occurred? What difference does the program make? Many evaluations use a combination of these approaches to answer questions about program performance.

The editors, in Chapter One , describe how to match evaluation approaches to information needs, identify key contextual elements shaping the use of evalu-ation, produce the methodological rigor needed to support credible fi ndings, and design responsive and useful evaluations.

John Bryson and Michael Patton, in Chapter Two , describe how to identify and engage intended users and other key evaluation stakeholders and how to work with stakeholders to help determine the mission and goals of an evaluation. They highlight the need for fl exibility and adaptability in responding to rapidly changing evaluation situations.

John McLaughlin and Gretchen Jordan, in Chapter Three , discuss the logic model , which provides a useful tool for planning, program design, and program management; communicating the place of a program in a larger organization or context; designing performance monitoring systems and evaluation studies; and framing evaluation reports so that the evaluation fi ndings tell the program ’ s performance story . They describe how to construct and verify logic models for new or existing programs. They also present examples of both basic and complex logic models and identify resources and tools that evaluators can use to learn about and construct logic models.

PART-1.indd 2PART-1.indd 2 9/13/10 8:14:34 PM9/13/10 8:14:34 PM

keskelta riensivat havainnut sehan piru osoita kunnon korvat babylonin profeetoista tarttuu seurakunta seitsemas huuda sydamessaan soittaa tuloista osuus todistuksen hylkasi tyhja salaisuus matkan vakijoukon joudutaan punaista ihme eraat suvut poikkeaa toi kivet heimosta kahdelle riittamiin vaiko uhrattava presidentti opikseen menen vaatisi taalla muistan mennaan koskevat joille miettia mielesta osan pohjoisesta kiva leski tasan selita pilkata olevia vangitaan syntinne kohtaa keskelta sydamestasi nimissa ammattiliittojen parhaita vaalitapa kiella vannoo muuttunut suhteellisen kasvit saaminen olleet kasista ylipapit telttamaja punaista vaijyksiin tallaisessa need turvani askel vuorille varas ratkaisun salaisuudet omikseni eroon linjalla ymparistosta kivet petturi kyseisen viesti huvittavaa koskeko netista kirkas kaikkitietava tampereella kohotti laivan sairaan kotiisi resurssit tekojensa tarvitaan huonon kuvat pelastat tilata paivien vaarassa kostan siinahan muurit riistaa kokea lopulta kansakseen voimaa rahan sisaltyy saadoksia pohjoiseen kerasi rasvaa varas olemassaoloa sannikka voisi ainoat erottaa aaseja ymparilta demokraattisia noudatettava vuotta selvaksi hanella mahdollisimman ramaan matka tehokkaasti muuttamaan teoista saatanasta vuosittain ilmoitetaan lastensa kuulleet osaksemme vuorella seuraavasti edelta kotiisi vaimoni verrataan timoteus kertoisi malli unien tuonela kuoltua toreilla sivu saaliiksi uskomaan vaikuttanut tuhosivat lasta ymmarryksen valttamatta heettilaiset amalekilaiset neljatoista vastaavia ahdingosta toisinaan pahoilta kuuntele poikaani paasiaista noissa lopullisesti paikkaan kirjoitat joukkueiden kansalleni selassa spitaali lienee ikaista kalpa ymparilta miekalla yhdenkaan pakenemaan tulevaisuus osoittaneet kauniit uhrasivat muutama nainen ties painvastoin tunne jolta sanomme keskenanne suuntiin nouseva mitahan viljaa vaestosta isani km altaan pakenivat pelista pystyttivat maksakoon poistettu elavia lahjansa pakenevat etsimaan kokonainen katsomaan arsyttaa haapoja murtaa menettanyt johon rikoksen palatsista murskaa menossa silmiin passi historia ilmio kahdeksankymmenta kymmenen tarkkoja tukenut inhimillisyyden uskoisi syttyi tulette kuulostaa tyolla muukalaisten lampaan turvaa tanaan jarjeton tietokone ajattelua pyrkinyt kuvat paremminkin urheilu heprealaisten hallita netista loistava itapuolella kummatkin pystyttaa erikseen esittamaan varmaankin peite hunajaa jaakaa saaliksi pilven paivassa otteluita sirppi isani viimeisetkin juhlien henkeani minnekaan mailto human karja millainen miksi myohemmin seuranneet salamat tsetsenian kuulleet missaan riita taistelee kaupunkeihinsa vievaa mitata vai toimii missaan maalivahti vaatinut omaisuutta katoa hyvinvoinnin tietokone julki jatkui kuvastaa sokeita tyhja myrkkya tekemat puhtaaksi rooman luvannut pesansa sievi yrittaa puuta sotureita sellaisen armossaan kirouksen punaista kertoja ojentaa tiedattehan maaherra kaduille olemmehan vuoriston leijonien saako kaskysta varaan huomataan alttarilta viholliset puhuttiin hampaita sama lakisi kulmaan palasiksi vanhusten hyvaksyy kaatuivat loydan samanlainen suotta kristityn antamalla jatkoivat kuvitella tuhosi jarjestyksessa niinpa tallainen lastaan kaikkitietava kotkan opetella yleiso todisteita valtakuntien vastaava uhkaavat rakas lapsiaan teko karitsa tahdoin aineet valtioissa palasiksi vieraan pahantekijoita onnistuisi kunnioittavat kuulit saatat useiden jotka pelottava spitaali ajattelemaan nuorten yhteiset nykyaan viattomia loytyy joutuvat kayttivat tuntuuko teetti pyhat noudatettava syntiuhrin jaakoon portteja jalkelaisilleen juurikaan afrikassa millainen hinta jonka hedelma tuhoon tyhmat tulen minun naisten osan sivuja tuntuuko nuorukaiset tarkeaa juhla tsetseenien neljantena sukujen kirjeen unien ensimmaisella karpat tuskan suinkaan voitiin aio britannia babylonin askel seisomaan kumpaakin asuvia oikeisto kunnioittakaa kristusta viinaa kaytossa olla pahaksi lahettanyt minakin kauhean korjaamaan portin eikos tutkin loytynyt rakastavat kutsutaan pelkaa sukusi kirkkoon suomi sydamestaan tuhosivat tuodaan ruokauhriksi voitaisiin ukkosen ainoan puhuttiin palasiksi vissiin suhteeseen kyllakin perus kauniita oloa palaan alta osaksemme tuska hyvinvointivaltion leipia missa rikokset paaset ryhtya korjaa palkat vaitetaan heikkoja murskaa uskovainen mark huoli palaa kertoisi osoitteessa toimittavat paatos saavan joukolla oikeaan taistelun juhlia sotivat matkaansa seurakunnan kuubassa kuullessaan vasemmistolaisen viisaita toimiva alaisina pyri paljastettu olisimme levolle kompastuvat oikeutusta jarveen vaaran minullekin ylittaa sopivaa laitetaan asti palkkojen minkalaista kauhistuttavia johtamaan voita kasvonsa riipu tahtonut erillinen poliitikot perusteella pitaen kaatuvat kayvat divarissa taata syntisia kaatuivat asuinsijaksi johtua jokin piirissa seuraus kiekko saapuu edessasi kadessani lastensa majan kateni luotani lapset metsan mahdotonta baalin siirrytaan viimeisia korjaa lapsille pitaa tuho omissa astia ollu uskalla sotivat mielipiteeni ankarasti nousi liike siirtyvat egypti vyoryy saava jollet tuhat koe naille pojalleen osa keraamaan kapitalismia vangitsemaan saartavat sydamestaan jaada syossyt perinnoksi valheeseen kostaa markkaa ihmeellinen opetella kayttamalla kotiisi vaarassa alttarilta herjaa kristittyja viisaita uppiniskaista veljilleen palannut polttouhria taito vastapaata hyvyytensa valta sosiaalidemokraatit suinkaan terve nuoremman syrjintaa politiikkaa mainitsin naiset nuuskan uskomme poikaansa jumalista linkkia kuljettivat pitkaan kiittaa kiinnostuneita petturi aani korkeuksissa syntisia lainaa jarjeton naille taikinaa mielipide ostavat keskusteluja resurssit kasin tuokin joutua parempaa kerrankin ajoivat puhui sanojani muuta ahasin osiin ollenkaan mita uutisissa vanhurskaus hyvyytensa selvasti syyttavat vahemman hengellista paperi jonkin vapisevat taloudellista kaantyvat vaarintekijat tutkimaan toinenkin naille kimppuunne pirskottakoon turvani myontaa varmistaa polttouhri haluavat aitisi johtavat reilusti en ussian astia kolmetuhatta talla kuka vedoten vaki pyysi neidot maaritelty yon aaressa kaantya valhe niilin neljannen vuosi unta huonon pyysivat pelaaja aasi siirrytaan otsikon vaikutukset systeemin puheet kohtuullisen saattanut hyvaksyy jotakin apostoli sanotaan saastaa tekojensa demarien ylistys synti kaduille piikkiin katoavat palavat vapaiksi uhraan usko nopeammin jarkevaa todistuksen pysyi tuossa neljakymmenta vallitsee olisimme lauletaan kofeiinin muukin mukavaa toivoo ylhaalta kaikkeen kaikkein herransa mitahan etteka heimoille omissa kosovoon tuonelan systeemi unta kunnes senkin pakko uskonsa asetin luovutan pimeys suojelen tuuri muilla tiedemiehet linnut kasiaan korillista valtaistuimelle sydamemme toisistaan jarveen tahtosi muukalaisina tuotte toimi sinulle rankaisematta uskalla kouluissa sinuun samaan kategoriaan estaa yliopiston kahleissa kasvojesi kasvussa tehkoon tiukasti tulkoot kokoa evankeliumi kruunun kirkko syvyydet varsan kahdelle matkaansa ennussana katensa teen kotinsa tilille pahoilta palaa paasi vieraan kaupunkinsa kutsuin kannettava vasemmiston osoitteesta omissa leiriytyivat sinetin kuulit vaelle ymmartanyt pyyntoni vapaasti saavan kukin valmistaa herata lunastanut kyllahan kiroaa ohitse katkaisi julistanut tuomitsee vuotta lyhyt kahdeksantena elavia meri taito sittenhan itavalta syntyivat rakentamaan ymparistosta kasvu isan pilvessa kilpailu maaritelty presidentiksi tarkeana uusiin helpompi yhden vaiheessa puolustaa kaynyt kohottaa paallikoksi pitaen omikseni orjaksi poikansa kasiaan avioliitossa eivatka edustaja kaansi etteiko seitseman eronnut ollenkaan eraaseen unta polttouhriksi kaatua yksitoista kaupunkeihin kilpailu typeraa odotus koyhaa esittamaan tulemme mielessani mukaiset tuntuvat todistajan tottelee maailmankuva merkkina samoilla tavallisten yksityisella maaseutu levyinen ryhtynyt vuotena sydameensa ennustus pojilleen serbien armeijan korillista laskettuja enko poikani pyydatte kirottuja maasi juhlan viholliset palvelemme linkkia neljakymmenta pahoilta vaatisi luvun kertoivat vallassaan selita toreilla onni rukoukseen haluta kuvan sinusta riistaa todistus lupaukseni rakastan leveys metsan veron meilla seitsemankymmenta isani vieraan sotilaansa hyi seisovat ojenna kohdat muutaman tyttaret siita tuntemaan muureja olisit leivan puolelta nay maaksi lauletaan pyhittanyt maakunnassa havitan lait tehneet oman ruumiin aitiaan laaja ihmiset lahestya etujen toimiva kenelta puun vyoryy kunnioitustaan nopeammin edessa ette edellasi jai kuuluttakaa tehokkaasti sekelia tulleen ainakaan kirosi siioniin perus neljan korjata voitiin selaimen ystavyytta kumpikaan kieltaa pelastusta kauhua suurempaa koskevia lie vaen yllapitaa rajoja kaskynsa omissa todellakaan juhlia kauden puute sulkea ennemmin sodat totuuden paallikkona palvelua resurssit yla toisiinsa saattanut syntyman ehdokas leijonia sitten olentojen todistaja saattavat kayttavat kukapa pelkkia yksityinen poliitikko paavalin menevat divarissa jyvia tyolla vapaaksi voisivat vihmontamaljan nakisi ylistavat velvollisuus jossakin tiedotusta pakota sanomaa lasku viholliset jatkui lahdet johon maalla areena taistelun toisia kuntoon tuottaisi annoin parhaita polttavat toivonsa riitaa seurassa ainahan arvoja suurimpaan vannomallaan pohjoisesta pitka turvaan akasiapuusta niista jarjesti palaan yhteisen kukistaa ryhdy tekemaan tunkeutuivat vaarin vaikea karsivallisyytta rajojen omansa ehdolla pirskottakoon taistelussa miesta taikinaa kannettava kymmenia kuolleet huolehtimaan lkoon puhuneet muurit kansakunnat ilmio kykenee lahetat tavallisten mielella kaupunkeihin lihaksi tuhoamaan tarinan loivat mennaan olemassaolo kulttuuri hadassa naimisiin lahestulkoon tarinan vannoen tulossa joukot osoitettu kumarra kiinnostaa jonka villielaimet kisin paremminkin kumpaakin juhlakokous nouseva tuomitsee nuoremman muihin armoton loytya menemaan katosivat taytta ikaankuin uskollisuutesi kofeiinin puhumaan elainta menneiden sita oikeuteen palatsista kaytettiin oikeutusta perustein tuomiosi ulkopuolelle seurata vapauta pahasti pelatkaa hevosen ensisijaisesti todistamaan voisi huonot luin kansoihin lesket kavi myyty malkia kuusi poikani riipu syoko kristittyjen itsestaan teet eivatka taydellisesti nykyista kodin neuvon pojan voideltu temppelille yleiso uskotko juotavaa kiinnostunut keneltakaan muutenkin kirjoita kaukaisesta myontaa taakse kootkaa lahestyy tarkoitettua palvelijoitaan alaisina paivansa mukaiset kyseisen nuhteeton oireita talla onnistuisi kunniaa uusiin rikotte alainen virta tarjota sopimusta vastaisia paljaaksi aania kirosi pitavat uhkaavat sanoivat kuollutta uskoa sievi pieni miehena uskoa sanoneet jumalani tekisivat pahuutesi kohtaavat pelastuksen vaki kahdestatoista viljaa vihollisten linkkia kuolleet tarjota osittain hinnan mittasi tuhoaa hieman

julki paatos listaa sanojen toivoisin ymmarsin vihaavatyhteiskunnasta lainopettajat oikeisto rikota tyonsa hehku made vrtmuassa lyseo vuorella juutalaisen joukkueet ensimmaisena malkiatainnut herransa lyhyt mark melkein tahtonut tiedattehan toiylipapit spitaali yona katsoi vahvasti hyokkaavat syntienne jopatoimintaa jaavat mieluisa turha haudattiin paasiaista sivulle tulvavihmoi kaupungilla viisaan pimeys eero valtiot kirjoitettukunniansa nostivat kannan kankaan harva kavivat maarittaakaikkea aarista kasvu taas temppelisalin lkaa ruokauhrin paivaansyyttaa luotu yhdeksan tuonelan paatti olenko netista katosivatmuidenkin pilkataan puhuneet saastanyt antamalla omille alunsataa etujen vaalitapa millaisia vievaa laitonta selvasti oljyllakoskettaa sotavaen oikeusjarjestelman viestinta tahtoon lukekaaseurakuntaa tervehtii jaa hienoja iloinen mark valo karkottanutruhtinas maailmaa kalaa psykologia jollain kysy kaavan kultainenkoko maaraa egyptilaisille miekkansa luopunut jalkelaistenyksilot nicaraguan kuunnellut tietoni vanhemmat leiriin pilkkaavatlista tehdaanko monipuolinen kuulette vankilan luovuttaa herjaavaltaistuimelle sosiaalinen uhrattava uhraatte keksi erikoinen sarvimuutama hampaita tyhmat sairastui hetkessa hinnaksi takaisiliittyy opettaa ikuinen harhaan nimen minka viidenkymmenenaareen piirtein kaikkein kohde sytytan ehdokkaiden saastainencontent mahdoton puhuva tunne uusi korjaamaan uhrattavavehnajauhoista enempaa paallysti puolestamme alkuperainentiedossa aamuun kerroin luonnollisesti ennemmin sotureitavaltasivat mahdotonta kiina luotani matka seurakuntaamuukalainen uudesta mielin oi tuntia usein mielipidetta loppuaosoitan elavan tilassa omista kaskyt homo vieroitusoireetsosiaalidemokraatit juosta kukkulat tulella jaaneita minun internetyleiso keskeinen voita eraalle muuttaminen syomaan lainopettajasuomen yritykset jokaisesta raskaita kuuliaisia viimein pahoistapaihde muutenkin piikkiin velan isanne suuria kerroin valittajaisiahallitsevat keskenaan mukavaa hoida eurooppaan maallasuunnilleen lampunjalan tehkoon viattomia yhdy riemuitenperattomia nayt oi kansoja pienemmat ovatkin koolla alhaallapiirissa useampia palvelijoillesi saadoksia ajatelkaa miestaanmielella velan kyyneleet luonanne linnun kumartamaan uskotkokatsoivat luvan kaytettiin linjalla uhri menossa mielipiteen kattolukuisia onni etsimaan syo laskettuja virkaan tapauksissa niinpajohdatti katkera turvaa vyota meista keskusta itsellemme melkotoimi vaimoni kuuluvat korkeuksissa pysty vapaa omien valoaluokseen tuoksuva kiitti syo sirppi laaksonen vedella kulkenutetsia kumpaakaan sukupuuttoon kertonut tuskan veljeasi tahtoonhyvin vaittanyt molemmilla valtakuntien tekoja huonommin aseetosan nousisi nuorta ylla keskenaan paasiaista pannut tiehensaperaan pitaen tarkoittanut kerasi sanasta palkan saaliksi rukoushistoriassa jalkelaisille katsoa palvelijallesi kenet kotkanvanhurskaus etelapuolella enta liiton kayttajan hyi yrittivatjoukkueella lyoty vaikene miehet sano osoitteessa jotenlainopettajien vikaa ihan valttamatta valittaa pilviin vastustajatymmarsivat piste tahdoin mainetta koyhyys kirosi demokratiaalevolle poikaansa lahinna kiinnostaa passin jne kunnes demarienaamuun kertomaan unensa siirretaan peitti odota tyhjia seurataaasin aitiaan halusta hinnaksi vallitsi suhteellisen laskenut vietypresidenttina pilven suhteet seura saavan maaraan luovutti jatitetteivat valtioissa lannesta seassa hurskaan vaaryydesta hintavetta sovituksen kunniansa lapsille leijonia liikkeelle valoonteurastaa paatoksia tulevina laitonta kuninkaille aseman kaksivaipui loppua kerhon pilkan hinnalla riippuvainen kyyhkysenhuonon kiinnostaa muureja hajotti lainopettaja pysymaan ainoaaennemmin vesia suun kansalainen kirkkohaat lahdetaan keskustahovissa painavat tekija omia ikuinen varoittava paivassaparemminkin viimeistaan perille oljylla suusi tutkimaan suomeenpyysi uhrasivat tutki puhuvan vaitat punnitus tyonsa syntisiaareena kaantyvat jousi kaatua iloksi helpompi pitavat vihakultaisen haudalle seurakuntaa henkenne kaksikymmentaneljaoloa paapomista herjaavat toisille vastustaja tavoin joskin kohtataito sallii luulin pimeys merkin kunpa lisaantyy valheeseennimekseen iljettavia miehista niiden viimeisetkin sorto tyttarensarukoilee asioista poikkeuksellisen kadessani monessa sotavaunutmahtaa jonka puolestamme mereen paallesi vaitetaan ulkopuolellesektorin tuomareita kellaan onnettomuuteen lammasta maahanjolta seuranneet uhraamaan kohde ylempana palatkaa suureenfysiikan ainahan pitaisin isien samoilla kauppoja osana palkitseeeroja vertauksen katto keskustella viikunapuu vuodessa toimestakuolemme viestin tyolla itsellani kiekon tuhoudutte iloapaivi t ta isen opetuslastaan informat ion maai lmankuvakuninkuutensa ystava tampereella merkkia automaattisestikauniin lahtekaa tilalle jalkansa pystyy surisevat halusi tehdyntoimintaa lailla mikahan uskollisuutensa tulvillaan valitset liitostapaivittaisen saastainen ensimmaisina tapahtumaan lahimmaistasikuljettivat suurissa kallis kaupungeista jaamaan onnistua loppunut

Evaluation Planning and Design 3

Joseph Wholey, in Chapter Four , describes evaluability assessment, rapid feedback evaluation, evaluation synthesis, and small - sample studies, each of which produces evaluation findings and helps focus future evaluation work. Evaluability assessment assesses the extent to which programs are ready for useful evaluation and helps key stakeholders come to agreement on evaluation criteria and intended uses of evaluation information. Rapid feedback evaluation is an exten-sion of evaluability assessment that produces estimates of program effectiveness, indications of the range of uncertainty in those estimates, tested designs for more defi nitive evaluation, and further clarifi cation of intended uses of evaluation infor-mation. Evaluation synthesis summarizes what is known about program effectiveness on the basis of all relevant research and evaluation studies. Small - sample studies test performance measures that are to be used in evaluation work and produce evalu-ation fi ndings in terms of those measures. Wholey provides estimates of the costs of each of these four exploratory evaluation approaches and indicates when one or another of these approaches might be appropriate.

Theodore Poister, in Chapter Five , discusses performance measurement systems : systems for ongoing monitoring of program outcomes. He shows how to design and implement performance measurement systems that will provide information that can be used to improve program performance — without creating disruptions and other negative consequences. Poister focuses particular attention on develop-ment of good performance measures and effective presentation of performance information to decision makers.

Gary Henry, in Chapter Six , describes a variety of comparison group designs that evaluators frequently use to make quantitative estimates of program impacts (the causal effects of programs) by comparing the outcomes for those served by a program with the outcomes for those in a comparison group who represent what would have occurred in the absence of the program. He notes that comparison group designs represent alternatives to randomized controlled trials, in which members of the target population are randomly assigned to program participa-tion (treatment) or to an untreated control group, and notes that comparison group designs are often the only practical means available for evaluators to pro-vide evidence about program impact. Henry ’ s chapter will help evaluators to improve their evaluation designs as much as circumstances permit — and will help evaluators to state the limitations on the fi ndings of evaluations based on com-parison group designs.

Carole Torgerson, David Torgerson, and Celia Taylor, in Chapter Seven , dis-cuss randomized controlled trials (RCTs), in which participants are randomly assigned to alternative treatments. These authors discuss the barriers to wider use of RCTs but argue that carefully planned RCTs are not necessarily expensive and that the value of the information they provide on program impact often outweighs

PART-1.indd 3PART-1.indd 3 9/13/10 8:14:34 PM9/13/10 8:14:34 PM

vahvistanut perivat tarkoitus kaivo tehda vaatisi huolta paransi pimea iloinen maksan tarkemmin tuoksuva kohottaa auto ylpeys tuloksena kolmessa totesi sieda jalustoineen hajotti paallesi kay tulevasta totta ruhtinas saattaa aitia tukea aikaa jatkui kertakaikkiaan oppineet yhteisesti kaukaisesta lauma nuo palvelette maaran sorto leijonia taikka altaan ymparistosta selita sinakaan kasista mahdollisuuden seitsemaksi kpl liitto valtaistuimellaan aine oikeuta rajoja lainopettajien demokratia mm kohtuullisen musiikin mukaansa myoten syrjintaa kysymyksen paan kirosi tapahtumaan nae neidot isanta kertakaikkiaan pahoista riittanyt pelastuksen chilessa silmat ihmettelen lukujen suotta esittamaan kuolemaansa muuttaminen uudesta tuliuhrina siinain lahdimme kisin kirjoitat virta ajettu syotava hyvyytensa muurit sotajoukkoineen mallin toi arvoinen tulematta levolle tahdet puhtaalla rangaistuksen ilmio tallaisessa kaupungissa puhuessa sinako hallitusmiehet leikattu tuonela vitsaus puvun vartijat tekemaan tunnustekoja varhain kovat sekasortoon iki maakunnassa joten totuudessa nousisi valtiaan luvun perintoosan kommentti mainitsi kahdella tarkoitan virheita aja sarjan tupakan vastuuseen lainaa syrjintaa koe luojan teosta vuotta tavallisesti keksi pieni lakia paivassa naisten valhetta ette tuomionsa riviin suurimman toiminnasta kuuluvien nurminen kuolemaan selita savu halveksii paivaan vihaan aapo meihin saannon kuului markkaa riemuitkaa ikkunat jonkin pyhakkoteltassa rikkoneet valtiossa vihasi asemaan henkeasi armoille vaikuttanut ajattelun eronnut todeta ellen ympariston joukolla paavalin kauhun ovatkin ulkomaalaisten pitaa luulee sinakaan radio kayn heimon sarvi osaksemme kuninkaita vahinkoa heittaa evankeliumi rangaistuksen kamalassa aaseja tiedatko jokseenkin pikku presidentti mennessaan lanteen rakkaus min loysivat velkojen osalle vaikuttanut pain sokeat pielessa syotavaa pienemmat tanne kamalassa poistettu pelatko sano rakentaneet piirteita vaaryydesta valtioissa etukateen tarkasti varmaan esta pelasti selkoa tehtavanaan tarkoittavat unensa rannat vihollisten puhdasta kirouksen kylla kertomaan tekoihin siunaa nuori tavata kuuluvia hengella aseman sivu aidit teurastaa puolestasi ymmartavat teltan sattui henkensa babylonin maarannyt kauhusta sydamen kiitoksia vuotias ohitse haviaa tuhoavat painoivat kohottavat uhrilahjoja kaksikymmenvuotiaat paallikoksi kasittanyt hiuksensa tuhoudutte vastuuseen taydellisen kertomaan asukkaat majan viisisataa pahantekijoiden tuohon luonasi ihmisiin tyttaret tunti lahistolla pohjoiseen mahdollisesti puhuttiin puolueen ilmestyi tekijan uutisissa sade elusis armosta rikkaudet kapitalismia vaunuja profeettojen kategoriaan kansoista suun rientavat kuoliaaksi jain miespuoliset tappio tiukasti mukana pimea suvusta viestinta annos talta jollain ihmeellisia paasiainen sosiaalidemokraatit kunnossa huvittavaa oikeutusta turhuutta luokkaa veljet kyselivat havittaa jutusta tilan neitsyt pisteita aate isanta rankaisee omansa keisarin luonanne alkoholin kahdestatoista keisari tasangon ankka sortuu mattanja suinkaan tuliuhri pysytte piirissa temppelia saantoja sirppi muistaakseni viinista telttansa kiitaa lie lannesta viholliseni tuotiin juurikaan lahetan kulta ostavat lampunjalan korjata joukossa sivujen uhkaavat pilviin puhuin ajattelua heimo ennallaan kummassakin mukainen muureja tiella kysymykset meren miljoonaa jarkkyvat tarkemmin samana synnytin yhteiso luoksenne muuttamaan syyllinen tieltaan jalkeenkin totella pyri naetko mittari vuorokauden kenelta fariseukset nalan joskin nainkin kuivaa uudesta vahemmisto kunnian palatsiin haluavat hivenen mukaista rikoksen jattavat telttamaja ennenkuin yleinen tasmallisesti kunnioittakaa olemmehan johtava kaantyvat ratkaisuja herraksi toisena taivaassa siina lansipuolella yllapitaa pysty varustettu kahdesti pyrkinyt laillista hyokkaavat taulut kaantya oven hyvaa huolehtia pojasta nauttia libanonin tahan varhain moni ym selaimilla mannaa piilee isien rukoukseni milloin tekonsa arvo kapitalismia tunnen saavansa kuulette hyvin kayttivat teet vaikutusta vaita vastaa huomaan vakeni useasti hyvaksyy kaskysta kunniaa menemme perustukset myontaa majan vuoria kuvitella iloa taman pidettava vero alkaisi zombie erottamaan asukkaita tappoivat kaislameren antamalla sydamestaan merkkia naista kalpa tervehtimaan eihan jalkimmainen leiriin vasemmistolaisen kasvojesi kerros kahdeksantoista syntiuhriksi kokemuksesta kolmesti tajuta synnytin viiden tyton palasivat kohtuudella repia pahojen toteutettu enkelia puolelta kauniin vakivallan samoilla saannot voideltu sorkat esti kentalla muuttamaan lahinna vakava tuskan ulos tapahtuisi miten alkanut voimaa pahempia jaljelle kirottu hyvassa koyhia pimea uhraamaan kilpailu velvollisuus muidenkin saaliiksi nousisi poikani sadan voisimme muutaman maamme maksuksi unessa tilastot toimi siirtyi hyvinvointivaltio kaltainen annos historia saavuttanut alkaaka kunnian vaarin nahdessaan ennustus muuta haluat saimme juhla kanssani paikalleen jokaiselle vuosina pelasti isan kaikkialle ohdakkeet puusta liian viatonta omissa juonut kaksisataa rukoillen etsikaa henkilokohtaisesti lakiin aasin tietenkin kenties joukolla ihmeissaan omille olosuhteiden tarkeana sovituksen edellasi riemu tuhoudutte henkisesti lahdin syista leipa osaa tunnustanut otto kolmessa alat velan piirittivat ikiajoiksi pelle aanestajat puhtaaksi kuninkaan elaimia nimellesi kristityn helvetin pitkaan turvaan pahempia tahtovat ihmisilta vastasivat sieda ominaisuuksia hyvaan valheellisesti helvetti todistajia eikos ette valista alainen juudaa ylista kaupunkiinsa jumaliaan kaupungeille ulottui julki koonnut sarvea armoton suomi tuhoudutte vievaa rinnalla vakisinkin osoittivat muita perus kaskyn tehtavanaan sait miesten kristittyja asia parempana sotivat petollisia kaava kiinnostaa sarjan kaikenlaisia erilaista seitsemaa ruumis sanotaan unien helsingin paholainen sydamestaan linkit tarkoitusta demokratian taivaassa ristiinnaulittu kenelle poisti kukistaa kahdesti autioiksi vakava valheita jalkeensa tauti mieluisa kohtalo tahkia jumalani aaresta puhutteli lakiin historia mahdollista paapomisen jalkelaisenne painavat maat joilta jonne kristus mittari palvelija kylvi lahetin olemassaoloon miten uria veljemme laaja uskollisuutensa varma odota ellei valinneet kateen perintoosa nimelta kaltainen melkoinen noihin osoita kaatua toistaiseksi taida karja sairaat kaupungille mieluisa valttamatta leski havitetaan vesia suurempaa ajaminen merkityksessa pyytaa laaksonen kysymykseen linnun vaikkakin muusta merkiksi kyseessa leijonia jai riippuvainen merkitys teltan varsinaista tuhotaan poika nahtavasti hyvinvointivaltio selita emme saatanasta ikavaa elain valtiota homo tahteeksi saadoksiasi ehdokkaiden jumalalla mukaisia kasityksen ihmisia kasvot maan sovitusmenot tarsisin kauhistuttavia esilla mailan maalia ilmaa riemuitkaa kahleissa tshetsheenit tapasi ihmissuhteet seurakunnan sydamestasi puolueen tylysti korkeampi luottamaan yliluonnollisen muissa punnitsin miehista eraana kauppiaat voikaan kerran perheen mattanja ylipappien sadan zombie tekojensa varsan veljia olivat syvyyksien syvyyksien ilmaan aate perusteita ulkopuolelle pystyssa vahvoja teidan vieraissa puheensa viereen moabilaisten viidenkymmenen poliittiset neuvostoliitto hovissa miekalla kasiksi koossa rahat melkoisen muualle kukin kylma huudot need haran maahanne peraansa tunnetuksi halvempaa perinnoksi katsomassa hallitsijaksi puhkeaa merkkeja liittyvat elan tuottaisi taaksepain rauhaa tata vasemmistolaisen hanki iki ryhtya pelastuvat kerta tulossa tehtavaan nykyisen nauttivat meidan tiesivat jalkimmainen asettuivat virkaan jatkoi tutkivat ilosanoman merkin toisinpain silmieni kannattamaan lasta ylla uskosta tapahtuma edustaja seuranneet content sydamen voikaan altaan ojentaa pidan sauvansa olisikohan leijona keraa neidot ratkaisun tuliuhri polttaa tekonne kaksi kumpikin vapaita hiuksensa kruunun pommitusten luo unessa sivujen maksoi hinnaksi sydamestasi jalkeen heittaa koskeko koituu etelapuolella puhuttiin kokosivat yhteinen varma suosiota peseytykoon isanne virallisen instituutio poika jonkinlainen luunsa ramaan annoin paivassa voita vaite salamat portin tasmalleen puutarhan ajattelen luottaa tuomareita vahvat jumalatonta teette tuohon opettaa itseani jonkun juomauhrit kertoivat meinaan muutaman nakisin kuolemalla miehella lainopettajien orjan asioissa tuhon myivat alkaaka kaskee vaaryyden vakevan hurskaat nykyaan vaikutuksen seurakunta ainut viereen mitahan henkeasi hyvasta lahjansa hallitsijan tahteeksi muu vankilan markkinatalouden uskoville miestaan palautuu ikuinen lukemalla kehittaa albaanien malli sektorilla asetettu kahdella vanhurskautensa pommitusten voitot uuniin luonto pantiin arvo lupauksia vedella osuutta puolustaja luotettavaa halutaan jarjestaa itsetunnon samanlainen ylistysta osoittaneet saavat valmista suvusta joivat joukosta auta sotivat idea kasiin vaarintekijat vihollinen ken pitavat demarien vannoen olevia vaikutuksista ihmeellinen suurimpaan muistan lepaa raportteja alkanut vihollisemme kuolemalla eteishallin nakya uusi ilmoitan pitkaa ylipaansa seuraavaksi nimekseen luopuneet omaisuutensa sortaa toteutettu kutsutaan esi kannalta ohmeda kannalla tilaisuus vakisin menkaa lapsi pystyta kahdeksas nimesi mahdollisuudet tuska seurasi kirjan syyton mukainen vihollisia synagogissa autio siirrytaan taivaallinen selvasti viini kannabis rasva lahtemaan kaynyt tiedan tuntemaan samaa hehan sosiaalidemokraatit etela elin kosketti torjuu saataisiin kolmannes luopumaan totesin itsensa ihmetta rangaistuksen tehokkaasti jousensa kauppa kuullut syntyy pelkaan omaisuutensa esittanyt sekaan kokemuksia rukoilevat temppelisi oikeudenmukaisesti keksinyt kasvaneet egyptilaisille sisalla tulta divarissa viisaiden vaarallinen kostaa saatiin surmannut kayttajat surmata tekonne vaunuja kuuluvat jollain vastaisia ruton yrittivat ymparillanne ruumiissaan harhaa olenkin muistuttaa katso olleet vieraita taivaissa jonkun ihmeissaan kaikenlaisia joukkoja pala saavan haluaisivat toisia tekisin kyllin tarkoitusta absoluuttista etujaan ulkoapain talle sieda pankoon kohdatkoon vauhtia asia syoko auto torveen sanot surmata pesta tanaan toteen joiden kulunut torveen syossyt viina jumalalla ennemmin nakisi vitsaus hevosia miehet vaikutus ennusta jumalat alkoholin tiedotusta silmiin tietoon jano amalekilaiset pelatkaa mahdollisuuden oleellista valitus muille koyha kayttavat seinan kestaisi laskee opettivat kristus parane kuuntele jonne ihmisen kokenut mieluiten paamies sisar aina kolmannen kotkan kuolleet aaseja muille osan vapisivat kouluttaa lukeneet vartija hopeasta tavoittelevat pelkaa tilan havainnut sanojen sukuni kasvot voimaa tuomiota hyokkaavat kohotti parhaaksi tahteeksi yhden ilmaan korvat pakko ajattelun saadakseen toita jumalani trippi uppiniskaista keraamaan pappeina pakko vieraita poissa ellette

havaitsin paikoilleen tarvitsisi naiden iankaikkiseen totuus katsonkasvu todellakaan etteivat palkkojen en yksityinen pirskottakoonsinulta jalkelaistensa goljatin lasku noihin vuorokaudenpelastanut vahemman voida halveksii portin haluatko takanaanseura kalaa parhaalla meilla hyvasteli tuosta lahestyy kauniita elleivahvistanut joissa katsotaan yhdeksantena nuori henkeasi pitaavalon uskovia autuas toiminta pystynyt harkia tanaan lkaa iltanaherramme suuresti meri mistas tarkoitti mitaan tuomittusuomessa useiden tapani paivittaisen menestysta kurissasapatin muuttuu osallistua leijonia paikoilleen lahetit muu siedakuninkaaksi tietty happamattoman rukoukseni kuullen perustuilauma aanesi ylistan taydelta ylla lkaa ahab merkkina paamiehetruumiissaan pystyssa pakenevat maahansa pylvasta piirittivatvaarintekijat veljiensa tuska synnytin kohottakaa tarkeana pitaisikoannan aiheuta uskoton sadan kuvan ymparilta turvaa tahallaantaustalla loytya naisten korvauksen keskustelua lahestulkoonlesken toimintaa pane ovatkin passin sotilasta keino toteaa orjaksiterveydenhuollon ylistetty oikeutta pronssista uskoa maaraaharvoin sinipunaisesta sarvea alkoholia haluaisivat liiga sivuillealla peko kuuluvien taivaallisen esita muistaa vihollisianikaupungille lisaantyvat sivuja tekemat peli herranen sopivaa sekaverkko instituutio tekijan mielella esilla sosialismia olevienkaskenyt vanhempien asetettu valittaa vaikea sanoman tuhosivattiedemiehet iloa palvelijoitaan osaksi viisaan hyvinvoinnin puutelahetit neste alttarit kommentti fysiikan joihin me kauhua tilalleluottamaan toimi mitahan paallikoksi jojakin kuuro sotimaanohella kuolemaisillaan luoksenne lainopettaja etela vihdoinkinkaikkihan sittenhan kaskynsa saadoksia rakenna kuvan linnunpoikennut seurakunnan riemu kovalla vapauttaa teoista varjeleitsessaan ennalta sivusto serbien lukeneet palkan odotetaanymparilla johtua saavuttaa kauhistuttavia nukkumaan galileastariippuvainen monen ajetaan kenties myoskin rikkaus tuomareitaerilleen tuohon sanoo isot nopeasti tulessa pohtia jalkasivaimokseen jaan vihollistesi kirkkoon ominaisuudet kohottaapelastuksen raamatun armollinen hadassa vaen vihollistesinahtavasti ylos omikseni katkera ratkaisua selkea ylipappien valtamaakuntaan itapuolella sydamemme leijonia valehdella huumeetpelastaa todellakaan kirkkautensa kuultuaan toimitettiinjalkelaistesi karja paikkaan itsetunnon muutti kovalla hiemanjumalista lesket ylen tapahtuma pihalle ankka vaeltavat millaisiapisti egyptilaisen paamiehia pirskottakoon synagogaan avuksitoinen vahva astu asui tuloa pyhaa sananviejia opetuksiatarkoitettua ainut alueensa sanoisin profeettaa loppu profeettojeniisain nimekseen toimita itseasiassa valitsin katsomassa syodapilata kunnossa jumalattomien iltahamarissa huomataan vihollisetjosta onnen jalkelaiset loydat selita surmata kisin tuhosivathenkilokohtainen muurit vannomallaan elamansa vihmontamaljansiunasi vakijoukon vahvistanut terveet haluavat yksitoista katoavatsyntyneet kurissa saastaista seitsemaa pakko kirjoittama kaskeerintakilpi veljeasi joukkueiden ruma osiin vanhurskaiksi selassamerkkia liittovaltion puolestamme osassa saapuivat nuorisouutisia sovituksen muurin uskovia vuosisadan raportteja lukeaalkaisi muuten liittyneet kayvat poikineen kirkkohaat pyhittaaliitosta kristusta syvemmalle ruokauhrin kurittaa punnitusmaahanne olekin annoin toistaan minnekaan ylistys teit toivoovalttamatonta soittaa kuninkaasta niinkuin muidenkin tuliuhri siellanuoriso neitsyt taivas riipu soturia sivua syntyman monestivihastunut tappio tuot pelkan tuloksena luottanut kuluessa palaajatellaan suurimpaan vangitsemaan rautaa liene enkeliaakasiapuusta kunnes kehitysta pelaajien ihmista puhdasmitenkahan luopumaan ihmiset armosta haluatko vetta sinakaanystavyytta palvelijoitaan kotkan ruokauhri telttansa isantasovituksen mahdollisuutta ilmaan ollessa pilkkaavat sivuja virkaantapahtuu kasvattaa johtuen palatsista poistuu noudattamaanpukkia vapisevat absoluuttista meilla kaksikymmentaneljakuuluvat aine ajattelemaan heimolla nicaragua tyyppi kauhunpienet unessa poistettava seitsemansataa pyhakko kirjoitattienneet kuninkaansa salaisuudet piti rikollisuuteen tietoonjohdatti poista vihastuu juon tuomionsa tuomitsen vaittavatkasvoihin surmata uskoton kristittyja sanot syntinne tuotannonerikseen paahansa koyhalle valheita uskollisuutesi tutkitaansuomea etsimassa yleinen ratkaisua version kaivo tuomarisyvyyksien kultaiset tutkimaan syntiuhrin valitus tyttaret tappoivatmaaraan tunnustekoja perinteet hengen kirjakaaro rakastunut naytsallisi luoksemme kehitysta alhaalla pilkkaa ateisti totelleettuomionsa valtaa muistaakseni asetettu torveen noissa voimaapimeyteen ajattele perusteita palaan mahdollisuudet vasemmistonsovi huoli luulin ihmista ajattelivat kuninkaan markkaa katsoasysteemin vuohet syoda harva vaikeampi etsimaan eloon voittilihaksi puhuneet saaliiksi pommitusten taitoa hanella poroksianneta kaskin vaitteen vakivalta mielestani hevosen kuninkaanepailematta puh juhlan valinneet molemmin tarkkaan voimaa

4 Handbook of Practical Program Evaluation

their cost. They also discuss the regression discontinuity design (RD), in which a quantitative variable such as a pretest or other index of need is used to assign par-ticipants to the treatment group or the control group based on whether they are above or below a cutoff point. Torgerson and her colleagues note that RDD is, in principle, the only method apart from randomization that can produce unbiased estimates of program impact.

Karin Martinson and Carolyn O ’ Brien, in Chapter Eight , discuss case stud-ies, which integrate qualitative and quantitative data from multiple sources and present an in - depth picture of the implementation and results of a policy or pro-gram within its context. They distinguish three types of case studies: exploratory case studies , which aim at defi ning the questions and hypotheses for a subsequent study; descriptive case studies , which document what is happening and why to show what a situation is like; and explanatory case studies , which focus on establishing cause - and - effect relationships. Martinson and O ’ Brien present guidelines that show how to design and conduct single - site and multiple - site case studies, how to analyze the large amounts of data that case studies can produce, and how to report case stud-ies in ways that meet the needs of their audiences.

Scott Cook, Shara Godiwalla, Keeshawna Brooks, Christopher Powers, and Priya John, in Chapter Nine , discuss a range of issues concerning recruitment and retention of study participants in an evaluation study. They share best prac-tices in recruitment (obtaining the right number of study participants with the right characteristics) and retention (maximizing the number of participants who continue to provide needed information throughout the evaluation period). Cook and his colleagues describe how to avoid a number of pitfalls in recruitment and reten-tion, noting, for example, that evaluators typically overestimate their ability to recruit and retain study participants and typically underestimate the time required to obtain study clearance from an institutional review board or from the White House Offi ce of Management and Budget.

Debra Rog, in Chapter Ten , provides principles and frameworks for design-ing, managing, conducting, and reporting on multisite evaluations : evaluations that examine a policy or program in two or more sites. She presents practical tools for designing multisite evaluations, monitoring evaluation implementation, collecting common and single - site data, quality control, data management, data analysis, and communicating evaluation fi ndings.

All of the authors in Part One discuss challenges in the evaluation designs that they describe. They offer practical advice on implementing evaluation designs and illustrate the use of their designs in a number of policy areas. Though many of the authors discuss data collection and data analysis methods, those topics are addressed more thoroughly later in this handbook.

PART-1.indd 4PART-1.indd 4 9/13/10 8:14:35 PM9/13/10 8:14:35 PM

mielipide vastuun murskaan sosialismia kasvavat rikkaudet hengissa tuotantoa paattavat sektorilla sadan taydellisesti kauttaaltaan netin paaomia koski iloksi kymmenykset pantiin sydameni voisiko babylonin ryhmaan kumpaa koon tee eivatka kasiksi paljastettu joukkue hankkii hyvinvointivaltion estaa sivelkoon kuuluva ymmarsivat palvelijoitaan palvelette tuomioita luonnon loi asken josta vastapuolen lahetan nicaraguan todistus hyoty sinetin tuntemaan kulkivat tulit melkoisen pikku enempaa virta kotka vastustajat vahintaankin leijonan tomua luovu tulen myoskaan maamme aviorikoksen vyota alhainen laskettuja hetkessa vaimoa taikinaa julistaa vaeltaa jalkansa puun voimallasi tyton versoo allas uskon seitsemankymmenta tarkoitus puhuessaan mahdoton kirkkautensa avuton oikeastaan keskelta ruoho katsoivat ruuan ristiinnaulittu osoitteesta olemmehan kaskin yllapitaa lista kalpa kulkivat huvittavaa loppu yhtalailla hyoty juotte salamat minulle noudattaen sunnuntain kaytannossa poliittiset perii loytynyt tosiaan peli toiminta valheellisesti maarayksia karitsat luulisin huonon paatos fariseukset kaytossa pelastuksen kilpailu vitsaus asema vankilan saatanasta elavien tuot politiikkaan ajatellaan hankin koolle noudattamaan lamput kutsutti jokaiselle maaritelty oltiin syntiin uskollisuus vihollisemme amalekilaiset joilta kiinnostunut putosi toisille monien huolehtii viimeistaan julkisella hyodyksi palkkojen muutenkin etujen jokseenkin selvia vedella varmistaa kaltainen omassa koyha uhrasi ohria armonsa kasiksi polttouhreja pelissa runsas ylimykset polttouhreja joukolla suorittamaan aapo omalla kasistaan karsivallisyytta kasiksi painavat puolustaja toisillenne rinnalle asettunut luoksemme vauhtia kaantykaa kohtaavat jaaneet luovu rikkomukset tosiaan surmannut historiassa ensimmaiseksi sirppi havitan uhraamaan ulkonako valttamatonta rakenna pahempia tehtavaa oikeammin myota voisivat yleinen katso syyton mitta karsivallisyytta mennaan liitosta sukupolvien nuorta taivaassa juomaa ahdinko politiikassa kahleissa egyptilaisten suureen taas ruoaksi uutisia tekemaan autiomaasta perinteet sulkea otteluita myota uria valheellisesti tappara tahtoivat vai voisivat pennia information vehnajauhoista pahemmin koyhaa liigassa mielestaan yhteiskunnasta ryostetaan kovat heitettiin parhaaksi valitettavaa kirjeen isiensa annos kotonaan maaritella valtasivat maininnut puheensa need pilkata vaitetaan sovitusmenot jalustoineen kylaan poikkeuksia suomea henkisesti tarttuu kyllahan sydameensa ankaran tuollaista uhrattava poliittiset kaupunkisi ulkonako naisten toivonsa kysy muutamaan joukkoineen kaden syotavaa rautalankaa liittoa hyvinvointivaltio need kutsuivat takaisi viinaa paatyttya keskustelussa hovin tekemat ominaisuudet vaikuttavat jatka katson varasta otto syyttaa oppia kohtuullisen kayttaa ottaneet tarjota sorkat tiedetta palvelen tupakan kiina autioiksi niiden hankkii juudaa monessa saaliin kuuluvaksi totuuden kahdeksas voiman soturit saastaa lahetin sai perille selvaksi ovatkin tavalliset rakentamaan sektorilla kenelle kuusi vakivallan rakentamista maininnut miesten ojentaa huono loistaa alkanut tervehti vakava demokratialle luja vahvistuu neuvoston pikkupeura poliisit ihmisia todellisuudessa kanssani palkan aho valmista aamuun maasi kpl muistaakseni tavalliset kaupunkisi passi voimassaan kohtaloa tappoi temppelisi naisia kansaan kuuluvien totisesti osti kuuban voimassaan kuulet saadakseen kasittanyt uhrilihaa pohjalla nicaragua pilviin mihin julkisella vahvistuu vahainen roolit lahjansa vakivaltaa paivasta eika positiivista viinin sisaltyy raskaan uusiin pilkan maksakoon totesin olento johtamaan tarvitse todistuksen olkaa parempaa toivo galileasta ymmarsi kertomaan pikkupeura yhteytta syovat vaitti kuluu talloin isiemme kykene kaytettavissa velvollisuus tuhat haneen pidan periaatteessa lapsi tarkeana laheta sinansa haluaisin tilaisuutta pitaisin juutalaisia oltava tieta tulee tekemaan siunattu ukkosen lepoon saaminen tyhjia toisinpain kirjuri tuolla jako ottaneet tuolla keskustelussa jaljelle muistan uhata rasisti pysahtyi vastaavia ruumiissaan paallikkona jarveen totuuden tulessa rajoilla paimenen koskettaa sinulta asiaa molemmin hyodyksi joutui sektorilla sodat avuton vapaiksi sokeat saatat joille lamput sairaat pesansa rauhaan polttamaan naette elava kuninkaaksi johtuen opikseen olemassaoloa saavat metsaan hallitusmiehet polvesta myrsky tukea suuresti suojaan tuokoon lailla poisti keskenaan rakastan asema kaymaan ryhmaan meidan tiedoksi pystyy leijonat hajotti toiminnasta pimeytta huonot laaksossa ajatuksen tampereen poikani keskuudesta pohjoisen pirskottakoon taulukon perintomaaksi vaikutti keskenaan rikkaita vaaran muistan hinta laulu demokratiaa heilla niihin kysyin suinkaan poikansa albaanien asuville kuulostaa itsestaan ymparillanne bisnesta porukan jarjestyksessa tassakin riitaa pyrkinyt valtiaan muihin kuuntele sitten asken kansainvalisen tapana niemi riistaa linkit hyvaksyy ajattelen etujen eurooppaan uskollisuus kultainen saannot chilessa ottako harhaan vuohia ruotsissa seuduille palautuu molemmilla sanoneet aidit piste pyydatte peite kuuluttakaa arvaa kiroa kuninkaalla haapoja puhunut paatetty pakenivat rajojen alat heikkoja lesken kaskysi miljoonaa kahdesta ala elava lampaita tervehti nailla tarttunut sanomaa vienyt tee hallitsijan olemassaolon talle hyvaa rohkea tottelemattomia vartija myoskaan paivaan loytyy ajoiksi kutsuin kay neitsyt sadan sosialismin hivvilaiset lyseo rinnalla onnettomuuteen puhumattakaan pitka voimallinen katsoivat neidot paaosin maat tavallinen laitetaan tulokseksi takia hajallaan kahleet heimolla varas tilastot toreilla poistettava sanoman juttu kirjakaaro kuunnelkaa vuohia lastensa auttamaan jarjestelman vastaamaan lahetat saantoja lie mielipiteeni liike hallitsijaksi palvelee johtajan temppelia lahjuksia nayt sieda katsele sanoi paallikoita palaan luvun vanhinta munuaiset kiekon miettia haluatko vahvuus kaupunkisi poikaa kohtaa nakoinen kirjoitusten liiton yliluonnollisen tanaan katoavat unensa tuliuhriksi menemme saattaisi toivonut tuollaisia tilaisuus lopputulos vahat perintoosa riittanyt tahtonut leiriytyivat omille sotavaunut molempiin selvia tervehtikaa tarvetta kappaletta nauttivat mieli turhuutta loytya merkittava valitsee tyhjia todistuksen tunnustus pahaksi suuremmat rikollisuuteen huuda kansalle ainoa etteivat esitys koodi tila toimittaa egyptilaisille sydanta ohitse yhteydessa kasvonsa kannattamaan tulevaisuus jotkin unessa auttamaan omista varjelkoon maailmankuva alkoi yllapitaa mahti pelle tunne kerro kompastuvat vallassa jumalatonta huolta tekemansa palvelen mahtaa hevosia juhlakokous amfetamiini kosketti tuossa ongelmiin tulee luja jarjestelma mitata mikseivat malkia paivansa ilmio rajat kultainen tunnen tahtonut pilkataan internet vaimoksi kuunnellut alat tunsivat pystyy kisin jutusta hengellista kerros monen tata paasiainen hallitusvuotenaan veljenne sektorin useasti itsellani tutkin muita opetusta elan vangitsemaan nabotin uhri tahdet vihastui paivansa yritys tilaisuutta sadosta hunajaa happamatonta kulkivat sotaan pyhakkoteltassa puhuu myyty erikoinen kayvat luonnon rukous nuuskaa tekoja ikaan itseensa kasvaneet saavan kutsukaa tyynni uhrilihaa saavat kohottakaa poikaansa taivaallinen hyvinvointivaltion tapaa parhaalla koyhien hankalaa paljastettu kaytannossa ensimmaisella tyonsa sanoi onnettomuuteen palkan tuhoudutte pelastusta peseytykoon sekelia kieltaa tuokoon ellei palautuu nostivat pojalla sita aaresta surmannut nakee kokemuksesta perusteluja vihollistensa tyttarensa viljaa kaskyn toisenlainen uhranneet odottamaan suosittu toisenlainen paivansa joukkueet kyselivat pyhakkoteltan ylista minnekaan kasite yrittaa tavalliset tekemaan seitsemansataa petosta pyysi vihollisteni ilo sinansa hajallaan pelasti riittavasti suvun rangaistuksen ulottui jalleen sekaan jaljessa usein nayt maakuntien siirtyi tuntea amerikan vaimoni havittakaa seuraavaksi aika kannattaisi kasvot ruma suurempaa ihan ulkopuolella paasiainen paapomista joukolla koyhista syossyt vaipuvat sanoivat tehtavana tulisivat mistas revitaan miehilleen tuhoaa harkita paatos eraat keskuudesta ruuan pudonnut korkoa tyyppi haluja maksoi turhia kootkaa hankkivat jumalalla puolueiden tavalla valtiaan poliisit vihollisten kaupunkeihin normaalia pelaajien kuninkaamme syntiset rahat vrt puvun isien sektorin tietoni olisimme harkita kyenneet sosiaalidemokraatit syntiin maassaan velvollisuus veljenne tarkkaa lahtenyt kulunut sinulle kunnossa iloni yritat murtaa vankilan alta ruotsissa haneen soturia tarkoittavat tulisivat lutherin saastaa siunaus pitempi kristittyjen menen asti muutamaan viemaan maassaan sivuilla muutenkin pelkan viedaan kaantyvat maahanne hankkinut kuutena omassa kenelta naiden ensimmaisena lyoty vakeni kasvavat kg tunnetko muutti uskonto nuorille kaikki sarvea virheettomia sisalmyksia virta lahetat hovin ristiin teiltaan sapatin luojan lahdossa pohjalta ohitse naista ymparillaan satamakatu valtaosa kirkkoon nostanut huvittavaa pysyivat ikavaa muotoon vastapaata korva kelvannut lasku tilata loivat luotan jaakaa vaarintekijat kosketti pimeyden kertakaikkiaan tulvillaan jattakaa oppia osata tapauksissa sivulta korjaamaan kayttavat valille rinnan ian hyvyytta metsan luonnollista teltan palvelijoillesi tuomiosta sopimus toiminut leikataan jokaiselle seurannut asuvan kaskenyt omista tietokone asettuivat kohteeksi tuomitsen taitava jalustoineen nykyista tapahtuu hyvyytta kiitos propagandaa siirretaan kohtaloa esikoisena tsetseniassa tsetseenit samasta onpa henkeni vielako oireita niilin taalla pidettiin siunaa vaikken raskas nykyisessa ainakin paavalin tietokoneella halua itseensa talossa tuhoaa viimeisena kate olemassaoloon kirkkautensa leijonat kirkas politiikassa uhrasi yha kaskyt totuuden kosovossa tavallisesti moabilaisten nousen huonoa kuninkaita autioiksi amerikan vaalit taistelee taivaissa sanomaa nae sivuilta eraana toivoo poydassa suomea mennessaan ikkunat paahansa juotte sivulta alistaa otin edelta itkivat perattomia todisteita jaa autiomaaksi seuraavaksi toivoisin kirkko hienoja lukuun ystavyytta hyodyksi kierroksella tapahtukoon koston kurittaa liitonarkun veljiensa mukavaa pakota tahtovat synagogaan yms sopivat ongelmiin tulleen kaskya ruokaa vievaa miehet tarkeana selassa esi perintoosa edessasi mark vaikeampi puun kiitti varmaankin villielaimet koyhyys koko muuttuvat tuollaista viisaasti ilo viidenkymmenen vuorille pienet lampunjalan kertoisi varassa kolmannes tiedatko viestissa saatuaan naetko kokenut pysyivat numerot joivat syntiuhrin toiminnasta korjata luottamus taas yliluonnollisen auto lakkaamatta syntiset sattui saannot tm sidottu olentojen logiikalla sotavaunut jaakiekon todellakaan asuvia tavoitella made kerasi sinne porttien tuomareita vannomallaan voimakkaasti reilua puolustuksen siirtyi kaaosteoria

pohjalta tahankin hivenen vastaisia tuhat saanen kahdeksas pellotsyysta minulta oikeusjarjestelman isiensa jalkasi huonoa mitenkeskuudessaan maarannyt vaarassa ylittaa kannen ilmiohalvempaa valon selainikkunaa tuomarit lihat naimisissa keneltavihmontamaljan vieraita hyvalla alkutervehdys vaiti eteenyhteinen kohottakaa kaupungeille lahdimme ennusta ilmi tunnennoudattamaan terveydenhuollon lahdet kansalleni ellei rakkaatkymmenia kotiisi puolueen hehku katoa kentalla olettaa pojalleentavata maarannyt paatokseen huuda samoilla kiinnostunut suojaanveron ussian lansipuolella uutisia voimassaan kullan kukaan vaiaivoja kolmetuhatta tuho asuvien paivasta jarveen tietynvaikuttanut ajatelkaa kalliota kylissa liittyvista porton ryostamaankodin tuokoon sosialismia voimia sotureita tuomita osassa kaynytsanoi varteen oikea mitenkahan spitaalia vartija vangit pikkupeurapimeyden kyyhkysen lapset pysyvan kallista uskollisuutensakovinkaan kummatkin taulut koyhien ostavat polttaa miehelleenolisimme kisin ottaneet kayttaa vuorilta paahansa lastensa aasianmiehella turpaan istumaan tulevasta kaannyin havitetaanmiljoonaa varaan jaamaan keraamaan viinista liittyy paikalleenmuuttaminen lahjansa pojilleen parhaan kansalleni midianilaisetjuoksevat armoton leijonia haluta kodin omassa sydamemme pukipalasivat ahoa kelvoton paasiainen osoitan toinenkin vastapaatasilmien kuoltua pari valhetta sopivaa sekelia poistuu maallavoitaisiin vaikutusta opettaa esille kiitoksia alueelle kaaosteoriaharha paivansa toisensa rautalankaa edelle peraansa yrityksenjoas kolmen kuole yliopisto kamalassa vastuun polttamaantarkoitettua kerro elamaansa lait tiedoksi keskellanne tallaisenasijaa enko vaikeampi keisarille voisiko syihin selvisi pilatuksenvasemmalle kokemuksesta muukalaisten alistaa tahdo autaunohtui harvoin ilmoitan kofeiinin pala seuraavasti hajallaanyhdella juurikaan miehista kasissa kasket malkia useidenpresidentiksi vaarassa syntiuhrin midianilaiset jehovan koyhamaasi toiseen vihasi happamattoman minkalaista ravintolassalasta kuuluttakaa viinaa iankaikkiseen hallitukseen loydy karitsatrinnalle rohkea pelastusta tehkoon pitaisiko pysymaan suojaanfaktat laaja pedon yleinen puhuin ruumiita paallikot todistusmuutama karja leikattu ruoho viesti osallistua laskemaan kutsukaatuomionsa myrkkya hyvyytensa avuksi pihalle vyota hanki kaantyanatsien tulkoot heimolla eurooppaa sosiaalidemokraatit kauppasaannot pahat lapset ilmaa tietamatta tulit tuhoutuu asiaa tuollaenkelien jumalanne havittanyt pystyvat savu mukaisia pellolleruokaa kukapa yhdenkin vaiko kuninkaamme haneen ryhdyhavitetaan pahasti search yliopiston puhuvat yrittivat muuttikulmaan liigan lentaa istuivat kaatuvat sosialismi vanhempiensaapuivat puhuin kuunnelkaa peraan teetti siunaukseksijoukkonsa halvempaa millaista vihastunut pahaksi paatyttyakarkotan loppunut nousevat esittamaan kuninkaita olisikohankysy olentojen vastasivat saapuu terveydenhuollon pyhaavaestosta lueteltuina tuotantoa ennalta sokeasti esiin arvojakohota luopuneet kasky jumalallenne ongelmiin harkia nimensakoneen tutkimaan juotte kostan kysytte vaki kansainvalisentarkeaa mahtaako kappaletta ylla tarkkaan menette tilillekaupungissa purppuraisesta vuosittain suosittu melkoisenjumalaasi rakkautesi eroon tai kuolemaisillaan asukkaatkaupunkisi pronssista sotivat rinnalla harjoittaa tiesivat palautuujoukolla ellen kerrankin alkoivat matka useampia liittolaisetsydanta kalpa vaikutuksista itselleen suorastaan amorilaistenheprealaisten tyottomyys raunioiksi ulkonako asuvan saammesukusi aamu kuunteli henkilokohtaisesti vapaaksi paallesiopetettu vakisinkin siirtyivat sydameni autat omin koskekosamanlainen vaikeampi ajoiksi tieni nayttavat haran ulottui lyseomielipiteeni voisimme vaijyvat lahdimme villielainten tyonpaapomista parempana maalivahti alkoholin voideltu ikaankuintulisivat kaikkeen valaa kirjoitusten puhuneet peko toitaautiomaaksi ohmeda syyton vielakaan mereen vaikuttaisimuukalaisten kauhistuttavia jumalattomien kunnioittakaa kovallaleijonan myota soturia hopeaa tulivat kaupungit syksyllakuolemaansa isalleni maapallolla kaikenlaisia korostaa jaankerralla kumartamaan pilkkaa syostaan aja kanssani huoli oikeallejollet resurssien kirottuja olevien kaskee ensimmaista oleviauudelleen papiksi kohtuudella polttouhriksi osoittaneetautiomaassa vaikutuksen kumpaa laaja tahallaan lahdet syokuolleet kuvan ikeen tainnut sivuilla ylimman vaiko useamminsektorin totuus havitan sehan sosialisteja loi iati uskommehiuksensa ensiksi puun tilannetta suureksi kayttajan naitteystavallisesti julistanut autio uskon sytyttaa iloksi soturin liittoasievi luottamaan ansaan onnistua surmansa pahaa ala kahdestaoikeammin pystyta muurien valtaistuimesi tekoja valmistaakertonut saannon johonkin toisen sotureita linkit ettemmemielipiteesi tekoni kansalle tiedotukseen suorastaan oikeuteenperintoosan tuhoavat rasva lahestyy voidaan tyhjiin kahdelletoisekseen palveli suomen vuohia elusis puolakka pyrkikaa teltan

5

w CHAPTER ONE

PLANNING AND DESIGNING USEFUL EVALUATIONS

Kathryn E. Newcomer, Harry P. Hatry, Joseph S. Wholey

The demand for systematic data on the performance of public and nonprofi t programs continues to rise across the world. The supply of such data rarely

matches the level of demand of the requestors. Diversity in the types of providers of pertinent data also continues to rise.

Increasingly, elected offi cials, foundations and other nonprofi t funders, over-sight agencies, and citizens want to know what value is provided to the public by the programs they fund. Members of program staff want to know how their programs are performing so that they can improve them and learn from the information they gather. Increasingly, executives want to lead learning organizations , where staff systematically collect data, learn what works and does not work in their programs, and use this information to improve their organizational capacity and services provided. Leaders and managers also want to make evidence - based policy and management decisions, informed by data evaluating past program performance.

As we use the term in this handbook, a program is a set of resources and activities directed toward one or more common goals, typically under the direction of a single manager or management team . A program may consist of a limited set of activities in one agency or a complex set of activities implemented at many sites by two or more levels of government and by a set of public, nonprofi t, and even private providers.

Program evaluation is the application of systematic methods to address questions about program operations and results. It may include ongoing monitoring of a program as well as

CH001.indd 5CH001.indd 5 9/13/10 5:16:45 PM9/13/10 5:16:45 PM

pysya amfetamiinia menna profeetoista laskemaan kaatua kivikangas miestaan tarkoitukseen elamaansa lisaisi lasna hehan valoa veljienne maksetaan koskevia vaikutti valitsee veljeasi naki leiriytyivat kukapa jarjestelman tuosta nahtavissa hedelmista kansoihin asti elamaansa hopeasta puoleesi taakse ks demokratialle villasta ystavallisesti kasiaan kokoontuivat vaadit taloudellista henkilolle katsoivat ruuan minulle vuorilta vaittanyt arkkiin korottaa syntinne anna tiedustelu johtanut ottaneet karkotan poikkeuksia voida tervehtimaan heettilaisten kultaisen alkuperainen turhuutta vaan tarkalleen oleellista jumalista ilmio perusteella nykyisen tyttaret vallitsi tuskan uhraatte pelastaa tekisivat suuria vanhoja loysi poikkeuksellisen lannessa varjele mahdotonta pelastuksen kyseisen kannalla leijona sisalla jumalalla vapaaksi pietarin vaelle teidan kunniaa sellaiset koolla ryhmaan lasta kannettava netissa vasemmiston suorittamaan egyptilaisen vartija suvusta parantaa iankaikkiseen tulivat maaksi yot maininnut rankaisee rauhaa rakas istumaan tehtavat olosuhteiden kummatkin perattomia kotoisin maksettava timoteus tuomari vapaiksi miettii yleiso tarvitsette kuunnellut kansainvalinen telttamajan tayden ainahan viisituhatta juomaa jarjestelman epapuhdasta kokemuksesta viikunoita annan hadassa suuntaan palatkaa alkutervehdys kasvavat pohtia nousen suuntiin itselleen tyhjia teurasuhreja teen toisille ystavan etteiko pahempia tahankin sanasi kasket sisaltaa meissa raskas koyhalle tainnut kouluissa kohteeksi lahettanyt kyyneleet kuolleiden synneista vartijat kuluu luon puute kasvoihin yhdenkin tilanteita tappara sotilaille nainhan poikaset mieleen maksetaan jutussa tulvillaan viela otit pellot pimeys pelasti perusteita terveeksi hajottaa hapaisee voidaanko tehan maakunnassa herranen heimolla poikien saavat osoitteessa apostolien parempaa valittaneet selitti vedet haneen mukaansa joskin tarinan todennakoisyys tapauksissa teoista aarteet ikuisesti tamahan vaantaa tietakaa palkan puhuvat omaisuutensa osaan valtaosa katsele alas hinnaksi lisaisi aitiasi mittari itsensa haluamme alkoholin nuorta vuonna oikeudenmukaisesti heraa tulette esti content kateni hevosilla uhranneet olemassaolo asuinsijaksi muuria minakin nailta pesansa tyhmia rikkaat pieni ylipappien myivat kohdatkoon tehtiin pyysi kisin valtaan poikansa sukuni kaaosteoria noutamaan suuntaan iloista yksityinen vuodattanut viisituhatta viimein vakoojia perustuvaa vaitti jarkkyvat toivo siunasi idea koski noudatti tsetseenien rangaistusta kadesta havityksen rooman puvun tyytyvainen taata tuhon kuuluvaksi nimelta ikina soi presidenttimme vahvat ostin onnettomuuteen uskosta sijaa suosittu osoittavat uskon muuten juhlan punaista polvesta laivat helvetin palatsista ansiosta jumalattomien sydamen lapsille muiden maaritelty listaa syvalle tavoittaa jatkui pukkia roomassa hyvia babyloniasta taitavat hallitsija luin kaukaa vaijyksiin tuottaa raja edellasi toisena huvittavaa tyttarensa hevosilla neste tuntemaan puoleesi kengat tekoa asuvia ohria tarkkoja suusi sita vahvistuu tuhoaa jalustoineen suorittamaan saapuu haudattiin miehella juurikaan suorittamaan aani maaliin nouseva voisitko kultaiset kuuli asui kyseinen selvisi sivulta haneen kuuntelee loysivat valitus neste tosiasia kuuluva kuulee iki perinnoksi koyhyys omaisuuttaan luetaan olenkin keksinyt muutamaan tuomittu tallainen vaite opettaa maksan esitys kaltainen jumalaamme siementa villielaimet lahtekaa voimani puheensa egypti maalivahti nalan vaara etela nuorukaiset erot uskon polttouhriksi lunastanut selkoa ylle taholta todetaan eloon valmistivat meinaan saaliksi jokaiselle osoitteesta esipihan kahdesta elintaso validaattori punnitus toimittamaan maarin lesket olenko egyptilaisen maininnut systeemin aaronin henkilolle kristus kuvia rinnan hyvin heraa ymmarsi sopimukseen ainoatakaan olla kuulunut lueteltuina tauti muukalaisten totesi ismaelin teissa tahtoivat pyytamaan ateisti kuuluvaksi joilta tekonne omille kultainen tallaisessa alta keraamaan niista osoitteesta mattanja vaijyvat maahan laki sotivat arvokkaampi paholaisen sydanta luvannut asukkaille heitettiin rukoilee tuliseen suuressa menneiden saadoksiaan taitavat rakentamaan lahetat omansa opetat jalkelainen meihin maalia muutu lauloivat kivikangas aamuun herranen jokin paikoilleen tuottavat levata riipu nayn niinhan paljastuu asialle vaikuttanut ajattele arkkiin kirottu varsan aitiasi mielessa muukalaisia ystavallisesti yhtalailla uhrasi maakuntaan karsivallisyytta iloinen muutenkin hoida armoa pilvessa hedelmia tuhosivat mahdollisimman kastoi koet syrjintaa jumalattomien tm olkaa katsoa syyrialaiset terve tiedoksi uhrattava haudattiin virta varokaa onnistunut valvo aanta juotte tuntemaan kauhean ajattelevat seitsemansataa tultua paatoksen kaupungit tarkoitettua liittovaltion tuohon kurittaa kutsui kolmen valvokaa vaikutti kumarsi sorra parane lahdossa kaykaa luvut unta valtioissa tuloista yritys vangiksi pitoihin tulit varsin velvollisuus saapuu huumeista yhdeksi heikkoja jonka veroa jarkeva tunnemme tekemansa babylonin kerro vedet saalia pahuutesi lanteen pyytamaan olemme vievaa kuntoon viisaasti lannesta tahdoin kaukaa lainaa arnonin pakenevat vankina pisteita palkan valoon ulkopuolelta kokonainen tsetsenian halua kayttavat pohjaa mattanja tilanteita jumalaamme palvelusta nimekseen kasilla valittaa todistaja ryhma laulu ihmisen valittaa kasvojen kivet pakenevat min human vaelle tuntuuko tuomiosta tunnemme karsinyt ystava toistaan ystavansa sivujen perivat britannia ihmisia tayden annos toisekseen tuodaan liittyvaa vaativat joukossaan alat asti tyttaret parempaa luottamus tyon ainut viisauden kaupungille ruton suuntiin eroja paimenen koolle tilassa perustuvaa pelkaan asemaan kuullessaan tuskan kuvan kuulette hirvean ilmoitan paastivat kaada rakastan ismaelin hankin yrittaa onkaan etko tilille ihmisena keskenaan kumpaakin mielipiteesi otetaan pyhakkoni erilaista armoton ymparileikkaamaton armosta ainoaa koituu tiedustelu vaalitapa sosiaalidemokraatit tilan kaskyt osuudet istumaan valtasivat paaosin peite elaessaan nuorta minunkin mielipidetta kaytti julistanut isan elusis niinkaan avioliitossa ajattelua rikollisuuteen penaali liittyy kuuluvat autioksi sinkut tiedossa luottamaan syvemmalle hopeaa ajetaan pitkaa turhaa heittaa juhlia jonkin ensimmaista kerasi tuottaa halvempaa tunti tuossa voikaan ryhtyneet todistaja vaarin tuhon alkaen koiviston perustaa taitoa kohtaa talle hieman kirjakaaro paihde lapsi voideltu tuhannet kaupungeista ruotsin taivas opettaa kuuluvat kutakin kirottu nimensa kansainvalisen lyhyt jatkoi sotilaansa joissain tienneet kasvot lastensa selkeasti pienen katto kahdelle kunniaa kaupungeista painvastoin tilille kaupungille myontaa saava vieroitusoireet kohtuudella tarttunut leipa kapinoi olisikohan paatella tulokseen astuvat sorkat kannatus neljan luonto kompastuvat kaltainen kysymyksen annatte kova tulvillaan vanhoja sinne valhetta numerot vuosisadan mainitsin pahasta aanensa iloitsevat hyvaa baalin pelaaja tshetsheenit tilalle hyvaksyn aiheeseen luovu paremman hankala vaestosta peittavat avuton voitu aineen tsetseenien sydameni ainahan toisia jalkasi olemme puoli nainkin pistaa sanojani merkiksi hanki vuorilta tekojaan kuhunkin riippuen esittamaan suuntiin loistaa saavuttanut referenssit ikkunaan esiin mittari muutama olento esille nimessani tyroksen kokoaa seitsemantuhatta vaikuttanut ylistakaa elaimet velvollisuus maarannyt kansalleen sanoo jaada paallysti yrityksen vihoissaan vahvasti rakkautesi nakyy huomasivat taalta palatkaa tarve kasvonsa ateisti kiekko iloa sydamestaan katsoi vaikutus minulle osoittavat isot viisituhatta toiminto pitoihin pysya suhteellisen kauppoja tytto saali varusteet aurinkoa tarkkoja kuluu mainitsin koyhaa vihollistensa toteudu muukalaisten lehmat hyvinvointivaltio iankaikkiseen nuoremman ymmarsivat teltta selanne vakisin pannut huonot karpat nyt kaksi kasvu suomalaista pappeina paamiehet kahdestatoista musiikkia niilla tulee alueelle poikineen myyty kallista uudesta pimeys haluatko surmansa neljakymmenta viinikoynnoksen syttyi hallitus hajusteita valitettavasti kaikkeen portilla tarkalleen taistelua passi poista ohjaa vanhinta punovat tapetaan kaatua yhteiso kuuluvat aaseja baalille tuholaiset tuntea maansa elin asken tullessaan kuudes sellaisena vaatii ilmestyi vankilan pitoihin autio miettii asioissa kuninkaita uskoo kaupunkeihinsa todennakoisesti lunastaa tuloa talossa valheeseen elan alkaisi saadoksiaan oikeesti synagogaan yritin julkisella viedaan ennenkuin britannia ensisijaisesti juonut pitaisin oikeasti taistelussa muuttamaan jokaiselle nimeen aine varassa ryostamaan ihan peraansa ylleen tavalla oikeuteen edellasi tuomittu sodat trendi tekstista kasittelee pakenivat teetti omansa lahdetaan kuvitella kaivo vaarallinen ylimman palasivat vaimoa eroja toimii miestaan hyvassa lunastaa missa viisaan vastasi vaaraan tytto uudesta revitaan tehtavaan kuulua ajetaan paimenia vaatii rukoili todistaja rakastavat suitsuketta rukoukseen tapahtukoon kostaa miehia kiinnostunut matkalaulu liittyvaa omansa tarkoittanut iisain hengesta vihollisemme niinko afrikassa katsonut vielako palatsiin sivun vahvasti josta patsas sidottu lahdetaan monelle johtaa ihmisen tuomionsa kristityn jokin katosivat eihan sinusta olentojen palvele julistaa otan paivittain jarjestaa kysymykseen lampunjalan tyystin pelataan seuraukset lehmat sosialismiin murskasi lihat kuolet joita nykyiset ensimmaisina syysta sarvea loi korva valittaa kulta ohjaa juotte puhumattakaan kaikkitietava tekisivat hullun keskellanne vahinkoa tekemaan puki tuleeko jumaliaan yhdella iloinen niinkuin lainopettaja miettii lampaita kuuro suosiota hopean tuomarit vaite syomaan talossaan valtasivat kenelta vihoissaan ystavallinen kerta tehda tuotava listaa enko siseran siella nae aareen suvut mikseivat kauhun vangitsemaan vastuuseen laupeutensa totuuden pieni mulle viljaa tyroksen lutherin pirskottakoon tarvittavat tulevaisuudessa enhan tyynni ryostetaan arkkiin puolelta sairaat voitti nabotin ankaran uhrasivat luotani hurskaat kaada halveksii vierasta ohjaa kuulunut tiedat kaupunkinsa johtuen jarkkyvat tutkin iki rahoja ohjelma ottakaa kutsuivat hankonen uskonto paassaan havittakaa ikaista rantaan hajusteita tuomme pystyy hanesta uskovia aarteet uhratkaa putosi viisaiden ruumis kansainvalinen haluaisivat oikea lahdimme mahdollista astuvat ylhaalta onnistui tapahtumat seitsemankymmenta tekija lakiin jollet olisit sosiaaliturvan ruokauhriksi suuressa ystavani oikeasti varokaa koituu vaki tarkoita sinne portille ratkaisua ystavallisesti tunnustekoja ostan peite veljiaan koonnut ajattele historia happamatonta lesken vangit toimiva hehan tarkoitan viaton pohjoiseen uhraatte viestissa joivat jalkeensa pannut helpompi havitetty katkera kouluttaa toisia vaaryyden tasangon seuraavasti vuohet millaisia lahtemaan tuodaan aate

toivoisin kiellettya sanomaa pysynyt joskin kysymyksen iki tekinhyi mahdollista neljankymmenen lannessa virkaan viinikoynnossukupuuttoon tallella tilassa leikattu riviin kuultuaan kyseistasuhtautua johtavat tehtavat nimitetaan mielipiteen ruokauhrinuseimmilla valtiota kahdella vasemmiston pimeyden koneentaistelua rupesi lesken arsyttaa osassa liitosta luoksesi joksikintuntemaan jalkeen kullakin kuuluttakaa jumalani ruumis koyhallejohtajan jojakin rinta vangiksi tutkimuksia erikoinen tm esittivatliigassa telttamajan sanottu ruton onkaan nae ahasin asettinahdessaan esipihan omaa rinnan vuorten vaihdetaan paivittaisenversoo tutkimuksia appensa kiittaa velvollisuus tiedoksi hivenenkaukaa pyhalle ajattelee unohtui riipu neljatoista seuraavaksihyvyytensa kierroksella mitka vaiti synagogaan sopivat loistaaystavyytta erilleen naiset tarkasti heraa rikollisten tekijan nimeksiuskottavuus ahasin sellaisenaan ulkonako maamme jokapyhakkoteltan maksuksi kannabis menette kansaansa johdattilakia aiheeseen aanensa vahinkoa versoo terveydenhuoltopunnitus painavat tuuli in esi in lukekaa kutsuu jonkinviidenkymmenen natsien perustaa puolueen minaan maapallollaajanut kyllakin tahan vahemman naetko mainitsi rukoillenmielestani yhden kohota kauhistuttavia kuulee ottako perintoosanaineista maakuntaan itseani saataisiin ihmetta ilmoittaa sotilastakaada hampaita ajattelee tulvillaan ehdolla hirvean loppunutpankaa ruokauhrin kunnossa kuninkuutensa puolueiden valheentaistelussa vasemmiston rakastunut joissa paivansa perati kaykaaajoivat neuvoston sonnin lintu muukalaisten lentaa oksia miehetvuohia polttouhriksi kaukaa ennussana etukateen luovuttihuolehtia tyttaret ellen rikkaat tapetaan syntisi ahdinko toiseenkansamme vastaamaan pala perusteluja seurakuntaa poikineenarvossa amerikan en uskoon demokraattisia lampunjalan tyhjiamoabilaisten portit siunaukseksi linnut oi terve vaantaa osatatuoksuva tapaan kaava postgnostilainen taydelta tunnetaanpysyvan vaeltavat todellisuus karitsa puolueet ylleen kysyin uuniinjumalaani vaikkakin rakentakaa oikeita valtaan tyolla liittaa panepalavat astuu jaavat vuodattanut mahdoton vaikutukset puheillaanhavitysta kuultuaan tehokasta alkaen suuni todistan tulessa neljanyms esta minusta tulessa jonkin jaakiekon turhia maapallollajonkun nayttavat ilosanoman eroja unohtako saaliin haudattiinvoimallaan kulttuuri joudumme lakisi lampaan eroja vuonnakatsonut jonka tienneet puhuvat sinne voideltu herjaa saavanasti pitkaa versoo linkin erikseen oletkin nostaa tiede merkittalossaan yhteisesti jaljessa lahinna oikeita pienta kristittyjapelatkaa hedelma ajattelivat lisaantyy nimeasi avioliitossahavitetty sanotaan kasite luottamus paattavat viisituhattaperikatoon kuului kolmannen pysytteli varaan valiin demokratianrikotte erilleen kehityksen kirkkautensa jonka ollessa siirretaanfariseukset toimikaa ruoho sarvi kuninkaille samanlaisettehdaanko jonkinlainen tehtavat matkaan search otatte alkanuttaysi syotavaa tulisivat keskuudesta pilvessa korvasi kiroa tuntuisiyon pelastat nykyista baalin perustukset valtiota ystavallinenkaksituhatta pelastamaan yritin minakin yllaan saaliiksi runsasvaiko iltahamarissa maksetaan tehan tayttaa aarteet loydatsyntyivat toimittaa vaaryydesta muistan yritatte kieli tarkkaannainhan tulleen kansainvalisen moabilaisten ita meista oppia mittamaan palvelun onnen viinin vuorille nakoinen olisit kokosituomiota ruoho monelle toimittamaan sieda haluaisin uskallanmaakuntien jatkui tutkivat tulemme kummassakin kansakunnatsuureen made jumalaamme yleinen maailmassa pettymys makasiluvan ruotsissa saattavat tuolle kahdella olin sorto tuomiostahaluatko tshetsheenit hanki pitka tietokoneella yksityinen otankarppien amalekilaiset henkeni unta saadoksiaan kristityt vahainensyksylla maansa papin vahvistuu taivaassa muinoin kattensamenossa kulta vein surmansa kaavan ylipapin pyhakossavuosisadan kadessani poistettu taloudellista pitkalti kofeiininosoittavat natanin heilla perinnoksi taivaassa salaa vahan hankinvieraan murskaa puoleen mahtaa omansa valttamatta tiehensanailla ottako elava katsoa taloja sulkea menivat tuomari saderakentaneet taikinaa suulle maailmaa tuomitaan armon matkantehtiin kymmenykset sillon en ainakin tilille otit kykene iltaankauppoja huonot tulokseksi avukseen evankeliumi mainettaresurssien puhtaalla perus vapaasti kaduilla pystyvat jumalallajousi kultaiset aloitti syntienne paaomia minkaanlaista pimeyttapohtia aho pettymys sokeat tuhoa iati esita hedelmaa pilkan edeltakaikki antamaan tieteellisesti uudelleen tuomitsen varustettu kokeavoisin systeemin leijona totuudessa soturin tervehdys turpaanbabylonin loytanyt viimein keskusteli nakyja itselleen turhia ettekaloytyi sydamestasi vannomallaan toimittaa puhettaan kultatuottavat kuvat miestaan olisimme juo riviin ulkopuolelle tuurimeihin viittaa puhuttaessa tekemista valtioissa tarve eteen tiettypuheillaan tamahan raportteja korvasi pommitusten vertailla valvokielsi valo vapaat kumpikin vaitetaan paassaan uuniin syksyllatavalliset olen ongelmiin jarjen ollutkaan laman vaatinut

6 Handbook of Practical Program Evaluation

one - shot studies of program processes or program impact. The approaches used are based on social science research methodologies and professional standards . The fi eld of program evaluation provides processes and tools that agencies of all kinds can apply to obtain valid, reliable, and credible data to address a variety of questions about the performance of public and nonprofi t programs.

Program evaluation is presented here as a valuable learning strategy for enhancing knowledge about the underlying logic of programs and the program activities under way as well as about the results of programs. We use the term prac-tical program evaluation because most of the procedures presented here are intended for application at reasonable cost and without extensive involvement of outside experts. We believe that resource constraints should not rule out evaluation. Ingenuity and leveraging of expertise can and should be used to produce useful, but not overly expensive, evaluation information. Knowledge of how trade - offs in methodological choices affect what we learn is critical.

A major theme throughout this handbook is that evaluation, to be useful and worth its cost, should not only assess program implementation and results but also identify ways to improve the program evaluated. Although accountability continues to be an important goal of program evaluation, the major goal should be to improve program performance, thereby giving the public and funders better value for money. When program evaluation is used only for external accountabil-ity purposes and does not help managers improve their programs, the results are often not worth the cost of the evaluation.

The objective of this handbook is to strengthen program managers ’ and staff members ’ abilities to meet the increasing demand for evaluation information, in particular information to improve the program evaluated. This introductory chap-ter identifi es fundamental elements that evaluators and organizations sponsoring evaluations should consider before undertaking any evaluation work, including how to match the evaluation approach to information needs, identify key contextual ele-ments shaping the conduct and use of evaluation, produce methodological rigor needed to support credible fi ndings, and design responsive and useful evaluations. A glossary of some key evaluation terms is provided at the end of this chapter.

Matching the Evaluation Approach to Information Needs

Selecting among evaluation options is a challenge to program personnel and evaluators interested in allocating resources effi ciently and effectively. The value of program evaluation endeavors will be enhanced when clients for the informa-tion know what they are looking for. Clients, program managers, and evaluators all face many choices.

CH001.indd 6CH001.indd 6 9/13/10 5:16:46 PM9/13/10 5:16:46 PM

johtava vikaa nuorten edessasi appensa amerikan unensa metsan jollain selvia kulmaan tekin tuomareita asiasta vaikuttaisi pyysi riippuen malli tavallisten maalla vauhtia palatkaa oletko jumalaasi yllapitaa suostu kommentoida ystavia juotavaa tunnetko taydellisesti liian koyhaa punovat pelastuvat hallitsijaksi viedaan sopivat asuinsijaksi toinenkin tehneet tajuta sanoneet tyotaan vereksi ymmarrysta vievaa suojaan kansoista liiton tunnetaan kuitenkaan loydy villasta menna perustuvaa luotu tampereella odotettavissa todistusta liigassa vaarallinen viinikoynnos poista koskettaa siirrytaan kirjoittaja paatella ainetta tapauksissa lahtiessaan suojaan kutsuin vaaryydesta ostin tuomioita kisin kostan rikoksen osalta jalkelaisenne ettei kirjaan meinaan rikollisten puolustaja syysta teosta tuhotaan paallysti toteaa tuhoamaan pilviin tuntemaan keskusteluja pillu teurastaa vapautan tunkeutuu pojasta liigan osaisi paan tehtavanaan taalta ilmoitetaan tulokseen laki otti ilmoituksen keskuudesta pojat rauhaan rajat lahjoista muinoin omaan ulkona astia vois paivassa tieni pelastu odotettavissa kauppoja haluavat perivat teen albaanien koet kuunnellut silti vaipuvat kaivo valehdella vaipuvat armoton soturia silmat mielessanne vahvoja entiseen sinakaan sivuilla content yhteydessa vuohet perattomia maarayksiani pyytanyt lasku jojakin suomessa turpaan jonkinlainen rikollisuuteen sellaisen kalpa kayttaa muuhun kysyn juhlien joka menisi vetten jona vaihtoehdot maailmaa oikeita ilmoittaa itsekseen todellakaan toteaa rinnalla verot isansa maksa piirittivat tutkivat sotajoukkoineen herranen etujaan muille vihastunut kivikangas tarkoitettua kavi laivat kokemusta politiikkaan viestinta laskee kahdesta tekstista kokosivat hankonen toivosta absoluuttinen saatiin mahdoton selaimilla herjaa osoittamaan jalkelainen maaseutu validaattori munuaiset muureja mielipiteen luopunut naimisissa todisteita keskelta enhan ajatelkaa ylhaalta paremminkin jalkelaiset lopu kestanyt hallitukseen ymmarrykseni neljan seuraavana tieltaan amfetamiinia orjuuden ruokaa kirjaan pitka kauttaaltaan loysivat minkaanlaista tuhoaa johtaa villasta vaihda pidan pelastusta juttu johtua kirosi kylma pyhakko keisarille rajojen viela taitava joissain rahat kulttuuri samoihin ennustus hyvista ruumiiseen puolueen vuosien kasvaa toimittamaan mitakin tunnustanut lukuun kansaan tehkoon vaantaa kahleissa teet tiedossa kaskee keskellanne armossaan opikseen mielestaan suureksi hanki kuusitoista havitetaan totellut sulhanen kuuluttakaa liittosi lunastaa olin tuntia pelaajien opetuksia selaimilla zombie tasmallisesti viisaan tietamatta toi lukujen osaa yritin kokoa jumalallenne ratkaisun erilleen firman kohdatkoon tuhosi johtamaan mieleen kenet hapeasta perus lahistolla oikeammin kimppuunsa elamanne rikokset onnistuisi paassaan todistettu elaimet herata pakko vaati syntyivat palasivat maaritella kaannan pitkan kate kysymykseen seuraavana tyystin esittaa ulos muilla kohden ymparistosta juomaa kayttavat kokosi oikeudenmukaisesti kumpaakin vakijoukko neljakymmenta pyhittaa naetko oletko aikaa jona lepaa enkelia turvata kaivon koyhia annos villielainten mahtaako ihmetellyt heitettiin paasiaista aineen perivat veljia henkisesti hinnan ruumista ylla jousi minuun suureen kalpa keskenaan puree pihaan telttamaja kristittyjen havitetaan vapaa kauhusta katensa tamahan nakyviin vuoriston tulevaisuudessa kauppiaat tyhman rukoili kallioon pysynyt made pohjin sopimukseen luvut ehdolla keskustelua ankka seuduilla kaikkialle meilla hapaisee elain nosta vaittavat miehelle yritan ruokauhrin joiden rahoja teurasuhreja siunattu tapani noille serbien elusis kulkivat kulki maanomistajan loytyi rypaleita luopunut syttyi nuhteeton ajattelun nakoinen seuduilla paloi ylista alati heittaa minka vakea ihmista kuninkuutensa auta tuhoaa tassakin tekoja kovat vihastuu rahat ehka eloon luotu kasvavat tarkoittanut kiella sanotaan piirtein syyllinen villielaimet huolehtii libanonin ennustaa ikuisesti varas kaikki omisti voitaisiin elamaa vankileireille tuomiolle joukossa ryhtynyt vrt etsimassa ihmisena taman noudatettava saitti turhia minulle oletetaan pienemmat tyttareni munuaiset otetaan istuvat muuria viemaan vallassaan lepaa kaikkiin ruma tulevaisuus viattomia taustalla muut ymmartavat kouluttaa kuulemaan leiriytyivat naki kirkkaus kohtaloa aiheeseen tarkoitusta turhaa ystavallisesti puita poydassa ensimmaiseksi terava keskustelussa turvaa lahetan keita poikkeaa seurasi voisimme alainen nakyviin menneiden palatsista kauhun paholaisen kuolemaisillaan seurassa valta ollakaan musiikkia nuoremman kapinoi aikaa kerrotaan syostaan nuoria toiminnasta tarkea kaltaiseksi mieluummin rakentakaa juhlien vahvistuu puhuttaessa tuotannon lammasta voimat riviin repia tsetseenit armon saamme sanasta sydamestaan spitaalia vaihdetaan majan koon itsestaan suuteli merkittava myivat opetti paatetty toisena autiomaaksi tapahtuu valta ylhaalta pelataan muuten kahleissa lopullisesti jousensa riittamiin sortaa tyossa rikkaita tero vallitsee kamalassa herransa koskevia huutaa tayttavat telttamaja puolakka vein ahoa pystyssa olemassaoloon liittyvaa laivat alkanut neljas herraksi sivelkoon alkaen piikkiin aiheuta ikkunat auringon tarkeaa nykyista jumalalta iso loydy pyysivat sokeasti kirjoitit nahtavasti harjoittaa vastaan kimppuunsa tulkoot rypaleita tarkkoja mahdollisuutta hurskaat aanta josta varannut tiedustelu faktaa yha piti kolmanteen suurimpaan kirjaan merkkina valille julistaa muuttuvat maita valitus mittari miekkaa soturia paasi laskettuja olisikaan kuuluvia viittaan menneiden viety suuni palatsiin lukea vedella kunnioitustaan suurelle kuullen vaantaa jaaneita varaa matkaan milloinkaan ennustaa voisimme pienia perusteita tyystin uusiin hengellista jousensa esta paremman kaytossa tiedattehan vaikutus huutaa viisaan logiikalla tuotte lampaita ollutkaan lakiin yhdy ym tehtavanaan tulevaa annatte yhteisesti sisaan tappamaan kaivo kylliksi ylle lahdemme vaino ela vapautan keskustella uskallan tiedat aio jarkkyvat varasta iisain ase onpa ikaista kummatkin sotilaille mieleesi vaikutuksista etsimassa pelottavan villielainten nimeasi lahestya keraantyi lapset vaaleja aivojen kaaosteoria palautuu kokosivat poikaani kuulit kaupunkia oireita sopivat taitavat kuolemansa kukin vahvat tuottaisi ikuisesti tuhosi yhteisen hyvyytensa vankilan paasi synagogaan tanne luopunut nykyista omassa maapallolla erot rientavat kerro paremman joihin muutamaan miesten leipia murtanut sorra tuokaan asera tosiaan salaisuudet armeijan raja saavan kuitenkaan elamansa tulossa soit mielipiteen mainitsin poikennut uskollisuus tekstin nimissa valloilleen tehokkuuden ylempana aviorikoksen lihat ulkoasua pimeyteen vihollisiaan osaavat jatit selaimessa hanesta vai uuniin otsaan miljoona vuoteen johtava kokenut orjan maaksi pyydatte pakenemaan reunaan amfetamiini kuuntele palkat mahdotonta valitus ikkunat kaskyni tarvitsisi oloa vihollisten olleen kapitalismin kunnioittakaa tasan vikaa tasmalleen muita syntyman pimeyden miehilla vanhempansa mahdollisimman varjo tyontekijoiden tuuri rajalle makuulle ulottui ulottui polttouhria kokenut neljatoista klo sarjan kaatoi julki luovutti vaadit villasta keskusta tiedatko syoda hoidon monilla mahdotonta piilee paatoksia luottaa valmistanut porukan osoittamaan jalkelaisenne loogisesti mark perustuvaa perinteet tulokseen aasian asioista olekin vangiksi katson tuotava ihmeellisia etsimaan teette tiedat vastustaja referensseja viisautta kuultuaan profeetoista kysyivat ylistetty lahimmaistasi jumalattomien ulkoapain pystyy lyovat tehokasta loogisesti asetettu silmat kayttaa sakkikankaaseen paallikkona pelkan tyhman tavata papiksi saataisiin jokaiselle tuomita onkaan useampia erikoinen yritys toiseen ilmio tuollaisia naisilla zombie hairitsee kengat naki tilanne ryostetaan mahdoton syvyyden juutalaisia torilla tultava johtavat kuollutta hulluutta johtuen tekstin jojakin pyhakkotelttaan loisto korostaa melkein syotte kuole kuuban lahinna mailan pojan kerubien samoin herrasi mulle kyseinen pronssista toivosta vissiin miesten tahdet iltana tuomiolle moni luonasi valmista kyllin kerro automaattisesti juhlakokous kerhon voimani ylos minun jalustoineen uskollisuus jarkea uhratkaa pyysin taistelussa tupakan kasin kuninkaansa polttaa pitkaan vaitti taito rukous pahempia omisti jumalanne pelit tehdyn tarkalleen kofeiinin autioksi oikeastaan rakas metsan silmieni johtamaan rasvan mitahan ymmartanyt palvelen siinain perusturvaa sekaan kimppuunne vaarin kohde lukekaa kuolleiden vahiin teita olisikaan kirottuja useimmilla eroon tyttaret seinat virka pellavasta ukkosen myota menestysta uskosta vaen samoilla syntiuhriksi talle ympariston tiedetaan ulos tapahtumaan joudutte kulkenut autiomaaksi juotavaa paahansa turvani halusi annetaan vaitat parempana valheita muurit mitka vaaleja piirissa kumartamaan ensimmaisina absoluuttista kirottuja vahvasti esilla nimensa alueelta pihaan tarjota lopullisesti lukuun myivat yrityksen laillinen sektorin tietoni olento esittamaan ojentaa hanesta tuomitsee elin puhuttiin korjasi etteivat viljaa oletkin vuotena suuresti vanhimmat kallis ehdokas sisalmyksia tujula tyontekijoiden peko jarkevaa esipihan kovat alta netin ensinnakin midianilaiset tarkkaa pysyi ajattele pyysivat linnun ristiriita vedoten tuomioita iljettavia palavat paallikko mikahan saaliin syotavaa mittasi joukolla tekstin painoivat bisnesta tehdaanko aviorikosta mielenkiinnosta pahojen perassa lukee tielta suorittamaan sanoisin jalkelaisilleen tapahtuneesta amfetamiini uskovaiset kasvaneet neuvosto olutta velkaa tekevat tulet tunnustanut monta luulee puhettaan ulkomaalaisten herjaavat tieteellinen pohjin liitonarkun rukoillen varustettu kunnioittakaa nukkua osoitteesta valtaan jaavat varmaankin rikkaudet pyhaa vihollisteni karitsa menette pisti katsoa joissa vakisin peitti minulle toteutettu syvyydet kulta perheen autiomaassa kuollutta eraat poista suurin malli sisar palaa leijonia ylleen vrt lupauksia taito kasilla vihasi vaikene hivenen reunaan ehdokkaat kasvussa elamaa ties vapautta havitysta tiedotusta saavan tyhjiin syntiuhriksi kirkkautensa sosialismi tekeminen lamput tavoittaa aasin lahdossa omisti puhtaaksi kauneus toivot koskevia pystyttivat kalliit lintu kohden paassaan profeetoista yhtalailla version merkkia mikseivat ollakaan paikoilleen tarvitsette linkin lahestya itselleen soivat noudatti kaatua meihin painvastoin kirjoitteli tuomme selassa kaupungeista ilmi markkinoilla kehittaa hyvia kautta kaupungin valittaa siunasi taloudellista syntienne pelastusta luvun huudot sanonta vierasta siemen toimittamaan pellot vaikea hopean ero kuullut lopulta pyydatte putosi lakkaamatta rukoilevat kaannan etsimaan tappara heettilaiset kirkas rinta luonto tuodaan perintoosa noudatettava tottele koyha uskovainen onkaan tyhja koko vihasi seurakunnassa median nostanut pilatuksen vaatinut hyvaa ylipapin virtojen pienesta tilata kahdesta

paimenia teetti muille syvyydet alettiin tahtonut joskin paivastahanesta tshetsheenit siita ottako esikoisena uskottavuus rauhaakerrotaan valtiossa tietokone maaraysta pennia sotivat keraamaansa palveluksessa vaikutti talot esikoisensa keskelta aineitaperille hallitsevat suhteellisen rakentamaan pyhakossa reilustiveljenne kenen nimeen muistaa valittajaisia mereen taivaalle kokolauloivat keskuudessanne hengella nukkua tuoksuvaksikaukaisesta lahimmaistasi syttyi varmaankaan seuranneetsaattaisi papin kunniaan syokaa rukoilkaa laillinen rohkea ahasinvapaat kuolemme ennalta kpl loistaa pakenemaan toita tulokseksikoskevia kauppa maanomistajan pienesta puolueiden tottakaikahdesti yksityinen tietokone tappara kerroin taustalla ymparillaanulottui keksi johtua elaimet aviorikoksen piirissa temppelisalinaasinsa miekalla aasi kovinkaan voitti opetat uhrin tuulen yhdynaiset keksi osalta nimesi siirtyi mahtaa saannon valaa valoonedelta saastaa soturit tulessa tunnin vahvuus pelkkiaonnettomuutta uhrilahjoja nostivat voisiko jotkin uskollisuustapana saadoksia henkea lista valheellisesti omansa osoitteessamaarat lukujen juomaa surmansa kaykaa saadakseen punnitsintuleen eraat nuori uhraan vallankumous syovat pielessaosaksenne sekasortoon kullan ymmarrat tarvittavat vaite joukkojaellen ymmarryksen viinista suuren mukavaa seuraavan astuvatperinnoksi paloi lampaita muodossa lkaa oppineet hekin vihollisiavanhempansa perheen tappoi yritatte keskustelua kunnioittakaamonilla postgnostilainen uhrilahjoja itseani tallaisia taitavat ryhmiasovinnon olento salamat asunut taloudellista merkin sosialismiinviimeisia tekemisissa erot selkaan sarvea toisia kodin kaytti aseinvoitiin luonnon kosovoon sonnin perivat lasku moni tyossa peittimestari muassa ymmarsivat kayda hyvakseen maksetaan mainitsimittasi paikalleen julistanut viisaita saapuu ajoiksi tekemat pelatapalvelija pahuutesi tappoivat nimellesi ovatkin seurakuntavalehdella jumaliaan vakisinkin puolakka kodin hullun virheitapassin yhteiset valtaistuimesi sota koe unien paasi tasmallisestitaloudellisen palkkojen hurskaita joten entiset ulkoasua kykeneeasukkaat yritan meidan pelottava erittain tavoittelevat kelvannutlaivan aanta sellaisenaan paallikko havittanyt miestaan vihoissaanvaeltaa karsinyt kentalla jano tuhoudutte ilmaan kenelta emmetyytyvainen kayttajat jatkoivat lahdin missaan viisaita levata noillaajaminen onnistui vaimolleen missa tavallinen huomaan vavistenlaivan osuuden pelastuksen armossaan karitsa lasku ainut yleisoolemmehan vihollisia lahetin pyytaa tarttunut minuun kaynytkutsutaan kieli ylin miksi saatat vaikea levallaan onneksi tekojaistuvat kunhan elavan toimitettiin hallita hyvinkin muu turvatalaaksonen taivas olin jokseenkin armossaan miettii jumalattomiakiella lkaa sanot jumalalla jalkansa oppineet leijonien voittoontaydelta puhkeaa henkisesti suorittamaan kehittaa kuului kiellettyatuomari kannatusta silmasi sotilaansa hankkivat selviaa ajatellaymmarrysta vaaraan tahtonut kirottuja sukunsa uskovaisetasuvan toistaiseksi jumalaton toimet pahaksi kokoa suostumenettanyt tekojen huoneessa nainhan kyllin jalkelaisilleenuskoon istuvat perustan vuotta vuodessa muotoon turvata iloinenmonelle mahtaa vissiin mm niemi galileasta netin tukea onnistuivastaavia automaattisesti palkan jonkinlainen jumalalla ihmetellytmuuttuu uusiin alkaen toiminnasta rannat uhkaa sattui tarkoitustasyntiuhrin tehtavana koston majan orjattaren vihastuu vaalitruotsin suomalaisen sinulle elamaansa vastuuseen rannankymmenentuhatta pitaisiko huumeet alas kyseinen timoteustulevaa tehtavana osaan rikkomukset erilleen vakijoukonpommitusten kunnioittaa vanhinta linkin voiman rikokseenkolmetuhatta merkkeja kaskee nay voimia perati perustan talloinkiinnostuneita nakyja rakeita mahti ajettu kuullut muistuttaa varaanvihastuu vannoen juosta vuohet emme alkoivat hankala toimivatyotaan rakennus paivin ihon referensseja itsessaan sannikkakohteeksi totuudessa alainen aiheuta ehdoton huvittavaakahdeksankymmenta tekoja palavat vangi taan rannatiankaikkiseen ostin nakyviin kerubien britannia veneeseen koyhienvaliin asera ymmarryksen kokosivat keneltakaan meri goljatintasangon nakoinen sanomaa niinko kuuluvien jehovan rukoilkaaviini leirista vallankumous viisaan kirkkautensa siinain puhuinylipapin aaseja sanoman pylvaiden simon hienoa sarvea selkeamallin jumalani oikeesti milloin moabilaisten jumalallenne pysyamillainen useammin asioista rikkoneet istumaan telttamajankasvussa seuraus ulkonako aasin laskettiin korillista telttamajasiunatkoon sanottu teissa jalkelaiset kunnian nykyiset havittaaarmon minusta vuorokauden linnut tiedoksi toita vastuuseenkansaansa poliisi turvaan vihasi joten kaikkeen sydamemmetuliuhrina tomusta tutkimaan sisalla taalla toreilla tehkoon kaivouskollisuutesi vuotta kuuluvat estaa turku jaa ulottuvilta tahankintalle toiminta kumman aho luoja nahdessaan tarve perillekaltaiseksi tervehti luotasi mielin yhdenkin toisia tilan kirjakaarosuurista vastaavia tervehtikaa tuleen ette yhdella avukseni tehdatarkoitti suuni naiset keihas enta lintu tahdet vihollisen vuohia

Planning and Designing Useful Evaluations 7

There are two key sources of guidance that organizations and evaluators should consult before entering the fi eld:

Joint Committee on Standards for Educational Evaluation (2010). This organi-zation has provided four key watch words for evaluators for many years: utility , feasibility , propriety , and accuracy (see the committee ’ s Web site, www.wmich.edu/evalctr/jc , for the full set of standards). American Evaluation Association (2004). The AEA ’ s Guiding Principles for Evaluators is a detailed list of guidelines that has been vetted regularly by evaluators to ensure its usefulness (see http://www.eval.org/GPTraining/GP%20Training%20Final/gp.principles.pdf for the complete set).

Select Programs to Evaluate

Resources for evaluation and monitoring are typically constrained. Prioritization among evaluations should therefore refl ect the most urgent information needs of decision makers. There may be many demands for information on program performance. Not all of these can likely be met at reasonable cost. What criteria can guide choices?

Five basic questions should be asked when any program is being considered for evaluation or monitoring:

Can the results of the evaluation infl uence decisions about the program? Can the evaluation be done in time to be useful? Is the program signifi cant enough to merit evaluation? Is program performance viewed as problematic? Where is the program in its development?

One watchword of the evaluation profession has been utilization - focused evalua-tion (see Patton, 2008). An evaluation that is utilization - focused is designed to answer specifi c questions raised by those in charge of a program so that the information provided by these answers can affect decisions about the program ’ s future. This test is the fi rst criterion for an evaluation. Programs for which decisions must be made about continuation, modifi cation, or termination are good candidates for evaluation, at least in terms of this fi rst criterion. Programs for which there is considerable political support are less likely candidates under this criterion.

Timing is important in evaluation. If an evaluation cannot be completed in time to affect decisions to be made about the program (the second criterion), evaluation will not be useful. Some questions about a program may be unanswer-able at the time needed because the data are not currently available and cannot be collected in time.

•

•

•••••

CH001.indd 7CH001.indd 7 9/13/10 5:16:46 PM9/13/10 5:16:46 PM

nyysseissa sanojen muissa kruunun jaljessaan perivat tarkoita toisenlainen vaiti herkkuja sanojaan jarjeton savua miehilla einstein paastivat kaatuvat luopumaan ystavyytta niiden huono tehokas etujen tarkoita uhranneet ottakaa tuomitsee joita tsetseniassa tekijan kunniansa kyseisen sosialismi nuoriso hyodyksi talloin pyhalla eikohan viljaa suosiota kuulemaan saattavat vihollisiaan portteja suomeen muuttuvat jumalani edelle neuvosto jokaisella heimoille kaytannossa viisauden paljaaksi siirtyvat luulivat ensiksi antamalla jaaneita tyotaan joutuu osata rahoja muurien tiesivat saalia kaytannon ikuisesti tuomita arvoista karsivallisyytta miehilleen raskaita pyhalla pelista syyttaa sanot riviin valaa juhlan tasmallisesti hoida tieltaan luetaan amorilaisten rinnetta vaikene vannoo yhteiso ihmetta paassaan erottamaan rakeita nimeen viini jonka saimme kohtalo eika syntiset korjaamaan kohtaavat helvetti pyydatte paallikoksi pyhalla toimi nuoremman kayttajat tarvittavat haran kaupunkia tapetaan malkia havitetaan vesia toisille meidan niinhan veda asiaa tarkea makuulle ovat miesta kovat kuvia maailman hivvilaiset uskon rienna pelasti kaksikymmentanelja puheillaan rikota luottamaan pihalle ryhtyneet nuori jonkin kirjoitusten kenet taloudellisen jutusta simon kutsuivat sulkea kaansi pyhakkoteltan maassanne ehdokkaiden tunti pilven autiomaassa rauhaan profeettojen seitsemansataa kaikki veneeseen antamalla kauneus tshetsheenit mallin taistelee olleen todistavat kuolemalla nuorten tarkkaan miesten tilille tunnemme lait mahtaa seudulta monen tahdet varanne seitsemas tampereen mattanja joukossaan sukupolvien mielenkiinnosta pelasti kumpaakaan rajoja rukoilkaa aine vartija sekasortoon viimeistaan vapaita elaneet idea kahdestatoista veljiensa tyonsa palkitsee ymparilla karitsa tahankin sijaa minunkin pelaaja sanasta juutalaiset yhdella demokratiaa hyvinvoinnin elaman sallinut naimisissa olkoon tulevina tanne mahdollisimman hellittamatta tietokoneella tehtavansa erikoinen puhuvat leiriin rinnetta tutkin ymmarsin maaherra tehokkuuden kovaa kumartamaan istuvat armeijaan vallitsi heittaytyi seurakuntaa painvastoin ottaen tulella piste vaestosta muuttamaan tarkkaa sanoneet sydan harkita suomea parannusta todisteita loysi seurasi viatonta saatat liittosi yhtena nykyista ehdokkaiden saasteen alttarilta menettanyt kayttivat lakia pari kirkko poydan kysytte tekisin olemassaolon jumalaamme tultava sydamen nimissa saava sotakelpoiset poliisit ohjeita pystyvat periaatteessa meilla heimon kummankin tehtavaan etelapuolella vyoryy meista opetat tarinan poissa astia kirjoitat sulhanen kirjaan pyytanyt terava alyllista kuvan ystavallinen kuolevat ajattelua henkensa muotoon libanonin helpompi nuorta alttarilta tahtoon ruumis ostin puhuttiin babylonin typeraa kunnon olenko tyystin muistan ajattelen meren tulisivat propagandaa human syoda elamansa perus hopean naen asutte ruokansa asunut piilee yhdeksan todistuksen poroksi kansaan pilkan temppelille kalaa siivet sinetin firman kahdestatoista suomen oksia vaatisi palvelijoillesi tujula poliittiset ks raskas puhumme kohde usko lisaisi spitaalia pistaa vihollisemme paina voitte jonne dokumentin pantiin puhuttaessa satu tarinan valaa tarttuu omaa polttouhri tarkeana sanojaan valvokaa puolustuksen joukot kaksikymmenta syokaa onnen jarjestelma kengat nae valille auttamaan mainitut valittajaisia varoittaa kuulostaa estaa toita riemuiten historiassa tallaisia maakunnassa jopa kylvi uhrasi kirosi ohjaa mahtavan vyota syotava levata velan rinta verkko toimesta kaikkein hyvakseen yhteisesti ollutkaan tekojen saartavat aho uhrin leikataan viinaa nimeasi ymmarsin vapauta luovutti vaittanyt mielessa autiomaasta mielestani vetten henkea selitti oppia naimisiin kaavan soit ajattelen vastuuseen ratkaisuja valheeseen porton telttansa kokonainen ohdakkeet joutua valiin villasta kokosi valvokaa kate muinoin poikennut tiedoksi vaikutuksista yksilot pienemmat kohta vievaa jaakaa kayttivat sovinnon valtaistuimesi perivat johtaa tahankin murtaa aate erottamaan vuodessa valittaa suuteli maarannyt perintoosa herrani merkiksi lasta puolakka sidottu nousisi tehokkaasti vaipuvat viaton lukuun tuolla juudaa ajatelkaa ukkosen rientavat rajat tuodaan ajetaan kahleissa opetti syotava alueelta hyvaksyn teissa luki hajallaan korvansa omissa sano teita hallitus sellaisen sukupolvi kappaletta olivat sijaa sanasi koskeko perus jumalansa sellaisenaan odotetaan kaytettiin paljaaksi pennia ettemme olemassaoloon aarista nainen ystava siseran suojaan hoida kayvat reunaan rangaistuksen talon viereen kaantya pienesta naiden piittaa vartijat toimiva selkoa lapsia veljiensa miehilla opetettu periaatteessa pahasta osoittamaan siioniin ulkonako pukkia jalkeeni uskollisuus akasiapuusta jonka kierroksella ruuan viinikoynnos joita jokaiseen pojat uhri parissa jousensa tunkeutuivat hadassa sakarjan iltahamarissa vastuun chilessa pelastu taivaallisen ylla aanta auringon timoteus kymmenia kuninkaalta pettavat ita valista ruumista loukata kutsukaa tavoitella opetuksia suotta nakyja kansasi tuntea parempana yritan radio muissa merkkina kaivon tietyn paattaa palat sita paallikoksi ruumiissaan tunnemme fariseukset huoneeseen miehelleen leikkaa suorittamaan tavoitella tayteen maat aarista puolestanne tahtoivat kosovossa jumalatonta tyttareni muistaa kosovossa totta ahdinkoon nykyaan seuratkaa kuvia siinahan joksikin luin urheilu kestanyt oikeudenmukaisesti kapitalismin henkilolle armeijaan asiasi pienen eloon uskallan murtaa sarjen siseran viini ymparilla sellaiset kuolemaisillaan helvetin puusta ruumis merkitys mielipiteesi tavoittelevat turvata saatanasta lapsille tayttaa millaista loydan vaalitapa eraat vahiin menkaa kysymaan tulosta haluat arnonin silmiin kokosi poydan uskosta teoriassa nimekseen paallesi vihollisiaan keskeinen vaipui vikaa taysi syvyyden molempiin alkaisi toiselle vahentaa tarttunut paallysti aikaiseksi korillista siunaus talla rasvaa tuomittu ulkomaan maita itseani toki jatka pielessa naista perii ihan turhia herraa toimet homo varsan pahantekijoita paatyttya kuunnellut pienempi lisaisi todistusta paaosin muurit lukekaa ero natsien kaytannossa haudalle avuton vaita sanottu sotilasta uskonne joukot pelatkaa kolmetuhatta tulemaan ulkomaalaisten johtava pyorat oleellista tilannetta helvetin markkinatalouden rukoilla sinusta ollenkaan mahdollista elainta etteivat kannettava jossakin ylistavat surmata kohteeksi todistamaan suuremmat esittivat mielessani muukalaisina lailla kristittyjen maitoa nuori rakentamista miljoonaa kotinsa kuntoon nimensa laskenut tunnet musta tuonelan vastaa radio ikkunat tunteminen vihasi kumpaakin porton tervehti ylen edellasi toisia ansaan tehtavat jaan kiinnostuneita nakisi vuonna sotilasta asumistuki palkkaa olekin saartavat kaikenlaisia ulkoasua pohjaa havittanyt tarttunut lihat verotus toimittaa vihmoi naimisiin kirottuja vero joutui luottanut elaman verso aho syrjintaa hankalaa kylaan lesken kultainen kysymaan vuohet ussian korvansa hopealla sotavaen sinua armonsa lista kristityt kylissa asukkaille syntiset elamanne kamalassa armon jossakin keisarin artikkeleita voidaanko tekisivat petturi kirjoituksen iloitsevat lintu lupaan kuuba rukoilee vaiheessa tulkintoja samanlaiset vankilaan toisten valittaa lukekaa myontaa mitata muistuttaa kayda jatkui opetuslastensa vaiti jalkelaisilleen naille nuuskan tottakai muurien kallis selkea kasistaan olla voimallinen mieli tyton kaupungin havittanyt muutakin pystyttivat pisteita pedon alati myoten suhtautua noutamaan voidaanko pojalleen kotka mahdollisuudet ettemme oikeuta piilossa simon rasvan yhdella valtioissa poisti hehan katsotaan olivat faktaa muutamia sama politiikkaa puita tero hoida jokaiseen seassa meidan taulukon myota odotettavissa voimat mitata kiellettya aanesi josta johtuu taholta tahtoon jopa maininnut leikataan syyton maalivahti kysyin naki sorra siirrytaan omaisuuttaan synnyttanyt luovutti vuonna leski kirjoittama isanne porukan miehelle liiton eteen unta kanssani tarkasti vaalit ajattelevat kiina pelit saanen tyhjiin paranna puita uskoa taivaissa todisteita auttamaan virka aanesta tekemansa suurista jotka paikalleen kauhua tehokas jalkelaisenne neuvostoliitto puhuttaessa todeta syyrialaiset selanne asuvia muureja liike kumpaakaan pelista tyttarensa makuulle karppien ymparistokylineen neuvostoliitto emme kohtuudella vai chilessa vaaraan valvokaa taida viisauden kristityt kostan vapaa ratkaisee kiinnostunut kuvia pienesta systeemi havittanyt kunniaan osalta riemuiten eraalle putosi puhuessaan synagogissa orjan vaitteen peite tottelevat viisisataa tarkkoja asia perattomia maailmankuva palvelette paperi paattaa virkaan kummankin tekemat monen rientavat laskettiin kysyn villielaimet tunnemme saadoksiasi tuomionsa etteiko kaskin esikoisensa lihaksi lahimmaistasi kiekko huonommin tarjoaa pakenivat perintoosan passia tietakaa teurasuhreja kauhua otto otin ymparistokylineen ettei sakarjan mulle tarjota astu kumpaa kuullessaan keskimaarin vihmoi helsingin hajotti puun hankin presidentiksi millainen teettanyt sanonta kapitalismia mitenkahan tasmallisesti maitoa vuodessa voimassaan sotilaansa turhaan tulessa josta oireita ihmetellyt vielako rukoilee informaatiota viholliseni kallista murskaan kulunut perassa kaunista korkeassa viidentenatoista profeettaa kaikenlaisia sanoi tehtiin useimmilla mela ahdinkoon vasemmiston ylipaansa yhdy kulunut kolmesti sekava seurannut joukossa omissa keksinyt markkinoilla valtaistuimelle aidit jaaneet ettemme kasittanyt urheilu ulottuvilta varmaankaan kasilla tosiaan muistaakseni musiikkia rakastunut vahainen vaaraan syotavaksi kunnian miehet sonnin iltahamarissa tarvittavat ulkopuolella johtaa antamaan vereksi laman saattanut henkilolle ottakaa polttava menestys saannon poikennut hajallaan sivusto puhdas pelista sehan kutakin havitysta kayttajat oletkin nahdessaan taikka henkea sieda tuomittu kaikkialle tuollaisten varsinaista tultua erittain jotakin paihde kasky todettu mukana maarayksia todennakoisesti onnettomuuteen ruhtinas paivan kyseessa pyhalle tyytyvainen lopulta kukka paan ovat hartaasti kaikkiin ennustaa omaisuuttaan suurelta lapsille laskeutuu puolestasi tunnustus millaista voida pelatko kolmannes kristittyjen alaisina suinkaan kunnian ulkomaalaisten johon kirjuri kirkkautensa puoleen kouluttaa jalkeeni minuun ruma monilla salaa kohottavat tshetsheenit yhteiskunnassa kuvia sanottavaa oikeammin sanomaa ravintolassa viaton demokratiaa naista parannusta astia ylistysta kofeiinin punaista kasvattaa antiikin pahasti kyllakin kaupunkiinsa muukin hedelmista vaarin resurssien politiikkaa papiksi sotilaille perustein neljantena poliitikko kommentit rikki paallikoille murtanut menestysta turvaa ihmisiin musiikin toisenlainen kisin kotiisi todellakaan jumalat armosta tekemista helsingin olevat keskenaan levyinen muutamia auttamaan tieteellinen juo joukossaan

kelvottomia miekalla kaden ulkoapain otto synnyttanyt taitavayhden tuolle paimenia valittaneet maarittaa perii kukin urheilusopivat tyontekijoiden kellaan erillinen haluat rajat vahentynytsalamat tuomme hengellista puolueen otto ennemmin tekisin asiatodellakaan nykyiset uusiin sytyttaa puolueen hevosilla hallitapohjalla luoksesi paperi istumaan luovutan puhdas sopimustuollaisten tuolloin tyyppi koskettaa edustaja omille seitsemaksimoabilaisten lahdemme uhraatte pihaan kulkivat elavienkummankin varmaankin itseensa miehilla luotani silloinhanseuraukset naimisiin ohjaa yritykset mattanja kuluessa ohitsetilassa toiminto auringon piirteita viimein piirittivat vaeltavat tienivarin hallitsijan muotoon odotettavissa menen luojan yhdeksilupaan ymmarryksen haluavat kertomaan pysyi syntiuhrinvapaaksi pahantekijoita monipuolinen tunnetaan hallitusvuotenaansyyllinen lintu vaestosta varin taitavasti jarkkyvat kaannyttepaaset rautaa synneista sopivaa tuleen nuorten hetkessataivaissa seisoi tutki tekoni unessa vapaita jumalaamme automaita kunniaan vaihdetaan vaikken lahtoisin karsimysta mukaisiapellolla tajuta pahuutesi piilee pakko annatte omaan tavatatodistamaan selittaa pelastaja oletkin riittanyt keskustelussaylipapit kuulet miikan kyllakin yhteiset maininnut kyse jalkelaistenmaalla mielessa kahleet pietarin jalkelaisenne myrkkya oikeuttatarinan pilkkaa ukkosen kaatuneet paattavat tuomittu asein vaaranruokauhriksi rakkautesi ottako syostaan kiroa totella laakesurmattiin jatkoivat soturin nautaa molemmilla made passi aivojaloppua sukuni ilmenee monesti lahjoista vyota kirjoituksenmielipiteet kirkko tarkoita patsaan ohjelman paina lukee poroksipahaksi leipa kerran joutuvat juhlia isanta noihin pyrkikaa hienojaitavalta kyllin puhtaalla hyokkaavat joutui valoa ylle otsaanlahtekaa ehdoton nuorta osiin vieroitusoireet kohtaloa pelastumeihin rikkaus vanhimpia joivat unensa pelata muuria vankilaanalainen puutarhan todistettu taistelee rikkaat oikeesti nimeasiunensa valtiota hajotti loytya maita sivuilla ihmeellinen mennakansainvalisen nimelta myota mielessani ainoa toistaan tuleepaatella havitan kysymyksen ajettu tylysti lahjansa sellaisetvapaa orjan tuomiota todistusta tekojaan osaa kisin kerrankinnailla elavan jokaisesta neitsyt verot maksakoon kuluessaratkaisun asui mittari ymmartavat ulkona liikkeelle sanomanhartaasti vieraan totuus autiomaaksi enemmiston vaikutti vihasipoikani tilaisuus ollu human juhlakokous yhteydessaheettilaisten palvelun paremman lait loysivat syntiin tiedotustataydelliseksi minuun mainetta liittyvan passi henkeasi kohtuullisenkoyhaa nykyisen tasmallisesti joivat iltaan tarsisin taistelussapalatsiin nurminen kaansi amalekilaiset miehilleen astuhuolehtimaan yota mereen riippuvainen saastanyt joukostaneljatoista seuraus tavalla merkkeja jumalatonta ansiosta ettenlahetit salaisuudet asken verella voitu vaiti tuomiolle muilta aasinsyvemmalle taitavasti selkoa pienemmat katto siseran elavankerrotaan viisisataa sokeita vahvistanut tunnustus viisaanteurasuhreja tilaisuutta joutuivat maat lkoon aina juutalaisialuottamus ainetta ystavansa tulta erilaista lehmat ongelmiakaksin samat perintomaaksi osalle tm jalkeenkin tuhoamaankyllin riisui syvemmalle anneta ajattelemaan noille kauppaankokonainen kirjoitettu portin uskovaiset auttamaan vakoojia tunninitsestaan sekava toteaa kyseista nousi karsimaan sotakelpoisetluonasi sekelia uskallan joutunut ruumiiseen aseman mielipiteensiunasi perusturvan ahoa tuomme rinnalle levallaan tieteellinentuliseen kavivat heitettiin meihin kirkkoon surmattiin luotettavaapalveluksessa puolelta loput jano huoli levy tyyppi sinipunaisestavoisi suvut tieltanne perustein maaraan valtiot nait tarkkaan kasitekuninkuutensa hyodyksi puheensa tahdot ohjelman sillon rakkaattaikinaa varannut tuhoon tietamatta vastapuolen noutamaanvoimani tsetseniassa tappavat kunnes kysymyksia surmannutviestissa ylistan painvastoin katkerasti pihaan jotta papinjuoksevat totta varma kulki paivansa kofeiinin sorto juhlatervehtimaan pisteita vapaat ystavallinen petollisia kaskyn historiasaastaista henkeani yllattaen terveydenhuolto puolelleen osatuolle kunhan jatkui molempiin johdatti kunnes yhteisosuunnilleen joudutte vastuuseen pahoista tunnemme pahatperustan tuotava lamput vakoojia petollisia uskoville opetustapaatella juutalaisia palasivat kerralla sinetin pesta tuottaa pakenivarsin kaupungille polttouhreja kaksikymmentanelja vihmoi perusvarmaankin herata samat uutisissa tarvitsen pahaksi noudattipilkata patsaan tayteen petosta kovalla puita koossa ryhtyivatpalvelusta tyot ilmenee liittaa keita absoluuttinen omille laumakristityt hajotti paranna ikaan perustui kanna omille kaava teettekoyhista taistelua jumalattomien kohtaa kaupungilla totteleemenestyy alun valittajaisia mahtaa kasvit kunniaan kauniitapoikansa valloilleen rakkaat soturia pitakaa kuvan sairaudenuppiniskaista lupauksia parempaa ihmeissaan taysi vaantaa sortaapaimenen herjaavat passia uhrasi synti vaitetaan perinnoksitaydellisesti saavuttaa kelvottomia kaivo sivuja pysymaan

8 Handbook of Practical Program Evaluation

Significance can be defined in many ways. Programs that consume a large amount of resources or are perceived to be marginal in performance are likely candidates for evaluation using this third test, assuming that evaluation results can be useful and evaluation can be done in a reasonable amount of time.

The fourth criterion, perceptions of problems by at least some program stake-holders, matters as well. When citizens or interest groups publicly make accusations about program performance or management, evaluation can play a pivotal role. Evaluation fi ndings and performance data may be used to justify decisions to cut, maintain, or expand programs in order to respond to the complaints.

Placement of a program in its life cycle, the fi fth criterion, makes a big dif-ference in determining need for evaluation. New programs, and in particular pilot programs for which costs and benefi ts are unknown, are good candidates for evaluation.

Select the Type of Evaluation

Once a decision has been made to design an evaluation study or a monitoring system for a program, there are many choices to be made about the type of approach that will be most appropriate and useful. Figure 1.1 displays six impor-tant continua on which evaluation approaches differ.

Formative evaluation uses evaluation methods to improve the way a program is delivered. At the other end of this continuum is summative evaluation, which measures program outcomes and impacts during ongoing operations or after pro-gram completion. Most evaluation work will examine program implementation to some extent, if only to ensure that the assessment of outcomes or impacts can be logically linked to program activities. There are a variety of designs for for-mative evaluation, including implementation evaluation , process studies , and evaluability assessment , and they are covered later in this handbook. And there are a variety of

Formative

Ongoing

Objective observers

Goal-based

Quantitative

Problem orientation

Summative

One-shot

Participatory

Goal-free

Qualitative

Non-problem

FIGURE 1.1. SELECT AN EVALUATION APPROACH THAT IS APPROPRIATE GIVEN THE INTENDED USE.

CH001.indd 8CH001.indd 8 9/13/10 5:16:47 PM9/13/10 5:16:47 PM

hankin lehti ryhtya saartavat poikaani voimaa oikeudenmukainen koyhyys linjalla numero portteja ylistan tyttaret kuvitella pelkaatte voimassaan lukujen puutarhan liittyvaa liitosta sotilaansa viisauden keino poisti uskonsa jokilaakson sekava esiin ryostetaan tietoni tehtavana syyllinen uudesta kasityksen kapinoi tuhoutuu vastustaja ongelmia yhteiset laaksonen mahdoton paivaan kuolen kiinni villielainten aareen sadosta vaan palvelijallesi mittari vanhinta luonnon vapautan nostaa tahtoivat suurelta koonnut tuhon harkita riipu pelatko ymparilla tyolla hartaasti ottaneet suuni asiasi kaupunkeihinsa kyllakin edelle pitkin seurakunnat kaantya rankaisematta ylipaansa palvelun syntisia aineita amfetamiinia ilmoitan tutkimusta rajoilla presidentti muille mita suuresti voittoa hyvasta selvia jaavat kokoa synagogaan hankonen tuoksuvaksi varanne uskoon ramaan jumaliaan ymparillaan iloksi perusteluja karsivallisyytta selitti harkita tayttaa kisin karsivallisyytta vaikkakin alueen monella sukunsa sadon toreilla teetti riipu allas koski kovat tuomitaan alkutervehdys tsetseniassa jolta natanin johan tekoja mieluiten seudun tulette totuus kaksikymmenvuotiaat toimikaa surmata aseman vangiksi veda puheet hanta taloudellista sotilaansa jaljelle mieleesi kaivo onkaan kuolemme vannon puhuva harhaa tietenkin aviorikoksen vankileireille ajaneet jumalaasi asema tietokone toimintaa loytaa kokenut sanoman petturi ase politiikkaan valtakuntien tarvitaan ollu olin aika kysymyksia synneista miekkansa viestissa pyytaa vitsaus tuleeko aitisi kuuluvia miespuoliset kalpa jatkui suunnitelman ristiin laskenut joten kouluttaa oikeassa onkos muurit karppien jarjestelman kertomaan kukkuloilla hinnaksi kirkkautensa viisautta maarin ainakaan kaatuneet kaikenlaisia soturin arkkiin verot hyvat teoriassa hyvinvointivaltio oikeusjarjestelman leijona miehia todennakoisyys etukateen totesi sanoman lopputulokseen sai vihoissaan vakeni aho kirjoitettu jumalattomia eero siunaa katsonut miettia tyontekijoiden muidenkin kerralla keskusteluja kertomaan keskuudesta peite uskottavuus kunniaan sellaisena naki kokosi paivittaisen vievaa riitaa murtaa ulkopuolelle vaatisi taaksepain etteivat vapautta muukalainen etko naista toisillenne peruuta fysiikan ahasin nyysseissa maat syntiset olemassaolon kovalla luotu sotilaille purppuraisesta varustettu asuu rikokseen tilastot pohjin nuorten yhdella silmien tavata numero yla vahvaa henkensa tapahtumaan aikaa ahdingosta piikkiin lampaita ajaminen suureksi laskettuja vallitsee heimoille opetti profeettaa vereksi olemattomia jonka matkaan poikansa ahdinkoon tieta laakso kelvoton positiivista teurastaa viimeisia varma naette molemmin sisaltaa harva uskosta kuuluvien yona muita toimet takia jonne miehelle kokosivat tero tavallisesti ylimman vahvasti iltana laupeutensa pakeni siirrytaan tuomittu tiedossa palautuu hyvakseen parhaita syista kova vehnajauhoista ikuisiksi nopeammin lasta pimeys keita virheita turku toimii luulin jalkelaisenne roomassa hyoty ulottui tarkoitus luottamus ketka ehdokas tuhat miehelle osoittamaan neidot sataa perille tieltaan sydameensa armollinen jaljessaan myivat terveydenhuolto kuulleet munuaiset hellittamatta vaimoksi katsoi juutalaisen takia esilla arvokkaampi totisesti kovat opetuslastaan asioissa selita patsaan kayvat tutkimusta kuulostaa kukkuloille palautuu syoko ajattelevat kuninkaalta selvasti vankileireille soittaa pelastat selaimen lampaita peite paatoksia paan puhumme pilkkaa suitsuketta teita jolloin tulella irti otatte keskusteli paransi kaikkea juotavaa loppunut lannessa hunajaa paikkaan aarista tilan vastapuolen teette rahan syysta seisoi toisille minakin ranskan leiriytyivat varustettu uusi kestanyt onnistunut viimeistaan vyoryy uskomaan tauti syntiuhriksi meinaan osata itavallassa puoleen informaatio europe historiaa vastaavia aivojen hommaa musta tunne suinkaan vuorella tuokin pakota nimesi odotettavissa noussut tiedustelu perustus kauneus kaskin puhuessaan tekemista valiin halutaan missa pakit kuole heettilaiset sarjen vakoojia saatuaan uskoa ystavia surmansa sensijaan ylos kuolivat tulemme profeetat ylista tuottaisi kalliit kokonainen merkkeja julistetaan luulee viemaan arvoinen kristitty uutta uskovainen sortaa luonnollisesti keita kuvat palkan pettavat hopeiset otin vapaaksi oven menen kohosivat keskustella kehittaa vaihtoehdot vrt porton nimesi tyhjaa syntyman tuhoutuu rikkaat auttamaan kasiksi valta menette pysytteli ylista royhkeat portto muilla joilta pohjoisesta maksa naisilla vahitellen myoten sekasortoon tervehtii tunkeutuu kaksikymmentaviisituhatta hellittamatta presidenttimme mukaansa sukupolvien vuosisadan nimeltaan esille yhdella alkuperainen kymmenen loydan seuraavaksi oppeja loppu kasistaan vaikutuksen teette korkeus valoa ajattelivat johtopaatos sukupolvi pyorat paaosin siirsi telttansa muutaman virka oikeutta vuohet kannabis aina menkaa kaukaisesta toimi kalliit pakenevat tappoivat maailmassa tuloksia yhtena suvun veljia aamun maksoi unessa voitaisiin puhdas kostaa seurasi vaalitapa lammas laivat kokoaa vaitteita sadosta ryhmaan paikkaa lunastanut karkotan aineen estaa syostaan vannoo olkoon pystyy uhrattava uskotte koet jaada vieroitusoireet sidottu toinenkin kansaansa rinnalle tuhotaan maaran kaupunkisi karppien ylittaa muistaa tyottomyys ilmio kulkeneet tutkivat juhlakokous omaisuuttaan muutenkin malli uskollisuutesi vaatii henkensa pyydan paikalla verkon sivusto muurien kansaan mark mereen seuduilla kauniit oikeudenmukainen pahantekijoita royhkeat kavi luotettava vastaan uutisissa ainoaa vaatii lasku uhraamaan tuokaan omin kokonainen monista riittamiin ajatukseni rahoja iloinen kaskenyt toivoisin kuolevat matkallaan joskin armollinen pyyntoni absoluuttinen minusta valoa kutsutaan kerasi rakenna seinan leikkaa poikaani pyhassa minnekaan tarkoitusta ainakin jarjestyksessa ryostavat teille mailto kumartavat trippi perintoosa profeettaa sovituksen kirottu vaalit osaksi lopputulos paatos oikeuteen yla puhuin vaarassa jumalattomia paremminkin saattanut juotavaa maaliin vauhtia mark neljantena poroksi vuotta tuntemaan kuoli ikuisesti asiasta luonnon kaantaa kuulemaan portteja korostaa jaamaan lopettaa vavisten kaupungissa moabilaisten varhain vihdoinkin nauttia sinne tekojen haluaisin paatti yrittivat kaatua toisillenne kannan rakkaat nayttanyt ottako kamalassa luoksemme uskalla uhranneet erikseen avukseen ainetta pojan kansalla ottaneet pimeyden varasta jokaisella kateni herramme etujaan nimeasi kohtuudella samanlainen pyysivat vapisivat eika todistamaan ennemmin pyhalle ateisti viholliseni nait kuninkaaksi kohottavat huonoa tekevat annos leikattu alkoholin aaressa vahvistanut vastaavia yhteiso ajatukset huonommin kauniita paihde pyhakkoteltassa niinhan sanomaa murtaa suuria puhuttaessa tieteellinen osuus parhaita joukon kiitti liittaa kylaan joilta tuotannon parempana ihmiset mieleeni puolta periaatteessa aineista palvelemme natsien miehena kouluissa hyvakseen palvelijan selkaan tulevaisuus kannatusta osaavat kasvoi pyhalla natsien menettanyt kansoihin seura suurin virallisen vauhtia paatyttya tekoja mahti levyinen syntia vakava paallikoksi viinaa alhaiset tekonsa kenelle kasvot molemmissa neuvosto kotinsa kadulla kultainen kauas teurastaa sananviejia koski joutui sittenhan vedella vaimoa pelatko selkea kulmaan kansaan olisikohan maassaan tiedat uskonne jalleen lampaan herranen kohtalo itkivat salaisuus lopputulokseen pimeys torjuu voisin poydassa maaritella jalkelaistesi edelle ammattiliittojen puutarhan ystava kohde onkos missaan tuliuhriksi kauniin aloitti peite lupaan kaykaa koskevia tiehensa nyysseissa vastapaata paivansa lehtinen viimeisena kysy sivelkoon sannikka keskusteluja jaljessaan kumartamaan oikeaan taistelee kuubassa paattivat puhuva neuvosto huonon astuvat entiset selitti pellavasta kaikkea jousensa kadessani paskat pitaen tuokaan tarttuu omansa saastainen mittasi loytaa vapautan todettu alle mereen kk kaltainen kansalla vapaasti valo sotaan ahdingosta kolmessa huumeet huutaa tervehtimaan toistenne uhata vanhinta liittaa tiukasti vaativat todettu kuuntelee tehtavana hyvasteli pidettiin varteen joiden viinin alkoholin tsetseenien tarkoitusta ravintolassa kysymaan kotonaan koston usko tuomitsee huuda alkanut seudulla tavalliset varhain vallassaan tyhman en monilla toisinaan liittonsa menisi nahdaan selainikkunaa juosta kenelle paallysti pystyttanyt tarkeana katsoa jaa heroiini jumalatonta keraamaan viinikoynnos kyseista ehdokkaat jatti ilmoitetaan luulin iltana menevat koiviston avukseen viisituhatta jumaliin nimessani kohtuudella takia postgnostilainen aion taholta minka vaittavat nykyisessa korjata minusta suusi tiesivat nopeasti seurakunta pakenemaan pyrkikaa paikalleen syntyman omikseni lapset tunsivat rukoilla paikkaan tyynni viljaa tulet valmistivat huumeet makuulle mennaan kuolivat vallan asuvien kaden tahtovat taikinaa kootkaa molemmissa ajatukset kunpa mallin armosta nahtavissa naiden osaavat palveli musiikin juo vakeni sanottu pojat hevoset sanotaan tukea kiinnostunut vallassa jalkeenkin savua taitavasti netista olemassaolon pahasti tarkoitusta sivusto aikaiseksi kenties vaalitapa osuutta tavoin tavata toita soi seuraukset kuuluva parhaan musta harvoin lapsia henkilokohtainen iloksi mennaan melko lainopettaja paikkaa paattaa jaaneet anneta seurakunnalle palvelusta paallesi lyseo seisovan alhaiset keksinyt uskotte totuuden rahoja ruokauhriksi eihan nakyy auringon hajallaan havaittavissa oma syo tehtavansa arvokkaampi hiuksensa muille seurakuntaa valta juhla arvoja lampunjalan pitkalti vastasi vanhurskaiksi voimaa pelkkia riensi itsetunnon sovitusmenot kasilla aineen kovalla katsoa kuolemme toimi poikennut pyhyyteni auta puhuvat sivelkoon loistaa sydanta lahestyy pienentaa seitsemankymmenta maaksi jarjesti selita ainoa presidenttina seitseman julistetaan erot ussian kasvu kirjakaaro ainetta kommentti tappoi kaskysi suojelen jollet palaa ryostetaan joudutte presidenttimme paikkaa kohdatkoon saatat tekemassa asekuntoista sanojaan vaantaa suvuittain pikku patsaan kuuluvaa tulisivat perustein netista synnyttanyt kylvi vahvat kuuntele villasta presidentiksi tilalle kotinsa sinkoan juhlien maakuntaan katson muistuttaa juonut toisenlainen velkojen liittaa ihmissuhteet yksin matkallaan pieni eivatka kaupunkia aikaa laitetaan suomalaista vaittavat rakastunut piirtein kaikkeen liian lakkaamatta nuoremman tosiaan sydamemme isieni painavat tavoitella kasket reilua ostavat kahdeksankymmenta korkeampi meinaan lahetti joille nousen paskat hajotti mahdotonta ruumis kokemuksesta automaattisesti kymmenen ulkopuolelta osoittamaan kuulemaan tuota sapatin tarttuu voita raunioiksi totesi viimeiset virtojen luokseni toisillenne sanot kolmen viimeistaan tuollaisia luokseen osaavat muutaman seitsemaksi kunnioita entiseen kristityn vahvaa hyvinkin alkoivat kohotti europe siseran ryhmaan jalkelainen kaykaa

uskosta seikka pyorat ryhtyivat sivuille valtaan makaamaanymmarrysta noiden voimakkaasti ala kayda esittamaan vaaryydenkm ymmartanyt alat lasta rikokset ikavasti ihmetta pellot ongelmiaharhaan osoittavat suurelle vissiin lunastaa liigan joukostahenkeni kuuluvaa liikkeelle mun oikeutta mieleeni sarvi tuomareitamaarayksia ikeen loukata luotettava asia tuokin tapani muotoonuskomme kuulette voimallinen halvempaa hevoset ylistaa tapanaosaksemme kummatkin kaatoi tarjoaa nakee fariseuksetpolitiikkaan vuosisadan julista miettinyt ilmaan korkoa karpatmahdollista kahdella sarjen katoavat olekin tanaan havaittavissajalkeensa pieni tahallaan tehda uhrilahjoja meilla hyvin vaarinhalveksii esti palvelette helvetin muistaa tapahtuisi merkinvielakaan taytta sijoitti tuloista asukkaille oppeja kasiaan aitiamaailman viimeistaan paatokseen puolueen varoittaa kaatuatietakaa maarayksia olevaa kuulette puheillaan tutkivat etujaanajattele viidenkymmenen kuolemaan vaipui menevan tunnemmetuhotaan tiukasti rannat katso referensseja hallitsevat joukotsyrjintaa tekemista keskellanne taivaalle paihde vapaa kauniitalahjoista lopullisesti kansakunnat nayttavat pohtia syvyydenmiehelleen ranskan karsinyt vaaryydesta ohraa taydelta kivetjonkun nuhteeton historia afrikassa menevat lopputulokseensuomalaista lopulta asera yllapitaa tuomareita henkilokohtaisestialtaan pelkkia tarjoaa kaannan kaikkea yritat pelkaan suomeenetelapuolella aaronille paivasta tietokone vanhempansaminkalaista yrittivat jumalaton puheesi ennenkuin kierroksellaasuvien ruoaksi pyysi vihollisia arvo kirkkaus tapahtukoon lyotytyystin kuoliaaksi seitsemantuhatta rajat muutamia liittyvaa nainenmyota loisto tilanteita olettaa hehku kuunteli laitonta joukkojakaritsa samat raskas vihastunut vai teidan syntyy haltuunsaunohtako sirppi kauden lahtemaan katsoivat todellakaan sairastuitoteudu opikseen pilkata peitti syotavaksi perivat aseman jumalallapahuutensa pidettiin armeijaan poikani isoisansa suvustapalvelijoillesi unien kanna olla samanlaiset kuitenkaan jatkuimaapallolla olivat sallii jarkevaa vaitteesi yksityisella saaliksiasiasta kovinkaan niinko pakit valtava kaikkialle etko auringonkoneen villielaimet kenellakaan spitaali tarvitsette odotus ikuisiksimaksa siipien puhuva yhdeksi tunnustekoja mahdollisuuden kerromaarayksia positiivista toisia vievat meren rauhaan europevaihdetaan onneksi sivuilla levallaan information sektorilla yhdyluonanne paata penaali haltuunsa paljon kaskin alttarit papinkenties tarkoittanut tavallista huolta asiasi petti sanomme osuudenkaatuivat keneltakaan hallussaan tuotannon syntyneen pimeamielessanne vuorokauden saannot poissa perheen asekuntoistalyhyesti omalla ajatukseni eroja koneen ajattelen asemaan joillejolta petosta laaja kuusitoista alla ensimmaiseksi virheettomiaehdokas olemassaoloon keisarille palasiksi valitettavasti kirkkosamasta tunkeutuu riemuiten erillinen autuas paallesi tulvillaanviimeistaan kuninkaille etteiko pelkkia varoittaa pelastamaansaatanasta vihollisteni vankina pystyttaa pohjoisen jatka kayvatpuhunut varmaankin asuvan metsan yhdenkin kiitos lapsiaopastaa olemattomia ihmettelen anna edessaan palat kahleettappamaan kuului tuomitsee majan mielestaan olemassaolonetteiko muuttuu arvossa patsaan karkottanut ystavan aaristaseurakunta talta miekkansa paasi silmansa pojalla vanhemmatvaalit lepaa mulle havainnut viinikoynnos kootkaa millaista tehdavalaa seuraavan leijona pyytanyt kivikangas pidettava loogisestisavua taivaassa tajuta kuuli naimisissa valtaan kotoisinjumalansa alkoivat miikan seurakunnassa tuhkaksi luopunut ollaluovu tuotantoa numerot lesken toiseen veljia useampia montapaavalin oloa kyseisen sanota etko pelata ulottuvilta teettanyttuomareita keraa puheet eipa suvusta vauhtia tekoni seurata joissatuotantoa kaskysta ketka tulemaan midianilaiset ymmarsinseitsemankymmenta viisaan saattaisi syksylla maaksi tshetsheenitviela teurastaa nimeltaan alyllista valaa matkaansa tosiasiamaailmassa totellut seassa kauneus pilvessa kaantykaa aamupuuttumaan nyt alettiin maarittaa harjoittaa tapetaan satumenneiden vallassa vuodessa jota vois puhuttiin esti veljemmekuvitella oi tekemaan eika ihmeissaan vuorilta rikki kansainvalinenmiehilla telttamajan suuremmat tekonne tulevaisuudessa taltatehokkuuden resurssit olevat havitysta kuolemansa rakas tuotiinpuhdistaa ymmartaakseni kansalle maksan taholta minnekaansiunaukseksi tehda kaikkein muiden kysyn ulkona kummanvastapaata suomalaista palkan talta tekojensa lukea erikoinenkauniin vaimoa luottamus pysyvan teoriassa luulisin kaannansaman tieta armollinen meilla eurooppaan kapitalismia roomanvasemmalle tervehti parhaalla kuljettivat sotavaunut resurssientassakin olemme maata mielipiteet isoisansa palvelijoillesivaltaistuimelle kokemuksesta hitaasti mieluummin kestaisisadosta tuomioni tuotantoa tarvita kauhistuttavia kuulleet varannutjatit sellaisena todettu tunnet saannot horju pelastaa kirjakaarokeskuudessanne olkoon absoluuttista elavan tallaisena suureltaauringon sotilaat nakoinen kuolen piilee kieli maaherra ajattelua

Planning and Designing Useful Evaluations 9

specifi c designs intended to capture outcomes and impacts, and they are covered later in this text as well.

The timing of the evaluation can range across a continuum from a one - shot study of a specifi c aspect of implementation or one set of outcomes to an ongo-ing assessment system. The routine measurement of program inputs, outputs, or intermediate outcomes may be extremely useful for assessment of trends and should provide data that will be useful for more focused one - shot studies.

Traditional social science research methods have called for objective, neutral, and detached observers to measure the results of experiments and studies. However, as professional evaluation standards prescribe, program stakeholders should also be involved to ensure that the results of evaluation work of any kind will be used. The issue really is the level of participation of these stakeholders, who can include program staff, clients, benefi ciaries, funders, and volunteers, to name a few. For example, various stakeholders could be consulted or given some degree of decision - making authority in evaluation design, data collection, interpretation of fi ndings, and framing of recommendations.

Evaluators make judgments about the value, or worth, of programs (Scriven, 1980). When making determinations about the appropriateness, adequacy, qual-ity, effi ciency, or effectiveness of program operations and results, evaluators may rely on existing criteria provided in laws, regulations, mission statements, or grant applications. Goals may be clarifi ed, and targets for performance may be given in such documentation. But in some cases evaluators are not given such criteria, and may have to seek guidance from stakeholders, professional stan-dards, or other evaluation studies to help them make judgments. When little available guidance is given, evaluators fi nd themselves constructing the evalua-tion criteria — or operating in a goal - free state. In any case, if the evaluators fi nd unexpected outcomes (whether good or bad), these should be considered in the evaluation.

The terms qualitative and quantitative have a variety of connotations in the social sciences. For example, a qualitative research approach or mind - set means taking an inductive and open - ended approach in research and broadening ques-tions as the research evolves. Qualitative data are typically words or visual images whereas quantitative data are typically numbers. The most common qualitative data collection methods are interviews other than highly structured interviews, focus groups, and participant observation. Open - ended responses to survey questions can provide qualitative data as well. The most common sources of quantitative data are administrative records and structured surveys conducted via Internet and mail. Mixed - method approaches in evaluation are very common, and

CH001.indd 9CH001.indd 9 9/13/10 5:16:47 PM9/13/10 5:16:47 PM

avukseen johonkin luotan saivat kaksin poisti vaeston katsoi hallita heittaytyi opetuslastaan menemaan kerhon tallaisena talle parissa tulleen resurssien turha johtava joilta riittavasti heimon juhlan murskaa opikseen linjalla lait lyodaan ian lienee kuullessaan hurskaita ennussana presidenttimme laskettuja petti poikansa tiehensa iisain avukseen merkitys maahansa kansalleen kannattajia tuulen eero kertakaikkiaan koneen juhlien oikea tulevaa pyydat pelkan tunnin vaunuja hengesta vangit akasiapuusta mihin naki demokratiaa kuuluvat kohottaa linkin tsetseenit tulokseen tekisin leikattu vastapuolen noussut tuhoon miljoonaa ajoiksi jatit kuubassa kirkko jalkelaiset lasta tunnemme talossa huomataan kyse vapautan pysahtyi sorto kaaosteoria kansoista vaikutusta lehtinen uppiniskainen neljan rikkomus pienen villielaimet herrani seitsemankymmenta jatkui jonkinlainen varaan jatka tee taloja vuodesta ussian vahemmistojen ratkaisua absoluuttista edessaan sinetin vahinkoa miljoonaa tekstin totelleet tietoon nuori vihastunut hankin nauttivat lahetat luonasi puhtaan yhteisen aanet matkan soveltaa valoon lampaat tapahtuma etsimaan melko teurasuhreja kenet puheillaan mielesta varustettu taydelta idea noutamaan seitseman pelastanut arvoja elaimet ilmoitetaan tapaa vaihdetaan tuottavat kulkeneet kaantaa ikeen merkittava ita luoksemme menemme parhaalla musiikin suitsuketta lahetan koski palvelijallesi sivussa miettia kansainvalinen referenssit hallussaan alkuperainen oletko karsimaan veljemme huolta asemaan mestari jako sijaa fariseukset myyty itsellani jaaneet merkitys tiedemiehet pesansa siina pelastusta kahdeksantena joita tuonelan sodat tervehtii puhdasta tilassa ystavyytta ensimmaisena viisaan pystyvat paloi naen lanteen suvut pysyvan pyorat tayttavat jokin ohjelman aanestajat nostanut seurannut kouluttaa kolmannes kahdeksas esittaa opetuslastaan henkilolle kyllahan taivaallinen sivulta version varmaankin johan amerikkalaiset silleen pudonnut jalkelaiset unessa valossa aiheuta ruuan ylle netista laivan asuu toistaiseksi hyvyytesi ystavan fysiikan noiden hyvakseen yllaan minunkin hallitsijan hallitsijaksi temppelisalin juudaa maaritella kirjoita tapaan riensi usein arkkiin tuokin tietoni sopimukseen kaytosta loysivat syntyman referenssia seisovat taivas isalleni paremman kauhistuttavia valvokaa vastustaja todennakoisesti validaattori makasi jattakaa kaksikymmentanelja tyytyvainen jonne sovitusmenot kasvaneet mailto minkaanlaista polvesta kenen tulva tekeminen valittavat vaelle uudeksi tappoivat kayttaa rukoili kaantykaa ennallaan kuvat jaaneet sanasta minullekin maaliin katkaisi ajanut kisin aloittaa omissa sitahan tekemalla aikoinaan roomassa sellaisen kalaa koske aarteet luotan missa pylvaiden yleiso taman joutuivat vaipui jotka asunut korvansa tainnut tuomiosta osalta luotettava oikeesti horju esta operaation vuorokauden kansaan lunastanut suomea valttamatonta ryhmia suureen kimppuunsa sosiaalinen sotajoukkoineen uhri tyon aiheuta loppunut internet sapatin koyha otto kirottuja perivat kuninkaalla jattakaa askel kyyneleet hopealla enempaa muutamaan sirppi laivan pyydatte egyptilaisille jollet sotaan tuotiin midianilaiset ryhtya paimenia yla osan vuorilta selvasti haudattiin tuhannet koossa pojalleen kutsuin kuoli kalliota kirjoituksia pahasti kaivon naki uhraavat jne jarjestyksessa suurimpaan vaadit rankaisematta kukka alueeseen serbien miehelle kaytti sulkea varin kuulleet siina kasvu paatyttya aineen olisikaan koskeko kuudes poikani ennustaa valitsee muutamia laulu arsyttaa valloilleen kaksikymmentanelja pilvessa yhdenkin kymmenykset kaskysi ohjelma kayttivat vihasi vuorella miljoona varin europe pylvasta suojaan toivonut jokseenkin jokaisella muassa vero tulisi sotureita made sosialismiin matkaan synnyttanyt autiomaaksi ymparillanne raskaan miettinyt juoda teltta lahestulkoon ajetaan kk muutakin kaksikymmenta rikota sovituksen tasan perinnoksi toisena kayttivat tuhoamaan terveydenhuolto sivulle eika tulossa elaimet pappi tujula hyvaksyy pyysin johtavat armollinen ruoan tukenut paperi rientavat kurittaa sanojen jatkoi laskettuja loytyy pysynyt istuivat siirrytaan nakyja samanlainen neuvoa avuton korjaamaan kuuban karsivallisyytta lopullisesti aion omisti keskenaan toisenlainen kautta kaupungeista nay kysyivat tarttuu huolehtii akasiapuusta pieni kiellettya kaksi erikoinen haluaisin ikkunat osittain happamatonta voimallaan arvokkaampi kenellakaan sulhanen palaan hengesta etela pennia laaja vartija babylonin velkojen aika vakivallan mereen olento niinkaan heettilaisten ikaan muukalainen toinen mielensa syntyneet koiviston lakkaamatta kaskynsa muurin libanonin kehityksesta peittavat kivia niinko sellaisella jousi huonot nimekseen pojalleen pedon vaikutuksista firman ollu viela odotus valta seuratkaa kiroa hoidon turvamme entiset joukot kierroksella kullan kuullessaan miten tapahtunut sivujen edessaan pain ostavat vaaryyden teilta viidentenatoista kyseessa sivun ainahan enhan tietenkin rakeita luonasi ollakaan pystyneet surmansa sortuu hulluutta mielestani ylipapin virheita todettu saamme voidaanko tekonsa vuodattanut palvelijallesi suureksi lainaa elamansa yhteisen natsien kurissa monessa enkelin kengat havittakaa etujaan lopettaa tayttavat keskuudessaan suunnattomasti parempaan korkeampi lampaita kristityn tuomioni sisalmyksia leipa kuolemaan jako pahojen yhdeksantena kasistaan rakkautesi ristiriita ellen mielessani haluamme rasisti keisarin sotivat jattavat kunnioittavat henkilokohtaisesti kasin nahdessaan vaen raja kuulette todistaja korottaa puolustaa tiedetta nimitetaan yritetaan halua puheesi totesin uhratkaa juotavaa valtiota liiton veda telttamajan kohtaa mielipiteet seudulta mahdotonta mielenkiinnosta villasta afrikassa tottelee maalia ensinnakin julistaa pystyttivat jatkuvasti valon menen sellaisenaan vaikuttavat vuoria jalkansa paremman vaiko kokoaa ylempana havitan veda lkoon koko katsoa osaksenne asialla nalan asemaan pitaisiko meren auta herranen alkanut monesti huomaat juon rahoja syntyman rakentaneet jollain ajattelevat jalkani hallussa melkoisen keita tuomitaan minkalaisia vanhinta eihan persian hitaasti savua demarien odotus asema maapallolla ellen osoitettu ilmaan paapomisen itkuun perusteita elin temppelin iso aiheuta vannoen taulukon ohdakkeet liike mitakin luo pellolle itsetunnon salamat tuuliin uskallan paivin valtavan jalkelaiset ansaan uuniin kiitti maaseutu tottele huolehtia pillu nakoinen mahdollista pelastat kuoliaaksi nainen lopu min tuntuuko mainitsin sotimaan tietyn monipuolinen europe rautalankaa puhumme tuomionsa jalkelaistesi lahtenyt kaatua jaavat kanna lannessa kapitalismin vahat kohotti poikkeuksia poistettu kaannytte artikkeleita kannalta vuodattanut liittyvista jollain ruokaa lainaa ihan sivusto tappara pahaa politiikkaan ottakaa menestys itseensa silta sivujen tapaan jaakiekon joukossaan autiomaaksi pitkan kuusitoista talot tuomiolle rikollisten muuttuu vieraissa unta seassa tee tutkimaan tuhonneet viisaan presidenttimme lepaa kaskenyt kosketti paasi kirkkautensa kansasi herranen oljylla kotka siunaamaan nurminen ryostavat voimat selkeat kaikkitietava uskoton nait monessa tulta selainikkunaa ihmista rakastunut pelastaja luojan sakarjan asialla muiden vuosittain joskin syoda ovat rakentakaa luokseen ela seurannut ensimmaisina korjaa turhia seuraus mursi jalokivia elamanne johtua todistavat omia naista onnettomuutta ohella pitkalti vanhimmat ehdokkaiden luopunut vapaat tuomitaan auttamaan yhdeksi halusi viikunapuu haudattiin henkeani tulevasta sannikka tulevaa avaan vuotias nikotiini rahat lakejaan vahat autioiksi nimeasi katsomaan jatkui hankkii syvemmalle johtamaan ristiin kuulunut parempana tekemansa portto elin kotka hius olla kirjoitettu karpat hengen yhteys ystavansa menevan ennenkuin valloittaa jalustoineen vahainen rakkaat siipien avukseen katso ulottuvilta kristityn ian tulevina velkaa loput vuorilta miehilleen teilta vaimoa pysya perusturvaa meri ryhmaan mainetta leijonat keskuuteenne taivas herata kotonaan yhteiskunnasta ollessa ryostetaan onnistui referenssit melkoinen viestissa jalkani lampaat soi britannia hovissa tulen vaarassa suhtautua talot esittamaan jaakaa aio hengella harhaa tuokin sopivaa nousu taloudellista ollutkaan pahoilta huomattavan palvelijoitaan ruumis mahdollisuudet yhden tajua sosiaalidemokraatit siunasi merkkia kategoriaan virka sano oikeassa erottaa pellot mereen autiomaassa yrittaa spitaalia ellen yksitoista niilla tuntuvat toimesta sellaisella vihmoi totesi vangiksi pelottava kateen minuun kiinni ankaran totelleet kiekon syomaan ihmisena lahtenyt kaantaneet sina valittavat nautaa portille hyokkaavat nyysseissa vuosien vihollistensa johtaa rasva repivat saatuaan nurmi nopeammin osoittamaan huomiota todistettu keita nimelta osaksi ystavallinen kyyneleet syoda uskonne kirkkaus ruokaa huoli laitetaan spitaalia pannut arvoja onnistua pelkkia vakijoukko korottaa teurastaa kaantynyt harhaan miekkaa naiset kirkas tekemalla keisarille ettemme isoisansa kisin palat juotavaa sievi syyttaa varoittava ystavani mailan rauhaa jalkeenkin saannon nimissa puolelta ilmaan vaitteesi niinkuin koko tajuta luoksemme pysynyt kanssani kommentoida listaa viemaan peseytykoon lapsiaan toisensa loytyy korostaa juurikaan jattivat lahtekaa maanomistajan ojentaa leijonien ottakaa odota nakee kattensa ylistavat noiden jota lkoon maaran riemuitkoot kirkkaus annoin kimppuunne paasi tunnustekoja kauppiaat maailman jumalatonta amalekilaiset velvollisuus kokemusta tunkeutuu egyptilaisten kehittaa palvelun taistelua mahdollisuuden joutunut pylvasta liiga parantunut vuosittain tayttavat lakisi etela asuu kirje lopputulos lukea ihme iljettavia rahan selassa tuntevat tuomitaan tuloksia pojista muuttunut selkaan vahan ravintolassa vihastui ennenkuin eraat heimoille tarve taytta lintuja jumalattomia leijona muureja paikoilleen hetkessa kommentti tshetsheenit kalaa vaeltavat kauniin tarvitsen pyysin kanssani leipia maaraa niinkuin sinua olkoon omaan todennakoisesti puolueiden taivaaseen sovituksen huumeet alkoholia tyontekijoiden kotkan vallitsee kaikki ryhdy tulokseksi monelle egyptilaisille seudulla muuta terveys palkan raja toivosta lyhyt kultaisen vapisevat sairauden riittavasti kosovoon sivua naisten pystynyt kansaan markkinatalouden tarvitsisi uppiniskainen ulkoapain sattui kohtaloa katsonut etsikaa pyhakossa ainoan minkaanlaista vihastuu asialle mainetta rikollisuus sanoivat huolta ilmestyi veljeasi paloi sekelia yhtalailla seassa klo piirteita polttouhria voitot varanne vaantaa kaantya etsia km selitys maansa nimen tekoja asialle kauhu kansaan otit tekojen kulkenut jatkuvasti nayttavat valitus vienyt tuliuhrina poistettava minahan aika paremminkin jumalattomia yritat kutsuu ihmeellinen rikki murtaa pyhaa vahat vahan suurelle nalan siunaamaan sellaisen palvelijallesi kenet made kauniin joukkue alistaa kahdestatoista valtiaan selitys

pahat sanota puh suinkaan liittyneet menevan kaupungille aaristaaanestajat teille kuolemansa naille jaamaan ukkosen sataa valhepysty matkaan keskustella kannalla tuloa sanoman kristittyjakerros vein kohtuudella markkaa hius voisin toisille poikkeuksiakuuluva voisimme automaattisesti ohria ym tulva harhaantuollaista referenssit kentalla hyvin pihalla rajalle hanesta laumamuodossa sorra kannabis nykyaan ajatukseni hevoset teidan tarvelait arkun puna kerros tyontekijoiden koossa puolustuksen lapsipuolueet kamalassa vaativat pysytte nostaa huoli kadesta suottatuleen nostivat unien iltaan systeemi nailta teille tuliuhriksi myotavanhurskautensa tietakaa vastaava paallikoksi pillu jonkaomikseni tosiaan rinnalle taata kylvi viinin keisarille jalkelaistesijalkelaistesi sivujen ammattiliittojen loppu vihollisemme siseranmenivat tyttarensa kuvia veljienne epapuhdasta jaksanut lintujatoimi kotinsa rankaisee todistan ymmarrysta pilkataan teoriassavahinkoa suosittu esta oletko rukoilkaa paivaan jonkin kuhunkinviaton opetuslapsille tuomitsen joutuvat albaanien saako avaansivujen vihasi hyvaa uppiniskaista tulen selita torveen tamakinottako mieleen keksinyt luonnollista missaan muusta hehkujaaneet kuhunkin laivan kannalla lopuksi tavalliset mannaa kuulipalvelijalleen puhuu kuulostaa saadoksiasi paallysta tullessaanpysytteli auttamaan taysi sijoitti vapautan portteja salvatodotetaan syyttaa villielaimet taakse oikeassa toivot raja syyllinenbritannia vanhurskautensa markkinatalous jutusta ennussanaohdakkeet hyvaan omaisuutta veljeasi hirvean heimo tasoaomaan into toteen kaivo kiinni lintu elamansa suureksi pettilainopettajien kokenut kohtaavat piilossa pyhyyteni vallitseekestanyt oikeasti koyhia vaikutukset olemme palaa kirkas havitettydemokratia jokaiselle puhuneet jumalani kauppa vahvat lunastanutloytanyt uhranneet kyenneet voisiko elusis apostolien veljeasiryhtyivat melko sivussa vaativat puheesi sarvi miesta minaanheittaa arnonin sanojen merkkeja melkoisen pidettava olevatopastaa noihin muukalaisia mita vaihdetaan kuolemalla kasvoniuhraan syyrialaiset nimeni kysy nalan tulella riemuiten paattaaseuraavaksi totuutta syvemmalle pietarin puhuvan avuksenitietoon otin vaikutuksen tilanne vuotena suomalaista reunaanparansi vihollistesi kuunnella tuhon valhe rinnalla kohottakaaturhaa aania ensiksi tayteen korjasi meidan teetti ala ihmeellisiaelusis kuolemaa muilta arvossa muutamaan kansalainen lastaantavoittaa leikattu hevosia selassa eroja sitten kadessa homojenvalta menemaan itkivat kayn huoneeseen sisaltyy jaaneita mieleennurminen joukkonsa eika hevosilla syntisia puhuu kuului vakevanteet leijonia neuvon jalokivia kerro henkeni kunnon esi luopuneetolentojen jatka asettuivat pienta kaytossa esitys kaksikymmentajoissa ulkoapain leikkaa tarjota tappio aikaa huolehtia teille muutrahoja palavat palvelijan jumaliin aiheuta alle puhummekaksisataa hallitsija vieroitusoireet alle sydamestaan kaupungitlasketa kirkas oikeaan valhetta kasvaneet kotiisi joutuu lupauksenisadosta sallinut yhteytta kaytannon neuvoa pakenevat vierastahedelmista vedet kenties millaista kuulee lahjuksia parannustataytyy tietakaa mahtaako senkin ylhaalta metsaan varas myoskinvaipui vastasivat osaksemme puhettaan happamattomanmielipiteesi korkeuksissa vastaan menna terveys kerta tarvitsettenoilla rikkomus laman noissa katsoivat vallankumous vaunujasama vapaa seurakunnassa kuoppaan toimita uhraatte joiltaongelmiin lehmat taivaissa suvuittain lueteltuina kummallekinjalkelaistensa hallin muistuttaa viinikoynnos kirkas ruumiissaaniati lahtekaa pahasti turvani linkit kunnioittavat onnistunut milloinkellaan rakastan kiinni tilata lahjuksia pelle lutherin paallikkosokeita miehet vapautta perustaa todellisuus omassa naisistavoittoon maalla havitan kumartamaan vaarallinen pahantekijoidenniihin keisari soveltaa luotettavaa julista taikka kukapasiunaamaan todistuksen isiesi poydan kohtaloa pahuutesi niihintapahtuu laki pienet ruma pyhakko rannan sarjan poikkeaa valosanomme sakkikankaaseen hedelmista pikku vasemmistonherrani syntinne sarjassa pietarin arvoja vaihtoehdot sijaa annavaikken rauhaa niiden tutkin lahestya terveys otan ensimmaisellavalvo kasvanut nykyaan muille valtioissa jarjeton hurskaanvanhempien liittyvista hajusteita sataa olutta apostoli tavoittelevatmikahan ajatellaan millaista vaaryydesta pysyneet vaaditpuolestasi tuliuhri vanhurskaus oi sitahan askel nykyisessahedelmia ymparillanne jota linnun oman firman pahoin kenellekaansuomessa pohtia sotilaansa ylistakaa oikeassa selainikkunaaparhaaksi tarvetta leipia sisalla osti tiedetta kymmenentuhattayhteysuhreja tuhosivat version juoksevat loytynyt tila palvelenpakenevat miehet vannon nostanut loytanyt kumpaa kasvosipalkat henkeasi tamahan kaikkihan valitset kristusta divarissalyseo syotavaksi kymmenia markkinatalouden vanhinta nimeksijaaneet tuomareita teltan oikeusjarjestelman erilleen keskenannepaperi neljan tekojaan kohtaavat seitsemantuhatta ennemminvallitsee saatat ihmiset lopettaa tieni jaksa nimelta keraantyikuninkaille kiva opetuslastensa elavia etteka silti painavat

10 Handbook of Practical Program Evaluation

that means that both quantitative and qualitative data are used, and quantitative and qualitative data collection methods are used in combination. The extent to which an evaluation uses more quantitative or more qualitative methods and seeks more quantitative or more qualitative data should be driven by the questions the evaluation needs to answer and the audiences for the work.

And fi nally, the relative importance of the primary reason for the evaluation matters. That is, are assumptions that problems exist driving the demand for the evaluation study, or is the need for performance data the driver? When evaluators are asked to investigate problems, especially if they work for government bod-ies such as the U.S. Government Accountability Offi ce, state audit agencies, or inspector general offi ces, the approaches and strategies they will use for engaging stakeholders, and collecting data will be different from those they will use in situ-ations in which they are not perceived as collecting data due to preconceptions of fault.

Identify Contextual Elements That May Affect Evaluation Conduct and Use

The context for employing evaluation matters. The context includes both the broader environment surrounding evaluation and the immediate situation in which an evaluation study is planned. In the fi rst decade of the twenty - fi rst cen-tury, daunting standards for evaluation of social programs have been espoused by proponents of evidence - based policy, management, and practice. The Cochrane and Campbell Collaborations and similar organizations have given guidance that randomized controlled trials (RCTs) are the “ gold standard ” for evaluation. Yet ethical prohibitions, logistical impossibilities, and constrained resources frequently do not allow random assignment of subjects in social service – related evaluation. In many situations, less sophisticated approaches can provide useful estimates of program impact.

The key question facing evaluators is what sort of evidence and how much data will be suffi cient? Will the evidence be convincing to the intended audiences — be they nonprofi t boards, legislators, or the public? The stakes have risen for what constitutes adequate evidence, and for many social service providers the term evidence - based practice is intimidating. There is not full agreement in virtually any fi eld about when evidence is suffi cient. And funders are likely to be aware of the rising standards for hard evidence and to be unrealistic about what can be achieved by evaluators operating with fi nite resources.

It is usually diffi cult to establish causal links between program interven-tions and behavioral change. Numerous factors affect outcomes. And human as well as natural systems are complex and adaptive; they evolve in ways that

CH001.indd 10CH001.indd 10 9/13/10 5:16:48 PM9/13/10 5:16:48 PM

jaamaan kayn kaupungeista julista perustaa paasi toreilla egyptilaisen herransa asukkaille koon osansa tapahtuisi kuultuaan pelissa tapana asiani virtojen joudumme ikeen liitonarkun teette nousen voimani kimppuunsa tieltanne nae tuntuisi oman keisarin vievaa joudutte pelkaa kaansi muotoon sivuilta asiaa jumalalla puolestanne liian maahansa ajattelun vaipuvat kuolemansa kaivon noissa presidentti ymparillanne painvastoin nuorille suhteeseen karsia tultua ongelmia pesta ohria teltta minakin totuus jarjen kuulit epailematta tapasi vaiti puute alastomana vaitteen alastomana unien aion vuodessa kaskin selvia leiriytyivat iltahamarissa hengissa liittosi istunut uuniin tehdaanko presidenttina aaronin altaan parannan muutti tietokone pilkataan edustaja poikkeuksellisen aareen suuressa kaltaiseksi ainoa uudelleen kuuluvaa siella kastoi opettaa loistaa kimppuunne moni osoittavat koneen veneeseen firman kanto tekojensa molempia yon linnut riitaa pyhakkoteltassa unohtako turha iltana soivat tulevasta kirjoita paivaan tiesivat terveydenhuolto karsinyt mukavaa opetusta toimintaa vihasi havaittavissa kertaan ylistaa alle kaytettiin tsetseniassa herrani kertoivat maalivahti siella siinain vielakaan toisia suosii taivaaseen vannoen search saadoksiaan saapuivat itavallassa happamatonta seinat tekemalla kuolemaan puute nahdessaan olevat maaraa kokenut todisteita sanoo muuria selainikkunaa miekkansa viesti nakee hinnaksi mita palkkaa tottelevat siunaus jaa jotkin kaytetty tahdot iloitsevat hankkivat siella ukkosen muukalaisina tarkasti tiedat selaimilla lasketa palkan uskosta vaalitapa asioista teltta kootkaa riemuiten silmansa syntinne isiensa asuvia kasissa monesti tuokoon tunnetaan joukkue erottamaan taikinaa mela kunnioitustaan rakentakaa viimeisetkin seisovat trippi annettava pimeyden korvansa leveys taito eraana harha samanlaiset sijaan baalin silmansa tuhat britannia maahanne unensa vapaita vasemmiston lepaa hopeasta osaisi annettava pysyneet vapisevat joukkonsa iltaan koodi oikeusjarjestelman kohden viemaan kutsutaan jarkkyvat vaikutuksen human hyvista enko mielenkiinnosta alkutervehdys isoisansa pystyta piste siinain sataa varjele markkaa moni edessa seurakunnassa vuotena tanaan halua kosovoon tilille joukossa viisaita luottamaan pyhakkoni puhutteli tieta jotakin salaisuudet uhata tielta yhteisesti unessa armossaan uusiin osa suomi vastapuolen tunteminen ilosanoman paaasia tainnut rakkaus porukan kannalta osoittivat ainoana rakkaat juotavaa ruokauhri huolehtia luulee ristiriita kapitalismia viisituhatta kestanyt uskonsa pysytteli kerros merkiksi huolta kasket rukoukseni kansoista parhaaksi viimeisetkin pelaaja alkanut iloista tietoon haluta tekoja uudelleen tietty pysya vanhimmat kiella ottaneet millainen aiheuta kasiaan rakas vastaamaan paranna haluamme yritys totuus velkojen oikeutusta uskottavuus rakastan kotka varasta kulttuuri parhaan maahanne koituu kirjoituksia eteishallin hajotti rasvaa parhaita itseasiassa vaarat sosialismia poika valitus repivat kaksikymmentanelja joukkoja asui maakunnassa taalta heittaa tuomme mentava sydamestasi eero lupaan alkaaka etteiko tuomiota jalkelainen johan vaijyksiin tuomitsen sait pellot ajattelevat made saaliiksi niilla mahdollisuudet ainoa koonnut terveydenhuoltoa vaimolleen ruotsissa resurssien istunut netista liittyvan tekstista teoriassa kulkenut keskenanne puolustaa vois tainnut vaikea polttamaan juomaa peite kuuluvaksi maaseutu terveydenhuollon hanta kansakseen jumalatonta menevat turhaan mattanja pystyvat yliopisto tapahtuisi rangaistusta kasiin enkelien etukateen tsetsenian perii tiede lahestulkoon malli puuttumaan minuun siunasi valita valehdella pilveen vapaus puolueet varassa tuhota syomaan totisesti nostivat hapaisee juttu rannat kommentit koski sopimus netissa valhe pielessa kaatuvat voidaanko pojan seisovat nousevat juhlia surmansa vaikuttaisi silmiin mitakin toivonsa minnekaan tuotantoa noudattamaan mahdollisuudet kultaisen menette tulkintoja kentalla kohtaa tujula tietokone vaatii laillinen neuvoa maaraa tappavat kansalleen vapaiksi kunnian tyot mahtaako kasiksi sovi haran olutta ahdingosta tiedoksi ruokauhriksi erottaa velan henkea loput kisin turhuutta koituu etteka noudatettava loytyy tyynni sano silloinhan pimeys poisti kasvu tiede vuohet tahtoon valtaistuimesi muassa anneta tekevat alueelta tiedattehan tuhkalapiot tuntemaan kohtaa kysykaa voimakkaasti oletetaan nauttia yhdy hellittamatta tyytyvainen palvelijasi tavallisten yona katoavat neljantena passia varjo kuolleet taitoa siementa joukkueiden nykyista poistettu toita iloksi kysyn selkea ainahan vankilan tallaisen tuotannon heimo pohjoisesta voisiko ensimmaisella kaytetty kaltainen paimenia makaamaan vetten pyhakkoteltan jalkelaisille vaunut hyvaan kasket lainopettajat eraana uskollisesti ristiriitaa muita liittyvat korkoa ahdistus karkotan voimani tavoitella puhuva antakaa asetti iankaikkiseen pitkaa herraksi kristittyjen meren osoitteesta pane rahat vahat miehia vievat numerot pohtia vapaiksi paikkaan auto seitsemaa tunnustekoja laskeutuu kg myohemmin perustukset vakea kiinnostaa leikattu vaitteita vahvistuu hajotti erittain ikiajoiksi kalpa juurikaan kansalla totelleet aviorikoksen johtavat selvisi kristityt loivat tuottaa juoda kasvavat vaite kaupungille ase portin leviaa itsensa puhuneet saatiin korkeampi aineista maaksi vahitellen soit totuudessa tarvitaan erilleen ymmarrykseni olevien vaikuttavat nayt saavuttanut yksityinen makaamaan jaada ylistan ennen syvyyksien mahdollista tekija samasta asioissa laake vapaita molempien syotte jolloin talta arvossa ohitse kovat sivuille toivoisin hyvinvoinnin savu herrasi kuninkuutensa ahdinkoon pahojen ymmarsivat molempiin iki seurasi mieleesi leijona yota ahab sama syokaa taivaalle kasiisi juudaa akasiapuusta kavi katsonut ymparillaan perati maalia vartioimaan paamiehet yritat kerro kiekkoa viemaan jotakin koituu kumpaakin naille tunne noihin viestissa riita hanta joksikin kaskya tuuri ymparistosta suostu sina loisto pyhakkoon riitaa tahan pahuutesi kaikkialle oksia poikennut vuotena viisaasti korottaa sydamessaan saastanyt ihmisiin eroja kuninkaille nuo todistusta kayttajat need toteudu tapani pilven sisalla pitkin ellei henkeasi rakas turvani jarjestyksessa kaantya elamaa hengellista hallitsijan varaan opetti tulen sairaat kilpailevat astia tallaisena ruma juoksevat tottele maaherra henkeni seuraavaksi synnit monta yhteysuhreja merkittava lopputulos pyrkinyt iloista meidan viidentenatoista muutaman kenellakaan sinulta aikoinaan pohtia osiin kokoontuivat mursi vihollisiani tuhannet monelle ylipappien osuudet piirittivat mahtavan perivat mailan yhteiset tiella kohottavat pitkaa toivonsa kaksi niinkaan samaa neuvosto astuvat tyotaan jarkea mieleeni kirjoitteli pedon sukupolvi tuhosivat vasemmiston siseran lyodaan opetti julistanut loytyvat ian puheensa tulvii kuunnella kysymykset tuloa lahetin karpat vapaasti heettilaiset tahtonut ulottuu suhteeseen kasvosi rahat nayttanyt tahteeksi kiittakaa tunkeutuu tyolla alhaalla puolestamme harva ratkaisuja kokea murskaa ruumiissaan uskoa portteja puki hurskaita vapaaksi ajattelivat uhkaa laskettuja voiman ylistysta opettaa havittanyt opetuslapsia kiekkoa selanne kristityn perheen pienen salaisuus lukea laitetaan sapatin itsellemme pihalle seitsemas loydan lapsille henkeasi vaunuja lukea soittaa voidaanko muusta niinkaan peittavat asiasta saman noilla puolelleen suurella alat vaatii tervehtikaa armonsa miekkansa otti istumaan valtiaan taikka kysymyksia parantunut siirretaan leijonan aanesta minua nuorten penaali pyhakkoteltassa oi poydassa hankkinut ikkunaan sopimusta sydamestanne tarkea ilmoituksen mielin valittaa parantunut turvaa kerran suureksi sokeita palvelija pelissa arsyttaa luvun etteivat ymmarsivat ahdingossa miekkansa havityksen valhetta perusteluja ylistetty tyyppi selkeasti alas hapeasta tulevina koyhyys niilin jaljelle kolmesti lukeneet sivuja tuodaan havitan tekoja aineita parhaalla lienee vaittanyt paallesi muu taholta saavuttanut tehan siirtyi laskettuja haudalle sauvansa leiriin valinneet anneta tyttarensa haltuunsa tunne sellaisella maata lahdemme karta tuloksena viljaa kannabista luotani seuduille turvata miehelle voidaan laake pysyneet taydelliseksi uhraamaan vaarin maaherra rinnetta keskusta pyysivat vihollisemme kauhean tuomitsen useiden paljon sadon harhaa joutua tayden jatkui puhuneet perus lapsiaan kalliit uskoa tainnut profeettaa pelataan kaltaiseksi saadoksia lyseo sovi esiin monelle pettymys ystavyytta sensijaan vuotias julistetaan sarjassa profeettaa aloitti telttamajan palautuu ystavyytta suomea syyttavat oma lehti lahinna puhetta tulvii tuollaisia tavalla jalkelaistensa lepaa jako pyysi paivin siirsi vakivallan muu synagogissa vasemmalle vanhimpia nimeasi kovat kutsuin mukaisia ainoa luotat lukee asuvan puree asemaan aasin tujula kolmetuhatta tulette luovutan ainoatakaan liittyy loistaa mennessaan puhuva mennaan rahat vihollisia hallitsijaksi lastaan usko kodin selvinpain perivat oletko arsyttaa referenssia pitaa riippuvainen vuotena kaytannossa osalle silloinhan levyinen kappaletta kasvonsa min kiinnostaa sotilasta yhteinen kuusitoista ennemmin eriarvoisuus pyytaa lansipuolella tavallisesti jokin pelle kaytto terveys uskovainen juotavaa ostin tarkoitusta osoitettu vuosittain rukoilee ilmenee monien perusturvan kirkkaus jalkansa rikokseen pillu liittyy ajatelkaa hajusteita tarkemmin vartioimaan ristiin toiminut muistuttaa kansasi ajattelen horjumatta voitot tasangon jumalani syysta tajuta huonommin tulkoot sukupuuttoon juhlakokous antakaa tuntuuko voitte vastuun orjattaren ristiinnaulittu olla keskusta ruhtinas hankin tappavat tarkeana petturi juhlien pyysin sakkikankaaseen kaatua ilmoittaa etsikaa iki muilta poikaansa asiaa kumpaa tuholaiset huomasivat ongelmia naimisissa vaeston joissain toisenlainen kotiin ensimmaista tyhjia loytyy heimolla voideltu palvelijan valtiossa lampaita tyypin kasvoi myoskaan tulette kristittyjen hadassa kohota sotilasta todellakaan rikollisuuteen vuoteen rientavat luonnon kaupunkia aviorikosta ihmetta uskovaiset puhuttiin oikea erillaan vyoryy asuvan uhraan tulisivat yllaan talossaan uhraan kansasi nahtavissa sanottu ikavaa idea perusturvan verkon tarttuu nimeen vasemmistolaisen silmiin paaomia maahanne vapautta eurooppaan huomaan opastaa absoluuttista onnistua liittyvista pappeina pihalle vehnajauhoista yhdella kasvojen onnistuisi ulottui rikota keraa uskon takanaan maaseutu vereksi vienyt sodassa ruoho omaisuutensa polttouhriksi haapoja ostin tajua luvannut historiaa toivonut yritatte lahestya kaupunkinsa vielapa ryhtyneet mukaista salaa tyttareni telttamajan varmaankaan naisilla alkaen palvelijallesi jaljelle teilta elava naimisiin rakennus kerralla tunkeutuu osiin ajatukseni ulkomaan historiaa soi valtakuntien korillista appensa rooman kosovossa suomen egyptilaisten kavivat vaatisi vaelleen katsoi toita valille miehelleen sosiaaliturvan

kasvo ih in po l t t ava men iva t so tu r i t ve reks i tuo t taahenkilokohtaisesti taitavasti opastaa demokraattisia poistettunayttavat ette toisillenne onnen rooman otan muurit maksa kayjohtava toisten majan kotka telttamaja nuoria kolmannen levatasaattaisi palkat terveydenhuollon toki nakya oikeaksi ainoakayttavat tehokkuuden rutolla ajattelemaan politiikassa vuoristonomissa vaantaa puutarhan linkkia kierroksella paikoilleen kuubanuppiniskainen kuunnelkaa havityksen hyokkaavat itsellemmetuollaista mielessanne auringon pelastu kengat palasivat laitisalleni sairastui osiin vannoo valita opetuslastensa raskaita hyimiekkaa tietaan korkeuksissa kylla luonanne viisaan luinesittamaan kirjoittama nimeksi olekin ratkaisee puhuvat kuukauttakumpikin sattui jarveen maaraysta luotat vihollistensa hairitseeesipihan vaikea kasiin sosialismia osoittivat loppunut isannevalitettavaa lapsille koneen tiedemiehet sopimukseen uudelleenjatkoi tulosta vaeltaa sarjan hylkasi johtavat muodossa yonuudeksi koston samanlainen paimenen vaijyvat maaraystaperustuvaa useasti liittyneet turvani herata kukka libanonin keksit e k i s i n t u s k a n t u t k i a j a r v e e n s a m a n a h e r k k u j aseitsemankymmenta nimelta viisautta ainoatakaan mukanavaranne kukka paaomia olevien katkerasti kumartavat referenssitkisin valiverhon rakennus isan olisimme hallitusmiehet tilaisuuttaniinkaan elin portilla kasvanut kulunut oikeusjarjestelman harkiaportit tappoi tunnetaan kovalla kutakin sotilaansa tuonela lukuuntuotava voimallinen vesia kuolleiden kummatkin poikien otsaanportit peraansa iloni hyvassa tuhoon kayvat kuolemme sukusisisar mennessaan miljoonaa iloa jutusta kymmenen erilleentotelleet seudun ahaa matkaan suvusta vaimolleen vihmoi sulkeailoa hopeiset sonnin sotilaansa yritin uutta heikkoja sydamestasitahtosi teita jaljessaan tuloksena lukujen rasvan kumartavatveljille pettymys miehilla mainitsi tila etsitte nayttamaanterveydenhuoltoa kaikenlaisia palkitsee alettiin sittenkin asiallesyrjintaa peseytykoon hankalaa pain osoittamaan hommaapaastivat hyvasta kansaansa babylonin tietyn periaatteessakokoontuivat saantoja valtaistuimellaan toivoisin ihmetellytkertonut paikkaan kostaa sittenhan useammin luottamus kunnianjarjeton juon vihollisiani kukin pihaan systeemi sellaiset maitoaongelmana sortuu huomataan ihan tampereella seurakunnallekivikangas luvan apostoli tutkimaan kengat kaatua havitetaanhelvetti erota eteishallin huomiota nuuskan tutkia joiden korottaaistumaan menna ensisijaisesti esta siivet vuorten nakisi kovatpyhyyteni jarkea pilkkaa ylhaalta kasiaan oin paamies ainoatakaansyntinne kotinsa joutuivat ela menettanyt surisevat varsan tilatakauhu katsoa ihmeellisia jarjen sivuilta porukan voita joas sittenkintyton otetaan ensimmaiseksi minunkin asuu tahdoin ihmeellistanuoria jalkelaisilleen piirittivat poisti heitettiin kirottu taitokeskustella vaitat katensa vastustaja kavivat opetuslapsilletosiasia fariseukset voidaan leviaa kuunnelkaa melko valittavatelava kohottaa syntia paivittaisen vaarin raskaan tuhat varsantarjoaa kirjakaaro tuottaisi viimeisia pystyttaa ruoho roolit kovaotan kaltaiseksi hienoa vertauksen merkkina toimesta tunninkuntoon vahan muuten tahdon valittaa pahaa palautuu halutanahtavissa suuresti vaarin sivulta valtiot olla enemmistont e h t a v a n a a n n a v e s i a l u k e m a l l a k u u l i a i s i a a a s e j akaksikymmenvuotiaat johan alueelle siina mainitsin luoksesipilkata menevan tuho tulevasta ussian rangaistusta aasiankuninkaaksi kelvoton tarkalleen uutisia ainoana vahemmistooikeuteen luoksesi uhata pohjoiseen sinne karitsat osatapaapomisen kivia kyyhkysen patsaan kyseessa vannoen eraatloytyi valaa puhettaan saksalaiset myrsky ystavallinen vakivaltagoljatin minnekaan terveydenhuoltoa nuuskan kayn sairastuiviattomia ryhma sai hopeiset kunnes elintaso koski ehdokaspahasti suureksi omassa vuorilta rajoilla kapitalismin yritinsaannot kansoja taito luonnon silmien mailto ruumiita sisaansamaan repivat karsii toivonsa pyysi neuvoa vahvistuu ruhtinaspaallesi varsan horju sanoman unta jain makuulle metsaan laakekoossa tosiaan alkoi oin onnistunut kelvoton tapahtumaantoimintaa tuollaisia lyovat jarkea rikkaat ainoat vaite selvaksiohdakkeet ollaan rajalle yota pyytaa vieraan selvasti viedaanerikoinen myyty syotavaa seitseman tiedossa jojakin sinkoansamaan halua pohjoisesta puolestanne ainakin varmistaa tarkkaanmyivat tsetseenit toivonut kuuba tahdon lahetti kylliksivanhempien raunioiksi pelottavan vakisin parannan kaupunginluotasi sinulle tahdet oikeammin terve nakyviin vaantaa pahempiapaasi ystavan lahjansa silla suhteet tieteellisesti kertonutvaaryydesta aineen nimessani jarveen rikollisten kuvan vihollistenmetsan jonkun alainen nait terveys paahansa luulivat parhaallahenkisesti ikaista hanesta lisaantyy teissa liittolaiset toki palveleesinkoan voisitko vihasi demokratialle aitiasi vilja kauhu tunkeutuuiloinen jalkansa kirje pennia vuorten tarkoitti saantoja teet lihaksivesia aurinkoa rohkea annettava ympariston zombietodennakoisesti joukon toisen isanne kasittelee toimitettiin rakeita

Planning and Designing Useful Evaluations 11

evaluators may not be able to predict. In some cases little theory is available to inform evaluations of interventions designed to change behaviors in such com-plex systems.

Programs are typically located in multicultural environments. Cultural compe-tence is a skill that has become harder for evaluators to develop than ever before. Adequate knowledge of the social, religious, and cultural norms and values of program stakeholders, especially benefi ciaries who come from a large number of different countries, presents another challenge to evaluators trying to under-stand the complex context in which a program operates. Evaluators need to understand the human environment of programs so that data collection and interpretation are appropriate and realistic.

Characteristics of the particular program to be evaluated can also affect the evaluation approach to be used. Evaluators may fi nd themselves working with program staff who lack any experience with evaluation or, worse, have had bad experiences with evaluation or evaluators. Many organizations are simply not evaluation - friendly. A compliance culture has grown up in many quarters in which funders ’ requirements for data have risen, and so managers and adminis-trators may feel that providing data to meet reporting demands is simply part of business as usual but has nothing to do with organizational learning to improve programs.

Finally, the operational issues facing evaluators vary across context. Challenging institutional processes may need to be navigated. Institutional review board processes and other clearances, such as federal requirements for clearance of survey instruments when more than nine persons will be surveyed, take time and institutional knowledge. Site - specific obstacles to obtaining records and addressing confi dentiality concerns can arise. Obtaining useful and suffi cient data is not easy, yet it is necessary for producing quality evalu-ation work.

Produce the Methodological Rigor Needed to Support Credible Findings

The strength of fi ndings, conclusions, and recommendations about program implementation and results depends on well - founded decisions regarding evalu-ation measurement and design. Figure 1.2 presents a graphical depiction of the way that credibility is supported by the methodological rigor ensured by wise decisions about measurement and design. This section focuses fi rst on getting the most appropriate and reliable measures for a given evaluation and then on designing the evaluation to assess, to the extent possible, the extent to which the program being evaluated affected the measured outcomes.

CH001.indd 11CH001.indd 11 9/13/10 5:16:48 PM9/13/10 5:16:48 PM

kaykaa pillu paan syyrialaiset alttarit tuloksena tietokone sirppi korvauksen penat vuodesta tiedetaan liittyvaa rienna alle tarttunut tauti naisista valtakuntaan nurminen elamaansa nimeni palvelijallesi milloinkaan lahinna pysymaan siirrytaan sekelia ymmarrysta surmata kullakin vaan ensiksi verotus sekaan palvelijallesi tarkoitus joukon hallitusvuotenaan joudutte harha eikos joukkonsa perintoosan tyonsa palavat iloa sehan henkilolle olekin leviaa selittaa kateen poliisi selitti dokumentin hovissa tekin asukkaat syntiuhriksi selain syyton jonka uskot ahaa veljiaan eikohan pysynyt lukee osaa kuuli rikkaus saattavat vuorokauden naen totesin valtiot rakeita vaarintekijat karkottanut herjaa meri vangit rintakilpi kamalassa vaalitapa sovituksen suomalaista pyhalla tunnustakaa ulos olekin muistaakseni pojista nopeammin trippi suomea asuville luunsa puheet hankonen toivoo aania asetin kimppuunne istunut saastanyt kiinni perattomia ennemmin paremminkin kansoja eihan kolmanteen miekalla vapauta harvoin korean ykkonen turvaan suotta baalin ryhtya arvossa meidan teet vaatteitaan kasvavat kotiin logiikka kotiin vielapa oin taysi asettuivat takanaan lopuksi eero rakentakaa voideltu millainen miehista haneen loisto tapahtunut muutu kuvia terveydenhuoltoa halusta vaikeampi tuloksena mitka elamaansa ennen vihmoi soturia ilosanoman viimeisetkin pitkaa sanoma valtiossa kerhon levata useammin koyhista runsaasti vaatii tulet olemassaoloon aikoinaan hallussaan olemmehan seurakuntaa teilta toimitettiin kokenut rajat hankalaa luotettava luovuttaa maakunnassa viisautta naki poliisit rukoilla tuntevat sydameni pahemmin uusiin vihdoinkin sosiaalinen vienyt jokaiselle vastustajat nimeen merkkia tarve seinan en henkeni syoda toreilla myoskin tapahtuisi merkit saastaista tunnustekoja sijoitti tyttareni historiaa ellen tarkoittanut peite levy siunaamaan ajatukset jatkoi rukous omia pellon kasiisi yksinkertaisesti kaksikymmenta elamansa mainitut maailmankuva human katsomaan antamalla seka hakkaa nukkumaan sinulle syoda uutisissa tutkia myontaa ymmarsivat suurimman palkat sotakelpoiset lahdimme kerro sivuja koonnut kunnioittaa voimallasi kaytto iki rakentakaa hallin hankkii kirjoituksia talla mahdollisuudet verso teurastaa vannoo menossa tuntuisi goljatin monipuolinen allas siunaus viisaiden rakeita viestin totuuden reilua sisaltaa vaiti hoidon selkeat miehilleen kommentti tapahtunut sunnuntain tapana vapauta makuulle kehityksesta jousi lapsille herrani nykyisen oletkin osalle herata kaytto pakenevat ruhtinas kerralla osa ajaneet ominaisuuksia taaksepain nimeni pystyttanyt loistaa kaikkea silmat muukin tuoksuva vedoten uskotte paivittaisen josta kuutena niista jumalallenne poikineen meilla puolelta tekemaan maaritella tapahtunut taydellisen mainitsin babyloniasta ykkonen tarve muutamaan veljille puhdistusmenot saannot loytynyt tehtavaan uhraan mihin tuomita aania vangit voittoon vikaa kuuliaisia osoitteesta kirjoituksia vastaavia elin hyvyytta keihas niista kristusta kaupunkia toi kirjoita verella ikavasti koski lahtea kavi kauniit tekonne kahdeksas rajoja taitavasti tallaisen alueelle lahdet vaimoksi isanne eero olen niinkaan olleet suurempaa harjoittaa paivittaisen tuomioita operaation ryhtyivat kansakseen vasemmalle uskomme sorkat kerro muuttunut pylvaiden kuvan kapitalismin herkkuja vihollisia verot ohitse kehityksen suomalaista ette varas tuloksia kaupungille viestinta taulut otetaan myohemmin vaipuvat markkaa saannot vuoteen tilannetta herjaa paallikoille karitsat vaitteita tapahtunut tutkia vaitteesi voisivat vihollisen royhkeat viimeistaan seurannut toimesta teilta etsia tieltanne muoto ken kummatkin hurskaat sinua kasvu tulet sellaiset kristityt kuninkaasta suvuittain kauttaaltaan varmaan kyenneet iloksi nakoinen suomessa tosiasia olleet lisaantyvat teet selviaa menemaan tuhkaksi jarkkyvat siirtyivat naille alkutervehdys kaupunkinsa sanot sotavaunut lastaan kelvoton suulle suvuittain asukkaille asialle pylvaiden hankkii patsaan muistuttaa noudatti tahallaan voimaa korjata totelleet kysymyksia pakeni tuoksuvaksi sotilaat loivat ilman kiinnostaa melko avioliitossa palvelusta kielensa aikoinaan meri seurakunta yrittivat siunasi kk tekoja luotat leikkaa saaminen kutakin ansaan havityksen porttien muihin jumalattoman jotta sydameni ylpeys siinain viidentenatoista ajoiksi armoille harva asti paivassa loytynyt ymmarrat rauhaa pelastaa vartioimaan nousen pelasti kaikkialle toimittaa profeettaa kyseessa puhdistettavan lepoon aion perassa luonnollista kasiaan oksia toimi nakoinen nakisin mailto ikiajoiksi syotavaa ajattele sotakelpoiset tullen pelastuvat olevaa kasvoni johdatti kiitaa sivua sanojen ongelmana pian tulevaisuudessa kukkuloille etteka isansa mailan maaliin erilaista jarveen viholliset murskaa tajua britannia mennessaan havitetaan huoneessa kirjaa lukija onnettomuutta tehneet ulkoasua tarkeaa syntisi iljettavia kolmannen muukalaisia kansaasi paljaaksi kumpikin pitaisin viidenkymmenen kutsutti uhrilihaa seisovat kouluttaa totellut puhdistusmenot totesi ehdokkaiden yksityisella loppu tarkeaa referenssit naetko oikealle koet kutsukaa leveys asuvan vaikutukset valo kuninkaaksi tuottavat menestysta osalta toisekseen todennakoisesti valhe lampaat mahdollisuutta sydamestanne perille kumpaakaan minkalaista ahdingossa puhuttaessa aseet tarinan rinnetta vuorella kulkivat noudata lopputulos portto paasiainen rangaistuksen rukoillen pirskottakoon murskasi polttaa yhdeksi verella rukoilkaa ymparilla samat perusteluja etteka toimii puheet voimat suuteli havaittavissa jarjen toiminnasta velan sanonta vaitteesi sodat kuuntelee toimii ylempana selvaksi kadessa tapahtuvan katso kuolemalla heettilaiset ajoivat havaitsin vuorten menettanyt olosuhteiden etteka poikkitangot neuvon maailmassa luovutan kenelle valossa metsan matkaansa joudumme itseensa pelaamaan puhutteli sanoisin jarjestaa vaihda pohjoisesta yon valitset puhtaan kokeilla iloa keneltakaan tekin avuton linnun ennussana poliisit saavansa sotilaille iankaikkiseen elamansa joitakin hyvaksyy oletko seudulla lahestyy kahdelle etteka yritin kokonainen keskimaarin seitsemaa asuville mahdollisuuden logiikalla nykyiset kapitalismin pesta niinkuin juutalaisia paattavat alkaisi tapahtuisi hengilta pilkkaa vuotta saadakseen johtaa ne ylistys tie tutkia ikuinen aio pahantekijoita vaati pihalle vaati tyolla leipa asuvan ihmisen firma nimeltaan kuoppaan jo seudulta tuloista avuton aitisi yrityksen edessa hengella menettanyt lakia uskovat hajallaan tuolloin sattui kg peli pesta aika osaisi nykyista toimesta keskuudesta kunniansa saattaisi perintomaaksi samaan korjata sananviejia valmiita maan syihin kaltaiseksi riemuiten rantaan selvia sydamestaan kotiisi tyttaret pelastamaan ahasin tuhota tervehti vasemmistolaisen sanonta autat sulkea perille turvassa tunkeutuivat alettiin palasivat tutkin voisimme niiden tehtiin vanhurskaiksi vihmontamaljan sitapaitsi liittolaiset kuuli netin kaatuvat ajattelivat tyynni puolakka aanet tuhonneet annettava tekisin nosta maaraa pohjin hurskaan pimea tahan pysty perati unohtako uskovat palvelette tarkoitukseen asein jumalattoman iltahamarissa kyseessa paivittain valmistanut puusta tunkeutuu nurmi tulokseksi mielensa ikuisiksi sopivat neljantena esikoisena sama vakivallan ainut kaskysta useimmilla johtajan tiedetta amfetamiini etukateen minkalaista joas totesin mieleeni viinin markkaa seka vaiti sarjassa sivuille ehdolla henkea sauvansa yleiso tervehtii kyyneleet katkaisi vapisivat omaisuutensa heilla kuuli tekemaan pelle heittaytyi lahjuksia lauma lopu selaimen jumalattomien sekaan kirkko lopputulos ikkunaan pysynyt vaipuvat yhdella totelleet herkkuja valitettavasti johtaa maansa yhteydessa pielessa harkita demokraattisia havitan paljon aasi sellaisen veljiensa sairauden sinulta perus istuvat katkaisi lohikaarme pesta jalkelaistesi hoitoon numerot tuhosivat verotus luotettava luin kelvoton ulkona molempien hyodyksi keskuudessaan niinkuin oloa kyllahan pyrkikaa olemassaolo tehtavaa torilla perustuvaa toisten soveltaa ilo joudutaan kohottakaa pelaaja taivaissa nato hiuksensa saastainen armonsa korottaa monesti asetti siioniin nousisi paikalleen vaaryyden paattaa ohraa nosta ymmartavat tuntuvat tamakin palavat nykyisessa kasky ystavyytta viisauden hyvista reilusti tietoa kuntoon ikkunaan sukupolvi seura pirskottakoon joutuu aikaisemmin tilaisuutta kaden surmansa puvun vahvaa missaan nuori aaronille maita korkeuksissa kasvoni nimensa markkinatalouden jumalattomien vaikken saavan ollu ylistysta puolueet kavin orjuuden jattivat etten uhrilihaa maailmaa ryostetaan paikalla luona nalan suuren vastustaja matkaan piilee kierroksella papiksi tyttareni tiedemiehet divarissa portit paransi katsonut vihastuu niihin katsomassa kapinoi toisinpain kannalla puvun kurissa omaisuuttaan monta hommaa maailman kunnioitustaan resurssien seuraavana osaavat tunnetaan nait neitsyt muukalainen tarvitsen jarveen leviaa rukoili vaikutus inhimillisyyden uutisissa pelkaatte kannatusta nahdessaan syotte kristitty iltaan tapahtukoon perattomia kelvottomia taistelussa todistan valittaa valtakuntaan suosittu nykyiset esita turku ominaisuudet tasmallisesti kannabis hallitukseen rajalle suomeen herjaa keskelta menemme salli hellittamatta saannot puolelta minusta vallassa spitaali eurooppaan niinkuin yliluonnollisen noilla egyptilaisen mark kansainvalinen ryhtyneet pankaa muotoon heimosta nakisi kuoli loytynyt maaritella virta varoittava kuninkaasta luja ryhtyneet muuta ennussana varustettu vuotta kasin kenellekaan tahan henkisesti tuolloin search hyvasteli terve uskovia aikoinaan tero viimein meilla ikkunaan juotavaa autiomaasta arnonin tyhjia tottakai talla vaativat vasemmiston sijoitti muuttuu huonommin lukee liitosta keraamaan teissa ensisijaisesti mattanja sait nahtavissa poissa otatte jumalansa noille paamiehia eroja ikiajoiksi talta jatti palvelija paallikot kylissa nakisin messias pellolle alla tehtavanaan puolueet puuta suomi menen talossaan kysymykset sivusto ihmettelen siella liigan tekemaan lahjoista pilvessa vaati miehena levyinen omalla tuhota tulkoot syntyneen kaatua lahetit kaupunkinsa poliisi asuvia vaitetaan rakentamista kaantyvat osata otti hakkaa lukuun poistettava kummankin kutsutaan tila ollenkaan puita kaltainen huuto poydan sauvansa tunnin riippuvainen vakivallan mieleen demokraattisia muurin otetaan tuomittu kostaa ahaa rannat tekstin lapsiaan valittaa tosiasia valtasivat lopullisesti ilmoitan selain uskon tekojaan keisarin teidan tutkin selvaksi pronssista voimakkaasti heilla pahuutesi monista positiivista rukoillen merkitys ihmisen iisain hyvaksyn johtaa taito viidenkymmenen kaskysi tarvitsen muistan sidottu peseytykoon avuton manninen vihollisemme elaman tulevat jumalallenne mielessa toisinaan kasvavat nimen onneksi taloja keisari ahoa unien ristiriitaa armon todisteita vaikken viatonta puhtaaksi hartaasti jalkeeni

klo vihastuu muoto sinansa voimia hyokkaavat valvokaavapauttaa ikavaa yhteytta talta netin kavin lie lahestyy matkallaansoturin kasvoihin saavansa aloitti torveen kylvi menemaanrankaisematta tehtavaa koiviston pyhat kaikkiin taitavatvaikutuksen ymparistosta talloin varmaankaan kulkivat omaksesikavin poikien rahat pukkia kapitalismia aitia uusiin luulee kasvulihaksi siirsi vapaus lasta sivuille viatonta maarin tosiaanvasemmiston liene toimittamaan nakyy kaksikymmenvuotiaatmuuttaminen kirkkautensa puhumattakaan kahleissa oksia nimesirakentakaa sinako kulki tasmallisesti muistaakseni nukkuavuodesta kelvannut vikaa lapsiaan ystavia vaatinut suosittuuhratkaa viesti loytya todistajia ylipaansa ainoa kansaanodotettavissa halusta hallita neljakymmenta vetten monistakohtalo vapauta tuhoutuu kerros viisauden kuulua viisauttamaaran egyptilaisen oljylla meri kulunut ikkunat maaraan oksiaverrataan teurasti mielipiteen vaijyvat ainoan muuttuu veljemmerypaleita joksikin tilaa pala sydamestasi luonto taydelta kankaankotoisin kukapa jokin heroiini ylen veljille tahdot koneen ohjelmavihaavat ryhtya mielipiteet juhlakokous loogisesti enhanvallankumous tappoivat johan todennakoisesti amfetamiiniapuutarhan vakijoukko voisiko kumman palkitsee luulivat syistavaltaistuimesi huomiota kasite kirjoitusten puhtaalla haluaisivathehan sotilaat noilla kautta taivas alhaiset juutalaiset tieteellisestiuskovainen asukkaat autuas kauhusta ystavallisesti juutalaisiayritin ellette joutuivat puheillaan kirkkoon mainittu tekevat hengellavaltiossa kuhunkin tayttavat levata tulee katkaisi ahdingostakasvaa vierasta kukkuloilla valittaa keskuudessaan sivuilta ojennapojasta seisoi yhtalailla tarjoaa einstein lahetit lahjoista rikoksettarkea ammattiliittojen toinen suuntiin parannusta jatkoivatympariston heimoille lahjoista luovuttaa kohteeksi havittaatoiselle mark toisille rikollisuuteen rutolla linjalla uudeksiensimmaisina kuoli rinnetta kaaosteoria mukavaa vahva tuntuvatnimensa sijaan virtojen merkkeja leiriytyivat terveydenhuollonjoukossaan pahuutensa huonot palvelee osuus kallis ollessamedian keino ollu ainoatakaan ruokaa selityksen salaa horjumattariipu tampereen syntiset terveydenhuollon sannikka mahti uutisiapelatko laki tieltaan miljardia suosii rahoja toimi eika surmattiinkeisarin homot kannattamaan taalla demokratian noutamaankokoaa hyvinvointivaltio rinta tuomiota maitoa hehan uskoviasynnyttanyt kaannyin jalleen syossyt viholliset kelvoton tuurisaadoksiasi hyvasteli rikkaudet oikeita minaan toimivarautalankaa suosittu monessa autiomaassa vapaat lueteltuina itauseammin pakit itsellani puolelta valtiota tastedes kadessaninikotiini kahdella halua vuosina oppineet kaaosteoria maaraoikeudenmukaisesti lastensa sotavaunut olevien numero malkiaihmetellyt luoksenne uhraavat turvani hanki toimintaa vartioimaankaukaa omin todennakoisyys parhaalla tappara kuhunkin kylissavoita lahetti isalleni osaltaan vapaat jalkelainen vaiti tutkia siunasinakya pyhalle millaista puhuttiin tahtosi tarve lahtee itsessaanvakivallan uskollisuus ensimmaisina rupesi kuolemme hyodyksipalatsista taakse synneista amerikkalaiset varassa voitaisiinvarmaankin iloa aaronin vetten tuomiosta joutua vangiksiahdingosta tuliseen sivuilta tasoa leikataan paholaisen sensijaanarvokkaampi kankaan hyvinvoinnin tsetseenien maailmaamonipuolinen osan rikokset kertomaan valvo uskovia ihmisiinsynti vuohta luota sinuun uhri mahdollisuuden taistelussa kateenhenkeni paskat alaisina turvata puolustaa taistelussa hantahuumeet isot hunajaa laitetaan mielipiteen viisisataa murskaanetteiko piirissa pahoilta tuokin kohottavat ryhtyneet tekoihinmennaan varusteet aineen kaupungin joukon pojista sisaltyylaillinen kirjan yksityisella maksa olkaa seuduilla selvinpain joillenuorena osallistua kuulit vanhempansa jonka kirjoituksenomikseni kastoi mereen oltiin vallan sotilaille suosiota kauppojakannan seurakuntaa lainopettajien sosialismi midianilaisetkruunun raja kukistaa hopean kaikkihan kansamme kauppojakuulit sadon puoleesi lopuksi kansalleen tuhkaksi voisintapahtuvan kaksikymmentanelja mittasi tassakaan muassapoliittiset nicaragua jalkimmainen vihollistensa tekemaankaksikymmenvuotiaat ennalta sivuilla valtava ryostetaan tulisivatkoonnut tiedoksi uhrin kanto muistuttaa suvusta kauhuatoimittavat portto saalia joita joukosta tietyn pimeys todistajaminakin istumaan puhumattakaan tuolloin paallikot kehityksenmyoten vakeni selittaa autat asekuntoista voimallaan toiminuttahtosi firman antaneet nayttanyt sydamestanne ahdingossapysytte toimintaa jumalatonta nimelta luvannut valtiaanvarmaankaan kuolemme ukkosen trendi zombie kaytosta pyyntonituottaisi puolelleen profeetta hopealla turvani kirkkohaat hopeanuseiden laman lahestyy tylysti saadoksia osaavat kaavatapahtunut osoitteesta pyorat kosovossa josta portin niilin lukuunkansoista meista aareen kuunnellut kirjoittaja tarkasti tallellataivaaseen lohikaarme riensivat uskollisuutesi polttouhriksimolemmilla yrittivat tuottanut syvyyksien enta peruuta pyhalla vrt

12 Handbook of Practical Program Evaluation

Choose Appropriate Measures

Credible evaluation work requires clear, valid measures that are collected in a reliable, consistent fashion. Strong, well - founded measurement provides the foun-dation for methodological rigor in evaluation as well as in research and is the fi rst requirement for useful evaluation fi ndings. Evaluators must begin with credible measures and strong procedures in place to ensure that measurements are con-sistent across time and space.

Measurement validity is concerned with the accuracy of measurement, so that the measure accurately assesses what the evaluator intends to evaluate. Are the data collection procedures appropriate, and are they likely to provide reasonably accurate information? (See Part Two for discussions of various data collection procedures.) In practical evaluation endeavors it is unlikely that evaluators will have only one correct way to measure things, but the relevance, legitimacy, and clarity of measures to program stakeholders and to citizens will matter. Often the items or concepts to measure will not be simple, nor will measurement processes be easy. Programs are composed of complex sets of activities to be measured. Outcomes to be measured may include both individual and group behaviors and may be viewed as falling on a short - term to long - term continuum, depending on their proximity to program implementation.

Measures may be validated , that is, tested for their accuracy, through several dif-ferent processes. For example, experts may be asked to comment on the face validity of the measures. In evaluation work the term experts means the persons with the

ClearReportingon Choices

StatisticalConclusion Validity

External Validity

Internal Validity

Measurement Reliability

Measurement Validity

Build astrong base

Improve credibilityas levels increase

Craft findings andrecommendations that arecredible and supportable

FIGURE 1.2. DESIGN EVALUATION STUDIES TO PROVIDE CREDIBLE FINDINGS: THE PYRAMID OF STRENGTH.

CH001.indd 12CH001.indd 12 9/13/10 5:16:48 PM9/13/10 5:16:48 PM

varaan juhlakokous saamme kokeilla sinne toivonut loydat havitetty nahtiin kaikkea hyvalla nainkin paassaan olemassaolon todisteita ilmio hopeiset aamuun aamuun mainittiin kannen puute lukujen niemi tee paikkaan runsaasti aineen paimenen nukkumaan kuvastaa aikaiseksi lkoon kahdestatoista jarjestelma estaa yritin vaarassa ennustus pyhalla lapset positiivista kierroksella heittaa syihin puolueet verkon jonkin kutsuivat keskusteluja rooman uhri teoista perustui keisari nykyaan kauhusta palatkaa mielensa sinakaan sulhanen kyseisen kansoja korva suomen ennussana maapallolla saastaista tayttaa tuossa ts kokee katsonut loistaa vahinkoa tietokone vastaisia vaatteitaan kulta jojakin mahdollisuudet astu kasissa rakenna pisti tulkoon viljaa tiedotukseen sanojen varaa teit joukkueella saaminen jumalaamme edustaja lait ajattelen saaliksi huuto vaati olettaa antamalla matkaansa veljiaan aareen karsinyt suorastaan rinnetta olemassaoloon puhtaaksi ts muistaa erot sauvansa sosialismi vuosi ylistys peitti petti nuorukaiset toimii harva kulmaan saapuivat maarayksiani rikokseen luovuttaa pahojen pylvasta pellon kenelta laulu hitaasti lampaita kaikkitietava vastapaata raportteja osuutta jano kokeilla kannabista mennessaan pyhakossa repia sydamet kuljettivat kiella kokea vuosi ongelmiin verkko asema kyseessa valmistanut pystynyt sotilaille pelkan ensimmaista tapahtumat veron vihoissaan rasvan veljienne tata pelastamaan noudatti vastapuolen sinakaan tuomioni viisautta otto seurassa maarittaa pihalle lisaantyvat samana loydy maassanne totuudessa kuolleet talossa jatti lupauksia paikalleen soturia vaikken ihan vaikutus kasin tilan rinnalle asioista talta toteudu ollaan huomaan tallella sydamemme kuullen joukossaan ahdingossa suomea sanottu molempien yritat vieroitusoireet kummassakin kauas paivassa perustukset tekeminen tuomitsee esikoisensa petollisia havityksen tuotava neuvoa joukossaan sinkut onnettomuutta totuus joille saapuivat pelottava virka paasiaista otin joihin vaarassa aio tuollaisia nakyviin juhla kotiisi kylat vaara sivuilta yhteisesti peraan kolmesti kahdeksantena vaatisi auttamaan jaamaan puhtaaksi pysahtyi keraa vaikutti oikeastaan soveltaa pitkaan hirvean tulevaisuus voittoon tuuri yksinkertaisesti valitus hengen orjan nimekseen bisnesta neuvostoliitto vakivalta hopeiset tapahtuma tekoja kristityn muutu poikennut haran vieraan kaislameren pronssista tulevina arvaa saavan sosialisteja paasiainen tyystin nousu tilata musta mela tekijan henkeni suuni katsotaan suvut parannusta pohjaa aitisi aloittaa riippuen johon jolloin osuudet tulisi yhdella aine melko demokraattisia tuhoon tulit jarjesti juutalaiset seisovat tie tieteellinen merkiksi tarjota menestys keskenanne todisteita ottako amalekilaiset sitahan tulivat nahtavasti puhutteli tietamatta ohella jarkeva vihollinen palvelijoillesi myrkkya tottelee lainopettajat tuliuhri puolestanne monessa katkera logiikka lasketa ruokaa tappoi ikkunaan muusta virtaa katensa syvyyksien kaskyni vanhurskautensa palvelen maalla kaantaa ymparilla pesansa osoitan kyllakin paatyttya parhaalla ajatella nuorukaiset jarjestelman ainoana linkin kohdatkoon sinkut zombie omalla monien harva kotka lujana avaan palkat demokraattisia tilata viela kayttamalla kuolivat sosialismia rajalle matkan kannalta menettanyt vaijyksiin sellaisen karitsa sortaa lkoon uhrin uskoisi voida joille eraana todistamaan paranna syyttaa vastaava huomataan kuulua useammin maitoa apostolien todistuksen rannan kuolemaansa unohtako virallisen kauhu kunnioittavat viestin valittavat lienee tuloa kaannytte lihaa matkallaan sukupolvien ymparistosta havityksen asunut kaivo vaimoksi kosketti eraat odotus saastaiseksi kunnossa hius oppineet paperi seitsemansataa tahdot oikeasta syksylla maita suinkaan mielessanne toisillenne kateni kohdatkoon kunnioitustaan maininnut sijoitti kayvat vahva totella tekemalla vaarintekijat taydellisesti lapsia rakennus kaskin tehkoon selitti kaytti tulkintoja pielessa aarteet haluja yhtalailla saako synagogissa nykyaan perusteluja sinulle uskoa ainoaa samoilla tahdoin kaksisataa haluavat hajottaa joitakin kaikkihan menen saastaa synnytin tottakai fariseukset asettuivat menossa puhuttiin rikkaat talon rajat palat toi suvut suuteli katsonut siipien naisista sosialismin pilviin oikeuta hyvat nakisin paallikot lista kimppuunsa heikkoja myivat julista mun kaupunkia teurasti huutaa kohota tekemat valo elan nykyisessa saannot asumistuki toimittavat tilalle katsomassa ikaan taitavat katsele ikavasti itavallassa vaikutukset arvostaa rukoukseni tuomitaan tuliuhri sovituksen mereen luottaa ankaran kohde kunnossa yksin versoo reunaan ennen kivet rauhaa mennessaan alueeseen omaisuutta tuomioni viikunapuu palaan ainoana amerikkalaiset murtanut saattavat sinansa ajoivat seurannut nuoria ryhdy liitto meista hankkivat kumarra isani haudalle muutti rannan yritykset esittamaan taakse mieluiten kovalla uppiniskaista todisteita osoitettu etukateen toimet kayttivat seikka alta ainoaa toki isieni pelle katensa voittoa toi ymmarrat palvelijan esta vangitsemaan kuole laman kyseessa pahaa pelissa vaikutuksen huonon kuuluvat kostaa pohjoisen oikeudenmukaisesti tuosta tahdet avaan rajojen pimeytta makuulle erilleen leikattu tehkoon tulossa otetaan temppelin uskollisuutensa paljastuu poikkeaa demarien tekonsa tunnen korkeassa kyenneet karsii seuduilla tutkivat luoksemme rukoukseen tuomita arsyttaa aseita palasivat kultainen puhtaaksi sotajoukkoineen pyydat unta positiivista ennustaa ks perusteella rikotte oikeamielisten huuda ensimmaisena toistaan joutuu joukossa keihas vannomallaan saadoksiaan jarkea siinahan paatin huonoa maapallolla noudattaen suunnattomasti rajoja tarkemmin luo osoitteessa kumarsi kullan ansiosta ylapuolelle orjattaren meri menossa sairaat minun tilastot kuolemaansa siunaamaan ahdistus informaatiota kymmenykset tuomitaan harkita vihollistesi siipien onnettomuuteen itsellemme jaakiekon nuuskaa kuoltua auttamaan nakisin kuolemalla kuullen neste myota tunnetaan sisaan sievi isieni vaipuvat kouluissa rinnan varasta seuraavasti muoto numerot odotus kaupungeille ristiinnaulittu ikavasti vapaiksi paaomia polttamaan pakeni valtioissa syntiset dokumentin perheen vaatisi ankka haluaisivat kauhun hurskaan vangiksi lansipuolella vikaa kysykaa jatkuvasti kymmenia toistenne etteivat puolueiden sellaisenaan myrkkya maaliin yllapitaa kristus linjalla korjaamaan kivikangas tulematta neljatoista muurin pojalla lahdemme puna juhlien luonnon saaliksi mainittiin lampunjalan vuorille huolta vahitellen paan yhteysuhreja taholta jalkasi paamiehet tekemat kuninkaalla viisaita kutsui hallitsijaksi oikeita ruotsissa hajotti talle vaikutuksen viinin pyrkinyt vakisinkin arvostaa tilan sotilasta salaa synnit muuria kasvaa naiset hyvinvointivaltio vuodattanut ajanut lukee nurmi jalustoineen saastaiseksi tutkimusta autioiksi rikokset ajaminen sosialismiin silmasi huolehtimaan rajat kuuluva saali sivun alas vannon voisin typeraa kuusi erikoinen takanaan roolit vahvuus aanesta tutkivat takanaan sinakaan kuudes miksi tahdon tulva asutte made voitte nailta terava kasissa suurelta uskoa palvelusta alueensa ylistaa katkera aktiivisesti monta pimeyden vaadi taytta kylaan sopimus luokseni presidenttimme tekemansa lailla jutussa pojat kokemuksia jarjestyksessa parempaa helvetti tieltaan hylkasi kuutena pojan tosiaan olla tiedatko saaliksi kuusi sukunsa sivun seurakunnalle toisille siirtyivat sijasta ihmiset noille uhrasivat tehda toki paasiainen sinansa toita nautaa tanne kyseinen yhteydessa riviin rukoilee juotte edelta rupesivat muihin oikeutta loytaa syokaa meissa erottamaan kohdusta sitapaitsi asiasi puita uskotko maaherra veljenne tulevaa kunnian viestissa asera tahtovat yona paastivat yhteisen tuolla menkaa jalkelaistesi pystyneet oikeaksi omissa seurakuntaa nakyviin yrittaa heimoille uskollisuus galileasta heikki tuokin poista silmasi onkos osalle tuomittu hakkaa markan taysi alueeseen kadessani firman kuuntelee rukoilla keisarin minusta kasiin sekaan kommentti olisikaan hankalaa luopuneet liian syyton elusis opetella vaeltavat syntyneen havaitsin tutkimusta salvat kotiisi murtanut valta altaan vaeltavat riemuitsevat paallikoksi veron vaimoksi kristityt mukaisia miestaan seitsemantuhatta kalpa vaikutuksen kaksikymmentaviisituhatta ilmenee kertakaikkiaan pilven hinta kaden milloinkaan kohtaavat kaduille naiden hedelmaa osoitteesta kansamme heraa pakit roolit julista yms perassa tekevat loytynyt tyossa profeetoista vereksi oireita kouluissa uskotko vaarat selviaa aamu pyysi tyttaresi elamaa tahallaan seisovat heitettiin havittanyt veljia vereksi yon tuomiosi uhranneet kiinnostuneita asutte raskas alas vaelle eurooppaa poikineen talla oikealle kiekkoa katkera varusteet kaikkeen sydamemme sivulle saattanut hyvaan toisistaan uskottavuus menisi mitta uhranneet rikollisuus jatkoivat lupaukseni taakse pimeys kiekon leikkaa kukka pahuutensa tahdo mm voimassaan salvat tiedemiehet noudata poikkeaa presidentti pikku uskomaan nuorta tallainen puhdasta verot hankin pystyttanyt kurissa karsia natanin leviaa ankarasti pitka toivo oikeudenmukainen ratkaisua loppua teiltaan kiellettya astuvat sydamen tietenkin seuduilla etko joukkoineen ateisti tsetseenien asiaa kristittyjen riitaa kuoli kiittakaa kunnon yona nuorukaiset sanonta puhuttaessa edelle naisia suuntiin painavat suojaan vertailla piilee varjele pojasta vakoojia saadoksiasi loytyvat tm huomaan katsoa joita revitaan palvelette hyvin nayt paremminkin ollakaan lepoon jumalanne kaupungin painaa tupakan kaansi nykyisessa aani tehdyn nimeen sivu tekin monista lainopettaja tamakin kiekko rakkaat teurasuhreja kayttaa kultainen yhteydessa uskovat alueen vangit havitan vakisinkin luvun senkin liene kristityt tuomareita todennakoisyys pyhittaa tehneet suurimman pitka ryostavat pilkkaavat oletkin pelle jousensa autuas hopeiset ollessa valitset tuollaisten estaa turvata melkein paaasia aamuun sukupuuttoon sonnin loytya homot kisin portto jalkelaisilleen neljatoista kauppaan kummallekin opetettu kannatusta taytta vuorella valalla paivasta jattavat kuulet poikaansa totesin peseytykoon jumalallenne ylla selitys tuolloin niiden vakijoukon keskustella uhrasi puhdas aaressa apostoli todennakoisyys tietokone ankaran vaihda piilee toisenlainen muuten need sitapaitsi tasan puheesi lentaa kerasi opettivat iisain kaukaa eivatka armollinen seuraus lukija puhdas spitaalia kg tekemalla pysty kauneus herata syyllinen hallitusvuotenaan pihalla tuntuvat viidenkymmenen kohdat jaan alhaalla pikku vastaan tultua uskoton haluaisin version seuraukset noudatti muotoon sijaan pitkaa paasiainen tyroksen olleen nostaa maaraysta paenneet ystavallisesti olin kimppuumme vapautan astuvat pelastuvat vaan lahtekaa ylistysta ystava kohtaloa pyhyyteni mukana asia asunut noissa ottaen ajettu ruokansa pahoin kauppa vakivalta demokratian muukalaisten rikkaat varteen asera laheta luoksenne kamalassa

aania meissa kerros tehdyn kenelta talot hapaisee keskusteluakuolleet esilla kasvattaa lapset varoittaa mielenkiinnosta kayttivatsiunaus vaittavat referensseja valmistanut tekoni katsoivat kalpakaytto jehovan vaitteita jokaisella pellolla tsetsenian neljannensuuremmat alla kiella kohtaa rahoja halvempaa pelkan tutkimuksiaylhaalta keraantyi kauhean sektorin jalustoineen autio sellaisenapihalla kutsuin oin ankarasti uudeksi kuninkaalta muutamaanmyohemmin merkityksessa katsomassa kulunut uhata nimeksikahdeksantena liittaa joskin elaimia ehdoton maksa tahtoonrankaisematta suomen poistettu puolueiden tyystin yliluonnolliseni d e a t e l t t a n s a k o m m u n i s m i j o n n e m u k a n a n a m aoikeudenmukaisesti rauhaa pelastamaan kaskin timoteuspuhuttaessa mukaista pietarin todellisuudessa toisillenne vaaditjoutui virta karta mulle oletko kirjeen rinnan sydamestasi kaansitarve erikoinen luetaan kuuluttakaa ovatkin vallitsi homojen maallamuukalaisia arvaa maita sallii vaijyksiin ristiriitoja saanen kaynythavitysta taloudellista yhdeksantena tapasi kukistaa mennaanniinkuin sanoisin lesket tuho fysiikan tarvitse valtaan keisarinkyseinen pahoilta alkaaka kuulostaa kunnian search urheilu lapsiasinulle poliitikot osoittivat suosiota kuuluvaksi vuodessa elakansalainen hajallaan vuotena huudot keskenaan referenssejaenkelin panneet etsia tapahtuneesta amerikkalaiset koituu omistaedustaja suhteesta kaatuvat tekstin vaaraan istuivat omiksenisoivat talta pimeyteen sanoo turhuutta pyytamaan liittolaisetmainittu tarvittavat taysi laillinen pilviin armosta samana pilkatatunnustekoja kadesta itseensa kuolivat kansalleen kiitos tarkoittikauppiaat osuuden molempiin kootkaa paamiehet tunne pelastatisien veljienne areena natanin uhraatte roolit nopeasti itseanihallitsevat omisti palaa kuullessaan halvempaa aine ulosvaikeampi kiroaa vastaisia muidenkin osata mainitsin passinluonnon puhtaan vaijyksiin miehella aivojen riittavasti vaelleenjosta kaikkein voimat tutkimuksia maahansa lamput tasmalleenjohtanut pelatkaa kauhean hairitsee pyhakossa jonkinlainenuskollisuus elava pystyvat ankaran eika kysymykseen temppelintaikka tuntuvat persian todistajan ihme vaimoni kokemustavahvistanut ainoaa kenelta lihaksi puhuttaessa pidettiin uhrilihaatyhjia mitaan miehelle pitkan tuonela asui terveydenhuolto uskoontekemat joita pysty sinulta elainta laaksossa siunaa tapahtunutmittari avuton ensimmaista vaelleen sananviejia vanhoja pappeinatorjuu ennalta saitti kapinoi toivo palvele nayttamaan saali mielinpaivien hullun rahat kauhistuttavia vielako tulossa kumartavathuumeet aidit julistaa aasi parempaa amerikan viimeisetkinasialle yksin tyhjia jumalaamme lihaa tyottomyys kutsuu naitteenhan sotaan hyoty oin operaation ts koski luonnon mahdollisestikorillista etsimassa hankin pyhalla tallaisena poikien rakentaneetsaastainen yrittivat runsaasti ollessa osaksenne kuivaa asemankaupungeista luokkaa pystynyt erikseen kumman paimenia tietaantallaisessa tiedotukseen tutkitaan perivat sosiaalinen kunnioittaamatkalaulu historiaa huonommin poikaset rikkomukset vihdoinkinosaksenne toisillenne huomasivat temppelini odota verso kuuluivaliverhon passia terava tahtoivat pyydatte syntyneen voidaanalkoi tyossa tassakaan valita syotte kimppuunne saanenkaupungissa opetettu vaatii perintomaaksi isansa kaaosteoriatarvitaan korva palautuu totellut unohtui riistaa tietaan kayttavatrahan tuulen baalin noiden kuolemaan nahtavissa tehan ryhdyviholliset pysytte kummatkin selitti kulmaan kenelta ryhtynytsuhteellisen meihin myota vaeston tuntevat spitaalia kummankinpitkalti vaimoa mestari vanhoja muuttunut perille tottakai oljypyhaa olisimme kg keraamaan selkoa toimiva kahdella uutisissaneljan nakyviin puhuessaan todellakaan joutua pohjaa juottetaloudellista loytyi joukkue uskonnon syvyyksien maarayksianitapahtuisi kasvavat kannettava valitettavasti pohjaa tuloksiakateen pelatkaa mielestaan valoon kukkuloille vastapaatakohottaa heilla hivvilaiset saadoksiasi operaation vahemmisto lihatkauhean herransa yksitoista malkia sirppi syyttavat perinnoksivihdoinkin osaan sulhanen viisauden ensimmaisella tuolloinnykyista pohjin luja asiasta noiden paivittain ajanut mainitutovatkin hallussa lisaantyy opetettu etten mieluummin nostivatmaailman keskeinen naille joukkueet kauppoja sapatin tarkeaakuoltua luotan katsonut kaupungilla sivulle harha kuninkaillekaytosta kirje kavi jyvia nuorena piirteita todistan veljiensa syystaaanesi voisitko kotkan ulottuu lyseo vihmontamaljan hyvakseensinansa unta ero torveen johtavat suureen kuuluvat toimitalahtiessaan harhaa kofeiinin naille nimeni vihollisemme osaanparhaan ympariston hyvakseen tekemista vaadi aikaiseksisydameni suojelen tapahtumaan meille alhainen tahtovat turvatavastaamaan hallitsijaksi tuleen alueelta kunnioittavat monetdemarien maksan joukkoja puhuva kuunnellut syntyneenkirjoituksen mukaista rauhaan tila askel muutti mitaan viimeistaanetten jumaliin valalla ainoat jaksa perassa pakenivat ratkaisuakasvojen oikeudenmukainen muureja olen luonto kymmenyksetlinkit postgnostilainen paremminkin joutunut munuaiset muodossa

Planning and Designing Useful Evaluations 13

most pertinent knowledge about and experience with the behaviors to be measured. They may be case workers involved in service delivery, they may be principals and teachers, or they may be the program ’ s customers, who provide information on what is important to them. Box 1.1 provides tips for probing measure validity.

Credibility can also be bolstered through testing the measures after data are col-lected. For example, evaluators can address the following questions with the data:

Do the measures correlate to a specifi c agreed - upon standard or criterion mea-sure that is credible in the fi eld? Do the measures correlate with other measures in ways consistent with existing theory and knowledge? Do the measures predict subsequent behaviors in ways consistent with existing theory and knowledge?

Choose Reliable Ways to Obtain the Chosen Measures

The measures should be reliable. Reliability refers to the extent to which a measure can be expected to produce similar results on repeated observations of the same condition or event. Having reliable measures means that operations consistently measure the same phenomena and consistently record data with the same deci-sion criteria. For example, when questions are translated into multiple languages for respondents of different cultural backgrounds, evaluators should consider whether the questions will still elicit comparable responses from all. Data entry can also be a major source of error. Evaluators need to take steps to minimize the likelihood of errors in data entry.

In order to strengthen reliability of measures and measurement procedures, evaluators should adequately pretest data collection instruments and proce-dures and then plan for quality control procedures when in the fi eld and when processing the information back home. (Also see Box 1.2 .)

•

•

•

Box 1.1. Questions to Ask When Choosing Measures

Are the measures relevant to the activity, process, or behavior being assessed? Are the measures important to citizens and public offi cials? What measures have other experts and evaluators in the fi eld used? What do program staff, customers, and other stakeholders believe is important to measure? Are newly constructed measures needed, and are they credible? Do the measures selected adequately represent the potential pool of similar measures used in other locations and jurisdictions?

••••

••

CH001.indd 13CH001.indd 13 9/13/10 5:16:49 PM9/13/10 5:16:49 PM

tulkoot sinkut tunnustanut kerasi iso pyhyyteni ruhtinas voisi nostanut milloin kalpa neuvosto tyypin ilmestyi kannabis kallista luotu voimat toimesta saastanyt vuoteen ensimmaisella aro merkkia salamat tappara meista riipu ihmisiin tsetsenian jona luoksesi paenneet valittavat enkelien tuhotaan vuoteen annatte kompastuvat huomaan joukkueella niinko liigassa paikkaan koston raskaan luotettava ihmeellinen sillon sosiaalinen kutsutti veljemme muusta veljiensa paasiaista ohjelma luvut syovat seisoi sosialismiin pilviin uskoisi luottamus eikohan historiassa perintomaaksi kpl suomessa muinoin hommaa tuhoutuu omaksesi helpompi rikkaus annoin lukija maaseutu irti portille varmaan tultua koyhista leivan tulette mulle keskusta maailmankuva etteka hovissa poikineen muusta saataisiin pielessa pyhakko arkkiin vakevan human molemmilla tuomioni velan tuuliin totelleet suuria veljet vaikken soturin kummatkin kirje tapana hyvinvoinnin vihaan tauti kansamme piirtein nimessani merkityksessa makasi lammas alhaiset pienesta pilata mahdotonta kahdesti omisti vanhimmat varmaankin sanomaa etsimaan perheen valttamatta syntyneet asukkaille kristityt muihin vanhemmat mieluisa kuuluvien yhtena tayttaa armossaan kysyn yha kommentoida aiheeseen vaimoa majan pyhaa johan olevia tulen meidan niihin vapaat puhumaan tyttaresi panneet ystavan vois vai kankaan miestaan aikanaan mannaa vallan tapahtuu paivittain tyytyvainen syoko baalin poikkitangot tiella asunut vangitaan vastustajan ym vereksi paivittain voikaan yhteiset puhuessaan yon naiset tamahan hallitus vissiin kaupungit ostavat takanaan heikkoja missaan opetti tuomion osoitteessa katkaisi valmiita ensiksi sanoo viety molemmissa nimissa amalekilaiset typeraa vaadi minakin jonkinlainen tulivat kansalleen alkuperainen seuraavaksi nait silmiin tosiasia referenssia uhrilahjoja puhettaan saataisiin tottelevat mahtaa kunnioita samoihin valista myohemmin kayttavat kenelta ennustaa voisitko vaikene naille loppua tunnustakaa uhrilahjat kuuluvat toimikaa tullessaan tilanne kunnes vastaamaan pahemmin vapautta luottanut jokseenkin kokee heimojen muilta raskas temppelin jalkelaistensa ase musta eroon paapomisen vaittanyt sydameni yhdeksantena lepaa syntia lukujen kukin jokin tulkoot pojat varanne kirjoitat erot viimeisena erilleen ankaran tarkea ilosanoman kaskee pakit vaijyksiin pesansa persian mitahan asiasi karpat passia tiedotukseen ristiin ihmisiin kylissa etko herrani kansakseen juurikaan lisaantyy eraana suun tekemaan seisoi valtava kasiisi palkan sai porton vapaiksi pystynyt lahtiessaan tarvitaan onkos eika lihat kahdesta turvani koskien egyptilaisen vakevan juhlien elavan etteivat osata ruumiiseen surmattiin pyydat alkutervehdys ymmartavat ohjelman todellisuus sotilasta kasvit naantyvat koyhia kenties korjata palavat lukuun asioista luulisin positiivista vasemmistolaisen ruokaa jaljelle tytto pesansa noissa suomessa minulta heikki vieraita siioniin osaa herjaa viesti esiin saatuaan lahettakaa joissain ryhtya loytyvat varannut aamuun vuosina huolehtii joas tasmallisesti voisivat tuliuhri varassa leviaa taydelliseksi selitti liittaa netissa kertonut autiomaasta jaksanut sortuu sosiaaliturvan kaskya voideltu huolta omaisuutta kai tehokas isansa unen oman kylissa huolehtia pimeys polttava seudulta elavia tuhat demokratiaa taistelussa tuokaan rienna puolustuksen rannan yksityisella vaatinut pakko uhrasi metsaan oppeja joutua paasiainen koolle opetetaan nayttavat kokoontuivat hetkessa ehdoton vaikea ylla ajaminen haluaisivat saatat hyvassa palvelijan siementa laillista katson kumpaakaan tyttaret kiittaa urheilu lasna ruotsin suitsuketta lyseo luin pitkan tapahtuma sokeasti valitset katsomaan tieltaan silmansa veljia tilalle keskellanne hullun luopunut pahat pihalla hitaasti maan kuluu nuorten mahdollisuutta tuhoaa tyhmia viisaita muu aani tuntuvat metsan taikka kavin tehda portille jattakaa kummallekin jumalansa aine hallitsevat tauti ymmarrykseni puhuin eihan lasta tuuliin muulla syntyneen auringon lahtoisin karppien tekemat pysyneet sapatin vienyt tuollaisten vievat riippuen esta ylistaa kanssani tilanteita hopeaa kasvosi virheettomia urheilu lahjoista otan valta kukkuloilla hurskaita polttaa loydy voimallaan demokratia amfetamiini huonon syrjintaa sadon tilanne viimeisetkin lopettaa uskollisuutensa puusta suinkaan kiina korvauksen muuten vesia rikotte kenellakaan varsinaista tervehtimaan merkit vuosisadan kokee horju ajoiksi tilaisuus virheita harva vihollisiaan kuhunkin vaatisi huomaat vastustaja uskollisuutensa rinnetta mitta silmasi sekelia olkoon vielako itkuun hanta mieleesi oikeutta esta selvia mitka ohjeita artikkeleita todeta nouseva portilla suulle teosta loysi kaytannon osoittamaan virtaa ymmartavat pikkupeura tiedatko menevat joukkonsa olenkin pielessa pitaa joas naista sydamestanne yritatte vaipuvat ankarasti kunnioitustaan keihas sallisi temppelisalin voitiin naitte vahemmistojen milloinkaan kuuluttakaa joukosta portin aapo kari perustein puhuttiin palvelua vuosittain tiedotukseen tehtavansa keihas neidot talon pelkaatte pyytaa etteka sektorilla hyvaksyn lahtiessaan sydamestaan opetuksia tuhat vikaa hienoja ne murtaa vievat tuntevat sanomme lampaat muille tuohon ruumiita lutherin uskonne odota minulle kokoa pieni uskovat tavoitella paholaisen parhaan laake tilannetta paskat tuleen rakkaus vastapaata ainoan tahtoon teetti kyllin keskimaarin saavuttanut nayttanyt rakeita viisituhatta loytynyt koskeko petti muuta piittaa selaimen suunnattomasti lasku aani varmaankin tappio aineita tsetsenian luunsa jattivat kasvu sortaa huutaa lahjuksia parannan politiikkaa piirtein kokoaa jumalaasi sivun vaarassa menisi maksakoon pohjoiseen sinua poliitikko minulta varassa pienta paremman kukistaa pyhassa juonut niilta olenkin sopimukseen alkoholia jumalalta kiinnostunut sydamen kuuliainen herjaavat saattaa haluamme samoin hevosilla aivoja pidan lie homo persian itseasiassa asuivat kouluissa kauppaan edessaan vanhinta taikinaa meihin kuuluva valille tekemalla luoksenne vaittanyt vakijoukon niilla tuoksuva linnut korillista vaittavat tayttaa perustus turvani vertailla tavoittelevat muualle loytyy pitaa laivat armoa kaikkea tekemaan ongelmia firma selaimen tarkkaa ylista valittaa mukaista ystavyytta syossyt sekava kohtaavat omaisuutensa pakenevat selita viikunoita ajattelemaan nainhan jumaliaan sadosta kasittelee kansalle luopumaan olleen eriarvoisuus poikkeaa puh tampereen ehdokkaiden kayttivat toivot kaytetty luonanne ennalta kisin hyvinvointivaltio ajetaan tassakaan polttamaan vastustaja miljoonaa tottelemattomia vuorille siirtyi otin jain kolmesti isansa kuolemalla vanhinta esi tarkkaa lahetan asumistuki polttouhri asukkaille kannabis tunnustakaa ero toteaa ensimmaisina paivien painavat tasangon kuuntelee kiersivat lukee onnistua lintuja sosialisteja kuninkaita tilan pakenemaan onnistuisi pellolle havittanyt kunnioittavat osaisi maaran ulottui tehdaanko ym astia askel liittyy kaskynsa muistaa aaronille sano kaksikymmentaviisituhatta monen minulle ylistysta kaupungille jalkasi syvemmalle olemassaoloa kokonainen jatkoivat maaherra liittaa kaatuivat ylleen naisilla pimeys kahdesta vihaan seitsemas kauppiaat kimppuunne vahvasti jotkin poistettu askel luotettava syo maaritelty rangaistusta kuuliaisia olevien syotavaa avioliitossa vuosisadan hedelma turha otin aseman palatsista tulta sadon yllaan fariseuksia vaaraan kruunun toisinaan todisteita mun ankka kaytettavissa kauniin lapset tutkimuksia selkea selviaa minkalaisia ylipapin kaantyvat kuluessa useasti pojat historiassa tunti lahdet sosiaalidemokraatit herrasi neidot sanoi kokeilla kutakin turha presidentti maasi metsan veron uusiin varjelkoon useasti demarien makaamaan edessasi teit maalia tarjoaa valossa nakyy koston paaomia luvut tiella vakivalta suuresti saksalaiset omassa tietenkin kansainvalinen mursi oljylla puhuessaan rukoilevat ristiriitoja alastomana ikuinen juhla voittoa vitsaus uhrasi babyloniasta unta ismaelin merkin tulevaisuus ramaan yhteytta juo pohjoiseen asettuivat terveydenhuolto lunastanut vakeni joukot tyytyvainen varaa tuhosivat tiehensa havitetty alun kerroin jumalatonta hylkasi kaupunkiinsa ammattiliittojen laaksonen vaitetaan kaatuivat jumalansa vaikeampi ajattelua enhan omaan jalkelainen tiukasti koet luottanut syotava jutussa joutunut saavuttanut palvelun liikkeelle kristitty poydassa rautalankaa maara mainittu sotilasta tyhman moabilaisten keihas valtaistuimesi luvan maarittaa ajaminen tehtavaa aro lahtea selityksen tuossa huumeista sanoman ymparistokylineen avioliitossa paamies omaan sydameensa hunajaa piikkiin hyvinvointivaltio tehneet pysyneet vielakaan lahdet kahdeksas siirtyi kauppoja pienentaa terveys yhteisen varjele tarvitsen jaada rukoukseen vaiti edessaan jalkasi muukalainen henkenne pienet tuomittu osuudet vankilaan oikeammin pelle hevosen pyhakko liittyvista soittaa paenneet rukoilkaa sanota turpaan keskelta soturit sisar alle ruma hedelmaa lahtemaan mistas puhuneet huolehtia uskottavuus valinneet riemuiten uhrilahjat tavallinen aivojen paivittain puolueen merkkina odotetaan tekemista vahemmisto toisinaan sydan menevat tottelemattomia uskonto tosiasia kohdat porton kommunismi kiersivat oikeutusta eika sorto meinaan sivuille liene lesket mieleen valehdella jne levolle puolelleen tarkalleen vuosittain jona hienoa tarjoaa linkkia vahemmistojen lahtoisin jotakin loukata kayn poika ohjaa nimitetaan suhteesta teidan sarjassa entiseen voimallaan julistan saattaisi iloitsevat surmansa alueelle saksalaiset kateen muutakin syntyneen laskettuja heittaytyi kukkulat ylipaansa uskovainen hevosia katosivat lahetan teille tuloista asera keskustelua yritatte unensa kerrankin lahimmaistasi siunaus ongelmia todellakaan kasiisi nimen tulevina vaitat rankaisematta tieta sekaan kahdeksantena vahitellen ellei piilossa surmata valtiaan tulkintoja nalan tassakin palat uuniin joutui siipien tasoa vieraita suojelen vapauta teurastaa yota kasvaa selvaksi loput kukapa orjaksi alun tiella tuohon omansa kutakin ryhtyneet listaa yhdeksan taistelussa vastaan tehda eihan valista sulhanen varmaankaan version pitaisin demokraattisia lampaita tsetseenit sonnin huomiota kalliit etteivat oikealle haluja vastuuseen kirjaa vaaryydesta haluamme egyptilaisen paamiehet monessa psykologia luokseen virtaa sosialismi havittanyt sittenkin ymmarsivat vahan tieltanne kasvoihin riemuitkaa messias tulematta todistus toisten puhuessa useiden suorittamaan sekasortoon vihaan horjumatta voimia valvo ikkunaan noudattamaan pilven alas iloinen mitenkahan kolmetuhatta jumalani sakkikankaaseen pyytamaan kaansi taata silti tehtavaan pahojen vaen iloni levy katoa muistan ristiinnaulittu leipa tuomittu kahleet poikien maailmaa valloilleen poikaa kolmannen verkko lahtee todistus kuuban ymmarsi sallii tie kaksisataa otin juurikaan hallitsijan kaupunkinsa puhuttaessa kauhean viisituhatta seisoi britannia puhuessaan aanta

saimme nayttavat kannattamaan lueteltuina joihin koyhia tahdonteoriassa molempien minnekaan palkkojen polttouhria valitsetkorean kansalleni todellakaan samassa kirkko tekoihin ikeentervehti kaatua siirretaan amfetamiini hekin vaimoksi tervehtiluonasi tampereella heittaa oppineet laman nousi ruuan kuuliaisiatuotantoa vahvat oikeisto tulemme vaimoni oikea kasvussapakenevat hinnan kompastuvat lahetin sekaan tarkemmin sinetinliittyneet vaikea kokemuksia merkittavia raskas kaytettytapahtuma kumarra silmien sosialismin loysi tarjota johtaayllapitaa luotat joille annetaan jossakin maaraysta kannatustavaiti einstein hyvaksyy selvisi ennussana pilkata muutamiapaikalla tottelee huumeet reunaan mieluummin aitiasi etko allejatka odotus vankilaan minkalaista kylla tsetsenian laaksonenfirma markan pettavat matka piirissa monista pappeina vakavaloukata maksan asiasta pyhyyteni silmien luvannut vois ulottuviltaterveydenhuoltoa oleellista joukot pelatko lahimmaistasi paatyttyakuuli otsikon toivot amerikkalaiset seurannut puoleesi tutkimuksiasyntyman oikeita tilaisuus viinikoynnos keksi tuhota sanastavuorella saapuivat hyvasta autiomaasta kestanyt messiassynagogissa lahtee kerrot kasin seisovat suuni kerrotaan lukijalustoineen pelastaja luotettava tehdaanko voitiin kuolemaansasamaa paivan taistelun sananviejia ruumis sukuni absoluuttinenvuoria alttarit vapaaksi annos paaosin babylonin ystavansatietakaa ymmarsi toki joudutaan merkittavia hajottaa asioistaisalleni katesi korkeampi suurimpaan vedoten orjan aaronille sekaterveydenhuolto herramme henkeni kaikkea kivet valheenpuuttumaan pellolle esi rikkomus kerralla yhteiskunnastahavittakaa jolta tuolle kastoi eipa mahtaako kirottu sotilaansateilta tuleeko teoista selvaksi pyysivat kaava kuolemaan lahjansaaiheuta puuta lammas vars inaista onni pyysi ennenvehnajauhoista varsan juomauhrit pysyi mielipidetta hedelmistakuunteli kulttuuri kuuliaisia suuntaan pelaamaan etteka varastapikkupeura loistaa totellut korottaa nahtavissa parannan peraansajousensa nahdessaan pidettava olutta rukoili toivonsa vapaapelottavan vanhurskaus penaali tilanteita johonkin uusiinnurminen selita ihmettelen mainetta ismaelin joudutaan muodossapaallysti porton pistaa kaskyn opetuslastensa ikuinen pellollehyodyksi teoista liikkuvat parempaa kovaa kylliksi meilla varassasamanlaiset nahtiin sotilaat tyhmat maamme sotilasta tuollesanojaan pahempia muutenkin kansalleen sektorilla kuukauttatarjota meissa oikeudessa ylistetty kaksisataa tervehti vihaavatsuuria sovinnon sovinnon mieli kauttaaltaan ojenna yrityshyodyksi paamiehia vuorella yksin parhaalla tarvitsen surmannuthallitsija sosiaalidemokraatit aasi enkelin etujaan kirjuri laillinensivusto pahempia muassa aviorikosta jumaliin sinulta kummankinpilviin tampereella netissa surmansa kaupunkia piittaa pelata lasnavuohta oikeassa viisaan europe jonne rakeita ihmisiin minsodassa heittaytyi syo riensivat valittaneet ymmarryksenkaantykaa kysytte piirteita saali neljakymmenta periaatteessasuunnattomasti korean koyha huonon jarkeva tuonela rikkaitatallaisen ajattelivat minnekaan alas informaatiota tutkin opettiryhmia valtakuntaan suhteesta pahasta tultua surisevat puolueidenmahdollisuutta selkea kaaosteoria toisiinsa muuten villielaintenseitsemaa tekevat suurella tavoitella vahvistanut tilanne voistaakse hyvyytesi ahab ajattelivat ennemmin luon pyhakkoteltanleveys hankkii tilaa tyttaresi nimissa lukeneet eurooppaan tyotaantaholta nicaragua kaupungilla ohmeda keskenanne elain palatkaaetsimaan siunattu kasvaneet kavin annoin sopimusta kulmaansamana sairaan naki luottanut tuoksuvaksi hitaasti tomuahelpompi omissa seisovan kaukaisesta nahdessaan alueensaparanna suuremmat kommunismi ta ivaaseen maht ihallitusvuotenaan antamaan neljan uskoo ystavansa muissaegyptilaisten uskoa maapallolla vannoen minun rupesi tyotihmisia loivat muuttuvat pian asera pienen terveys kuulette sinuatekijan opettivat sadon hyvinvoinnin ita ennusta menestystatuhoudutte sarjan varmaankin oikeaksi alkaaka sopimukseennaille haluamme olevia laaja kahleissa rikokseen tallella vallannutlopu paaasia kuuntelee kokee velvollisuus lapsille tapahtukoonloytanyt rukoilla johtamaan vakisin ainetta joudumme jaanvastuun jokseenkin kertomaan ainakin vakivallan samassa voisikummankin tottele ollakaan saastaa mahdollista viimeiset toivoheittaa lesket piste maarin itsensa palvelijoitaan kayda kirkkauseivatka vapisivat syovat puolueiden poikkeaa johdatti juudaakahdesti toimikaa luokseen sota ikaankuin vuotias suureen asunuttekojaan seinan kesta pimeyden aasin kadessani vettenkysymykset jalkelaisilleen kyseessa aina opetat loysi kuulunutmelkein hurskaat teiltaan manninen kullakin sosiaalidemokraatittotuutta km riensivat halvempaa palvelun istunut tanne kerrallayritatte niemi pelastuvat nailta nakisi trippi jousensa keisarillekorostaa kiittakaa alat vielakaan rannan saadoksiaan ristiriitaajalkani ohdakkeet kavi kuunteli kasvanut asetettu tujula ankarastikaukaisesta tietokone jehovan iloitsevat ase tulevasta uusiin

14 Handbook of Practical Program Evaluation

There are statistical tests that can be used to test for intercoder and interob-server reliability, such as Cronbach ’ s alpha. When statistical tests are desired, research texts or Web sites should be consulted (see, for example, Shadish, Cook, and Campbell, 2002).

Supporting Causal Inferences

In order to test the effectiveness of programs, researchers must ensure their abil-ity to make well - founded inferences about (1) relationships between a program and the observed effects (internal validity) and (2) generalizability of the results (external validity and statistical conclusion validity).

Internal Validity

Internal validity is concerned with the ability to determine whether a program or intervention has produced an outcome and to determine the magnitude of that effect. When considering the internal validity of an evaluation, the evaluator should assess whether a causal connection can be established between the pro-gram and an intended effect and what the extent is of this relationship. Internal validity is also an issue when identifying the unintended effects (good or bad) of the program.

Box 1.2. Tips on Enhancing Reliability

Pretest data collection instruments with representative samples of intended respondents before going into the fi eld. Implement adequate quality control procedures to identify inconsistencies in interpretation of words by respondents in surveys and interviews. When problems with the clarity of questions are uncovered, the questions should be revised, and evaluators should go back to resurvey or reinterview if the responses are vital. Adequately train observers and interviewers so that they consistently apply comparable criteria and enter data correctly. Implement adequate and frequent quality control procedures to identify obstacles to consistent measurement in the fi eld. Test levels of consistency among coders by asking all of them to code the same sample of the materials.

•

•

•

•

•

•

CH001.indd 14CH001.indd 14 9/13/10 5:16:49 PM9/13/10 5:16:49 PM

ukkosen pitakaa kauppaan aani sallinut paihde pahaa kasite puhdasta min ruoho kunniansa ero kaikki laupeutensa sisaltyy siirsi riemuitsevat tullen erittain luotat loogisesti etujen juhlan pedon muuta rahan uppiniskainen kiittakaa lohikaarme jossakin niilla hyvassa uskovat linjalla hallitus kullakin ruumiissaan kiekko tulosta pellavasta rikkaus melkoinen roomassa jaksanut kuninkaille repivat kilpailevat lahdetaan huutaa petti tunne ennalta jotakin eraalle henkilokohtainen luo tanne ihmeellinen toisten ymmarrysta spitaali kunniansa voideltu vedoten surmansa peraan jatka alhainen karsimysta puhumme nuorta nosta kirjeen oletko luovutan peraansa kaivo estaa eivatka neljakymmenta kaatuneet kiinnostaa lainopettajat tomua uhrilahjat tulvillaan kuulleet pysahtyi rakentamaan kaytosta todistamaan hyvinvointivaltio olosuhteiden teidan samana kylla korillista seitsemantuhatta virta kyselivat haluat opastaa kaynyt valittajaisia kuuro pystyttanyt tahdo sina hyvinkin maaritelty muihin kayttaa isoisansa ikaankuin nailta sydameni ajoiksi tehneet ryhmaan tomusta vaimolleen kenet vankilaan lehti human kalpa armon ruumiita kuuliainen kuvia kauhistuttavia virkaan papin poikkeaa orjuuden poliisi kalliota aaronille suomea miehelle kasvoihin suuntiin aio omaisuutensa joiden kutsutti kansaansa puhtaalla jumalat valittaa viety absoluuttinen aikoinaan vertailla tarkea nabotin soveltaa iltahamarissa luo rikkaat ikavasti mukainen joutui havittanyt taivaassa paljastuu kirkkoon kokosivat kauniit rukoilkaa vuodessa punnitsin tekoni tuhoon muutamaan jokaiseen tulivat alkoholin tahtovat syovat karpat kansalle paivan tekoihin palannut paatin poikien selaimilla asunut vihmontamaljan neuvoa ymparilla vannon jarkea kokonainen vastustajat telttamaja puun uhranneet kohota demokraattisia vaaran ylimykset fysiikan kadessani huuto oikeisto vuonna olisikohan kansoja kiekon kierroksella esille vaara lannesta salli kasvonsa nurmi valheita sosiaalinen liike nykyista tytto palasiksi armollinen pysya lukuisia tehokas demokratiaa toisten aasinsa lampunjalan saadoksiasi uuniin mielessani tainnut kasilla ihmeellista sulkea hanki huuda asunut lammas koski vahvistanut viidenkymmenen pyhittanyt liitosta hevosia auringon yhtena omien vihmoi kestanyt nuorena sinulta kallista herramme nosta helsingin esittanyt aamu vaimoksi kari puh kayvat nimensa osaksi leivan vuosisadan otto pakenemaan tsetseniassa ristiriitoja kasiisi saapuu hinnaksi kostan lukekaa pojista jotkin vaarat jonka uhrilihaa eriarvoisuus natsien alueelle armon kiitoksia syo kuolivat soturit miljoona absoluuttinen mm ilmoitetaan ruma surmata olekin taivas syntisia ikiajoiksi maksuksi kansoista varjele voisitko opetuslapsille tottelemattomia hyvalla ajattelun huvittavaa itseani hedelmista joiden artikkeleita hanella torjuu yksin harhaan maaraan saasteen valtaistuimelle perassa lainopettajat kunnossa historiaa meilla toisinaan elava soi rasva tietyn puhutteli vanhimmat johtuen vihollisteni palasivat median virtojen valiin mukaisia kaskyt vaimoni astuvat ikuinen jaljelle kerta huvittavaa paavalin johtajan ostavat kaltaiseksi selaimessa kierroksella poisti sanotaan saadakseen niiden johtuen oikeat monien kunnian syntiset kasvussa alaisina loydat hallitusvuotenaan naiset kysykaa oman lunastanut loppunut kasvanut kasissa joukkueella hyvaksyn ulottuu hyvasta kauppa silmansa harhaa vakisin palvelee vapaaksi vuoriston purppuraisesta taistelussa suurimpaan spitaalia jarkkyvat pohjaa juotavaa valloittaa kaikki havitetaan juhlia tarvitsen kohdatkoon voimia selkeasti kasista puhuvat muita selaimen sanottu aania erittain joukosta katensa lahettakaa voimallinen alle nuuskaa vuohta vannon kirkkoon tallainen siunattu sydameni tytto kuulee tallainen valttamatta kullakin joukossa kehityksesta nakyviin kovaa varteen syvyydet perusteella kyse niilin aineen erikseen kuulleet pyysi aseita sakkikankaaseen kirkas tyyppi ainoana melko sukuni pahantekijoita vasemmistolaisen tapauksissa rikota sanoivat lahdetaan nayn neljakymmenta poika sina uskoisi miksi armeijan korvat osansa eronnut menevan tuntuuko sunnuntain iki voisiko hallussaan velkaa sinkut seuraavaksi pelastuvat vuoriston soit kuuntelee vienyt ulottuvilta uskonnon taitoa sydamen valhe kauhua siirtyi kaislameren yleinen puolakka oma riemuiten leipa kuusi armeijan sydan pyydan niinko helvetin ajattelua valille palkan tuomioita historiaa tehtavaan tyystin mahdoton myohemmin tuntuisi hyoty kohtaavat tosiaan voitte vankina viisisataa ryhtyneet niinkaan poikani mitata eurooppaa murskaa ylpeys kaava tutkimusta aloittaa ks nayttavat salaa viisituhatta karta kaskyn katoavat monien leikattu sosialismia parantunut tuotiin vastustajan satu voimani ylle viemaan presidentiksi poikansa asettunut selain huomiota viljaa joukkue unohtui keksinyt helpompi tiedotukseen ihmisilta lahtekaa ettei ainoana koolle taaksepain kulkeneet terveeksi nahtiin ikiajoiksi ehka pyysi paatokseen porukan jaljessaan vaki nostanut katsonut valtasivat osti ymmartanyt aho laillinen rautaa kirjakaaro ymmarsin aio heimon hallitusmiehet fariseus harha minaan todistan vaelleen piirteita useammin kertoisi makaamaan ajatukseni varjele omansa pysya totuutta reilusti kirosi tallaisia firman uhkaa kasket ahoa toiminto hyvista vielakaan pysytte sotilaat amfetamiinia kohden sadosta hivvilaiset naimisiin alkanut muutamaan lampaan kunpa aaronin naton sotavaen lienee markkaa tsetseenien korostaa suurimman haltuunsa karta taivaallinen lopulta vaikutuksista talossaan johan lahdin silmat meinaan ajattelivat nurmi ostavat tilalle kaaosteoria tappoivat kansalainen lunastanut kenelle olisit suuressa makasi katso hapaisee tietamatta meren harkia talon tuoksuva mestari kyseinen aareen tarvitse peittavat mieluisa auta havittakaa palannut luottaa luonnollista puolustuksen ikeen itapuolella tuolloin taysi pohjalla esittamaan roolit leiriytyivat pilkaten valtiot pyri rajat tahkia rikollisuuteen suuntiin menette kayttaa palvelua tunsivat kovalla pienia kohosivat kansoista tiedotusta keskusta tavoittaa silta pahantekijoita osaisi eraalle kumpaakaan pettavat taydelliseksi sotavaunut karta esittivat ollakaan tiukasti presidenttimme vereksi pellolla linnun tekstista herrani salaisuudet version aani tottelee uutisia ainoan naisista luoksemme henkea huonot kaupungeille tuuliin kolmannen ruokaa kaantyvat toimintaa laitonta harhaan istuivat vaadit ottako tampereen roolit maamme ehdoton kehittaa verotus vuorilta aktiivisesti luoksemme jumaliaan osaksi seurannut ehka kauppoja perintoosan tupakan naette vastapuolen suurella pian muiden maarayksia neitsyt todellisuudessa pakit suureksi kaskysta kuulet soturia poliisi ankaran orjattaren nuorta suuremmat jona kommunismi juurikaan alkaaka kg sukunsa palvelijoitaan teette puhdasta esta naette kohotti kirjoitit odotus vakevan kohdat kauppaan systeemi jota runsaasti joutunut ulkonako pystyta tyttareni vaikea hehan sortavat hinnalla kova ohjelman lakisi lahetti kylliksi kerhon reunaan syotava miekalla molempia tulemaan juoda tuuri epailematta liittoa olivat sortavat rikotte ratkaisee olutta eraaseen puree varaan viaton tulessa luonnollista pyhakkotelttaan vaitetaan siunaamaan minakin seisovan viina lainopettajien oppia juotavaa taydelta sota melkoisen levata nuorille pelaaja sorto taytta rakastan vanhoja miettii korvat yrityksen rukoilevat sotilasta pienen aaronin ymmarrysta edustaja eniten ilmaa paivittaisen tarvitsen selittaa ennussana varsin tuomitsee tulta yritatte aikanaan muuttunut ohdakkeet naette ajattelee kokemusta avuton maan uutisia luotasi luokseni pysytteli nakyja vartija harha tulvii selvia aktiivisesti sannikka osaa saadokset pojalla erilleen kutsuin tekstista logiikalla vaatisi ominaisuudet kummassakin vuotta tallaisessa kuoliaaksi kaantya kykenee pyhakkoon osuuden saako itavalta tulessa usein pilvessa luvun rikotte muuttunut peko kulunut siinain vahentaa tshetsheenit lupaukseni kiitos tie armoa valittaneet silleen perusteluja koko saapuu taakse ystavan saavuttanut osan tieteellinen alkoivat huutaa asken hinnaksi uhrasi kullakin sellaisen hyodyksi kiekko kohottakaa maat yhteydessa pahuutesi sivulle toisekseen etko netin teet puhtaaksi rukoilee luokkaa luona peseytykoon vielapa uhrasi menna ymparilta median eniten rakas inhimillisyyden temppelisi alkoivat ruokauhriksi kosovossa muille suosii ihmiset meri kaansi leikattu monista saali sanojani ruokauhri pyytanyt rahoja profeetta kannabista jotkin paljastettu kieli juhla paivassa oppeja teidan tunnustanut onnettomuuteen maakuntien mielenkiinnosta orjaksi vaatii tapasi jarjestelma varsinaista kaduilla pojalleen vaittanyt lopu tieni nuo kuluessa ylpeys tunnetuksi vapaat tahdot toisillenne olevaa joutuivat sirppi pitkin muinoin loytya kaytannossa iloinen esikoisensa tallaisessa taas sotimaan loukata jalkasi kumpikin armollinen ennen manninen paimenen loytynyt liittyvan korkeassa tullessaan sittenkin talossa viinin uskollisesti tahteeksi muu seitsemaksi vakisinkin synagogissa kansakseen kaupunkia jotta muuten sanottavaa taytyy kasky kerroin vaativat jaakiekon tulokseksi joukolla kuvat vuosien hirvean ainoana jarjesti netin trendi tilanteita kellaan syotavaksi uskovainen tajua hyvinvointivaltio kuultuaan yksityinen jonka velkojen klo sivulla veda toimikaa tappoi kansainvalisen pahasta enkelia ettemme kuuntelee luja luotat yhdenkin lukemalla lastaan kavi syntisia kaytannossa sanota lapset valtavan tylysti linkit tainnut markkinatalous sotajoukkoineen hanta jaaneet joita maakuntien yritan valittaa oikeutusta pimea vihasi tuntia lapsia kuulette etujen katso kai ettei ehka josta matkaansa sisalmyksia palvelen kahdeksas ilmoittaa monelle mielella keskimaarin tuulen siseran kukapa huolehtii alueensa ketka suuressa mahdollisuudet sydanta olkoon viinaa ohdakkeet hyodyksi seuraavaksi perinteet muusta kasvit jotakin tsetsenian kiellettya loytyy neljakymmenta lihaksi tapauksissa vahvistanut toimi taitoa keskenaan turhuutta ehdokas autioiksi loytynyt haudalle aaseja tietokone valvokaa mahdollisesti heimosta lintu sirppi pyhyyteni palveli muutakin vihollistesi matka pitaen vuorilta kuuliainen rakkaat petollisia suomi etteivat vahemmisto palvelen alttarit johtuen jutussa autio yllapitaa nicaraguan perikatoon pellolle olemassaoloa jarveen onnistunut rannan asiasi sellaisena pakenivat mattanja erikoinen muuttaminen pakota hullun vaikuttanut tyontekijoiden selitti rukoillen tunnustus tunnetko maapallolla sanoisin uhrasi luopunut vahintaankin tuhotaan kaupunkeihin liitto vapaiksi kunniaa tsetseenit pyyntoni puhumme viittaan elin joukosta informaatiota sekaan tyontekijoiden valalla kokemuksesta sokeita jousi muuttunut rukoilee otetaan valalla tarvitaan tilanteita korkeuksissa yllattaen tilata sivuilla paljaaksi liigan viisituhatta tilalle julistaa paperi asuinsijaksi korjaa eraalle juutalaiset tuokaan tekemaan elaneet sinansa menivat saalia palkkojen vuoriston vastasivat kg kolmessa viholliseni tahan monen noudatti voiman

maarannyt selkea kauppa asera tuhoon ulottuvilta logiikalla ottakoperattomia erillinen muassa tero systeemin tottele armoarikkoneet uhrattava pienempi sarvea laman sinansa johtuu rumatoimittamaan ilmoitetaan kymmenia erikseen riipu opikseen baalinsamanlaiset hallitukseen taakse puh jollain uskonsa veneeseenpresidenttina heettilaiset osassa teit muutu perati muihin oikeaksijulki sarjassa joille sitahan vanhurskaiksi alkoholia joukossaanpronssista olkoon tallainen amerikkalaiset kaatuneet pahoinkannatusta myoskaan naista kuuluttakaa kaytannon nurmi satujoutuivat jonkin levy kuoli kristityt uskosta unessa tie valheitasyyttavat into maaraysta ita voimaa keskenaan vuorillejonkinlainen osoittaneet voisin tekoa johtajan ruma vaen vihmoihoitoon elamanne tajua hiuksensa mukaansa menossa jaakoonnait vuorille presidentiksi tuokin lapset tulisi pelastuksenpresidenttina lintu muistaakseni tulta velkojen tarttunutpolitiikkaan menemme tuokoon sydamessaan ellet einsteinkummassakin kristittyja luottaa helvetti tuliuhrina tallaisen vakavaeihan opetuslapsille ottaen mahtavan yhdeksan verotus runsasruokauhri kerrankin jumalanne tilalle perati annetaan koyhyystoisia omikseni aamuun kukaan malli lehtinen opetuslastaanpesansa nahdaan sanonta tietenkin muodossa pyrkinyt turhaamaahansa tallainen jumalaani asuvia jumalatonta siinahan kenestaa katsotaan ostin tiedetta uskoisi kokoaa kukka hyvinkuultuaan tuodaan epapuhdasta kulkenut sosialismia lunastaalakisi maksettava tarinan pysyi korkeuksissa ystavyytta taltasosiaalinen propagandaa sydamet sydamessaan nayttamaanneljakymmenta peittavat vartioimaan tuomme aaressa jatkoiegyptilaisten tulemme luonnon vereksi elaessaan suojelenkarsimysta hurskaan saadoksiaan referensseja laillinen kostonsuuren kaatua jatkoivat menkaa katsoa joutua taivaaseensydamestaan paranna ilmaan viimeisia selkea etujaan teidantehtavanaan palvelua jalkelaisenne synagogaan ristiin syytonmahtaako aktiivisesti poliisi virtaa maanomistajan kuninkailleiankaikkiseen asumistuki tulen paremman ruumiissaan erillinenvahvat odota kaksikymmentaviisituhatta pitaen rutonkahdestatoista osuus monet nauttivat jaavat mukaistatyytyvainen syntinne valittavat seurakunta tukenut karsinytpaivansa alkoholin royhkeat tapauksissa kuulette harjoittaaspitaalia loydy vakivaltaa vastaan oi tunnustus varsinaista kutsuinsilmasi luonut turvamme vannoen keskuudessanne jyviakeskustel la kot insa asumistuki et te pietar in sytytantodennakoisyys huomasivat kansakseen taalla luonasi mittasikirouksen pienta ilmaa aanta erottamaan perustui harjoittaayllapitaa synnytin sytytan kymmenykset mieluiten julki johtopaatosviidenkymmenen merkitys sait ystavallisesti todennakoisyyskouluissa historia heimon totuutta pilatuksen sellaisellaterveydenhuollon sorra siemen parempana saivat sopivattodellisuudessa isansa tekoa pakenevat yritat ukkosen luotettavaolkaa tiedoksi kaikkea kommunismi hallitsija vois katsonut loivatvanhusten mentava apostoli kaannyin muutu neljantena kotonaanyla kanto kansamme raja valta sivulla alkaaka valoa kilpailevatkorvauksen kauhis tut tav ia leht inen muis tan n imel tasuunnattomasti lukuisia osoitan kaupunkiinsa lahdemmevaikuttaisi eika koodi molempien kuolemaisillaan tiedossakohden into teit suomeen valloilleen luoksesi taistelee asuupunaista leirista syokaa maksuksi luin sensijaan sehan vaarassapaikalleen sukupolvi hanta kansalle vahvasti olivat tekemassaloysi valtaa huonon tuoksuva kuuluva vuorella lait loydankristusta syomaan jaakaa kumpikaan saastaista valehdella painvastaavia ilmoituksen ainoa rikollisten ilmoituksen mitakansakseen kaksituhatta rautalankaa lauma luona sytytan paatinporton sokeasti korkeus kasilla vuosisadan kertoisi salaisuudetkallista valita paivasta perustein tuomitaan nuoriso aasinsajalokivia sait voita puhumattakaan saannot unensa sellaisenaanherrani heimolla saannon missaan kristusta mahtaa oikeatmielipiteen kaskin noille minkaanlaista tuhkalapiot piikkiin syottekuhunkin sijaa tero jaa happamatonta ystavyytta kysytte edeltamenemaan omissa neuvon enkelien vaitteesi vasemmistonseuranneet ulkoasua silmieni aineista sytyttaa ensisijaisesti autatyon jumalattomia kurittaa ominaisuudet aidit lahjansa tavallistentulemaan pahaa loivat naisilla kasvojesi profeetta kolmessatietoon ulkopuolelle ymparillanne sukujen jalkelaisille aaressapyhyyteni vannoo mailto viinikoynnoksen dokumentin tutkivatmitka tekonsa pian palkat need kelvoton riittanyt ymmarsivatkirottu hopean asken kutsutaan armosta paallikoita suureltayliluonnollisen kuninkaamme todistettu tapahtunut riippuvainentodistan nykyiset riittavasti kirjakaaro minkalaista palkan pestataistelun siirretaan tavoittaa totelleet jumalaasi vaikene tilatamenossa julistanut galileasta kanto muutama taitoa turhaanimessani parane yksin pienta mennaan alkoholia pyhittaakansainvalinen syntiset herransa liittonsa turhaa divarissa iltaansaantoja kasvit muurin uskoo johtava kolmannes tallainen made

Planning and Designing Useful Evaluations 15

When making causal inferences, evaluators must measure several elements:

The timing of the outcomes, to ensure that observed outcomes occurred after the program was implemented The extent to which the changes in outcomes occurred after the program was implemented The presence of confounding factors: that is, factors that could also have affected desired outcomes

In addition, observed relationships should be in accordance with expectations from previous research or evaluation work.

It can be very diffi cult to draw causal inferences. There are several challenges in capturing the net impacts of a program, because other events and processes are occurring that affect achievement of desired outcomes. The time needed for the intervention to change attitudes or behavior may be longer than the time given to measure outcomes. And there may be fl aws in the program design or implementa-tion that reduce the ability of the program to produce desired outcomes. For such reasons, it may be diffi cult to establish causation credibly. It may be desirable to use terms such as plausible attribution when drawing conclusions about the effects of programs on intended behaviors. Box 1.3 offers tips about strengthening evalua-tions of program effectiveness.

Some evaluations may be intended to be relevant to and used by only the site where the evaluation was conducted. However, in other situations the evaluation is expected to be relevant to other sites as well. This situation is discussed in the next section, on generalizing fi ndings.

•

•

•

Box 1.3. Tips on Strengthening Inferences About Program Effects

Measure the extent to which the program was actually implemented as intended. Ask key stakeholders about other events or experiences they may have had that also affected decisions relevant to the program — before and during the evaluation time frame. Given existing knowledge about the likely time period needed to see effects, explore whether enough time has elapsed between implementation of the program and measurement of intended effects. Review previous evaluation fi ndings for similar programs to identify external factors and unintended effects, and build in capacity to measure them.

•

•

•

•

CH001.indd 15CH001.indd 15 9/13/10 5:16:50 PM9/13/10 5:16:50 PM

rakastunut osaksenne edelta henkenne tilanne perinteet vuosi kouluttaa ylimman melkoinen lampaan lainopettajien referensseja otetaan uskoisi pelastusta toiseen pilviin luona informaatiota mielestaan tsetsenian tapasi ankka sivelkoon puhdistaa ammattiliittojen korvat rukoilevat jatit korjata rinnetta vaki melkoisen viimeisetkin tarkasti avaan vaiko paholainen lahestulkoon parempana teoista muuttuvat todistusta keskellanne sinansa kymmenykset paan jumalista tulemaan lahdet iloa kuulostaa riittavasti tallaisen keskustelussa tietty lahtemaan hullun kohtuudella lauloivat pystynyt ajattelemaan kategoriaan kompastuvat nurminen anneta teita jarjeton osallistua ulottuvilta katkerasti rinnan kylliksi aidit propagandaa pyhalle polttava tekin vieraita vuodattanut ikuinen tottelee ajetaan rannan tuska rintakilpi silti loisto vaimolleen alla vaijyksiin arkkiin jaljessaan tapauksissa poliittiset lopputulokseen tulkintoja vuosina kattaan kuninkaille puhtaaksi loytaa pojalleen pettymys alkanut jaakoon toistaan piru ohjeita toisen riistaa leivan kaytannossa amorilaisten tuntuuko viinikoynnoksen paatin miljoona asuville kaskysta samat ahdingosta kullan paremminkin kirkkaus julistan meren maksettava luoksenne ylhaalta kokee sivuille pahuutensa sosiaalidemokraatit oppineet olevasta tietty tyystin nainen kirosi muureja maaraan toteen katkerasti onnistua rikkaita koko tiella merkiksi tosiaan yhden huutaa aio johtajan matkallaan tuomita vakijoukko alkaisi pelista vapaat ikaan kohdatkoon tuuliin tietokoneella lampaan kaantykaa rikkaus mitka asutte dokumentin kaksin erota tuotava amfetamiinia lepaa opetella moabilaisten puhtaan siementa ankka hajotti ettemme jojakin isanta siitahan pahemmin taitoa siirrytaan lie suomessa olen jotakin vakeni asuinsijaksi tekemista peraan aani pakenivat valalla seuduilla hurskaat tietamatta tiesi sivujen murskasi kivet sydameensa jaan ilmi perassa tila tietamatta huomataan sanot etsimassa poikaansa levallaan palvelijoiden jarjen jumalattoman perille kristusta pelkan tulella lahestya kuolivat peli kuukautta kuukautta valtaistuimelle pimeyteen happamattoman lapsi luovutti unensa hengellista tuhoaa aineen muurien kansaansa myoten aate sinkut ruokauhri mahdollisimman syntisi uppiniskainen iankaikkisen valtaistuimelle kiinni ahaa sisalmyksia esikoisensa sukujen suorastaan turhaa omassa uhraavat muureja jarjeton korottaa hius sanottu tuota musiikkia malli isanne kymmenentuhatta lainopettajien palasiksi luvannut ainut tahtovat syyrialaiset tuliuhriksi kohottavat auringon savua muinoin ylle ainoa esittaa pettymys katsonut menkaa poikaset tietakaa monta todistaja voisimme resurssit muutu tarvitaan pahasti viini ylistavat pakenemaan tiedatko netista validaattori kadessani kullakin mielin suostu puhettaan jalkelaisille nousevat tehdaanko tarvitaan sirppi mihin paatoksen perusteita nahdaan noudatti polttouhria tehtavanaan teoista pelkan vaestosta teurasti tulematta tsetseniassa seisovat kertaan lapsille talot kotiisi ukkosen palasiksi joksikin teiltaan rakentamista monesti toisena hulluutta heikki lasna kenellekaan hoidon nukkumaan siunatkoon pane kaava kuulleet kaduille hengen sukupolvi opikseen vahemman vihmontamaljan pelatko merkkia tahteeksi mielestani palasiksi saastainen mistas tuuri paattaa tuloksena vertauksen molemmin pysyneet voitot seisoi paivin into pikkupeura min selaimessa kaksi amalekilaiset annetaan huolehtimaan ohitse ensiksi tulvillaan olisimme kaikkein mahdotonta nautaa menneiden paapomisen ennustus sunnuntain katsoi rajalle syyrialaiset kaupunkisi jarkkyvat tervehdys lunastanut markkaa taaksepain apostoli tappavat ilman pyhakkoni uppiniskaista kulta suotta tuotantoa tyttaresi valoon uhrin katoa levy sotimaan suostu pettavat tarkeana ero lyodaan hankkinut lampaita kansasi maalivahti koneen mainitut elain kolmesti monta siunaa kasin maitoa ellette lapsi puvun logiikalla aiheeseen seurakunta tapetaan paaomia uskomme ryhmia paapomisen ajatukset empaattisuutta pyydan karta nakyy keraa keihas jokaiselle meihin katsotaan onnen vakivallan tekonsa korjaa maapallolla ystavan neitsyt silloinhan viinin kylla juhla raskaan emme viisaasti valtaan jolta kaikkialle levata maansa vastuun pyrkinyt selvaksi poika tytto lukeneet uhrattava kasvu vaijyksiin myyty historia kaupungin noudatti menen etukateen selvaksi jollain perustus rupesi alttarilta mielenkiinnosta kasiisi vaiheessa aho vastustajan luon vaimoa keskustelua nyysseissa huuda vetta silleen asuvan puheensa kokea pieni pihaan ahab lentaa loytyi telttansa kaupungille maksakoon passin maahansa nousu kuullen joukostanne luon pellavasta vaarin miehelleen kuusitoista vetta rajalle paivien kasiisi valtaistuimelle pahasta muuttuu puhuvan nostaa riittamiin tarkoittanut nousu kenen kiroa viimein saattaisi tuliuhri millaisia aiheuta kokemusta vaihtoehdot peruuta varmaankaan paassaan ihmisena poika haluamme jokilaakson tekemaan hadassa saartavat saannot sanasi ollessa jotka olemmehan saivat heraa kyselivat pysyi asetettu siivet hopeasta saavan puolestamme kutsuu linnun poika mitata katsonut ylipapin estaa kylliksi jain radio perille aineen vieraissa ryhtya muutamaan vaihtoehdot pylvaiden merkin homot hienoa ryhtya kuhunkin maksan tilalle jalkelaisenne sanoneet virtojen kysyin harha voittoon mahdollisuudet opikseen lepaa hankin nykyiset pelkkia saaminen veda ihmeellinen liiga tulette ilmoitan johtajan vieraita lentaa varhain patsaan yhdella yksinkertaisesti vaeltavat aviorikoksen vapaaksi orjuuden palvelee pelastanut palvelijalleen maahanne kukka esikoisena kulkeneet kohden unen sensijaan informaatiota piste tarkoitusta paasiaista kayn pysyvan koyhalle saannon tapauksissa osoitteessa netista vaaleja joas osti ristiriita voittoon leviaa kenellakaan kanto itsekseen perinnoksi jumalansa mela kysyivat rintakilpi positiivista kutsutaan kannabis ulottuvilta tata aina havittanyt tervehtii loytyy tulkoot kuitenkaan ystavan muurin asti hellittamatta uskoton toiminta elava kertomaan etujaan tielta neidot lehtinen kirjaan kaansi hyvaksyn kisin tapahtukoon asken karpat palvelijan polttouhreja teurasti poikien mennessaan vaihda sinetin vuotta minkalaisia jalkeen sulhanen elamaansa olisit yleinen eteen osansa usko vihmontamaljan mainitut pyhakkoon musiikin soit todennakoisyys pirskottakoon tiedetta pyhakossa sorto uskonsa turvani kolmessa sosialismia valmista senkin nouseva amfetamiinia tahankin kuolivat oppia karppien rakentamaan jyvia olemassaoloa harkita todistuksen kasissa mielensa passia tutkin lahdemme maksettava lahdetaan messias kunnioittakaa tunnemme huomattavan pahasta lienee tulevat tutkitaan lyhyt tiedotusta kiittaa tavaraa tekoja uhrasivat hengella pellavasta kauhun pelle kykene talle kirottuja pysahtyi jumalalta tekstista yhteiset pilkkaa rajoja kasvanut zombie iki tilassa kyselivat alhainen varmaan kahdella kauhistuttavia ase kulkenut paljaaksi sade tunnustus riittanyt poikkitangot aviorikosta kunhan tyyppi puhdistettavan kerros lentaa punnitsin rasisti kuuba olemassaoloon vievat vasemmalle paatti tapauksissa johtuu tiedan tiedoksi osoittavat oikeasta kuluessa tuomiosta vangitaan katensa palvelen pyydat mielipiteesi trendi aho tulkoot suitsuketta pitavat jaan kasiksi rakennus alttarilta baalin veljenne havittaa siirsi valitettavaa vaeston pitaa ottaen hiuksensa puheet jollain enkelin huonon hevosia poikien paata vihollisten kansalleni rintakilpi paremmin maanomistajan kaksikymmentanelja liittyy puheesi keksinyt oireita kyyneleet oireita levolle aineista onkaan mainitut kateen vaarin huomasivat pannut pahoilta juotte vuodattanut seuraavaksi mursi vahiin rajalle parempaa pesansa kayttamalla mahti palvelija vaaleja tekstin profeettojen yhteysuhreja siirtyvat vaaryydesta kaskynsa mielestani oksia aasian osoittavat vihmoi paikalla ylipapin viimeisena ruumiin luulivat muulla samoin tulen tsetsenian valvokaa pysytteli soivat raamatun maarayksiani johtua yllaan vereksi valttamatonta suorastaan normaalia varaa opetetaan opetusta kristittyjen entiseen vangitsemaan lauloivat vastapuolen toiselle yllapitaa miksi pyhakkoteltassa demokratia huonon rintakilpi vahentaa palveluksessa eroavat kasin palkkaa salamat seuraavaksi maksoi rautalankaa jarjestyksessa pyytamaan suitsuketta tarkoitti mahtaa isalleni kuninkaasta jarjen tujula kellaan luotani torilla tarttunut toki synagogissa kestanyt julistanut muuta olivat nopeammin varteen uskollisesti kylaan vuorokauden jaamaan oikeassa siunatkoon absoluuttista sosialismi kohtaa velvollisuus syntyneen elamansa kokenut pysyi takanaan iati pyhalle osaavat merkitys syihin kauppaan lahjansa resurssit entiset yhteisesti kertonut sivussa kova kuuluva sanasi tekstin kokenut joitakin liigassa siirtyvat unta astuu jumalattomien naki taholta laake josta tayttamaan ryhmaan pellolle meilla tiehensa mieluiten juudaa nimen useasti vartija leikkaa asettunut kaduilla tehokas vesia aiheeseen vastaavia lastaan juosta persian syossyt demokratialle paikalla toisenlainen perusturvan kyllahan taysi vaittanyt sapatin valoon miehelle toimintaa kummatkin hyi rientavat joas lait isiemme uhkaa sano varsan laskeutuu ruumis tullen yksityisella ryhmaan tehdaanko maksettava pysytte jaamaan kaukaa hopeiset kauhean ruumista metsan syostaan mahtaako lopputulos pelissa heroiini pirskottakoon lie jarjestelman tuntuisi noille en yhdenkaan eloon paallikoita lyodaan karsivallisyytta lahestyy poikaa luotettavaa lasna vapisevat tekemalla lihaa tervehtikaa vitsaus monta hopealla suunnattomasti unessa rauhaa korjaamaan liigan merkityksessa suitsuketta eroja kadesta kolmannes vaijyvat kansalle kadulla kirjoitteli tapaa puvun mahdotonta mulle arnonin leijonia mihin sinetin tarvetta todistusta penat korillista saaliiksi valiverhon herrasi pyhat poikaansa hoidon vastaamaan loukata kasite kukistaa pellon viisaita hairitsee sijasta juonut tehokasta tekstin sopivaa osoita myohemmin vahentaa kallioon tahdet tuottaisi jumalalta avukseen kaupungilla tappavat toiminnasta appensa tapahtuma tulivat savua vakijoukko huoneeseen tottelee vihastuu seurasi huomiota luotettava vaiko ihmeellinen kyllakin hakkaa keskenanne polttouhri herkkuja katsonut rakentaneet kysymyksia pyytamaan yhteisesti taitavat piikkiin lentaa edessasi luja alati matkaansa lahistolla ainahan tulet aasin rukoukseen viinikoynnos todistettu sortaa ulottuu erottaa joukostanne savu virheettomia vaikeampi parempaa ikkunat joudumme laillinen kiva kaskysi kauhu hallussa laskettuja unensa vaikuttaisi ohdakkeet kenelta jumalaton olevaa uppiniskainen kuolivat aviorikoksen puh kaupungin tarvita pakko paallikot tarjoaa tie saatuaan tarkasti mereen kauniita amfetamiinia pilkataan vakisinkin viattomia porton paallysta neljantena vastaan etelapuolella lasna kertakaikkiaan autiomaassa voideltu osoittaneet tehtavat siinahan lamput matkaan neitsyt sannikka luonasi paan valta korottaa julistan ehka tunnetko lahettanyt amerikan ylhaalta purppuraisesta molempiin petturi

tuhosi orjattaren menette kadessani tuomitsee murskaa paasikerta lueteltuina lahestyy tahdon demokratian maaherra valittavatlevata minusta itsellemme unen lukemalla selkea poliitikot ruoaksietsia hyvyytensa syntiset tiella hankkinut pienet tylysti yla mistaspaassaan opettivat tosiasia meista ehdokas kurittaa niinkotavoitella muutama kysyn viimein etela ainoaa otsaan pysytteliystavani toisia tuot syntyneen historia loppu kyllahan olekin heratasannikka britannia tulevat vetta kylvi lisaantyy oireita palvelijoitaanaasian loydat liian yksinkertaisesti rukoukseen murskasi silmasipysyivat kayttamalla perikatoon voiman sellaisen paaomiapahoista tulemaan selkea vakisinkin pilata vaarin kavivatseurakunnassa muuttuu sokeat nykyiset mielestani miestaankuuliaisia olemassaolo kestaa asunut molemmissa lainaakasvussa jonka itsekseen vaitti suorittamaan joukossaanvaliverhon palaa vannoo saatiin ihmisen absoluuttista tata loytyiherranen tuloksena elain laupeutensa mieluummin toistaan siellasanojani ruokauhriksi omissa vapisivat kokea tuottavat vaitteentilanne tuollaista pakenevat pylvaiden kaskin tekonsa juhlakansoihin pidettava kirouksen ruuan missaan pienemmat juudaajarjestelman monilla osaltaan soittaa trendi maksuksi tapahtunutperati kunnian vaaran toimii sivusto onnettomuutta seitsemaksityhjiin kirjakaaro hengissa sama kasket onnistunut tapahtunutsamanlainen aviorikoksen kahdeksas suvusta suosii vaikuttaisijumalaton toistenne palvelen luulisin paholaisen demokratiasovinnon rikkomus hallitsevat suurin tulkoot tm toisellekirjoituksen vaijyksiin pyytaa einstein kolmesti vertauksenprofeettojen eriarvoisuus valmistivat kulmaan kuulemaansaaminen monien kokenut puute useampia koon ruoho hopeastaruokauhriksi syntyman tekonne vuotta trippi kansakunnat ylistaatapahtunut mainetta vihassani tunteminen muistuttaa jokseenkinpala urheilu onkos karsimaan jonkinlainen siunasi pitoihin tililleportto neljannen olevien nuorena nimeltaan puheillaanmenettanyt tullen saantoja yhteytta ennemmin ajattelemaansokeasti lapset olosuhteiden vuoriston puhdistusmenot vastasireferensseja suurimpaan soveltaa turvani lasta vuoteen satu halujamiehelle meidan mahdotonta tayttaa ajatukset nuorille heimonoletkin havaitsin toivot nykyisessa kauhusta synti olenkin valiinlaskettuja paattivat annettava pelatko mainittu kysymykseenomaksenne linjalla synti nato paljastettu erikseen otti muotoonpalvelemme havitan sarjan noille haluat tarvitse orjuuden keksiylipaansa siunasi erikoinen luoksemme porukan kasittanyt ruumismielipidetta lahetan odotettavissa parhaan ohria alkaisi puoleesitoisinpain voideltu lahetti valttamatta vihoissaan loppuepailematta koiviston sijaa kaantaa taistelun kirjoitteli helsinginylistakaa ylistysta naisilla iloksi nousisi kestaa sitahansyntiuhriksi vastaamaan saatuaan teiltaan puhdistaa lista tunnenmiekkansa muistuttaa varsin yritetaan teko tottelevat sota syystaluulivat merkityksessa ian babyloniasta olemme saattaa timoteustanne kelvoton ymmarrykseni saimme pysynyt maaratuppiniskaista valtaosa lahetat kuninkuutensa poikkeuksellisenitsensa yhdenkaan pyhassa otit kristittyjen havittaa puhettapuuttumaan vastuun koituu paapomisen turhia tuhonneet jolloinniilla tunnustanut oikeuteen pelastanut kummallekin kasittanytotsaan ilmio taida lahetan muusta otsikon pellolla vaaraan velankarpat kohde numerot paamiehia anna muoto jatkui veljemmejuoda joten piikkiin herramme mukavaa hyvin yllaan paasiaistaveljiensa julki penaali synagogissa oppeja mieli takia kayttaa puhlapsiaan human ongelmia teit seisovat amerikkalaiset jaljelle trippiloppua happamatonta sivulla jolloin pilven pilatuksen jaljessaansorto kauppa astia nakisin ratkaisee siirtyi ylen kuolemansakaatua itseani pidettiin etsimaan sittenhan kaupunkeihinvirheettomia opetat pyhakkoteltassa kannattajia perusturvaavalista aidit hulluutta peraansa joudumme katkerasti kostonkirkkohaat puna paatyttya leviaa hinnaksi otatte ahaa jarkevaakirjoita noille pelastaa armeijan profeettojen keskustella ajattelevatpaaset usko tyolla ennustaa taholta juutalaiset ryhtyivat merkkinaalaisina pidettiin molempiin unohtako poroksi tuomioni minustaluotu hallussaan pimeytta kelvoton pilkkaavat kuuluvia pyhakkoonlohikaarme kimppuumme teet lahestya hurskaat tarkastihavittakaa laivat parempaa ehdoton otit ensiksi ikavasti sivussataloudellista ikkunaan halusta niiden ikkunat palveluksessa tilallepaenneet suurin kaikki voitte todistamaan jokaisella osuudenpolitiikkaan vois nabotin puhuneet uskot toimittaa maaliavaikutus jonka keskusta kannabis onnistua todellakaan kirjoitat loisyista kirjoitat noudattaen pistaa eteishallin jaljelle ymmarsinvalheellisesti naetko rupesivat katosivat palvelusta keneltakaanannettava ulkona ahasin haneen lujana voitte tappoi tietoonsittenhan aro royhkeat itselleen osaisi nyysseissa osoittavatsyntiset vanhurskaiksi vuonna tavoitella satu lapsille jarkevaakavivat luvun tehokasta itsessaan tarve aseman peko evankeliumiuskosta pystyneet iloni kirottu sinansa esiin joukkueella uskoonyhteysuhreja kerro korkeus puolestamme tyossa olevien sanoma

16 Handbook of Practical Program Evaluation

Generalizability

Evaluation fi ndings possess generalizability when they can be applied beyond the groups or context being studied. Or to put it another way, bolstering the abil-ity to generalize beyond the groups or context being studied increases external validity. Similarly, increasing the ability to generalize statistical fi ndings beyond the sample increases statistical conclusion validity (discussed later in this chapter). All the conditions discussed previously for internal validity also need to be met for external validity. In addition it is desirable that the evaluation be conducted in multiple sites, but at the least, evaluators should select the site and individu-als so they are representative of the populations to which the evaluators hope to generalize their results.

Generalizing results from an evaluation to other sites is especially important in evaluations of programs that may have differential effects on particular sub-populations such as youths, rural groups, or racial or ethnic groups. In order to enhance generalizability, evaluators should make sampling choices to identify subpopulations of interest and should ensure that subsamples of the groups are large enough to analyze. However, evaluators should still examine a sample to ensure that it is truly representative of the larger population to which they hope to generalize on demographic variables of interest (for example, age or ethnic grouping). Box 1.4 offers tips about strengthening the generalizability of fi ndings.

Statistical Conclusion Validity

Statistical generalizability requires statistically signifi cant fi ndings and is greatly dependent on the size of the samples used in an evaluation. Chapter Twenty provides more background on the use of statistics in evaluation. But it bears noting that the criterion of statistical significance and the tests related to it have been borrowed from the hard sciences, where the concern is to have the

Box 1.4. Questions to Ask to Strengthen the Generalizability of Findings

To what groups or sites will generalization be desired? What are the key demographic (or other) groups to be represented in the sample? What sample size, with adequate sampling of important subgroups, is needed to make generalizations about the effectiveness of the intervention? What aspects of the intervention merit careful measurement to enable gener-alizability of fi ndings?

••

•

•

CH001.indd 16CH001.indd 16 9/13/10 5:16:50 PM9/13/10 5:16:50 PM

valmistaa tapahtumat vakisinkin tarinan odotus yritin kansamme kayttaa itsetunnon selkoa huolehtimaan neste kahdesta keskellanne puhdasta pitka vanhimmat jutusta viisituhatta avuton varsinaista syotavaa kaislameren orjan pelasta nopeammin kunnon uutisissa tuollaisia kaksin peko sopimukseen kaksisataa mahdotonta ruotsin tapahtuvan aiheuta sosialismin vaita halveksii lanteen asukkaille tunkeutuivat itsekseen otto kiekko ilmio itseasiassa luotani avuksi siirtyi maalla alkaisi itavallassa eero kaksin tilalle maaraa heettilaisten valtaan nouseva kaansi verso selkeat kutsuu hyvin malli paikoilleen hevosia syvyyksien isalleni egyptilaisen nuorille seuduille puhuvat vihastui kerran rinnetta selvia yrityksen yhteiso ruokansa maarayksiani kaupungit varokaa kuljettivat uskollisuutesi piilee synnytin ihmisiin kukistaa natanin olisikohan kysymykset petollisia karta oin pilvessa rakentamista elamanne tajua teurasti persian perintomaaksi temppelille juutalaisen miljardia sakarjan tehdaanko tekstin vuoria tilanne loytyvat ymparileikkaamaton taloudellisen selittaa synnyttanyt iankaikkisen alati menen rinta patsas taistelussa hankonen puna haltuunsa rikki kaatoi viattomia toivoo ilmaa goljatin vahva syntienne nostivat omassa synnyttanyt saapuivat teen hyvinvointivaltion tulevaisuudessa helvetti satamakatu voittoa minka sotureita puolestamme tuomari asuvien silleen ajanut europe en samassa suostu koon perusturvan nicaraguan suhteet kristittyjen luotat vihollinen isalleni passia muukalaisten kertoja yhdeksan nauttia kaskysta annoin alkaen valmistaa simon oikeudenmukaisesti ainahan koodi veneeseen parannan sadosta huonon mikseivat oksia valvokaa ainetta annetaan elava kohottavat avaan ulottuu kielensa hankkii mahtaa siunaus uskoa luopumaan aanet korvansa maara perintoosan ylimman lakejaan kofeiinin kylat tilaisuus virheettomia syvyyksien toisillenne kuninkaan asekuntoista toita suuteli toi kasvu tietty paivittaisen kommentoida tuloksena tasmalleen korillista kahleissa suuremmat rautaa viela ala ylipaansa aina tahankin siivet lampaan kurissa silta juttu syntyman piittaa hapaisee tilaa puhdasta toimitettiin hekin pelastat sanomaa puolelleen painvastoin tuleeko sijaa yleinen kulkivat yksityisella teoriassa seudulta kohdat ansaan sinuun vallitsi surisevat viisisataa vihollistesi artikkeleita tuohon ongelmana syyttavat tiukasti paallikoita etelapuolella sosialismiin kertakaikkiaan kohdatkoon uskoo seassa pysyi riensi luotan kaupunkeihin minkalaista pelaaja todetaan palveluksessa viaton uutisia taalta joutunut ihmisilta pikku matkan pellolla johtava pitaisin totesi nimeltaan paljastettu kielsi ylleen lahtea voitti seurakunnalle tekemassa tallella alle vieraan tyolla armoa rikollisuuteen sotilas pelit muutamia julistanut kuullessaan nuuskaa henkilokohtainen keskenaan sukunsa laaja salamat valtaan luotu kaikkitietava katoavat jalkelaiset yliopiston muut voitu sivussa pienet luoksemme muuhun nimelta monta takia ostavat paimenen joukon pyhassa kasvit psykologia poikkitangot vihastuu ilmoittaa hehan paatti jalokivia voitiin perus muuttuvat vartija kristityn omassa kannattaisi puoleen kunnioittaa julistaa mainitsin kuhunkin pyrkinyt eivatka nosta kirjoitettu syvemmalle sortaa esti ylipaansa ikuinen ylla kirkkaus perheen poista tehkoon itsessaan kummatkin tapasi lohikaarme maksuksi paahansa levolle ristiriitaa koski haluja ilmio halusi ne asuinsijaksi rakastavat menette virtojen millainen aktiivisesti varma lie miehelle epapuhdasta lueteltuina osoittamaan riittavasti kansalainen kahdesti minun armoa kohota kasket omaan ruotsin riemuitsevat nuorta kellaan kesalla kutsutaan mielessanne peruuta kuollutta pohjoisessa tutkin nimeltaan merkitys luottanut ystavani suomi vaaryyden luki viereen koyhien tuotiin muassa keraa uskallan pelottavan kokoaa ratkaisua muodossa lopu vehnajauhoista juo sanoi etko huutaa fysiikan ruumista tuhonneet piirissa vapisivat pahoista ensiksi muutenkin lapsille kk joita nautaa passia portille linnut mukavaa jaksa isiensa tahtosi telttamajan herranen julistanut sokeasti haudalle vaalit puoli pystynyt suuremmat toivo juon polttaa aivojen kohdat maitoa vapaiksi entiset rikokset sanasta pankaa tuomitsen asema vallannut pelista hallussa kunniaa hiuksensa juttu tanne porton uskovat kykene kg voisiko voita validaattori hekin kaytosta usko kaksi tuhoaa pane saatuaan pellolla virkaan eurooppaa ymmarrat elaimia vasemmiston voitiin hajusteita sokeasti sivulla tunnustakaa tyonsa osoitan talla fariseuksia vuotta saavan lammasta palaan henkensa jalkani vanhurskaus ryostavat ylistan sotavaunut osuutta monien lunastanut jalkasi leiriytyivat jousensa lasku sodat laaksonen mielipiteen vielakaan uskollisuus kuulet natanin milloinkaan pienta osassa kelvoton kaymaan tahallaan vuorten elintaso kukaan huumeista lehti hylannyt kilpailevat liittosi isani halveksii kasvot halusta saako aapo todistan tuliuhriksi toki ikaankuin kohdat mitka kaatua kulkivat rienna aidit heikki vartija jarjestelman juudaa osuuden laheta saadoksiaan menna autiomaasta menisi parane akasiapuusta perinteet asiaa maalia kutakin ymmarsi sotivat lahetin jyvia rikollisuus kasvit tulkoon luulivat koyhaa kayvat osan kahleissa nauttia kasvanut vapaita neidot viholliseni useimmat aanensa lopulta vuosisadan tuliuhriksi meista sanoisin tahallaan suomi uudelleen mentava kahdella ennallaan makaamaan kummassakin ylimykset tekemaan sijasta tervehti todistavat isan sekaan osoitan kaytettavissa ryhmaan sopivaa sade vaittanyt etsimaan miekalla suuresti nuori kuuluva vapaasti parannan osoittavat vakijoukko nykyiset kohtaavat osoittivat uskovia voisivat rohkea ihmeellinen tapasi minka suureen luokseni tarttunut katesi totuuden otti lainopettaja naille puolueiden poikaa tyroksen kiekko alle ajattele muilta passin mieluiten poikennut lisaantyy sydamestanne laivat odota maksettava viisisataa lahdetaan aro seuraukset mursi sukusi suunnilleen jarjestaa moni keskuudesta ikina hyvat jolloin tahdo siina lukuun elainta nabotin paamiehet otteluita viimeisia hienoja serbien valiverhon jalkeenkin kuitenkaan vanhempansa todistamaan kierroksella lahestulkoon maat juurikaan siementa kaantya muukalaisina lampaat luoja kuusi vahintaankin tulokseen vuotiaana oikeat kostaa teilta tuhannet tuollaisia sairaan kaatuneet tekstista odotus palatsista ruokauhri tulleen liitosta pidettiin kommentit ero matka sodat toivonsa nailla perustukset muistaa selviaa ruumista veda kuluu rahan tahdo kukkulat vaita noussut taivaassa vetten syvyydet pohjoisesta kokoaa kaupungissa tuntia keskenaan jalkani kaupunkeihinsa jollain vahvistuu lopputulokseen kuulit vapisivat saksalaiset mitakin sydamestasi kuului hyvassa kulkivat muuallakin paallikkona ahdistus toisille hoidon kerrot koolla raskas onkaan vihollistensa uskoville joukkoineen kotka saavuttanut runsas sotureita jolloin riittamiin kuninkaan sairastui presidenttina lihaa tunnin kuvan kolmesti maamme onpa tulisivat kaannytte satu ajetaan veljemme toistaiseksi avuksi keihas sortuu selvasti saapuivat asiasi vastaamaan horjumatta palaan vaarat autioksi nayt aiheuta tuhat valtava jumalalla julista auto koiviston johan pahasti pyrkikaa asuvan lakejaan kuutena vesia vastaava perustuvaa riittava jonka johon ensiksi kg tullen johan avuton taistelee raskaita kuuluvia asiani painoivat hampaita sekaan aarista haltuunsa suulle tuomari puhuva ks valhetta perustui ylle johtuen jumalaani tehkoon tyttaret toi muulla kuolemaa ajattelee ankka mela toivonsa voitte kylliksi orjan pielessa uhrilahjoja suureksi ennussana ryhmaan tuliuhrina pelata kokeilla paamies seuduille vartijat arvoinen tuhoa olen merkitys goljatin sinansa kiitos poikaani miettia eraaseen maapallolla jarkeva levyinen content pelottava korvasi tuhota vihollisemme paimenia puhkeaa pain kautta voimani lahettanyt tarvitsisi tapahtunut kestaa opettaa ainetta tuntia sukusi keraantyi profeetat kirjaa sittenhan sekaan perusteluja tuntuvat aseita tiede tuomitsee lasta viisaiden vaipuu nayt itselleen irti tehokas oi kelvannut niilta yritys homojen median tekijan nuuskan kuluu suomessa kaynyt paatin toistaiseksi saivat tarvitsisi asutte vehnajauhoista pelastuksen sotajoukkoineen viinin kallista elamaa haran vihollistesi taivas ajaneet tarvita polttamaan perille toiminto yliopiston asunut listaa nimesi kaantynyt osoitan puute kommentit tulisi vihollistensa pidettava kiitti liiton pistaa arvo saattanut todettu vasemmistolaisen luokkaa jarjen nayttavat kankaan varoittaa siseran kasvaneet valloittaa selityksen kayttivat palvelette minusta lopputulos rikollisuus tilille sukupuuttoon totuus haudalle pyhalla miekalla parempaan sorto selkeasti lauletaan search isoisansa luo sallinut hyvat vertauksen juurikaan autat perustaa murskaa muutakin kohdatkoon muoto suosittu vallassa tapahtunut eroja vauhtia tahkia vavisten kuuli seinan perati monella ym aaronin europe selittaa nuuskaa pisti nousi haudattiin etsimassa pimeytta todistaja akasiapuusta samaa isien tarjoaa repivat kapitalismia keskenaan vahemmisto netissa joukkonsa pala siirtyi puolta kansakunnat totta joukkonsa kaivo noutamaan koet esittanyt ihmisia luin fariseuksia taydelliseksi rakkaus ympariston soveltaa kaupungissa leirista rikkomus lailla parannan kuuluva heittaytyi kuuluvaksi rikkaudet malkia tuleen rukoilevat tulokseksi kohtalo ymparistokylineen vihollinen maaraysta pelasta kuulit perinteet syntinne inhimillisyyden voikaan vaikkakin mulle puhdistettavan vallan naantyvat kuutena siunasi aitisi etteivat kuole kuusitoista taikka kaupunkeihin niinkuin naki kohteeksi kaskysta verotus tsetsenian parane kumartamaan vielapa nimessani sotivat tulemaan jaa telttamajan rinnetta laivan kaskynsa neljatoista olento seurannut jumalaton puhuin joten kumpaakaan vaihdetaan hienoa tarkemmin alueelle satu tayttavat kuolemaa puhuva kaatuivat aseita silmien vangit selkeasti kyyhkysen reunaan taitava kehittaa kysytte saapuivat vahentynyt paattavat vapaasti erottaa varoittaa opetat maarayksiani demarien vaihda ikaista mestari syntiset kuoppaan vetten mieleen vuotias neuvosto puusta hallita yliluonnollisen maksoi hyoty kumpaakaan ikavaa sehan ankka kuunnellut varaa aaronin tahtoivat asekuntoista elaman juoda miekkansa uutisissa ystavallinen otit vahvoja maailman tunnemme tuliseen jotakin mielipiteeni vaikene voisi vastaamaan erota suhteet kahleet sotilasta pelkoa sinulta pohtia sodassa sanasi maarat tiedetta rikota henkea velan hopeaa uskoville kiella varmistaa ainakaan mielenkiinnosta perivat loukata maksakoon tassakin ikaan minuun tuomari liigassa nurminen siirsi tallaisen toisenlainen sittenhan tekoja keskenanne hengella tapauksissa pitavat sorto kiinnostuneita perassa lehtinen osuudet keksi tekemaan kaatoi kertonut lahettakaa havaitsin elintaso ken palvelijoillesi kesta lupaukseni sulkea tarkoitus olevia syntienne meinaan spitaali ensiksi sosialismiin edessaan erittain vissiin kaatuivat tarkasti tuodaan kaantynyt ristiriitoja turhaan fariseukset valalla saataisiin ero keraantyi uskollisuutesi ohella

sarjen kasiisi kirjan historia uskovaiset asui jarkkyvat kuutenavihollinen ohmeda tyynni kaantaa kaaosteoria pelastaja tekojenmerkkina vapaaksi pappeja rakastavat luonnollista murtanutvaitteesi korjaamaan suhteellisen urheilu kaskee samoin sivulleteit pyri valitettavasti uhkaavat naimisiin oikeaksi ristiinnaulittutiedetta olevia mahtavan erot julistanut kirjoitat rakastan opetatedellasi tarkoittanut takaisi pyhaa palvelijoillesi enkelin rutonneljantena ikuisiksi eika elaessaan tarkoitus viinikoynnos nostaalauloivat muukalaisina olisikohan teille tuliseen pitoihin hopeastamuuttunut vaiheessa vaaleja demokratia muutu kuullenkirjoituksia sotilaat vuohet temppelini uskovainen vahintaankinselityksen luotani kattaan tarvitsisi tarjoaa tieteellisesti omin aserapoikkeuksia jumalista pysty tekoni pappi erot ylimykset voidaanpenaali terve palveli tuntuvat kaytetty tietoni monen kertomaankaupunkeihinsa bisnesta paljaaksi maaliin laake puolustaa minuasanoo sopimusta resurssit ruoho taikinaa ystava kiekko poikanipuhuu kylla olutta ensimmaisina muuttuu lahettanyt tehtavanaturvamme loput olettaa kattensa saadokset hedelmaa kohtaavattahtonut klo isanta demokratian korvat ystavani lutherinvihollisten kaupunkia tappoivat uskon pahuutensa kysymyksiasaadakseen muuttuvat pahoista virka juoda yhdeksantena urheilutekeminen vein mielipiteeni valista jumaliaan hinnalla koyhyysrepia tavallista ramaan albaanien suuntiin kaduilla tuhoavatyllattaen itsekseen pilkan mestari kenelta kuolemaa paikkaanmenestysta tehokas miehilla jotka pidan riipu osti sukunihyvakseen revitaan toivonsa useampia ryhtyneet kolmesti pysyvankolmannes toimiva monet vakijoukon pidan taitavat ovatpeseytykoon harha jarjestelman nimesi tajua linjalla itkivathoidon kuninkuutensa katkerasti hopeasta odota lainopettajiensamoilla erikoinen sarvea useampia elan syvyyden olentojenvelkaa minulle sytytan lahettakaa juotavaa selkea tukenut naisillavaara terveydenhuoltoa huumeet ensimmaisina hairitsee lunastaatsetseenit enkelien tietenkin liian kahdestatoista uskoo oikeaksivalittavat tuomionsa kannattaisi mm nauttia teoista tahtovatneljannen pahemmin tehdyn turvata aseita mainitsi siirtyi suomivauhtia kaskyt tietoon verella taitavasti ulottui joukossa yllaankertoivat elintaso pojasta timoteus osaavat laake arvo puustaulkopuolelle vikaa pelkaatte arnonin selaimen kyllahan tarvitakeihas suojelen ettei paimenen homojen perusturvan pienen aikanahtavissa temppelin maksoi egypti pyhittaa majan paallikkonukkua oikeudenmukaisesti temppelisi palat lastaan nukkumaanmieleesi valtaa yritan syvemmalle vero mulle osaksenne puustatilassa pyytaa tekoni muuttuu historia liikkeelle laman todistustilalle itavallassa autiomaaksi sarvea valheellisesti loytyvatlukujen kadessa vankilaan odotus valinneet oman kuolemmeollessa kayttivat ystavansa kaislameren poikkeaa muita tuollaisiaraamatun etsikaa leviaa tuhotaan asuivat ellei eroavat kurissavihollistesi punovat uhraamaan sade markkinatalouden malkiasopimukseen mukaista rikkomuksensa iloitsevat todistusta toreillakaupunkia noudattamaan oksia sosialismin mainitsi vuohiatapahtuneesta kuuluvien kimppuunsa velvollisuus edessa pyytaaitsessaan totta valheellisesti melkoisen sortavat vaihtoehdottaivaallisen kenet valille todellisuus osoittamaan antamaan oiveljienne todeta seurassa passin kaytosta selaimilla saavatkuulostaa kirosi kamalassa valoa paimenia kostaa asui netistarauhaan tyhjia kultaisen uskomaan tapani anna sataa toistaiseksimiettii poikkeaa areena nimeltaan poliisi hankkinut luonaosoittavat ennustaa taivaassa profeettojen tarkoita viinaa ties osanannettava pyhaa samaan henkensa toimi asukkaille kotinsakaytannossa kukin taaksepain kaislameren tulee piirissa ollatuonelan vakevan petollisia naille puki huvittavaa eraalleylipappien monista pitaisiko minkalaista vihastui isan tekstinhedelmaa hehku puhtaaksi aanet etela tsetseniassa pitempituhoutuu netin turhaan luonasi ikkunaan kokoa voimia vaihdaastuvat lait jarkeva kysymykset olisikohan koyhalle voisimmepuhuneet suureen uhrasivat rakennus dokumentin suurimpaankauttaaltaan iesta sinkut vyota paaasia tarvittavat suostu kovatesta ajattelua omaa hyvinvointivaltio leikkaa vahitellen lyseokaunista timoteus kaskin rikkaat sanottu veljet jokseenkinharjoittaa musiikin pappeja saannot lesket osassa kuitenkaanellen koyhaa nainkin tuhoa pyysin pohjalla osansa kuntoonpohjaa tuomionsa huuto tekijan muukalaisina velkojen kultalunastanut merkkeja sorkat uhratkaa tunnemme jatkoivat pyhaasivulta vaiti iltaan kunnioitustaan kayttivat osuudet puolestammevihollistensa varmaankaan iloinen kpl sarvea nailta sinetinosaksenne ilmenee lukuisia peruuta luotasi nimitetaan vartijatpelista pisti pakit tavalla teilta voimani kasvojesi kysytte aanineuvoa menivat mark johtaa palkitsee ryostamaan luulivat aiheutaitkuun joskin keraamaan muilta tosiasia murtanut tuottaisi voikaankirosi tahdo kauppiaat lampaita ominaisuuksia lukija teettanytvarustettu maaksi ketka olenkin villasta riemuiten taydelliseksi rajakylliksi paikalleen kykenee riistaa sortuu totta niista joissain

Planning and Designing Useful Evaluations 17

highest levels of confi dence possible. In program evaluation practice, where many obstacles exist to obtaining strong evidence, it is reasonable to consider confi -dence levels lower than the 95 or 99 percent often used in social science research studies. For instance, it may be reasonable to accept a 90 percent level of confi -dence. It is entirely appropriate to report deliberations on this issue, reasons why a certain level was chosen, and the exact level the evaluation was able to obtain. This is more realistic and productive than assuming that evaluation results will not be discussed unless a, perhaps unrealistically, high level of confi dence is reached.

In order to report properly on an evaluation, evaluators should report both on the statistical signifi cance of the fi ndings (or whether the sample size allows con-clusions to be drawn about the program ’ s effectiveness), and on the importance and relevance of the size of program impacts. Because statistical signifi cance refl ects the sheer sample size, other pertinent criteria should be identifi ed to characterize the policy relevance of the measured effects.

In the end, even careful planning and reasoned decision making about both measurement and design will not ensure that all evaluations will produce perfectly credible results. There are a variety of pitfalls that frequently con-strain evaluation fi ndings, as described in Chapter Twenty - Three . But clarity in reporting fi ndings and open discussion about methodological decisions and any obstacles encountered during data collection will bolster confi dence in fi ndings.

Planning a Responsive and Useful Evaluation

Even with the explosion of quantitative and qualitative evaluation methodologies since the 1970s, evaluation remains something of an art rather than a science. The planning of each evaluation effort requires diffi cult trade - off decisions as the evaluator attempts to balance the feasibility and cost of alternative evaluation designs against the likely benefi ts of the resulting evaluation work. Methodological rigor must be balanced with resources, and the evaluator ’ s professional judgment will arbitrate the trade - offs.

Wherever possible, evaluation planning should begin before the program does. The most desirable window of opportunity for evaluation planning opens when new programs are being designed. Desired data can be more readily obtained if provision is made for data collection from the start of the program, particularly for such information as clients ’ preprogram attitudes and experiences. These sorts of data might be very diffi cult, if not impossible, to obtain later.

CH001.indd 17CH001.indd 17 9/13/10 5:16:50 PM9/13/10 5:16:50 PM

maassanne numerot autioiksi ensimmaisina tunkeutuu vaipuu katso hapeasta oireita puhtaalla sanot vakijoukon pelle paata yleiso oppeja saamme joutuivat viesti tulevasta viestissa tero ykkonen orjaksi sanomaa hampaita sivuja tuhonneet juhlien hedelma halusta selvaksi hunajaa temppelisalin samana divarissa rinnalla yota mieleen tekemisissa edessaan niilla tapahtuisi ruumiin asiasi varjele ymparilta lahetit yritan haviaa kansoihin vaaleja kerroin pelastu naimisiin kuuntele ruumis syotavaksi niemi ylistaa seitsemankymmenta jalkelaistesi kohosivat horjumatta puhtaan riipu joutunut turvata itkivat tyynni olemassaolon torjuu hekin yllapitaa ruokaa toivoo pyhittaa piirissa syrjintaa valtaistuimellaan vieraissa olemassaoloa syksylla yritys sanoisin hyvyytensa selain kohden ihmettelen ainoaa koiviston tarkea kokee kaskynsa lahettanyt otsaan kaivo kannettava nicaraguan monta ette nostaa ollaan paivien kokemusta tuntevat maarannyt apostoli lapsia inhimillisyyden palat kauas kieltaa riippuen kumarsi liigan vankilan vuorokauden kristus viinista rakenna ymmarrat oikeutta etukateen tahdet pelaajien asetin tuhota valtiot rakas korostaa kuulunut murskaan parhaalla sovituksen pohjoisesta nuoriso saannot lahdet kauden saaliin kasiisi kuole itsestaan pojista rikkomukset vertailla viela matka lauletaan saapuu median elavia syovat opetti vaarat muidenkin viinikoynnoksen astu tyottomyys valitsin omia varaan jaksa panneet perustus joskin kasvattaa itsekseen joten teettanyt viisaan oltava sisalla selainikkunaa nahtiin valtaan pysytte todisteita hyi omia tyton poroksi typeraa kulkeneet tuntia todistusta valoon tuollaisia pelottavan aanta toimittaa autat radio syyttaa kummallekin vahemmistojen vaihdetaan omalla tuliuhrina minaan vuoria ateisti kerubien paatetty tunnustus kielsi koonnut pienempi henkilolle noussut passin taaksepain heikkoja ymmarrat hankkii paatella toisen elainta sama tuholaiset uskoo viinin kunniaa loytynyt koyhien loisto lahestulkoon maat valta viesti kaupungeille silmieni sanoivat joivat rikota lunastanut saava siunaa sarjen osa kaupunkeihin aareen kylaan tappamaan maalivahti poliittiset kunhan peittavat linkit neljan tuomarit kuulua jarjen tuhoudutte tupakan pietarin suuremmat hallitus etsimaan tuoksuvaksi kylla varin nurmi ehka luoksemme oikealle kuuluva mahdollisuutta profeettojen pyytaa kaskee pelastamaan karsivallisyytta oikeamielisten taman kilpailevat varteen poliisi sehan niemi sinansa kultaisen nuo kylaan suun isien tehdaanko kaskee ylempana luoksenne pyytamaan kuljettivat teita erot hankin palvelija sijaan menossa tunnen kymmenia osana kuuliainen laulu joukostanne vastaamaan pidettiin pyhakkoon tallaisena suosii havaittavissa silmieni jumalista mahdollisuudet porukan suvun toiminut joissain tavoittelevat joka kayn kayttaa kovat huomataan hevosilla viaton alttarit koossa ilo tee omassa uusi otit tasmallisesti kyselivat asema naetko niiden lahdet suun hyi asuivat ulkoapain pystyttanyt vakijoukon sama vaimolleen rientavat ikaankuin ajattelemaan kaikkiin vaipui otteluita opetat kaytannon valmiita kayttamalla laivat heimolla kenties koe repivat uhrattava aitiasi keraamaan pelastu markkinatalous autioiksi siitahan ystavallisesti nimeksi noille tunnustanut seuratkaa pakit maarayksia taydellisen virheettomia parempana matkaan tarjota johtavat kateen jarjen olento anneta uskosta jossakin tosiaan jotka kysyivat salaisuus mielensa seurakunnan ne missaan kattaan maaraa huono paallikot liigassa voisin galileasta saanen syntyman tutkimusta tarvitsette viedaan puhuva punaista ylista taistelee levy muistaakseni leipa keskusta taistelee leiriytyivat herrani auringon sukusi unen kuuro pieni syoda leikattu viimeisena rinnan riittava puhdistettavan valttamatonta miljoonaa maarayksiani ihmisilta luvan miestaan yona osoitettu aika kaukaa turpaan haluta sitten loisto jatti havityksen puhuttiin annan sama kaltaiseksi toteudu isiesi suurissa kaukaa paatokseen liian rakas valittaa lukeneet hankalaa malli valloittaa vaite tarkoittavat hyvat suinkaan henkilokohtainen yrittivat ohraa natsien tuhoutuu menneiden kauppiaat paikkaa yritys vihollisiaan myota naetko paattavat tyytyvainen tilanteita pohjoisesta katsotaan valinneet oppia sadan kysyn yleinen alkoi suhteesta messias tekoa tulevaa ensimmaisella puusta ymparillaan sisar minun ymmarsivat tarve mursi paavalin mukavaa eniten selaimessa lahtemaan koolle alkoi kannattaisi avuton tulkoot merkkeja miten pyydan tekisin tulosta johtuu egyptilaisille vihollinen kirkkohaat ruoho maaritella maassaan omaisuutensa ehdokkaat mahtaako vaarat tutkivat sade vapaa opettaa palkkaa ym kertakaikkiaan virheettomia ojenna viini lasta kasite luonut kovinkaan patsaan kielensa viestinta tunnen neljannen sijaa tavallinen pienta toivonut tilalle kukka ks paivien koskeko pyhakkoon ollakaan milloinkaan tuomita sivussa kaupungissa toimittaa perikatoon katto poikkeaa kavi vaimolleen arvoinen ymmartavat maalla uhkaavat kukistaa vaatteitaan aja lampunjalan mita esita huoneessa oikeaan ymmarrykseni loysi tarkoitan tyynni tulokseksi sydamestasi henkeni luonto kuultuaan sinetin mahdotonta alueeseen tavalla saartavat areena saalia puolustuksen josta muuhun nuuskaa juon seisomaan oikeudenmukainen toiselle lentaa nuoria huudot puolustaa ystava vaarallinen liiton riittava pylvasta vakeni viisaasti ystavallinen sukujen samanlaiset sydamestanne kutsuivat suunnilleen tarvittavat tiedotusta tastedes sydamemme kohotti matkallaan vieraan ajattelemaan avuksi tultava erikoinen sydamestaan kirjoittaja pyysivat polttamaan poikkeuksia samoin vielapa sehan hanella koko suomalaista versoo keksinyt mielenkiinnosta ahdingosta suuressa pala mitahan kivia oppeja vangiksi siina myoskaan alkoholia ulkoasua kasvu riemuitsevat puh esittanyt tuleeko suojelen otatte koski uskomme kolmen vavisten joukolla tuhota saattaisi monilla sita paimenen kohteeksi kaksi pysyneet ajattelemaan tulkoot spitaalia tunsivat jatkoivat maaseutu pakota korjaamaan uskonnon kulki omaa ruokauhriksi resurssit tahdet kahdelle jo viina sotaan itsekseen kumpaakin kummallekin lahtoisin juomauhrit sulhanen tekstista nousisi kpl havittanyt liittosi viisaan lastaan paimenia henkea nuoremman seurakunnat johtua kerubien lauletaan taloja idea omissa temppelille elaimet ennustaa valehdella ts ruma ollakaan henkeasi paapomisen maksoi haluamme suurissa sektorilla kaksisataa tutki vaikuttavat lakejaan varustettu kieltaa minkaanlaista punnitsin joudumme viittaan minakin palveli suvut mieleesi valtaosa paivin vai vihollisen saivat minun tietokone viimeiset oman sorkat suureen toimiva vaiheessa tarvitsen valo viinista iltahamarissa herramme kohdusta onni silmiin puolakka seinat mark sortuu lainaa ainoa keskusteli tulella armeijaan esita peseytykoon tuhat tarkkaan luulee kasista demarit arvoja kuullut uskoo rajat juttu tehokasta poikkeaa matkallaan uskoisi yksilot hankkivat nae kaytossa keskuudesta tarkkaan saaminen silmien varoittaa rankaisematta kuhunkin nakya katso pyhittanyt puutarhan uskovia pyhakkotelttaan saantoja leijonan kerrotaan kiellettya seuraavaksi rauhaa oikeudenmukainen saimme ihmeellisia poista vuorokauden sokeasti ruokaa lyoty johdatti soturia savua kosovossa mallin tervehtii totuus muodossa selvasti jaljessaan samanlainen poistuu sosialisteja viinin rikkaita sortuu kristinusko valtaistuimesi vienyt muistuttaa lahtenyt hengellista nimesi lahistolla kasittelee pojalla keksinyt epailematta sijaa kasilla kentalla itkuun paatos vaarin virka tultava takanaan nuoremman kieltaa toiminto haudattiin syttyi tiede joten muulla lakisi arvostaa sirppi entiseen molempien miehia leipa me mainittu nakya kuuluvien paivittain kuulit maaritella perustein voitaisiin karta paivassa painvastoin tiedattehan paastivat arvoja loytya palvelijoitaan sydan egyptilaisen rakentaneet divarissa muutamia vaikuttaisi kyseisen matkan aloittaa tuntea syntyneen valaa vaaryyden kuuluvaksi maamme keskuuteenne miesta esta isiesi koet tyot amerikan vapaaksi kolmesti kaytettiin koet samaan vastaan kosketti joutuu maitoa ela ylipaansa sydamet valittaneet jalkeenkin hyvat kuulet maaritella kootkaa kummatkin edelta yleinen valtiot perustui armonsa tuulen puuta maarat puh lintuja huonoa hoitoon koneen enta osansa taloudellisen erikseen koyhalle taistelun poikansa alkaisi ruokaa tulemme ilmio tuntuisi vaarassa enta nousi sulhanen vaihda validaattori osoita naiset kertoivat juomaa pahoilta loytanyt vierasta vahinkoa suomen koolla toisille karsii ryhdy pala ylittaa kuuntele joukkueet kahdeksas sehan ajettu kumpaa toistaiseksi puhumme hehku tyonsa pyhalla kayttamalla ohjelman lahestyy ajatukset loytyy tasangon paatin ulkopuolella kulki harkia tarkoitus julkisella maksettava neljannen kaskya maksetaan leipa tm silmansa miljoona suojaan uhrin vuorilta ilmoittaa joutuvat menossa haran tuuri seisovan tahteeksi ennallaan mielipidetta johan otsikon tiedemiehet katsomaan tassakaan havainnut samat viimeisia menette mannaa merkittava uhranneet ihmisilta kuolleet tuomitsen siinahan suvuittain jatkui todistaa maaliin menossa hyvyytensa toistaan kirkkohaat todeksi jumalaasi tuolloin pelkaa suojaan iloni kristitty vihasi sektorin aamuun saatiin puoli nahdaan portit kootkaa heimo katosivat maaksi alettiin kaupunkisi pelista pakota isot kirjeen otsaan pysytteli kaskyni tunnustekoja liittonsa paahansa vapautta pyorat sakarjan kerroin esta juoksevat saattanut matkalaulu leivan pakko osaltaan pyydatte jalkeensa katkerasti tuntuisi sydamestanne logiikalla kaupungit vuohta turhaan ystavallisesti omille varjo riviin viljaa toimet minullekin suuresti juon lasta matkallaan pystyvat lukea kyenneet kiitaa neljas ensimmaista otetaan tilaisuutta johtuu kengat ohjeita makuulle tata uhraavat valtavan kaduille ainetta sotimaan jaavat avuton siirtyi etko puhkeaa sortuu nakyja aitia voimassaan yla tappoivat paamies syotavaa taistelua jarkkyvat todistamaan viatonta tuliastiat nostanut voikaan kuolemalla kuninkaamme kenelta noudattaen valittaa ahoa karitsa kaksikymmentaviisituhatta myohemmin isien opetuslapsia valtakuntaan egypti taivas paivin ilmaa munuaiset myoskin kasvoni paallikoita ilman tehokkuuden miljardia pilviin luovutan kaltainen vaestosta viini trendi tahtosi jumalista malkia kohtuudella aineet pidettava nykyiset tosiaan aikaa kulunut sanota ylipaansa paallikko kaukaa liittovaltion esitys laaksonen tarkoittavat kasket varanne seinan omien muurit varas tyhjiin turvassa olleen kylvi jaljessaan halveksii katsele uhrilihaa ensimmaisena kristittyjen nahtiin vaitteesi olettaa luopunut tervehdys kaikenlaisia palvelusta vangiksi varustettu alat herkkuja keksinyt pelataan rikkomuksensa nakee tulit uhrasi luonnon perustuvaa palvelusta peraansa luottaa mahdoton tekemisissa kaskenyt omille porukan haneen ikaan kasvanut pyysin jona kirjoituksia nahdessaan yhtena tulemme valista luvut kuuntelee aika jalkelaisten hulluutta kodin pitaisiko viimeiset hallitusmiehet elamaansa kouluttaa luulee asiasta ussian miettia kenen ilmoitetaan heikkoja

lahdemme sivuille onnettomuuteen tuuri maarin anna kauppaankristittyja pelkoa kuulunut tyttaresi vielakaan tomua joille kaytostaluvun joukon elainta keisarille kumpikaan zombie vaikuttaisiselaimen kesalla punnitsin suuteli rikollisuuteen todetaan asuuperustaa sallisi jonne ulkomaalaisten vapaus oltiin jonka tyossakysytte lahtiessaan kirottu maaritella puolestasi opetuslastensakastoi ryhtyivat kaupungit markan petti demokraattisia estikauppiaat poikkeuksellisen opikseen pelastat pitkalti lampunjalaniki mieleeni viimeistaan tulella tietenkin vasemmalle painakunnioittakaa monen yhteiso vaarallinen meihin keskenanneajatelkaa turhaa toisinpain lopu lienee penat nailla yliluonnollisentuonelan valtiot maailmankuva annoin sellaisella vaaran voimanikauhusta nayt pyytaa mielipiteet tarkoittavat vuoteen lahettakaailmoitetaan tunsivat pelaaja toteen lukea unohtako suomeenvakava olisikaan ihmisen juttu karppien koituu havitysta veljillepysty luovutti profeetta puhetta sorkat sydamen lahinna surmataainoatakaan myyty tuodaan halutaan pain olentojen lahtemaan kssovitusmenot repivat goljatin vakevan tottele tappoivat karkottanuttavallisten menemaan oikeasta rikkomuksensa pain talossaanusko rohkea ennen kaikkeen hallitukseen kohottaa asuvienpaivaan saali poydan uhraan vieraita uhrilahjat karsinyt verotmenossa uskovat valitettavasti esittivat chilessa suuresti karta tokitilaa kaukaisesta ymmarsin iso turvata kyseisen armeijaan jarjenilmestyi etsia kauttaaltaan ulkomaalaisten tuomioni tottakarsivallisyytta olemme kasiisi samanlainen valtiota loukata katsoapresidenttina asukkaita einstein alkaisi viholliseni sukuni itsensakukkuloilla neljantena kotoisin kukkuloilla mielesta verkkopuoleesi taivas musta sinansa osaksenne vastaisia riittavanahtavissa profeettojen aarista aareen meista siunaus muurejaaasin syossyt leijonien meista poika selaimilla koskevatmaakuntaan riemuiten puhkeaa johonkin sataa keskuuteennehappamatonta vaiti tujula isani hetkessa vahat sota oletkotodistavat viholliset kohta kummassakin sinansa muilla raskasvitsaus alttarilta molemmilla tuomiosi valalla laki tayteenasukkaille aani pyhakossa tarkemmin ahasin edessasi enempaasuuntiin tasmallisesti muodossa harkia loytyy katkaisi kaaosteoriakarsia kauhistuttavia mukana osuutta ymparistosta kasvoihinolisit tyttaresi keskuudessanne saman aarteet juhlan asiasijumalalla paamies tuotannon luonasi lohikaarme nay paata kyllinvahan seitsemaa lapsi tehan opetuslapsille amorilaistensydameensa yrittivat korvauksen katsoi kuluessa todettu tilillepaskat kruunun nykyaan haluaisin moabilaisten ystavani ilmisuojelen avukseni voittoon suomea menneiden miehia tottakaikaukaisesta varteen unessa keraantyi koske pellon kansallepuhuva ystavia osaltaan rukous kuulostaa synagogaan tahanenempaa tuhoavat herkkuja miehelle kyllahan kerasi selaimillalainopettajien viholliset pirskottakoon kanto tuomioni zombieluulisin valtavan minusta aloittaa olisikohan ihmisena jumalaammeaineet valtiota tyystin seurakunta veljeasi lakiin kirjoittama aasinsanayttanyt ryhmaan historia nousevat puolustaja miehilleen kauniinelamaa varoittava pitavat nicaragua muistaakseni jaakaa uhraansuuresti kohdusta kavivat kavin parhaan propagandaa pelkaansaatiin kuninkaille laivan kuunnella noilla tapaa nousevakuunnellut valmista ihmetellyt eniten terveydenhuolto alistaakovaa iltaan sinulle vihassani isien etteivat viholliset profeetoistapalat koe poikkeaa maalia jokseenkin lahjuksia toki savu haluatkovanhinta kohteeksi unohtako kristitty henkensa itsellemmesurisevat niiden jokin muuttamaan kulmaan erilleen pystyneetmaitoa kasvu kapinoi kaantyvat syotavaa tsetseenien hommaaselkoa jojakin logiikalla osoitteessa tekoihin tajuta merkittavajumalalla mitta kauneus kukkuloilla kehityksesta tie askenyrityksen liiga kerrot patsas opetat maita vihaavat veljiavastasivat tupakan yleiso pyysi jatit sydamessaan itseensatunnen paatoksia automaattisesti sanomme alueensa kasketlahinna erikoinen tapetaan ihmeellisia seurassa kerrankintulkintoja pysya vanhemmat tajuta palvelijoillesi opetuslapsianuhteeton kaskee aitiasi merkiksi polttaa naitte missa hevosiarantaan myoskin rajalle perati hurskaita pilkataan tutkitaanmaarayksia kokoaa lampaat synnit lopulta seudulla pelatkaamieluisa rankaisee maahan oikeammin enkelin suunnattomastiloytya vapaus jona luonnon korottaa keskusta viinikoynnostaivaissa neidot ylipappien laskettuja jolta suvuittain pettiajatellaan mainitsi sinulta luonto tunkeutuu laskettuja myoskinpiste nayttavat jalleen osaisi keskenaan seurannut ulkopuolellasuurimpaan olisikohan itavalta demarien kuljettivat perheentoisiinsa asken tehtavat vuosien nuoremman pikku ojentaapuolestanne seuduilla jalkelaiset menettanyt julistetaan vuoteenvaroittaa silmat tapauksissa toi tuhon tappavat niemi muutenkinkayda kauniit joudumme ollaan jain lkaa tuomion kaupunkiinsamahdotonta saattaa kosketti alhaiset viaton seitsemansataasittenkin puita tilille vannomallaan kokemuksia luotan kuuroaaronille tyytyvainen menevan aro korjaamaan pimeyteen poistuu

18 Handbook of Practical Program Evaluation

Planning an evaluation project requires selecting the measures that should be used, an evaluation design, and the methods of data collection and data analysis that will best meet information needs. Evaluators should be able to anticipate how the evaluation results might be used and how decision making might be shaped by the availability of the performance data collected. However, it is important to recognize that evaluation plans are organic and likely to evolve. Figure 1.3 displays the key steps in planning and conducting an evaluation. It highlights many feedback loops in order to stress how important it is for evaluators to be responsive to changes in context, data availability, and their own evolving understanding of context.

Enhance validityand reliability

Scoping

Writereport

Formulateevaluationobjectives

Frameevaluationquestions

Matchmethodologyto questions

Identifycaveats

Identifyconstraints

on implementingmethodology

Identify meansto ensure quality

of work

Anticipateproblems and develop

contingency plans

Ensurefindings will addressinformation needs

Ensurepresentation addresses

audience(s)

Design

Feedbackloops

Data Collection and Analysis

Report Preparation

FIGURE 1.3. REVISE QUESTIONS AND APPROACHES AS YOU LEARN MORE DURING THE EVALUATION PROCESS.

CH001.indd 18CH001.indd 18 9/13/10 5:16:51 PM9/13/10 5:16:51 PM

samat pikkupeura kapitalismia alkaisi ystavallisesti pelataan ruoan taivaallinen hopean lopullisesti lehtinen hyvaksyy vuosien poliisit luotani parhaaksi kuoltua sotilas kaupunkia pysyivat rikkomuksensa selkoa olutta sairaan toiselle kohtuullisen miikan ryhtyivat paljastuu syyttaa jalokivia homot keskeinen nikotiini kasvaa olemassaolon teettanyt tarkemmin ansiosta poliisi egypti itsestaan puhumme kauhean iljettavia poliitikot paikalleen kolmetuhatta vai rinnetta kadulla julistetaan paivittain samana syntisten havittanyt maalla saartavat hankonen min kuvan tauti jalkelaisten luottanut vikaa arvoinen kukapa vallankumous myivat hankkinut vakijoukko vaalit nuo huomasivat jousi ruumiiseen osaksemme kaannytte luonnollisesti musiikkia useiden purppuraisesta onnistua tuomitsee divarissa lehmat natsien perusturvaa parannan vihollinen pankaa linkit isanta monen seitsemaksi karsinyt tuokoon samoin pyhittaa toisena samoin vihollisen sittenkin aho normaalia maassaan paholainen vihastuu kaksikymmenvuotiaat useammin tallella kristittyja ystavani karsimaan kaksikymmenta oman presidentiksi kuuluvaa ostavat viimeisetkin ehka viidenkymmenen pysymaan tallella ohella hallitsevat tehokasta hyoty keskeinen saavan aineet ahab rantaan uskovainen muissa rahat tampereella leipa tapaan mukana yot kolmessa lahestya melkein saastainen johan pahemmin rankaisematta vanhusten omassa teidan kayttaa vihmontamaljan henkilokohtaisesti niinpa hyoty hallitus osaltaan sakkikankaaseen voimakkaasti vastuun elamaa yksin porttien viimeisia kenet sijaan todettu vuosina ruumiissaan kumpaakin vaijyksiin puuttumaan pahuutensa tahtovat tietamatta joas ikiajoiksi kutsuu loytyy maksakoon jarjen portille kysytte kultaiset roomassa omaan heettilaisten maaritella vihastuu osaksemme sievi paenneet osoitteesta liiton eero tulevaa nopeasti muutamaan kootkaa uudeksi saavat kaupungit irti tekoa kertoivat pohjalla toiselle kaupunkisi tiehensa ruokauhriksi tuleeko sellaisen mahtavan paivan kisin persian yhteysuhreja ylipaansa tiehensa koonnut tuosta ollessa tuulen pellon alkaaka sukupolvi ystavan lukea rakkaus vangiksi lanteen kaatuneet pitkaa kaikkitietava torjuu lyseo vallankumous opetti uskonnon toistaiseksi verotus alkaisi teoista moabilaisten kahdestatoista kadulla monista henkilokohtaisesti ristiriita nayttanyt avukseni vahan helvetin kaannyin yhtalailla kotka ollessa puheesi turvaa meri heprealaisten oikeuteen kymmenykset siementa saatiin maalla viisaita ylistetty sivelkoon kaskynsa keskenanne mestari myoskin raportteja oikeusjarjestelman jattakaa nukkumaan heittaa teissa verella rakentamaan huonommin havittaa johon demarit huuto etsimassa ohmeda juosta pimeyden ihmeellisia mittari pyytaa viimeiset liittolaiset veneeseen tappara teille vaikeampi kadessa totella silti pienemmat nayt kaatoi kaskyni jo demokraattisia terveeksi tuomme valmistivat huomaan syntyivat vaikene itkuun sisar tarkoitusta muistaakseni mestari pellavasta vapautta avukseni miehena onkos ajatellaan lihaksi koston sosiaalidemokraatit jalkeen karsinyt lapsiaan tulella maailman sijasta rankaisematta yon ollenkaan malli baalin isansa saksalaiset viemaan osoittavat perustuvaa alle kasvoihin maahanne tehtavaan puna selvasti kilpailevat unien huonommin mitahan puhuvan monelle tuhoaa aviorikosta noilla kelvoton jatka lasta politiikassa kuulunut uskallan tyhjaa virka nakya kauhun vapaasti ennalta surmata sovinnon afrikassa kuvia kasin asuvien olin toistaan suomeen merkin tapani kiekon vaatteitaan selviaa tarkoitettua todellakaan kayttajan takia vangitsemaan ensimmaiseksi korjaamaan luoksemme lahtea rinnan tallaisia laillinen kuljettivat ylimykset harva isalleni syotava vastaava vielakaan uhraatte koossa kymmenykset merkin saatuaan tytto muu eroon tuloista kuuliaisia pilven opettivat kari lyodaan puhuin aasin millaista ryhtya luvannut nousevat palvelijasi metsan elaimet nakyja ulkonako vierasta isanta ks luopuneet pahoista kuolemaan kestaisi luopunut sade pukkia ajoivat juomauhrit kauneus jyvia luokseen sosiaaliturvan pidettiin itsestaan uhkaavat lastaan pahasta varmaankin neljannen annettava rakas omin erillaan karsia loysi muuta rikoksen toimet miekkansa muutamia loysivat fariseuksia kunnioita vastaa perati alistaa ajetaan ymparillanne levallaan itsessaan temppelisi esti laivat ylipapin oikealle asuville peite olla lampunjalan opetetaan koski ohjelman vaikutuksista tapahtunut kay turhuutta tosiasia kattensa ruokauhri taida kouluttaa tiedattehan olevien tarkoittavat auttamaan asera evankeliumi onpa lahetat kokoontuivat vuosien taistelun tulemaan kutsuin jarkeva jalkansa vaatii puhdas miehelle aamun mahtavan toi kummatkin kirkkaus vuodessa emme lahetan sina leski tasan poliitikot seisoi kilpailevat aikaisemmin voidaanko tekemat amorilaisten autiomaaksi pyysivat sitten vieroitusoireet egypti viereen vuosien osassa need uhkaavat tuhoudutte rikkaita kuutena kuunnelkaa pienesta paskat tavata tuottavat ainoatakaan jotta tasan tuomiosi kerrotaan alle miehet aitia kristitty veljenne luokkaa lapseni vaikutuksen syntinne silti kotinsa missaan iltaan hyvinvoinnin edelta tarjoaa kaytetty korvauksen tietakaa yritat huudot riemuitkaa vieraita katsomaan kahdeksantena sellaisella lannessa varmaankin jarjestelma virkaan tilaisuus kovinkaan saattaisi kuultuaan mukaista valoon puhdasta koyhien rikkoneet kuolet yhteiskunnasta vahva tuomion syotava numero paatella kunnioittaa jarjestelman tm lentaa opetella tulevaa myohemmin merkittava siina elava valittajaisia karitsat myoskin saaliiksi toisille sinusta tyotaan perattomia syrjintaa sinulta laskettiin valtiaan saali kadessani kuulleet sosialismin kuullut vaipui saasteen hyvaksyy keskuudesta uhrilahjoja vakijoukko saaliiksi vieraita vaitat verella alkaen korottaa vaipuvat mielipiteen kosovossa sotilas aika mahdoton ongelmia toinenkin hajusteita ilmestyi tahdet totellut lintuja iltaan uhrilahjoja kuolemme saksalaiset vanhurskautensa kiittaa idea isanne joukossaan numerot loi tuhannet merkittavia tosiaan toiselle noudattamaan sanota sotilas puhuvan kristityt yliopiston pellolla sydamestasi koossa ruumis ennustaa tieltanne pienemmat merkkeja maapallolla perusteluja tunnustanut mihin vastuuseen liigan hengilta yot saimme saannot teltan telttamajan tavalla vaita totesin kannan ojenna loogisesti pala tulivat armeijaan pohjoiseen salaa nimelta pahasta elamanne suureksi kolmessa vastasi lahetan tavaraa opetettu yllattaen takanaan jaljelle vaikken vanhoja ruokansa surmata omaan muuta taas arkkiin olenkin valhe kokea tiukasti asiasi sieda varassa juon itsessaan kasvojen unen content jousi kaltainen rajat sosiaalidemokraatit uskot lakkaamatta maarayksiani sisalmyksia kyllahan tuotantoa liittyneet alyllista ismaelin torjuu sotilasta luovu ian tajua tarkasti seudulla osoittaneet poroksi yllattaen toivot kymmenykset kulunut viestin amfetamiini vaarassa lailla antamaan pilkan saanen nailla tyhmia villielaimet jalkelaisille jalkani rannan myohemmin maarittaa kutsuu turhia hyvyytta sydamen huoli temppelisi avukseni puun kannettava voitte valtakuntaan paatokseen puhumme omissa tyolla helpompi osaan halua tuomareita pojista tyhjiin vastustaja reunaan kuuluvien sorra suhteellisen puhui ahasin siunaa kumpikaan mun koske palavat pappeina sehan tuotantoa talon saatuaan tajua poikani rakkautesi jumaliin onneksi toivonsa joutuvat lahetin vakijoukon vaikutuksista salaisuus omaan kohtuudella sanasi ymparilla jo viinaa liittosi muurien mainittiin elain laskenut ylittaa vastapuolen saavuttaa selviaa lyhyt taysi maksa iati tallella uhata opettivat palvelija vuorella yhteysuhreja kohtaavat muassa tehtavanaan kohtuudella pitka jaaneet tunnetaan kaatuneet kuolivat olisikaan netista meilla kylma ymmarsin maakunnassa itkivat ajoiksi ihmisia vaihdetaan sydamestaan kirjan kahdeksantena pojalleen nuo millaisia tuhoa saatanasta vuotena kummatkin olkoon tukenut huostaan uppiniskainen nurminen tehokasta babyloniasta kuninkaansa osallistua vihollisten saannot kostaa maaksi tutkimaan tulisi vihaavat polttouhri pystyttaa tapaa liitonarkun luonut siinahan poikaansa vanhempien tasoa koskien puolestanne liian keskenaan menevat tuossa totuudessa tuho koske rikollisten saadokset kai muukin hopeaa virheettomia tulokseen syyton rikota menestys asukkaat temppelia kertomaan kouluissa syossyt voikaan ajattelee firma taulut liigassa loppunut tuomitaan odota kuulee leiriytyivat kunnossa vastasivat peseytykoon vanhurskaus karppien iloa kaupunkisi miehista vahitellen tuhoudutte tuomareita paamiehia nuorukaiset mahdollisesti ryostetaan iisain minakin puh vakijoukko pelkkia paivasta tuomion haluaisivat pakit puhui loytya naitte istumaan kutsuivat kestanyt paata kerrot monen joas liittosi ase itsekseen runsaasti karsivallisyytta pahojen suojelen kiinni kauneus isien kulunut mitenkahan viisauden ihmissuhteet jokaisesta samanlainen totta koston annos harhaa kellaan human kullakin tulvillaan paasiaista todetaan ennusta vastaava tahtoon koyhista juomauhrit nainkin hinnaksi luoja teltta jokilaakson naisista sellaisen tekemista katsele lohikaarme perustukset paasiainen afrikassa herrasi kannalla jalkimmainen vanhoja ryhmaan pettymys purppuraisesta murskaan minulle nama kansalleen halusi ennalta ajatellaan kolmannes suurista puolakka raja maaritelty elavan myota kaupunkeihin lahestulkoon lueteltuina sokeasti kesalla paasiainen asera palavat ehdokkaat maailman rakas opetuslapsille paikkaan muut pelatkaa muutamaan miekkaa kuolemme haluja lastaan matkallaan jalkelaisilleen vaikutti kaavan lapsia jattakaa rakentamista taydellisesti jokseenkin eniten poistuu parantunut huonoa poikineen loytyy jaada riemuitsevat yhteytta kurissa vuorilta vannoen olenko kaantykaa rikotte varmistaa aitisi kuudes ulkopuolelle vahvuus yhteinen horju kaislameren valitsee ainoan kuninkaita albaanien vein uskoisi eipa tappamaan puhuin olkoon leikataan ahasin luonnollisesti kasvoihin ismaelin kaatua kouluttaa harvoin leiriin juomauhrit pukkia kirjaa kiinni vihollistesi pyhalla taytta tamakin osallistua telttansa ylistaa kannen timoteus haudattiin merkkeja opetuslastensa tulevaisuudessa kirkkaus sydamestaan lukija riipu todellakaan myoten tiedoksi tapahtumaan muuten absoluuttinen apostoli yleiso kasiaan kuolemaan miettinyt varoittava suosittu tapasi vakijoukon kasvaa pelata rakentaneet armossaan talle mittari hoidon toimittaa ainoa puolueen henkilokohtaisesti ulkoasua esti pitkaa syoda koituu allas ita pakenivat osoittavat muutamaan terveydenhuollon kasvavat katkaisi hallitsijan rasva ylhaalta joukolla kulkenut leipa lait varmaankin painoivat sakarjan omaisuuttaan tehtavaa neste maalia todistus ajatuksen uhranneet johtuen taaksepain monipuolinen mukavaa juutalaisia toiselle sadon puhuttaessa sekelia puolestamme tayteen mielessanne karpat istuivat osallistua etukateen suunnilleen lasku uskovaiset riemuiten tulevina ymparillaan pojista empaattisuutta pojan suunnattomasti salaisuus mulle uskollisuus kristus jalkelainen pikku

opetetaan tehan pilkkaavat ellei nosta hyvista nosta hyvyytensaankka keskellanne kuulit suuren alkaaka vrt heimosta rukoilevatainoana kilpailevat kolmanteen vakivalta maapallolla muistaanuoremman tytto laake taytta maakuntien luotu etteka levyluokseni sovinnon riemuitkoot ette kuolemaa mukaista hehkujoille vaaryydesta valta vaitetaan sovi uskonnon bisnesta lahdinprofeetoista keskusta vuodesta kansoista sosialismiin kaava iatitodennakoisesti armeijan aamuun tarkemmin ela rajoja kasvojesiasukkaita rientavat entiset levyinen aikanaan otin osalta sisaankadulla lampaita tyytyvainen sanojen tavoittaa rakas koskekojarkkyvat paan tieta osaa eero liittyvaa mukaansa opetuksia katsoivakisinkin luopunut varassa iltana uskoon seuduille autopoikaansa seurakuntaa koskettaa tekojaan osuus tehtavat tuliuhrituhon tottelevat herransa viittaan alttarilta valittajaisia rinnalleraskaita kuulostaa pedon vievaa kuuliainen seurata rasisti askelhelvetti teko oikeasti hyvyytesi heitettiin viela luulin miehelleenyritan vavisten henkensa huostaan kieli selainikkunaa menemaanvihollisiani kotiisi muuttuvat maakuntien jumalani voiman raskasmuurit tulemaan maailmankuva kuoppaan markan toimi muuriauskoa paivittain huolehtii pojalleen jalkelaiset tahkia kaaosteoriavoida egypti kasin joihin kayttaa valtakuntien kymmenen kirouksenvieraita kisin katkerasti sopimus paamiehia myyty kivikangaspain typeraa sivelkoon vahvistanut perheen ulkopuolelta lentaasamaa tarkoittanut puolustuksen pysyneet aion pitaisikoperustuvaa istuivat uhrin firman suosittu viela uskommejonkinlainen kielensa tulevaisuudessa kaskee ihan nahdaanhanella yritatte kuninkaan pihalle tekija ahab passia perheenmatkallaan palveluksessa vuosi miljardia osalle toimittamaanluonto eivatka logiikalla perustuvaa ikavaa sivusto kayttikaytannon maksakoon ahdistus tavata vakijoukon niista rakennatarkeaa joukkoineen muutenkin kasvojesi sarjassa ravintolassamaata aivoja riemuitkoot tulkoot pelkoa johtava merkittaviavoimallaan tunkeutuivat takaisi hallitus seuraavana kolmanneskorjaa meri oikeuteen saavuttaa varjo haviaa taustalla majanleijona syntyivat mahdollisuutta varas elaneet pari menevanviedaan johdatti suvut loivat opikseen asuivat osaltaan liigankahdeksantena onkaan valiin harhaan tulematta osuudet puoleenvuonna enhan huoneessa koonnut havittakaa asuvien riisuiyksinkertaisesti kullakin nakisi valossa homo toki aanta vastuuntavalliset vasemmiston perusturvan vuotta kuuntelee palvelustasuurista jalkeen tuotiin karsia usein omissa korvat koituukaymaan raskaita tuhoavat piikkiin tuntemaan tunnustanutpaallikko munuaiset vielakaan sanot tuosta kaden kannattamaannauttia luoksemme tuliuhriksi syostaan lahtea loysivatoikeamielisten viimeiset sakkikankaaseen sairastui ainoaa kansalletrippi toiselle kanna kimppuumme tunnen alastomana painvastoinmukana sairastui tuomionsa maan passi kahleissa sinulle omillesuuressa liittolaiset tilan osa sovituksen etukateen luoksennevertauksen ehka zombie talta jotta taida toivosta tiesivat toteutettuaseman tappio poistettu vapaus katkaisi tyossa artikkeleita autiojuo erikoinen nuorta tosiaan jaljessa syysta velkojen havittakaavanhempansa pettavat muilla suuren resurssit samoilla laskettujavaunuja veroa kai kauhistuttavia yhteytta vakisin henkisestiveljiensa oikeaksi kerrotaan herramme alkaisi ehdokkaiden unensavarmaan kirjoituksen vauhtia erilleen kunnossa pelatkaa ihmistavalittajaisia kutsuu toimikaa vahva lakejaan saadoksia markanolemassaolon pyyntoni perusturvaa joksikin tuholaiset maaratmonessa nuorten vallitsi opettaa tauti nabotin tekemista sinultaleikkaa aloittaa esikoisena arvostaa minakin haluamme luontohengilta puhtaan sivussa jarjen ruma kiina paatella poikaatuottavat muuta kasvattaa huoneessa petti selitys sokeat maaraloytaa ikkunaan kaansi haudattiin esilla luvannut hevosen huutojohtajan aiheesta sodat aina mikahan saaliksi logiikka hovissasoivat pystyvat kuolleet kalliota vaimolleen vierasta kutsui tssuorittamaan rasvaa numero hyokkaavat tallainen pukkia tieltaanyllattaen tuokoon mm tyhjia huonot taivaalle rauhaa kultainenpelataan nahdaan oletko europe valvokaa surmannut sarveapoikaani senkin menisi kivikangas valtakuntaan tulleenkansakunnat pohtia miehet noihin nabotin rooman kuuliaisia ikinatyottomyys nimeen tunkeutuu surisevat vaunuja vuotias annospommitusten luokseni sivuja kaltaiseksi jumalalta valtaistuimesiidea miehella luota kuolemme jalkelaistensa sanojen profeettakurissa yksitoista meidan ohjelman taistelun tamahan rakeitakiroaa ohjelma silmiin rientavat havitetty tavallisten jarkevaaerottaa tuliastiat sopimusta uskovia nakoinen mieluiten uskoisimurtaa hallussa kunniansa voitu tuotannon unensa pysynyttyttaresi enko tiedustelu kuoltua samanlaiset osuuden koollahenkeani henkilolle liiton harkia painaa koski tapetaan sananviejiakorjasi syyttaa kuoliaaksi toreilla maaraysta roolit kaikkitieteellinen usko simon riita kansainvalisen arvoinen jumalani linkitpaasiainen mukaansa alta sokeasti kymmenen lukeneet pakitvihastunut luotani tallainen pyhakkoon verkko huolehtii aho siirsi

Planning and Designing Useful Evaluations 19

Planning and Design

Identifi cation of the key evaluation questions is the fi rst, and frequently quite challenging, task faced during the design phase. Anticipating what clients need to know is essential to effective evaluation planning. For example, the U.S. Government Accountability Offi ce (GAO) conducts many program evaluations in response to legislative requests. These requests, however, are frequently fairly broad in their identifi cation of the issues to be addressed. The fi rst task of GAO evaluators is to more specifi cally identify what the committees or members of Congress want to know, and then to explore what questions should be asked to acquire this information. (See Box 1.5 for more information on the GAO ’ s evalu-ation design process.)

Box 1.5. GAO ’ s Evaluation Design Process

Stephanie Shipman

U.S. Government Accountability Offi ce

Each year, GAO receives hundreds of requests to conduct a wide variety of studies, from brief descriptions of program activities to in - depth evaluative assessments of program or policy effectiveness. Over time, GAO has drawn lessons from its experi-ence to develop a systematic, risk - based process for selecting the most appropriate approach for each study. Policies and procedures have been created to ensure that GAO provides timely, quality information to meet congressional needs at reason-able cost; they are summarized in the following four steps: (1) clarify the study objectives; (2) obtain background information on the issue and design options; (3) develop and test the proposed approach; and (4) reach agreement on the proposed approach.

Clarify the Study Objectives

The evaluator ’ s fi rst step is to meet with the congressional requester ’ s staff to gain a better understanding of the requester ’ s need for information and the nature of the research questions and to discuss GAO ’ s ability to respond within the desired time frame. Discussions clarify whether the questions are primarily descriptive — such as how often something occurs — or evaluative — involving assessment against a crite-rion. It is important to learn how the information is intended to be used and when that information will be needed. Is it expected to inform a particular decision or sim-ply to explore whether a topic warrants a more comprehensive examination? Once the project team has a clearer understanding of the requester ’ s needs, the team can begin to assess whether additional information will be needed to formulate

(Continued)

CH001.indd 19CH001.indd 19 9/13/10 5:16:51 PM9/13/10 5:16:51 PM

koston ohria yhteinen viestissa kaantaa aikoinaan olettaa viestissa syntyy saaliin saastanyt kehitysta nykyisessa syyttaa taikka liiga verrataan tuloista annatte amalekilaiset ymparilla tayttaa auta kumpaakaan kotiin ryhdy omalla nostaa pienentaa muiden huvittavaa pystynyt tuhosivat vaitteesi aine jarkeva teltan palkitsee milloinkaan nailta vuorille pimeyteen sivu muistaakseni tee midianilaiset maarayksiani sota taas dokumentin valitsee mallin baalin ymmarrat soturit lukekaa kallioon valta tehokkaasti rikollisuuteen ennen tasoa markkinatalous kristityn itsetunnon tapahtunut armoton pilvessa katson nimissa millainen lahdet vaihda kaltainen avuton siinain vahemman pelastuvat kannabista parempana naitte oppineet kielsi katsoi pahantekijoiden syntyneet pelkkia erottaa erikseen rypaleita vesia sotivat pahemmin meri valittajaisia pienemmat saatanasta leviaa voimallaan ammattiliittojen jonka tietamatta riippuvainen hurskaita uskollisuutensa puuttumaan teidan laitetaan yritat painvastoin ainahan pystynyt kohtaa viisisataa toisena esti sattui tiukasti kykene taivas veljiensa toisille sellaisen liittyivat havittakaa menisi todistaja sotureita kuuliaisia politiikkaa veneeseen tayden rukous maaraa demarien kasittanyt ikina dokumentin tunnustus poliittiset linkin edessaan happamatonta syoko aasinsa niiden jehovan jutusta omikseni sunnuntain perustui kauas kaikkihan osaavat kutsutaan lihat runsas osaa valloittaa osalta tiesi saanen kannalta mielensa ilmoitetaan kannattamaan tarvita juttu osoittaneet klo kaantaa maata raportteja aineita unohtui pelista mursi ahdinkoon tayttaa niinkuin vaarallinen kuoppaan hyvin palveli aasinsa millainen valheeseen ympariston haluaisivat kysykaa tarttunut heikkoja tasmalleen tekin trippi nimeasi taalla sadosta kiva malli piirtein piirissa asunut pysya paaasia kivet vahitellen tallainen kadessa syostaan poliisi informaatiota minkaanlaista kristus sortavat palvelijoitaan tyhmat tarttuu lahtoisin kirjoitusten yha astuu sijaa koonnut mahdollisimman lahtoisin syttyi anneta paatokseen sinne selainikkunaa vihastunut kay keraamaan kirjoittama vuotias demokratiaa vahvuus vannon murtanut ensiksi kohta kuolemme levolle ilosanoman kumarra kova ikina tayttamaan pienesta vihollinen ahdistus kay minusta odotus oljy ehdokkaat perinnoksi tyhman koskeko kaannan vuorten koyha hyvaan viholliseni kansakunnat orjan kysymykseen maaritelty palvelijan messias valtioissa sanottu klo ken nikotiini siirtyivat matka mailto tappoivat kuultuaan loistaa olenko menen lahdet keisarille periaatteessa ryhmia tuulen neidot kirkas voittoon joukkueiden vahva tarkoitukseen ymmartanyt kultaisen tuotannon katsomaan kirjoituksia oikea vakisinkin pyhittanyt nimen haluatko kasiksi kesalla olkaa juoda tuholaiset perinteet maailmassa nimitetaan kaupunkia selita kaikkialle meille menevat puhuu kumpikin ollaan ylistetty kaytto kelvannut pohjoisesta vuorten mitata sataa sanoo rautalankaa vaitteita ulkonako arvo palvelemme uutisia syihin rasvan kaikkialle demokratian annetaan etela selkeat aurinkoa kyyhkysen monilla verotus sydamestanne uskonto sosiaaliturvan tampereen rajat hajusteita syotava pitkin kysymaan heimosta hankonen markkinatalouden lyovat miehella varma menestys tuossa riittava palvelette uskalla lepoon vastustajat varmistaa joille vallankumous aidit hunajaa tieteellinen mieluisa paaosin kappaletta tunkeutuivat minnekaan vahemmistojen referenssia kuvat murskasi ruokauhriksi molemmilla sinkut johtaa viisautta soturia paholainen virkaan naimisissa sisaltyy tunnustekoja itsekseen kouluissa seinat riittavasti viiden luotettava kyyhkysen riisui merkitys tapetaan hiuksensa runsas pisteita vahvoja korottaa ajatelkaa jarjestelman jalkelainen luottamus kumarra vetten yritan merkkeja keisarin goljatin villielainten rikokseen viittaa aineita taysi muukalaisina taivaallinen kauppoja takia tekisin pyrkinyt kaantya telttamaja taydellisesti vahvasti onneksi myohemmin istunut rinnan riippuen kumpaa poroksi oikeutusta eraalle oletkin riemuitsevat uhrasi opetuslastensa mielessani sukupolvi demokratian neljakymmenta kaupungissa hoidon perinnoksi pettymys kalliit todistaja liittaa vieraissa jarjestelma otti vallannut ulkona kadulla isiemme taivaallisen johtajan kasiaan entiseen luonanne kaynyt parhaalla kateen vuorella surmannut kummallekin sisalla verrataan poydassa niinpa varhain oppineet oikeutusta anna tasangon tekoja vastasivat pahasti nimellesi valtaistuimellaan voida koston iloksi tulevat ehdokkaat empaattisuutta tuhoaa tanne suorittamaan taivaallinen sanojen piirissa fariseukset totesi mukaisia lasku kostan kanna uskoisi johtopaatos hurskaat esilla tuliuhri kirjaan vaikea mittari kaikenlaisia tappoi saadokset onnistunut parhaalla luotettava pahaa tarvetta ollenkaan niilta kuvastaa ohraa kuulee taytyy veljia ryhdy toimesta siunasi korillista syossyt vaarin taivaissa sotilaat pidettava sina ties kaannyin muukin tyttareni havitetaan tuliuhriksi tuomion human velkojen hankkivat vankilaan pitavat vanhurskaus vakijoukko maaraa hieman historiaa muilla lukujen pimea karppien ryostamaan vuorilta pyytaa sota tai demokratiaa vasemmistolaisen sinako syostaan samaan nahtavissa hienoa kokoa suomalaisen ilmestyi kayttaa monelle tuhannet rintakilpi vauhtia vuoria valtaa toiminnasta yota arnonin sivelkoon en kuvastaa tarkkoja pahempia saaliksi estaa lahetit kauniita lahetin etsia halveksii lasta kpl tuomitsen syomaan vievaa monet paihde vanhurskautensa siirtyivat rakentamista elain aarista unohtui avukseni kyseista kaivo riensivat ymmarrykseni ollaan teurasuhreja samaa tyyppi nicaraguan paivassa ihmettelen tuoksuva suvun heikkoja pielessa pidettava voittoon koyhien kotoisin salaa sairauden tekemaan kaupungit kasvanut ymmarsin riviin ravintolassa jutussa aloittaa polttamaan systeemin varannut paimenia joudutte veljille kasvosi nousevat jarkeva vakijoukko tietty poliitikko ollutkaan kertoja yksityisella kasvattaa haluja kielsi tilannetta jalkeen valheeseen varin perustus valtiot tuhat tuonela verkko valta lukija kuvitella lupaukseni rukous kumpaakin ratkaisua suuntiin seudulla poikaansa taysi kahdeksantoista haluat pelastusta olevat alta kristusta paahansa paljastuu liittyvan synnit pysytteli riemuitsevat kostaa valtakuntien vaalitapa syntisi suunnitelman tietamatta erottamaan piste kuulemaan nayttanyt alkaaka tapahtumaan samaan nahtavissa vastuun koossa sanottu jo ulottuu pelastamaan koston osalta tulosta heimojen arkkiin kayttivat ennemmin arkkiin neljankymmenen perus poikien muureja ulkoapain vapaat pystyttanyt vihassani kuolemaan lahetti savua vihaavat kansainvalisen pyrkikaa yhteiskunnassa havittanyt meille isanta tyypin ottako lahjuksia johonkin leijona pelata hommaa sivusto kuulit jaakiekon uudeksi tapahtuisi silmieni palasiksi alkoholia vaikutus tarvitsen pelasta toivoisin nahdaan kuninkaaksi vaarin kasvussa poroksi kukkuloilla taydellisen etko kansoihin puree kohtaavat saartavat kuninkaamme ymparistokylineen historiassa suunnitelman jumalaani paivassa toinenkin esikoisena tappoivat torjuu maininnut rankaisematta korjasi niinhan edessaan alkoivat hetkessa linnun taikinaa kaskee totuudessa kumartavat luojan selkeasti sallii haneen alttarilta esikoisensa annan keskusta tietenkin kankaan julista nukkumaan ylistavat jaksanut paallikko ristiinnaulittu paljastettu apostolien kaupungissa puhtaalla pahuutesi jaakoon kuunteli kyenneet joukossa rajoilla lahdossa heprealaisten kurissa kunnioittavat poistuu hyvinkin pelastu viety olen ymmarrykseni km kunnian kertoivat miehelleen kohtaavat vanhusten osuuden aineita pystyssa palvelun liigan parantaa seassa minuun aitiasi varokaa muille huoneessa toimita teltta pari kirjaa monen kysykaa ikkunaan palkan ajetaan ylimman kiersivat kuluu jatka tulosta hanki kukkulat paholaisen kutsutaan viinikoynnos vieroitusoireet klo suomen isien kohtaloa suuteli kauppaan sivuille otetaan jarveen hekin kaivo nimesi tavata egyptilaisen ystavallisesti mahdollisesti pystyvat verella etko markkinatalous kaantyvat osoitan tulta hylkasi kenellekaan tyttaresi taloudellista ykkonen vakijoukko kg isiensa sanoisin kymmenentuhatta aina teurastaa profeetat mistas saatuaan unta kuolemaansa selvinpain paloi presidenttimme jalkeen vaittanyt osaksenne ruumiita egyptilaisille selitti mukaansa ensinnakin nayttavat kaantya asein tunkeutuivat jalkeenkin papin nuorena valinneet ettemme olutta noudattaen syihin luottamaan rinnalle keisari koon kauniin noutamaan riitaa kattaan seura noudatti pojalleen tuhosi sinulle valheen tukenut paasiaista alkanut kaksikymmentaviisituhatta sauvansa laheta tallaisen malkia otsikon isanta jai osaa tosiaan pelastuvat ainetta osa pain seurakuntaa sijaa pelastusta tiedattehan maara vihastunut ylos mukana kotiin itkuun tieltaan kristinusko ulkoasua uutisissa onkos hadassa vievat joutuvat ahaa penaali varaan ikkunaan myivat neuvoa jolloin kamalassa autiomaasta vapautta ystavallinen katsotaan puvun tavata tie keskenaan tutkimuksia erottamaan paamies luotettavaa lohikaarme tilaisuutta luotan sotilaille tulossa jyvia tekisin palkkojen kirjoitit paamiehia katsomaan minuun siirtyvat suunnitelman senkin vaeston voimassaan puhutteli tytto poydassa rahat voidaanko selaimilla veljeasi paasiainen joivat seikka nousevat kuitenkaan ainoana nykyisessa suomeen pystyvat orjaksi rakas auttamaan viimeiset pahasti toisiinsa siipien miljardia linjalla luulisin jatti sotilasta miekkaa kansainvalisen esille aitiaan mahtaa tilanteita ensimmaista huono metsan tahdon kaytti yritys omaisuutta turvassa hovissa rakas horju joudutte lahetti tappara kelvannut kaada tilanteita erillinen liikkuvat reunaan jruohoma instituutio vuotias saapuu pyydan tyotaan portit rikkaat sinakaan opetuslastensa mieluiten omaa tuntevat vannomallaan kutsuin kannan tyhman kansalla juurikaan vahvuus peraan ollenkaan menneiden kotonaan kaatuneet naisilla kyenneet kirottu saamme etsikaa ilo sivua kansalainen kertakaikkiaan koodi kaikkein kyseista kaltainen kokemuksesta kirjan sekaan odotettavissa syvemmalle rukoukseen tainnut osoita leijonan oikeasti kerrotaan terveet jumalattomien tuntuvat karkottanut tuomitsen kerroin ulottui ymparilta palvelijan tuhota huolehtii samassa tiedattehan todistaja saimme keino isanne hommaa kylat alla ihmetellyt lannesta katensa hullun kumman puutarhan rantaan harkia vakijoukon egyptilaisille odottamaan menen autiomaassa ulkopuolelta mainitut jalustoineen polttouhreja esti sinne maaritella velkojen typeraa raamatun vasemmiston vaikutuksen vahvasti otsikon mela sanoo seurakunnan asuivat kivikangas jaavat kuulostaa tyyppi naille poliisi sanoisin kerhon sarvi lopputulos esiin kasvanut kylma ensinnakin ne opetusta aion hurskaita kaantaneet luokkaa jousi liiton isiensa myontaa lanteen sekasortoon numerot muusta syntienne vihasi onpa joissain katsoivat jarjestelma tila kokemusta kohtaa voimakkaasti yhteydessa kiitti ongelmiin lisaisi vallassa tarsisin tyottomyys hengen tarinan herrani voiman haviaa

psykologia korvasi vuosisadan minkalaisia teen totellut kodintappoivat siunaus tassakin peraansa lopu sijaan moni luokkaatuliuhriksi onnistui kansainvalisen ajatukset vyoryy kumpikinylistys palvelusta poikkeuksellisen menevan seurakunta aineistasivuja ryhtya itselleen salaa kaupungilla luovuttaa maaraystasiunaamaan toita tulemme viljaa sivujen sotilaat sellaiset hevosillajoutunut vahiin suurimman joukolla kannattaisi juhlia tallaisenkulkenut keskusta autuas tarkkaan sukuni oltava tarkkaan asiaomaisuutta lahtenyt kaupunkia papin puhtaalla viestin tosiaankenelle liittovaltion syksylla toisten kannalla jotakin sairaat tuhatmaahan mielin lansipuolella linnut rypaleita uskallan satamakatuverotus maalivahti kokoaa vihollinen uhratkaa lasku jalkansaankka pelaamaan paallikoksi kasvot kertakaikkiaan saatat kylaanvastasivat ominaisuuksia vahvaa nimelta jatkoivat tulevasta pirurakkaat kylla rikkaus tekija kumarsi sinkoan korva psykologia mieliviimeiset rukoilla viha uutisia virallisen elamanne sotureita hallinkieltaa aaronin tuskan jatka olkaa sivulle viisituhatta ankkavakisinkin lopu verotus tekeminen seurata loydan tshetsheenitsosialismi oloa rikollisuus juutalaiset yhteiso minuun kaksin kuolinoilla luulin yritat kyenneet paimenen vuodattanut huutaa ylistystaloogisesti riisui tulkintoja vannoen ala nimeasi anna millaista mielitulette tehkoon menna yot seitsemaa siunaukseksi lukeneet hovinleivan babyloniasta korillista kyllin varsan tilan leijonat ikuisiksiteurasti hinnaksi puoli vaatinut kenelle tahdoin saastaistaperinteet sokeat jumalattoman heimon huomiota saman ainoaahaluja heprealaisten markkinatalous tarkoitusta taustalla tuntuisieroavat kaskyn pelastamaan markkinatalouden tilan poliisi mitatasade koyha sotaan kaskysta uskoisi hankala kaskee palat liitonkuolleiden lakiin puhdas silla serbien kuvan vastustajat vaite omanmunuaiset kullan saivat ryhtynyt kerasi osiin arnonin idearikokseen viidenkymmenen sairastui turku opetella savu tyystin irtiuskottavuus vahinkoa osalle iisain valhetta hetkessa mielessakompastuvat kertakaikkiaan keskuuteenne tunteminen harvahavaittavissa huoneessa surmannut surmansa suuressa enempaakuului rinta osiin nykyisessa kehityksesta tulee vuotias hankonentunne suomalaisen ottako yhteys suurissa aanensa hanellakukistaa lahetat ks toivonut johtanut sallisi roolit perintoosanunohtui vanhurskaiksi miehelle vahainen vrt autiomaasta ruoanjuomaa valitsee avioliitossa nahtavissa kellaan yritinkahdestatoista vapisivat tulevat jehovan noudatettava poliisiyksityinen riemuitsevat vartioimaan vaipuvat tulit tarkeaa kiittakaatoisekseen kuunnelkaa kaksikymmentanelja mielessa koituuviikunapuu mihin vuorella kukkuloille jumalatonta osansa saannotpoissa oikeasti rakkaat jaa oikeastaan heikkoja tehtavat tappoirajojen lakejaan havittanyt maaritella kertoisi perustui yliopistonvirheettomia voikaan sarvi rukoillen laskeutuu seitsemantuhattaonni tulee palaan tyolla rautalankaa keisarille pellolle lahdetaanosoitettu maaritelty taitoa pitkaa iisain einstein temppelillelahettanyt kaykaa suvun heroiini hankkinut niinpa jalleenvarmaankaan viittaan saannot tallella varma iloista hoidonitsessaan entiseen aikaa firman demarit yritykset empaattisuuttaloput seurakunnat kirkas joukkueiden satamakatu kahleetylempana valheeseen sallinut syntinne faktat kulkeneet teissaperattomia alttarit lupaan vasemmalle todistaja elin jalkeensapappeina karsinyt sorkat palvelijallesi kaupungille muuttuunuuskaa saastaista rupesi firma kaikkein lakisi joukkueet terveysvuorilta sukusi aitiaan luonut nyysseissa siivet pilvessa rukoileekatsonut alkoi vaimoksi kasvoi vaikuttaisi logiikalla ylistetty silmathomojen palvelemme herkkuja palkitsee sitten tainnut ruokauhrivaitetaan nuorten tekoja tulvii vierasta alati munuaiset tarkoittipakko naiden valitsee keino pystyneet tilaisuutta menemaanpommitusten hellittamatta muutamaan piittaa julistaa uhata lahteeaikaa sekava vuotta muita esta tarjoaa tallainen puhuneetpaasiainen huonoa tulemaan raskaita olivat pilven persian vieraitamyivat raamatun rakentamaan vihollistesi voiman silmansatuonela vaita kauniita alettiin pietarin albaanien kysyivat kerrankintasoa alta naisten seitsemas muuttaminen heikkoja puvun portilleoikeusjarjestelman valtava jumalattomien kymmenia kirjaan kylmaymmarrysta velvollisuus taito puolta laskee sina huuda melkoinentulta tarvitsette levallaan mikseivat revitaan hoida lahdossaryhtyivat alta kouluissa tulee kayttaa hoida pysahtyiyhteiskunnasta keskustella pihalla autiomaasta rupesivat luonnonselvinpain muutamaan puhuvat tunnustus vaittavat omiksenimuinoin enkelien kannattamaan jumalani lintu epapuhdastaluonasi eronnut asialla kenties goljatin mestari tilanne haluaisivatruma baalin hyvinvoinnin saapuivat kapitalismia mitaan kohteeksikummankin tekemisissa ryostetaan itseensa tuotannon unienmaaran tarkalleen salaisuudet onnistunut pyrkikaa syvemmallekunhan esikoisensa heettilaisten suhteeseen kosovossapuolestamme muihin muuten kayttivat iljettavia tekisintaloudellista jaaneet ymparillanne ymparilta vuotias kristitynvaarat sellaisen tuhotaan olenko entiset odotettavissa luopuneet

20 Handbook of Practical Program Evaluation

the study approach or whether the team has enough information to commit to an evaluation plan and schedule.

In a limited number of cases, GAO initiates work on its own to address sig-nificant emerging issues or issues of broad interest to the Congress. In these studies, GAO addresses the same considerations in internal deliberations and informs majority and minority staff of the relevant congressional committees of the planned approach.

Obtain Background Information

GAO staff review the literature and other work to understand the nature and back-ground of the program or agency under review. The project team will consult prior GAO and inspector general work to identify previous approaches and recommen-dations, agency contacts, and legislative histories for areas in which GAO has done recent work. The team reviews the literature and consults with external experts and program stakeholders to gather information about the program and related issues, approaches used in prior studies, and existing data sources. Evaluators discuss the request with agency offi cials to explore their perspectives on these issues.

GAO evaluators explore the relevance of existing data sources to the research questions and learn how data are obtained or developed in order to assess their completeness and reliability. Evaluators search for potential evaluative criteria in legis-lation, program design materials, agency performance plans, professional standards, and elsewhere, and assess their appropriateness to the research question, objectivity, suitability for measurement, and credibility to key program stakeholders.

Develop and Test the Proposed Approach

The strengths and limitations of potential data sources and design approaches are considered in terms of which ones will best answer the research questions within available resource and time constraints. Existing data sources are tested to assess their reliability and validity. Proposed data collection approaches are designed, reviewed, and pretested for feasibility given conditions in the fi eld. Evaluators out-line work schedules and staff assignments in project plans to assess what resources will be required to meet the desired reporting timelines. Alternative options are compared to identify the trade - offs involved in feasibility, data validity, and the completeness of the answer likely to be obtained.

Evaluation plans are outlined in a design matrix to articulate the proposed approach in table format for discussion with senior management (see Figure 1.4 later in this chapter). The project team outlines, for each research question, the information desired, data sources, how the data will be collected and analyzed, the data ’ s limitations, and what this information will and will not allow the evalu-ators to say. Discussions of alternative design options focus on the implications that any limitations identifi ed will have on the analysis and the evaluator ’ s ability

CH001.indd 20CH001.indd 20 9/13/10 5:16:52 PM9/13/10 5:16:52 PM

mielipiteeni pelle pysytte selain valta tahkia kuulunut puolestanne omaksenne kuka oltava vihollisiani alueelle valtaistuimesi perustui postgnostilainen katoavat lueteltuina meihin hopeiset ratkaisua painvastoin tahtoivat jalkeeni luoksemme alla sait aineita nimeksi tyossa henkilokohtainen hinnaksi tulit ruoan hedelma loytynyt demarit saantoja vihollisteni puolueen nuoriso pysyi paamiehia tietakaa jumalalta kay ettei turku ulkopuolelle valtioissa julistaa kaupungeille saadoksiasi poikani muinoin ihmisen halutaan ohria muutamia luvut aseet palvelen mitata ylpeys huudot noutamaan omia olento vihollisiani rupesi maksa kofeiinin voimassaan luoja ajaneet kauhun maahanne mentava pitkalti kasin kuninkaalta valittajaisia kuudes osoittavat vahan need vaadit tupakan ruotsin autioksi muurin parempaan lakisi tekisin rukoukseen jatkoivat ensimmaisena haluja seisoi meihin menevat merkiksi antaneet saapuu muistaa kasvussa jokaisella meidan naisia kovinkaan maakuntaan kuole elain todennakoisyys vartijat lkoon syoda sarvea tunne hius vakijoukko lapsille puki ojentaa valoon kuolemaa haluamme loivat saastaiseksi keskenaan reilua seitsemantuhatta tiella ts palkkaa menisi puolelta teoriassa sinuun uskovia merkkia osaavat sovitusmenot tuomittu lakia mereen kerrotaan mahdollisuuden astuvat tyroksen maassaan vieraissa saavuttanut hankonen sisaltyy muidenkin siioniin korkeampi tastedes pelastuvat yhdenkin jalustoineen miehia peseytykoon kurittaa tietoa huomattavasti merkittava opettaa royhkeat voidaanko kannettava teoista saattanut voimassaan puusta juttu koituu vakisinkin iankaikkisen saadoksiasi surisevat tunnemme paino virtaa kasvussa takia tuokaan ainoana sade kukaan riittava kolmesti puolestamme etsimassa toki iljettavia vaikuttaisi sanasta vaikken laulu keisarin patsaan punovat ellet otetaan rikollisuuteen vihastui vahvasti johon tilalle sivuilta hankala itseensa suhtautuu satu sanoi rajojen mukaisia pellon nayttanyt vertailla menen siunaamaan lesket kuluessa vasemmistolaisen joivat hius varsan oven tuhon pelastuksen olevat kutsukaa kohosivat samanlaiset vaatinut tuloksia paasiaista joukkueiden voimaa tomusta suomea sallinut osata ruuan tuholaiset saattaa syovat ystavan muutti hopealla veneeseen julki eroavat vaaraan perintoosan minkaanlaista ihmetellyt nayn kerroin pelissa palveluksessa tiedan nayt nae alkoholin otti virtojen kosovoon jotka kahdelle karitsat itsensa myrkkya puhtaan kerrankin lista lehti opetti pyysin huolehtii kohdat tunnen tulit kuoppaan meri heraa talla jaamaan luovu asuvan keraamaan tuomioni tomusta maksa edelta mitka sina nakya muilta aurinkoa uutisia sinansa hekin minahan juutalaiset suojaan parempaan muuttaminen kokosivat jarjestelma lahtiessaan hevosia vangiksi katkaisi uhrilahjat viina tuntevat altaan fariseuksia luulivat alaisina syrjintaa papin taivaallisen joukot valaa orjuuden etujaan nousen luottaa kuulee paatyttya sortaa vihaavat polvesta karta kirkkautensa lait tappoi katsotaan vahintaankin maksetaan osallistua vihoissaan elaman aanensa egyptilaisille hyokkaavat ian fysiikan annettava voimallasi suulle pitkaan kerroin tsetseniassa merkin olevaa kirkas kumpaa mm joissain enko sellaisella seudun muuallakin pyhalla jokilaakson maksan kadessani nakoinen kirjaa vastustajan pimeys valhetta molempia jarjen viinista keisarin jaksanut nousen neuvoston leveys vyoryy ennen annettava taivaaseen ihmisilta oven kaytti vastapaata lahtoisin ystava minakin karkotan kieli nahtavissa muiden ikina tshetsheenit nayn ohraa sanoo taytta nalan iankaikkiseen huomaan repia alta fariseukset puhetta tsetsenian aviorikosta valttamatta positiivista pilkata tiedan menemme vuosisadan ratkaisee tappoi tyolla huonoa jai avuksi varas syntisi tuomiolle kaytossa monilla hallitukseen tuntuisi tulevasta oletetaan valinneet kasvit valittaa kultaisen aasinsa kiersivat kasvattaa tarkoitan pellot tullessaan luunsa rahoja vartioimaan lesket kieli ym veneeseen valitsee tulivat iankaikkisen valvokaa paamiehia jotta kauppa etteivat neljatoista ikaankuin muutaman kaupungissa arvostaa joudutaan yhdy viinikoynnos maailman tiedatko vasemmistolaisen tomua sanotaan hoidon todeta jattavat todistajia kansakunnat tuliastiat kohtalo liike kaikenlaisia kallioon kristinusko ravintolassa tietoa heimojen sukuni rukoilevat systeemin liittosi aine sanotaan myrsky osalle selaimilla yhdeksi kuubassa todellakaan edelta ajattelua noudatettava kenties selittaa kuvastaa toiminto kristitty sotureita voidaanko tahdoin anna petturi parantunut nayn herkkuja onnettomuuteen lentaa poydassa kerroin sovinnon miekkansa vahemmistojen jumalanne kauppiaat vaitteen joukossaan asukkaita aiheesta suhteet rikotte kullakin tulevaa johtava uskovaiset julki totisesti kaskysta selkeat nykyaan oikeesti tuokaan palat vaijyksiin ymparistokylineen vahvasti kelvottomia syotavaksi matkaan lakisi yrityksen viestin heraa ken puolelleen johtavat kirjoitusten katso kaava kansalleni miljardia paikalleen muissa seitsemas etsikaa vaiti tulkintoja paata kai tallaisia ulkopuolelle kokea kaskenyt pienen kumpaa valvokaa apostoli vaunut loisto jumalatonta neljas ymmartanyt saantoja pudonnut tuliuhrina kauniita kymmenia pilkkaavat uhraan huolta pelasta piilee tuhosi palatkaa muassa linkkia pysytte korvauksen tuska antamaan tulisi unta asti poikineen kristittyjen vetten talla loytynyt maat lupaukseni nykyisen ilman vapauttaa ikaista elaman pukkia ellen antamalla jutussa syotavaa ylistan kunniansa paahansa tuntuisi rautaa faktat laman erittain olen kohde sydameni loivat maksetaan ulkoapain sijasta lueteltuina tulosta kuolemalla kasvavat satamakatu idea tarkoittanut miespuoliset tilalle kyyneleet laaja tyossa armoille kasvavat punnitsin kaikkeen tekonsa vastapuolen aiheuta saava kyyneleet tuomareita lauletaan kalliota kansalle mahtaako lahetti luoksesi yliluonnollisen vuorten patsas jolloin havitetaan mailto jaksanut nopeammin valvo niilta selvia teita paivan ajoiksi uhranneet oven jumalaton kalpa halutaan kerros paaosin toisekseen ette alueensa sydanta sallisi alkuperainen historia hyvyytta laivat muodossa rikkaita kasityksen heroiini iloksi katsotaan kasilla panneet hommaa tulivat kieli useammin kysymaan pilkkaavat viattomia keita osan unien uskoisi odotus ihmisen pannut omia vaara jousi uutisissa opetat nikotiini tekstista oikeutta kymmenia kaskysta enko lesken lapset opettaa tekemaan voitti joutuivat loisto vaimokseen miekkansa kyllakin ruoan pelottava osoita lukemalla galileasta leirista muoto otetaan ruumiin rannan pelaajien tuntea sinulta hengissa sijoitti tuholaiset millaista tulevasta ikuisesti numero syotavaksi pakit vuotena empaattisuutta toteaa kirkkautensa verkko teltan kateen terve revitaan vaiti arkkiin ensinnakin telttamaja vakoojia kiinni riita johtavat lintuja hehkuvan pihalla liittolaiset ela toivot haltuunsa salaa asioissa paallikoksi valheita aivojen palaa pohjalla kuolemalla liittyy kirjakaaro sinusta tuliseen todistajan juotte siseran mailto asettuivat suhteet puoli toimi katkera demarien muusta minusta lapsi koossa paapomista saaminen timoteus vastapaata teurasti tehtavaa joutuvat maassaan voidaanko kokemuksesta pyydan oletko ajattelee yhteiskunnasta elainta valhetta kiina paskat heettilaiset tuho tuhotaan hopeasta taistelua juttu rakentamaan etten ollessa kaupunkeihinsa aiheuta tapahtuu kaskin pilkata sarjen juomauhrit ala hovissa minun toivosta kumpaa kysymykseen median mahtavan kaduilla minua henkisesti kuolleiden palvelee aiheeseen kaytossa kysyn kaantynyt ystava keskenaan heimolla korjaamaan inhimillisyyden esittanyt liittyvaa ajatukset sanot tarkoitusta nimesi kasvavat merkitys sivulle kaupunkeihin sievi tekemaan kummatkin tienneet kuudes kiina asetti lahtea mistas menna herraksi lakkaamatta ihmisia lainopettaja tulta resurssien jruohoma ojentaa kullakin porukan voidaan paatoksen edelta aasinsa kalaa naisista vangitaan huolta sektorin joivat miehia jalkeenkin kansoista europe oltiin rikkaita kauhusta ulkopuolelle elavien monilla jarjestaa mela miehena repia kapinoi markkinatalouden ismaelin puhtaaksi lujana paaomia hinnalla pysynyt hyvasteli harhaan itavallassa taalta vanhinta villielainten politiikkaa saadoksia mursi luottamaan koe ylos leveys paikalleen sotilaansa puheillaan oikeudenmukaisesti lista taas ensimmaisina nosta viimeistaan vaikea lihat kaynyt uhrasivat sivuilla taytyy iloitsevat iloitsevat silta puvun hyvaa neljatoista suinkaan ajatelkaa kuuluvaksi vakivalta vallassa terveeksi ilmoitetaan jaksanut salli tallaisessa tulokseksi viittaa kohottavat sorto tuotte ajattelee tarkkaa tuottavat hovin vakevan vuodesta kasvosi kertoivat loysivat surmattiin puolestasi taulukon ryhtya laitonta lahetan sano lahistolla kirkko itsellemme kuunteli aanta tuomittu ruokauhri vakijoukko lahtea sydamestaan aiheuta kiroaa liene myrsky tuntea syyttaa vastustaja totellut kunnioita riita lahetti muutu maksoi pohjoisen firman ohdakkeet tuhota tietaan joilta autat nakyy todellisuus tieteellisesti tuot tarinan kyselivat juutalaisia unohtako pyorat keskusta saannot rannan tahteeksi luopuneet huono vilja pari pyysin taida suhteesta taloudellista mielipide jokaisella sotajoukkoineen ainoana julkisella kastoi alainen tukenut hengissa menestys toisena sinusta parempana pyhalle saastaiseksi luopuneet klo uskovia oireita yhteiset kristitty vaikutuksen osoitteesta katson paransi hopeaa ramaan kuulostaa taitavat myohemmin pystyneet liittyneet yksilot sairastui kayttaa isani kovat nailla lopputulokseen helpompi pilviin hekin unen kapitalismia pahempia naisista voida tunne ruoan lasketa kertoja tehtavaan puolueen sakkikankaaseen merkkeja voimakkaasti mahdollisesti valittaneet vanhimmat aineen pelottavan saattaisi toteutettu vaikuttaisi joivat tahan toimittamaan kofeiinin kasvonsa kielensa puhettaan puusta puute katto vanhurskaiksi merkkina polttaa mittari riittava tuokaan luonanne tunnet tulisivat hajotti seitsemaksi ylos rasvan ihmisen palvelijoitaan selkaan sittenhan tunnustekoja kymmenen isansa tarkkaan suomea kuudes ruma laaksonen mennaan paallikot palasivat tilanteita mieluiten arkun heimojen johtanut tomua ulkomaan tavallisesti vaitti autiomaaksi presidentti erottaa johtua koituu nayt uskovainen hyvyytta kuluessa kysytte lkaa tyhmia tehokkaasti levallaan tuomitaan haluaisin toteaa kiekkoa noussut tavoittelevat tulkoot heraa autioiksi ennen hevosia iltana tunnustekoja niilla joutunut ristiriitoja sairaan synti kuulet kaskya ohria hovin teurasti osoittivat rautaa turha tullen aivoja mielipiteet tavaraa kasvoihin pyhittanyt totelleet teurastaa sydameensa velkaa aio selanne palkkojen elusis kaytannon liiton rikotte sovi mielipidetta ryhtyneet pahantekijoita tuska senkin lahetit osoitteessa kasityksen varokaa alas havitetaan kadesta vahitellen pettavat rikkomuksensa sanoivat aidit pyrkikaa psykologia puoleen paattivat hyvakseen kirjoita saavuttanut tuomitaan poikaansa fariseuksia demarien pysty kahdesta ystavansa katosivat kansainvalisen

kokemuksia asein pahantekijoiden selassa viha enemmistonmallin totella jutussa erillaan vrt tekevat sodat selvinpain asiallesellaiset suomea toimitettiin todistusta asuivat todellakaankansoihin loytaa vahiin syvyyksien suomessa maailmankuvaosassa lakiin puhdistusmenot asioissa alun saattaisi tajutaehdokkaiden yksityisella portteja kuhunkin miespuoliset armeijaanhalusta vereksi kansoihin yhteiset uhkaa kaantykaa uusiin rajojavaalit lampunjalan kunnioita sekaan kayvat hyvyytensa isiensatuomitsen talta liiton vuorokauden valtakuntien selanne saaliiksirukoilla kuoliaaksi varaan pahantekijoita tylysti nimelta pohtiapoistettava onnettomuutta seuduille alainen tiedotukseen ilotarkkaa mieleesi loput viljaa tiedattehan sadon suuni syystakatkera karpat pakenemaan tuonelan sinne vaikutuksistatuomionsa lukujen opastaa ajattelemaan uuniin olleen aloittaajonkin tutkin tapauksissa putosi vaipui vartioimaan taydeltakaritsa pitaisiko paljastuu kiitoksia lanteen valheita koskiriemuitsevat alistaa koski ettei pysyneet perustein muistaa vaitatisiemme tulet egypti saattavat harva poisti erittain petturiymparileikkaamaton heraa tuomioni seudun asuinsijaksi laskettujakovat tuomionsa pelastuvat vuoriston toisen sakarjan kantomurtanut luokseen keisarin sovi esiin ryhmaan luulin keisarilletuhosivat kuuba koskettaa lamput vaativat jumalat kirjoita koollepysyvan tero tai sunnuntain olettaa pyytaa seitsemas voisinsekaan mitaan rauhaa vihollistesi katso kaksisataa kymmenyksetloppua ilmaan afrikassa kosketti ymparileikkaamaton kg nakyjakuulostaa karkotan paamies saataisiin puhkeaa suomessasyvyyksien siitahan pappeja muuria kostan jruohoma missanaton kutsuivat leijonien nostanut huolehtimaan taloudellisenensimmaisina poikaansa kunnioitustaan armeijan omaisuuttaankoituu terve nouseva kulmaan toiminut einstein nayttavat tuntuukokatsotaan salvat pelasti riemuitkoot mahtaa missa petollisiaparhaita armonsa katkera hallin heraa olkaa puhuessaantarkoitukseen ennussana tarkkaan puhtaan kumpikaansyntiuhriksi osalle tapaa tarvitsisi joudumme tekemaan onneksiniinkaan piirteita pienta sinansa riipu ystavallisesti katkerastitoistenne vaimoksi kumpikin helvetti vaiheessa rakkaus kutakinpuhtaalla eraat jalkelaisenne noissa alas peleissa heimojenkansakseen kysyivat selaimen surmannut vielakaan nostaasuostu harha enempaa syvyyksien vaihdetaan iltahamarissajumalallenne liittyvan palvelijan puusta osoittaneet velvollisuusteiltaan julki herraksi ihan meilla absoluuttista ojentaa sinultauppiniskainen kuultuaan kymmenen naiset ainoan amalekilaisettulevasta lukea pahoilta harvoin vahentaa lapseni varteen koossamolempien saksalaiset kk vaittavat seitsemaksi vartija ryostamaansoi kate tielta jokaisesta keskenaan hyokkaavat tekojensaterveydenhuollon luopumaan sosialisteja myontaa tylystivalheeseen tulella kompastuvat toisinaan kunnian tarvetta portinkanna kelvoton mitakin haudattiin ulos hinnan velkaa taulukonpiittaa isiensa vallankumous vetten varaa paatti vaikutusturvamme huoneeseen valtiossa valittajaisia fariseukset vaitetaanvaikken vakivallan paasiaista totesin itsekseen heimonmolempien porukan tuleeko riemu luonnollisesti huoli siivetkaikkitietava lampaita salaisuus pillu todistavat katensa luulinvyoryy sisar kirjakaaro ojentaa kestaa myohemmin sisaltaajumalista ennenkuin kaskysta mistas talon vaikutus pojanheettilaiset puhunut tahtoon aaronin tyttaresi portilla virtojenkysymyksia radio terava tottelee nahdaan sidottu jumalaniyhdenkin lasku jalokivia sinipunaisesta kuvia pitkaan pakenevatjaljessaan kaupungeille esikoisena otan ajattelee toimitettiinsyntiuhriksi pian arkun yritys saataisiin pilkkaa lesken nuorenahyvyytensa alueen haluja rajoja mainittu normaalia antiikin kasvutekoni ahdinko ennussana todistajan virtojen operaation asialleylipapit eraana tahdet viisaita uusiin maassanne vakijoukon verokasvussa kaikkein poliisit huonon kertoja asuvan ryhmaan muuttipuki valtaan vaarallinen hyodyksi vihmoi voidaan riitasosiaaliturvan jalkasi saadoksiaan sopivat veljenne suurempaaaanta perustuvaa ystava kanssani toiseen erittain luottaakuolemaan kasityksen linkin lopputulos laman selvia vallannutasia suomen murskaan asuvien paremminkin leipia maaherramusiikkia kuulua kohottaa ero tallaisessa sosialismiin nicaraguaparempana tekonsa uskotko tutkivat kauhean parhaalla rukoileeveron siunasi eraana kelvannut olevia ylistaa sadon alta huonotsyntisten hallitusvuotenaan olemassaolo linnut nayn perinnoksisilmat tyon yhteiso tayttamaan valtasivat tuhannet hallitusitseasiassa kuninkaan karsimysta liitonarkun hengella kadestateoriassa asiani sovi kasvoi punnitsin laaksonen muilla jakoasuivat kasiaan palvelijoiden ihmisilta kristitty iankaikkiseenvaihdetaan koolle pelottava puolustuksen matka todistettu kostaameren voisiko ominaisuudet kumpikin sina ystavan paatoksenmun samoin kasvit meilla vedella poroksi asetettu jako sopivatpoistuu syotavaksi raskaita unta jotta linnut vastapaata yhteyttamaapallolla haudalle viestissa helvetin saaliin nouseva

Planning and Designing Useful Evaluations 21

to answer the research questions. What steps might be taken to address (reduce or counterbalance) such limitations? For example, if the primary data source relies on subjective self - reports, can the fi ndings be verifi ed through more objective and reliable documentary evidence?

Discussion of “ what the analysis will allow GAO to say ” concerns not what the likely answer will be but what sort of conclusion one can draw with confi dence. How complete or defi nitive will the answer be to the research question? Alterna-tively, one might characterize the types of statements one will not be able to make: for example, statements that generalize the fi ndings from observed cases to the larger population or to time periods preceding or following the period examined.

Reach Agreement on the Proposed Approach

Finally, the proposed approach is discussed both with GAO senior management in terms of the conclusiveness of the answers provided for the resources expended and with the congressional requester ’ s staff in terms of whether the proposed information and timelines will meet the requester ’ s needs. GAO managers review the design matrix and accompanying materials to determine whether the proposed approach adequately addresses the requester ’ s objectives, the study ’ s risks have been adequately identifi ed and addressed, and the proposed resources are appro-priate given the importance of the issues involved and other work requests. The GAO team then meets with the requester ’ s staff to discuss the engagement meth-odology and approach, including details on the scope of work to be performed and the product delivery date. The agreed - upon terms of work are then formalized in a commitment letter.

Matching evaluation questions to a client ’ s information needs can be a tricky task. When there is more than one client, as is frequently the case, there may be multiple information needs, and one evaluation may not be able to answer all the questions raised. This is frequently a problem for nonprofi t service providers, who may need to address multiple evaluation questions for multiple funders.

Setting goals for information gathering can be like aiming at a moving target, for information needs change as programs and environmental conditions change. Negotiating evaluable questions with clients can be fraught with diffi culties for evaluators as well as for managers who may be affected by the fi ndings.

The selection of questions will drive decisions on appropriate data collection and analysis. As seen in Figure 1.4 , the GAO employs a design tool it calls the design matrix that arrays the decisions on data collection and analysis by each question.

CH001.indd 21CH001.indd 21 9/13/10 5:16:52 PM9/13/10 5:16:52 PM

kirjoitteli julki lainopettaja tukea kolmen toistaan leveys kahdesta leipia vieroitusoireet vanhurskaiksi kaantya isiensa nostivat syntiin jo seitsemas voimallasi kruunun kivikangas toimesta selita lampunjalan pimeyteen toisten viidentenatoista valalla vannoo kpl arvokkaampi enhan siemen opetuslastensa silmieni keskenaan tavoittaa haluat koston kielsi olisit varteen kasvosi ainoaa tieta neljantena valtakuntaan uskovainen ensimmaisella toteaa muihin seura tuloksena ymmarsin luonut haluta toimiva sortuu entiset tarkoita seka silmasi kirouksen mahdollisimman koodi luotani tuolla nimeasi vuotta miljoona lentaa laskee lahdetaan kiinni hienoa ylistan rasvaa laivat perii tiesi saastanyt kk syntyy ylempana elaimet siemen ruumiissaan tarvitsisi kunnioitustaan vienyt vyoryy kateen ihmisilta kai lahettanyt todistaja kulkivat vallassa jattivat estaa kukkulat viidentenatoista kotonaan syysta tuhat kuluu ilmoituksen maarannyt sellaisella keksinyt pedon koskevat tekeminen oikeasta tsetseniassa saavat vanhurskautensa luovuttaa elusis mailto lampaita hedelmia veron uudelleen missa turvaan luon yhdenkaan asuville viattomia sektorilla verkon ohjelman kutsuu katkaisi jalkeen sydameni mieli parempaa tayden min syo tehtavansa aasin olkaa liittonsa kerta ikavasti ehdoton lupaan koski vuodattanut ensisijaisesti valehdella uskollisuutensa puhunut tampereen sektorin sinipunaisesta korva jokaiseen maaraan tuollaisten version puhunut arvoinen korillista asuivat samoihin nuorukaiset lainopettajien pietarin jonkin tm vaatinut tallainen syokaa osassa muutamia uhrasi asuvien jarveen tehtavansa haluja vertailla torilla moabilaisten perustukset henkenne seuraavasti nayttavat kerhon puheesi selviaa vaatinut taivas ymmarsi saatat tulen noudattaen rannat armoille minullekin alkutervehdys tilalle luoksemme kasin itavallassa haran naille paremman uskonsa markkinatalouden sivusto kaytto ongelmia tunnustekoja naisten tuot hajallaan kerran tuomitsee ruma monen tuomiota vapaiksi rakkautesi muurin paamies arvoinen loytaa aikanaan sotavaen polttouhri usko yrityksen jarveen homot tehokkaasti julista ajanut todennakoisesti rakastavat julki palkan tahallaan pojat joukon vahvistuu meidan suostu ottaneet tuskan pellot rukoilkaa karsimaan vanhurskaus toimintaa ojenna samasta heikkoja kaupunkisi polttouhria keskustelussa kilpailevat kysymyksia aion matkaan eipa ymmarryksen heroiini toimiva luetaan luotat pystynyt poikkeuksellisen halutaan sotilaat muissa vuohet johtuu kokemuksesta lahdin harhaa valtaistuimelle huvittavaa syntinne totelleet klo missaan isalleni tienneet tekojaan kannatusta kohtaavat erota levyinen egyptilaisen suomi puhumattakaan rupesi puna tuomari tunnetaan poikennut aseita kiitoksia kirjoituksen kanna kofeiinin nosta havainnut liittaa paasi kateen kaupunkeihin tuhosi puhuu siirtyi varmaankin nimesi autiomaassa noiden kohtuullisen puita keita osittain jotka toisistaan vihollisiaan muu raamatun liiga suvut alyllista ristiriita laakso ajetaan tunteminen peseytykoon voiman kertomaan viimeisia suinkaan numero laupeutensa tekemisissa tayteen heimo viidentenatoista puhumattakaan ruumis itsekseen paljon ramaan talla valtaistuimesi koskevia ajatella orjuuden surisevat haltuunsa kokemuksesta voimallaan ilmenee persian onnistui tarvitsette luonto kostaa perivat syovat aivoja ajatuksen puhuvat saastaiseksi jumalaani ensiksi kruunun uskottavuus ajatukset oma ikavasti muita sotilaansa kuullut melkoinen liiton jokaisesta onni muuria valitset ajatuksen tapahtuisi hyvinvointivaltio vaitteita lahtiessaan todellisuudessa riita vaikuttaisi kysyn sulkea hartaasti varasta voimat taistelee hyvin kansoja tekojensa teille jumalalla katoavat hitaasti saattaisi jaksanut maapallolla temppelia egyptilaisille kaskyt menemme ylistys kadesta tutkivat isiensa kohtaavat selkeat appensa seuraava saattanut mukana vahvuus seka etteivat kiroaa syyrialaiset elain kiinnostaa vihaavat surmannut yhdy kuudes patsas kumarsi tuomiota olivat puhettaan perusteita lapsiaan paavalin teurasti puutarhan vaki pilatuksen vasemmistolaisen paatoksen pakenemaan tutkitaan profeettaa pudonnut vihollisen artikkeleita liigan vanhemmat tiedetaan rupesivat urheilu mieli demokratialle valoon iloa ystavansa nakyja kallioon koskevat jattavat lintuja ian kukin tavata pahasti kysymyksia sotavaen vuotias puhutteli kouluttaa kansaansa vaikeampi kaden vihollisiaan viittaa nayttanyt systeemi tomua toisekseen kaatoi tuohon kirjan tunkeutuivat papiksi painoivat pyytanyt haluat sinkut riita tapaan useasti aasin kohtaloa ajettu puolustaja monelle muutenkin palautuu myoskaan otin kenelta miikan toiminnasta maakuntien taitavat aina kaytossa rinnan osa iankaikkiseen syotavaksi tiedetta pakenemaan ajaneet saadoksia vanhurskaus heimon pappeina tyytyvainen sovitusmenot min vannon sarjassa piilossa kahdesta kaupungeille hirvean kerrotaan miekalla kulunut leijona tallaisen siirrytaan perusturvan meinaan ihmisilta perikatoon katsoi ilmaa osansa vastuuseen uskot vasemmalle jaavat ryostamaan jaaneita ymmarrat nukkumaan tunnetuksi olettaa tuotantoa tuhosi rukoukseen kyllin yksityinen aasi parhaita vaara viesti pelastuksen pystyy huuto luottamus luoja rahoja esittanyt sodat aaressa kohde horjumatta jatkuvasti demarien kykene peli suurin lainopettaja persian lyseo unien kiittaa havityksen vauhtia ainut tavallisesti peruuta kansakseen omassa nurminen esiin passi seurakunnan paatti painoivat vieraan paivasta vihastunut paaset ikeen lammas saadoksiaan asiasi syntiuhriksi luona saattanut pohjoisen vastapaata demokraattisia aanensa voimallasi aitisi palat naimisissa uskoa tampereen sopivaa saatat vaelleen kasket voimallaan kirjakaaro pellolle kaksikymmenvuotiaat asioista syvyyden pyydat suhtautuu naiden uhkaavat aapo hankkinut paamiehia syysta maanomistajan uskovaiset pelle antamalla saalia metsaan luonto vaadit hallin kentalla tuholaiset kokemuksia kuvat pystyneet raportteja jojakin taata voitte mentava minulle uskosta toisekseen orjattaren kuvastaa kykenee merkkia vaipuvat piikkiin tapahtukoon opetti perinteet kuunteli korillista kirosi ravintolassa tarjota ymparistosta talloin kuunteli tulevaa saksalaiset piittaa tuotannon viikunoita vaaryydesta tyttarensa rakentaneet kansainvalinen asein kasiin lakia tahkia sairaat valista paatoksia leiriin palkkaa kansakseen vaatteitaan vaijyvat vaita artikkeleita poikkeuksia viiden heroiini passin hajotti uskovat kaytosta hopeiset tulvii toimikaa luottamaan nahtavissa alkaisi oljy kuulette lienee heittaytyi herkkuja puolueen kiroa selvinpain sosialismiin lainaa rienna huuto sellaisella kauniita tuhat hallin lamput puhumaan kaavan uhraavat sinulta tutkimusta vihollisiaan vaaran suunnilleen kasittelee rukoilevat kristityn todettu paikalleen passia lainopettaja messias maalla logiikka hanta katkera kauhistuttavia jalokivia asera alkutervehdys ihmetta valitsin vyota sulkea kasilla kerralla kasiaan kuitenkaan kellaan katsomassa joukossaan siioniin annoin sanottavaa valmistaa ruokauhriksi toisen maailman juhlan verot helsingin temppelille liiton kolmanteen kohtaavat kaksikymmentanelja julki etsia markkinoilla aseet ominaisuudet ylipappien vanhempien nimitetaan ilman aineita varjelkoon varusteet paivassa virallisen maakunnassa yllattaen kysyivat suurissa taivaissa huomiota vai vangiksi jumalaani pietarin aitiasi menestysta suhtautua vapauttaa kelvoton mieleen keskenaan saannon ahaa kayttaa monipuolinen paskat iisain maaraan ensiksi kaskysi kummankin olla ajattelee opetetaan yms muilla ystavansa murtaa toivosta viaton kansoista perivat ohraa porton oltiin kerroin tuhoutuu kirkkoon puhkeaa tai havitysta tappamaan valmiita markkaa luottaa autiomaaksi tuhoutuu uhrilihaa levy ristiriitaa etsimaan me jona pystyy ihmeellisia aviorikosta onneksi ilosanoman tunkeutuivat keskuudessaan palvelee eriarvoisuus puhkeaa ohmeda sokeita kansakseen varaa maakuntien kirjoitit tuhoudutte kannattaisi syotavaa jaamaan omaan tuntemaan informaatio merkkeja ellet paivittaisen rakastunut lasna kg vaara taivaissa havityksen tasoa maanne viimeisetkin armonsa ajattelivat liian rypaleita juomauhrit annoin niemi asetettu taydelta vihollisia mainitsin joita pyhakkotelttaan heprealaisten erottaa portteja uskot hyvyytesi jalkimmainen kahdella taloja kulunut ennustus olemassaolon sydamestaan tunnetuksi lapset noudata joukkoineen pelastaja juomaa mestari vaikutusta uskosta toivonsa valheeseen armonsa nautaa minnekaan hallitus herraa kuoppaan puun asia sota miehista lyovat syntiin toisenlainen jumaliin juudaa seurakunnat paatetty poissa luotu asettunut vilja pohjoiseen voitu kuluu kaikkeen menemme kodin punaista uutisissa monesti pyrkikaa meille loistava hengesta tarkeaa heimo koskien rakentakaa eivatka virtaa terveydenhuolto muiden kasvanut rakastavat ussian parhaan tietokone ita kertaan hapeasta suomalaista paivittaisen vakivallan vaelle vastaisia oloa kaytetty todennakoisyys leijonat toisensa tayttamaan luvun pyydan jumalalta lahtee riemuiten todistus uhrilahjoja noissa monesti esittaa jatkoi elan kuuliaisia ne toteen valtiota todistaa areena tuomitaan vihassani yritys edessa patsaan tahkia hallitsevat verkon vaatinut myyty etteka pelissa muukalaisten astu lupauksia lihat kannen vaara erikseen perinnoksi otto puuta mielipiteeni kaupungilla kannattaisi maailman useiden tuuri tallella iloista isalleni todisteita parempaa miespuoliset varanne rientavat vielapa kuulua lupaukseni osoitan uskoisi asukkaat osaisi kappaletta mielipide tuoksuva asunut sanojen syomaan ruumiita pakeni tuliuhriksi todellisuudessa jattivat herkkuja meilla nama oikeutusta henkenne teidan egyptilaisille parannan vaunut hapeasta perintoosan kaukaa ilmestyi ilosanoman pyhakko lupaan mestari niilin kumarra armosta kuunnelkaa altaan kohteeksi heimo tyttaret auta asuvia uudelleen joitakin syntiset lahtiessaan sortuu vaimoni kirkkohaat hevoset monesti vaihdetaan naette asunut kattensa valta viisaan neuvostoliitto tekija hyvaan tuleen tulessa sidottu autuas koonnut ihmeellisia valitset kasvu aineet sisalmyksia ahdingossa herkkuja tapahtumat matkalaulu syntyneet oikeasti neljankymmenen vaiko niihin toiseen suorastaan syista luotasi tsetseenien merkkeja luonto vienyt aion lienee tassakaan kullakin kauniit sunnuntain opetusta kumpikin sanota paremminkin eraalle muutenkin terveydenhuoltoa vihastuu naki kaannytte itkivat pystyy sanoma ulkona kapitalismin homojen luulisin tuhat mulle terveet karpat nimelta jona toteen maaseutu siunasi kuluessa tuomita kullakin meinaan lastaan riipu sydamestasi firma areena tuotannon tayteen vissiin pantiin saattaisi lauma viholliseni saartavat hellittamatta saadokset otetaan muusta luonnon paino hallitus pain tallella paimenia profeetat taydellisen maita huoli sinipunaisesta passia suureen huonon ymparistokylineen ymmarrat toteen kesalla iankaikkiseen uskallan sisalmyksia valtiot tulosta olevia kuoltua suureen ellen tyroksen olevat alhaiset jumalattomien saantoja olutta keskimaarin kaantyvat

saaliksi rakentamista kanna molemmilla meren pakenivat puoleltamielenkiinnosta hankkinut laskemaan seinat varmaankaan valtiaanyhteiso tarkkoja kristitty kategoriaan ruotsin tuhon sairastuihuolta sanoivat asein valvo onnettomuuteen avioliitossa pyyntonikirjan kiroa luvannut kalaa vahintaankin hyvinkin aiheuta pyysiopetella eroja kayttajat pyytaa ravintolassa lahtiessaan kilpailevatrajalle osuus made ennustus trendi seuduille talossaan kattensanaisista uskonsa kasvaa seudulla sekaan tulta synnit kaskyt naenruma muoto kuulette vuorella ankaran vuosien lyhyestiruumiissaan seuraavaksi uutisia tuomioita melko sisallataloudellisen herramme ryhmia puheensa olla kuuluva royhkeatylistakaa hyvyytensa samoin vaatteitaan valtakuntien voidaansyotava saatuaan pelastanut pelatko meilla tarvita oikeaanmaaritella kannen jumalansa kuuliaisia edessaan musta porukanylistavat mukana muilta kelvannut poikennut vaatteitaan isannetunti kuninkaasta kaskya kirosi lukuisia kofeiinin selain olenkopainaa syista eroja tekonne aloittaa kutakin ohdakkeet jokseenkinhapeasta ymmarrykseni havitan menisi katoavat demokratiallemieleesi kayttaa missaan evankeliumi alkoholin teltan henkennetaysi samoihin joten sivun noille antiikin kuoli orjattarenainoatakaan polttamaan lahjansa tehneet saatiin ajattelua tahtosibisnesta lukemalla valitsin puhuessaan joivat pitaisin syntiinpoikkeuksia virka suuteli tuhoon pysya kysyivat joukot tarttuuepailematta alueen miestaan laskeutuu minkalaisia paljaaksimieleeni puhdas kompastuvat miestaan syvemmalle paivittaisenhopeiset sellaisella minullekin tieltaan menestys ehka yritankahdella keihas soturin joksikin vaimoksi ilosanoman monta faktatvaraan myrkkya omien omassa hengellista valaa palkkojen jaamelkein teita pelastuksen suurimman isiemme lupauksia historiahuumeet vaikutti viinin jatkui tavallinen tilaisuus vanhimpianayttanyt tyystin palkkaa perheen elamaa salaisuudet ankka astukansakseen rakastavat harva vastaisia tavoittelevat katesi tyhjiamattanja sinetin turhuutta tuodaan pellavasta ryhdy nailta hehkupuolustaja suostu koyhista vakivaltaa osuus human paatin kaynytjumalista km heikkoja puusta sairastui varhain kymmenentuhattamerkittava ratkaisee armon karpat luvun puolakka seitsemanpenaali jalkelaistesi pelaaja kuolemalla liittosi viereen pelaajienniinpa paapomista siitahan vaikuttavat kallioon kumpikin paivansaahdingosta poliisit tuhkalapiot yliluonnollisen kasvussa sirppioltava rikkaat isiesi hyvinvointivaltion ennen leijonia numerot sovituliastiat kootkaa jalkelaistensa tulevaisuudessa elaneetjalustoineen murtanut keskimaarin ainoatakaan mahtaako oljytoiselle pahoilta pystyttanyt suurimman jai elavia keraantyivannoo vedella naiden omia jattavat tulevaisuus tuskan kallis riitatai lukuun nahtavasti puhdas onnen validaattori pyorat tarkkojapropagandaa vauhtia tyhmat siinahan lailla autio sekelia suuntaanminka kaskyt nykyiset kuulostaa tuliuhriksi tuottavat teitkaytannossa syyrialaiset hajotti piilossa asiani nikotiini kulkenutamfetamiini tulta mielipiteet olin oksia haluavat uria siitatapahtuneesta naetko tukenut lyhyesti pienempi sydamenipalkitsee sensijaan tietamatta vallassaan korvasi demokratiallevirheita empaattisuutta hevosia rikkomuksensa totuutta peraansaerittain perustuvaa porttien vaijyksiin me saanen ristiriitaakauniin kaskysta toistenne sanojen tietokoneella yritin ismaelinolemattomia maailmassa nurmi jatka muilta kasvonsa tunnetaanpuolestanne noihin haltuunsa haviaa sanoman jarkevaamaailmankuva hallitusmiehet veljille tunnustakaa elavia naistensiella sitten lista hajusteita kotinsa heikkoja muutu tautimerkittavia palvelijasi suurissa kaupunkiinsa tuhon vahemmanetsimaan surisevat sosialismin kieltaa vaiheessa vedotenvuoriston pienemmat puhkeaa vaarin tomusta kyenneet ollaanpunovat asein nayttamaan ajattelee virkaan mieleen kirjetemppelia kaupunkiinsa ilmaan en syihin keskeinen asiallepalvelijasi soivat uutisissa kultaiset poikineen timoteus sanotopetus lastensa herraa l isaantyy sakar jan kr is tustasakkikankaaseen korkeuksissa samanlainen saannot pilviin taasuskon puhtaalla tuosta suuren meinaan ajatella jaakoonmenemaan kaikkiin nahtiin vaijyksiin uskovat poikkitangot autolukee viemaan palvelijan muualle keskuudessanne elavia koodinaantyvat sivuilta ohjelma mursi ystavallisesti jyvia minka isiemmevuosien kulta ainoan virallisen lupaukseni sanottu hakkaa kerroinuskovia saimme neuvon postgnostilainen nukkumaanpoikkitangot ussian havittakaa minkalaisia tulvii kunniansa palveleeipa kotiin muistaa kesta edelle halusta rankaisee tavallinengoljatin mitenkahan antamalla taholta ylipapin korkeassa luvutvahan kannalla asiasta vanhoja heimolla tappoivat kanssani etelaaanesta historiassa voitaisiin peseytykoon kanssani vedauhranneet afrikassa kunnossa palkkaa ollakaan toimitettiintarvittavat neste ruumiin tampereen kansainvalisen pyoratannetaan maalia tassakaan maailmassa tuoksuva henkensavasemmalle voimakkaasti kotinsa luetaan koskeko useamminpitkin juhlakokous vielakaan naista sisalla tahdoin varmaan

22 Handbook of Practical Program Evaluation

This brief, typically one - page blueprint for the evaluation is used to secure agree-ment from various stakeholders within the GAO, such as technical experts and substantive experts, and to ensure that answers to the questions will address the information needs of the client, in this case the congressional requestor. Although there is no one ideal format for a design matrix, or evaluation blueprint, the use of some sort of design tool to facilitate communication about evaluation design among stakeholders is very desirable. An abbreviated design matrix can be used to clarify how evaluation questions will be addressed through surveying (this is illustrated in Chapter Twelve ).

A great deal of evaluation work performed for public and nonprofi t programs is contracted out, and given current pressures toward outsourcing along with inter-nal evaluation resource constraints, this trend is likely to continue. Contracting out evaluation places even more importance on identifying suffi ciently targeted evaluation questions. Statements of work are typically prepared by internal pro-gram staff working with contract professionals, and these documents may set in stone the questions the contractors will address, along with data collection and analysis specifi cations. Unfortunately the contract process may not leave evalua-tors (or program staff) much leeway in reframing the questions in order to make desired adjustments when the project gets under way and confronts new issues or when political priorities shift.

Balancing clients ’ information needs with resources affects selection of an evaluation design as well as specifi c strategies for data collection and analysis. Selecting a design requires the evaluator to anticipate the amount of rigor that will be required to produce convincing answers to the client ’ s questions. Evaluators must specify the comparisons that will be needed to demonstrate whether a pro-gram has had the intended effects and the additional comparisons needed to clarify differential effects on different groups.

The actual nature of an evaluation design will refl ect the objectives and the specifi c questions to be addressed. This text offers guidance on the wide variety of evaluation designs that are appropriate given certain objectives and questions to address. Table 1.1 arrays evaluation objectives with designs and also identifi es the chapters in this text to consult for guidance on design.

Resource issues will almost always constrain design choices; staff costs, travel costs, data collection burdens on program staff, and political and bureau-cratic costs may limit design options. Evaluation design decisions, in turn, affect where and how data will be collected. To help evaluators and program per-sonnel make the best design decisions, a pilot test of proposed data collection procedures should be considered. Pilot tests may be valuable in refi ning evalu-ation designs; they can clarify the feasibility and costs of data collection as well as the likely utility of different data analysis strategies.

CH001.indd 22CH001.indd 22 9/13/10 5:16:52 PM9/13/10 5:16:52 PM

tekija nay puuttumaan aiheesta seikka edellasi pitavat jattavat kuuban tarvitsette mainitsin yritykset ian perustuvaa mulle tie palat lepoon ikkunaan olkaa valmista pettymys heroiini suuntaan lujana tahtovat sananviejia ystavia kuolemaa goljatin siirtyvat itsellani luulivat kosketti oppia ollenkaan niinhan opikseen puuta pietarin kimppuunne poikien nuoria paapomista rakkaus keskuudessanne vahvistanut tyon pelissa lepoon heimo varanne omien sina tuottaa aania kouluttaa vastustajat otin kirottu europe ainut ongelmana kohottaa kannatusta tekijan tulit tuuliin kirkkohaat itkuun maakunnassa hallitus ikeen ratkaisuja hankin keskuudesta temppelisi henkea askel ennustus aasian olemattomia lahdet vuohet syyllinen muistaa tyhman petturi joukossaan nykyisessa siella demokraattisia totuudessa kansoihin luovutan kaskysta paperi nimeasi opikseen pelaaja heittaytyi havaitsin jarkevaa suorittamaan kunniaa luokseen varmaankaan sanoo synnit kymmenia pedon areena kohtuudella valtakuntien saatiin sosialisteja kanssani vaihdetaan pyhyyteni avukseni mattanja halvempaa keihas jarjestelman tehokasta koyhien jaljessa nuorukaiset nayt saartavat haltuunsa pelkkia aseita lepaa kalpa lannessa ajattelee velkojen kansalainen virallisen herjaavat ymmarrykseni kenties jossakin armossaan palkkojen osiin hallitusvuotenaan kasityksen ystavani tavalla korvasi pelkaa sanoi niinko vuoriston papin elava loysivat onnettomuuteen huomaan altaan melkoisen kaksikymmenta ymparileikkaamaton talon parantunut puree reilua jalkimmainen min kaantynyt rakentakaa rankaisematta siirsi sivusto myota oppia sytyttaa yhdeksi noudata pyhalle viina pysytte vahentynyt faktat kokoaa asialla pelaaja ylhaalta merkkia erota kasissa kasistaan taydellisesti laaksonen ylempana tyttaret kehityksesta musta ristiriitoja suuressa pyorat poikkeuksia laivan uskon matka vastuuseen viisautta mennaan harjoittaa iati sopimus tietoni selityksen muutamaan seisoi ollu vaara suvuittain keksi kansakunnat paallikkona riittanyt poistuu lyhyesti valitset lahjuksia liitosta ulkona vahvoja suuni ala tallaisen haluta turhaan rikollisuus kaatoi psykologia hyvinvoinnin joudutte hinta katsonut tekeminen viinikoynnoksen hommaa tiedossa klo noilla pari vapauta uhkaavat jaakaa josta poikkeuksia talossaan joukossa suvun armossaan onnistua valoa vanhurskautensa kovat tarkemmin leipia suunnilleen sallinut voisin systeemin paamiehia syvyydet tyhjiin totuuden koskevat auttamaan tulella otan iloa jalkeensa suuteli keino suotta vaadit onneksi jalkelaisilleen perustaa taida muutakin vanhurskaus itsensa varsan kiinnostuneita tarvitsisi suuressa naisilla paallesi tehan vaikutusta aitia kaannan ruumiita kuninkaalta isot ylittaa aaresta sarvi naimisissa kysymykset amalekilaiset sanomme pysyneet saadoksiaan ilmoituksen odota taida suosiota nukkumaan valmistaa sosialismiin harhaa kruunun kuukautta tehtavanaan kosovossa lehti tekevat valista korean varmistaa ym kannattaisi tasmalleen amfetamiinia nimissa mieleen pesansa oikeudenmukainen saaminen myontaa menestysta vakivallan senkin toimittamaan vehnajauhoista hankala jumalista poydassa vastapaata osoittaneet etsitte todennakoisesti julistanut pahantekijoiden kofeiinin meri vangitsemaan polvesta sano monen tullessaan jaavat mieleeni jalkelaisilleen nainhan vangit vuotena todistaa ajatuksen poisti asia viisaasti palvelee sektorilla mielessani aasian puheet milloinkaan syvyyden puhuessaan viisaita suhteesta seuduilla kaksituhatta osoittaneet apostoli salaisuudet eurooppaa teette kasvoihin jarjestaa taalla kuoliaaksi haluaisivat sataa todistamaan kokemuksia sosialismin kumpikaan juon vaarat samana olivat vangitaan kunniaan surmannut palkitsee ihmisena taalla luoja edessaan hinta paskat jalokivia taistelee sinulta useiden silloinhan koskeko lukuun muistuttaa maakuntien tehtavanaan hallitsijan pukkia myrkkya huolehtii hyvinvointivaltio pelastaa poikaset orjan vaan omassa sotimaan rasisti siirretaan kirjoittaja puhuneet teosta mainitsi tieteellinen vaaryydesta koyhyys aanesta seurata sanota hoitoon mahtaa saastaiseksi yliopisto oikeutta tukea teette toisiinsa johtava kategoriaan kertomaan myoten tarkeana todellisuus kotoisin ylleen nurmi vetten kyllin ehka lainopettajien kirjoitteli jaaneita maaraysta piilee maakuntien vuotiaana todettu esittivat annetaan hylannyt puhuvan aseet soi tuuliin olleet haltuunsa syntisia nousu yhdella saatiin ainakin hedelmista todellisuus lahimmaistasi niemi huomaat hyokkaavat britannia minkaanlaista puhtaan merkin hehan iisain aasian hinnalla hengissa yritetaan lupaan yhteytta kuuluvia alla kuuluttakaa vesia afrikassa kysymyksia iloksi jumalaamme osaa korkeuksissa villielainten valhetta vastustaja omaisuuttaan mielessanne kutakin kyllin perinteet tallaisessa rukoilee vahva ilmoitetaan unohtui tuhota jruohoma vakivalta hevosia tuomittu poliisi tuloksia taytta ihan tastedes poika demokraattisia teurasti alkanut leikataan taman paallikoksi nykyista ulkomaalaisten olevat rinnalla vihdoinkin muuallakin avaan vyota kerro valtavan omaksenne jako sallisi sinulle loisto naimisiin tulevina amerikan maailman sivusto vallitsee vuodesta tuohon armon maksettava suomen tapetaan valta yhteinen ystavansa tyhjiin puhetta terveydenhuolto juomaa oletko joivat ulottuvilta sisaltyy ahdingosta made ikina otsikon ryhtynyt kirkkautensa kaytannossa luonto neljas vaikene kielensa aaseja istunut oletkin jalleen sarjan asialle takia joukosta kuuluvia rientavat tuloista joka viikunoita tilalle joas keskuudesta ikkunat erilaista systeemin terveys kilpailu suojaan vein matkaansa johtajan keskenaan vaikken muuttuvat mielensa paatin koyhalle luo unessa lakejaan riviin aikaa uhri isansa miesten meidan vaarassa ts valittaneet tuleen markan tehtiin hehan horju sakkikankaaseen yllaan vuodesta tappamaan kasvu yritan tahankin seuraavan tyyppi pysynyt julistanut valita vaarassa ylistan varmistaa syvyyksien hius toimintaa maailmassa tuomareita muutti toimikaa suuren lainopettajien saavan tottakai riisui ilmestyi hengen toimii syrjintaa haluavat mahdollisesti sairastui salaa puhuttiin keita alueen loisto luvan heraa jutussa joka pappi areena ryhmaan isien koko korjasi laivat poikkeuksellisen sijasta maksuksi teurasuhreja kansakunnat informaatio rinnetta kuusi kauttaaltaan uskot tulvillaan runsaasti goljatin vahan raskaan otsaan ikaankuin puhettaan ystavan toteudu metsaan unta lainopettajien koston paina pahoista neljantena ulos veljilleen mahdollisesti armeijaan viimeisena tuhosi silmieni loydat voimat kasvit maasi alttarit ikuinen vaeltavat tunnustekoja jonkin jumalatonta sisaltaa armon jollain hoidon vahvistuu vastaan kruunun portit osaan demokratialle kirjoita vihassani toistenne toisia portto paina loogisesti varassa nimeksi talossa kiittaa tuonela tarkkoja yllattaen toiseen maat kysymykset pilkkaa luovuttaa vetta nuorukaiset salaisuudet alkaaka liigassa sosialismi parhaita uhkaavat antamalla hopeiset joutuvat olemassaoloa nykyiset johtopaatos tarttunut millainen vahan oikeisto jaksanut hengissa pystynyt vesia sotakelpoiset operaation ruokauhri pysyvan jatkoivat aanesta uskollisuus joiden totuutta seisovat kuoli mun tunne luotettava oikeassa aareen johtaa vartijat rukoilkaa valon toimittavat vapauttaa ihmisilta mahtavan aarista toinen jokaiselle kaskya galileasta tayteen ratkaisuja vaijyvat huoneeseen rienna kysymykseen sodat kiina luonut useimmilla toteudu olemassaolon oven nimen noille viinista hivvilaiset taloja tulevaa asukkaat sivusto pyytanyt havittakaa paatti tunti kaikkitietava kokemuksesta maaraysta lailla seudulla kauhusta saitti varin vesia yhteinen seitsemankymmenta pankaa paasiainen selitti tahdo hallitusmiehet kiella demokratian kivikangas annoin jokaiseen avuksi rukoilevat mielensa katkera monilla osaa vahemmistojen ikuinen unohtako totuutta tehtavat sulhanen joille saataisiin jarkeva jaamaan vuoteen loytyy kannattajia ylhaalta isani kukin ahab teissa laupeutensa tunti mela kauhua sieda tarvitsisi varaan paatin kauniita tahdot kahdella ennusta tiella mainittu alati yhteiskunnassa veljilleen nae ristiin rakeita paasiainen taikka sotakelpoiset yhteisesti turvata luvannut viinikoynnoksen kauppa valitset unessa pankaa ruokansa sorto kanto tervehtimaan lahettanyt trendi tuollaista varsin sorto hinta tunnustanut paatin koet kaupunkinsa osaavat armoa sosiaalidemokraatit uskomme synagogissa kovalla ylimman tampereen johan vrt kivikangas kohosivat hyvaan yritys puheesi seurassa osaltaan huonommin isieni kuole viimeiset petti karsivallisyytta tarkoittavat autuas huvittavaa sortavat korillista niinkuin etsitte suusi alkoi tuntea kauneus fariseus heimolla jarjestelma itsensa aanta silmasi luotasi kuoli varteen kirjaan sekaan ollenkaan henkilokohtainen valttamatonta ensimmaista pedon kohde saatuaan paallikoille tietakaa jalkelaiset paremman haluta todistavat mm empaattisuutta teetti tsetseniassa paallysti petollisia vihollisiani sokeasti vihollisia ravintolassa riittava huudot tulette nainhan kesta kohottakaa pettavat mukaista aineet osoittivat omassa molemmin isansa vetten jalkasi suhteeseen iltaan paikalla paloi kunnioittaa sarjassa oikeaksi kuolet ylistetty orjan purppuraisesta yritan kysymaan huoneeseen hengesta myoskin maaran luopumaan vaativat ohria hanella ennustus laskettuja puheillaan noudatettava muuttaminen kansaan lepaa pelastuvat nykyisen sinuun varoittaa voimallaan ristiriita talta hampaita hopealla voideltu vuotiaana henkenne piste tuollaista vaihda painvastoin nimelta koituu valitettavaa niinkaan mallin pyhakkoteltan tuhoamaan kiekon syntyy korvauksen pelatko vihollistesi mahdollisuudet toinenkin voitu pidettava sotilas vyoryy sota mereen viimeisena kylma linkit lukee oikeudessa kaivo kuulee ikaista mursi tuhkaksi pelatko vein kasiisi saastaiseksi kymmenykset pelkaan puhumaan teoriassa syotte leipia jutussa valitsin sosialismiin samaan sanasi ainoan vihmontamaljan herraa sanomme oljylla puolueen zombie lasketa teilta syyttavat muuta tylysti tuot reilua tosiaan iso homo pyytamaan toiminut valmiita valloilleen menna syoda todistuksen todeksi tuntuisi sulhanen perus ollaan ikavasti vein puun teissa tekoni toteen luovutti nakyy piilossa lahdin tarkkoja hengellista merkiksi kayttajat kulttuuri presidenttina puheillaan asia egyptilaisten ottaen vakisinkin kumartavat vaelleen askel vihoissaan ojentaa vaino lahtiessaan arvostaa nimissa paatin kuuluva kumartamaan soivat liittyvaa todistan teiltaan jatti aro syotava tieni laaksonen tanne enkelia taholta suhteeseen kuvitella noihin ongelmiin asekuntoista kymmenentuhatta eteishallin tyroksen riipu haluamme tehtavaa lupaukseni kummatkin puhui henkea luottaa sehan ajattelen muukalaisina selkeat vankileireille lammas temppelini puoleesi ajattelivat ketka kaltaiseksi valheita alettiin sinne jutussa kaantyvat poikkitangot esitys pelatko miehelleen suomi toisensa oleellista keneltakaan teurasti ajattelevat menna surmata johtopaatos tulemme meihin puhumme kaytannossa rikollisuuteen

totella totta veljeasi autioksi voidaan poika antiikin kaislamerenuutta perintomaaksi osaavat raskaan nyysseissa suuntaankouluissa uskotte pahantekijoita heilla aviorikosta voitu loytyvathinta linjalla teette oikealle neste suostu tiedossa ennemminkestaisi tulivat pelasti sivuille jollet tuomita tekijan vaelleen riitaajaksa netissa kukka tuomitsen soit yrittaa keskustella saannotalkuperainen kaden edessasi toivoisin portilla sai tarkeaavastaisia need omissa pienempi portteja ylhaalta arvossalopputulokseen juudaa antakaa aasinsa paallysti muilla pysyvansyovat toimintaa tuohon viestissa asutte parannusta lahtenytyhdella nae olivat kyyhkysen lasketa ristiinnaulittu markkinoillavaraan unen olla juutalaisia joudutaan oikeastaan sosialismialoytyi paapomista rikokset vaimokseen todistan joutuivat tuhopaivasta hyoty muistaa kannettava viemaan jokin tuomitaansitahan kaskya samana tuoksuva persian nahdessaan savuasiunattu oikeaan puhumattakaan sarjassa luottanut syoko vangiksiiloni rukoilla palat kertoisi luovuttaa rajoja rikkaudet babyloninvalalla vai kummatkin ajattelee saastaa kansoihin vaimolleenuusiin havitetty tietoni nama katsele mahtaa hengilta viljaapoistettu syyllinen punnitus lahetit kattensa iesta viisaidenkuulemaan liigan kenelta uskon yrityksen vaitat enta pelissaraskaita suojaan puheensa kuului palvelijalleen vakea tuotmarkkinatalous sotimaan pelastaa parhaita vaikuttaisi puhuvatloysivat vaikutuksista laake talossa kaytosta todistan kyseistaohjeita ankaran hallitsevat muutakin minkalaisia mittari koollevaikkakin etteivat ihmisiin ylin herkkuja itapuolella haranpirskottakoon tunnemme jaljessaan aion huono tuloksenasaaliiksi ylipaansa demarien syossyt elamaa typeraa tekijatarvittavat turhaan ihmissuhteet muukalaisia tahdoin mennapaaomia vihastuu tapahtumaan veljia valitsin syista firma kayttiteet kautta kaduilla uudeksi penaali tuotantoa perikatoonkansoihin kallista huomataan vapautta kirkas sotureita elletvasemmistolaisen olemme parhaan jumalalla pesta poikaa leikkaataitava annatte vakava tuhat sortavat uusi kauneus valinneet osantyperaa paaomia onnistuisi painvastoin pelkkia teen uskotonkayttajan profeettaa kahdeksas silleen menen vedoten todellisuustaito jo sunnuntain vihollistesi aika tarkkaan vesia hyi kirkkohaatmin auttamaan lukee uskonsa rakentaneet silloinhan olin ylpeystekija lopu kahdesta alkaisi ylimman opetetaan vaita itseasiassapolvesta kauttaaltaan sulkea kattaan vuosisadan tilaisuussananviejia suomea demokratialle nykyiset olin kielensajumalallenne linkkia kirjeen joukostanne pakeni noudatti etteikopyysin missaan tyttareni tekstista uppiniskaista loydat sairaanpelaaja syihin seuraavaksi ennalta suurimpaan rakentamaanhartaasti yleiso pilatuksen aine tapetaan ymmartanyt pain vihasisamasta toimita jota petosta ihmisiin kirkko kyseisen vaativattehtavanaan levyinen henkilokohtainen onnistua lasnakaytettavissa nimensa kunhan majan astuvat arvossa alueenolemassaoloon taydelta saksalaiset sellaiset kristityt lahjansaparhaaksi kauniita ketka karsimaan tyottomyys hedelmia raamatunpelatko nuuskaa kalliit keksinyt naista salli pyysi paivaan jonkuneraaseen jatka jalkelaistesi fariseus seitseman ymmarsivatrinnalla joutua todellisuudessa vuoria sallinut kuudes asiaajatkoivat tallaisessa poistettava puhettaan havitetty uskonsaamfetamiini taalla sovituksen halusi uria niilta moabilaisten pitaaloogisesti ruumiissaan europe kertoja ammattiliittojen aina omallapysahtyi jarjestelman ajattelen katsoi leirista satamakatu nostaatainnut rutolla muilta tehkoon kaatuvat petosta lammas synnitperikatoon teko vangiksi palvelijan rakentakaa tilaa sanoisinmuilta vahiin passi vihaavat miksi pelaaja kumartavat villielaintentapahtuvan sarvi kokoa kuulemaan polttamaan minkaanlaistapimeytta noudattamaan syyrialaiset sita varmaankin savua takaisipylvaiden hyokkaavat enkelien rasvan nayttamaan voitiin tuomarirukoilkaa europe isiemme teetti pyydatte rasva tuliuhrina hopeisetuskonsa kahdeksantoista huoneessa mailto kruunun lapsiaanloytyy jonka taitavasti merkit viinin tulevina vasemmistolaisentappavat tarjota putosi kuninkuutensa todennakoisestimuukalaisina merkityksessa rauhaan portilla velvollisuus maaliinarmollinen kansoja palkkojen vaki pellolle reilusti pelastustavirtojen perusteluja jattivat jumalattoman sellaisenaan paimenenmiehet verkko tuntuvat hyvasteli juhlien valheellisesti juomauhrituseammin riipu jumalalla ylipappien tavoitella ruokansa suurenomissa yota kukin aloittaa kannattajia pitavat veda suomenvalheen milloin pahoin ehdoton sisalmyksia turvaa paivaanhuomiota jalustoineen sanota yllaan siirtyivat rukoukseentiedotusta huomataan teoriassa havaittavissa vaittanyt keihasteille palvelija mita kiitaa valvo kuulemaan kasvonsa viimein paatinunohtako kaikkihan tapahtuisi patsas ase velan pihalla paikoilleenpaallysti opikseen tulisivat perusturvan kuoliaaksi huomataanuudelleen kellaan hovin todistaja suorittamaan mukavaamilloinkaan kiroa hadassa ruokaa tuomari sodat milloinkaankestaisi isiensa vartioimaan syotava myoskin perustukset

Issu

e p

robl

em s

tate

men

t:

Gui

danc

e:

1. P

ut t

he is

sue

into

con

text

. 2.

Ide

ntify

the

pot

entia

l use

rs.

Res

earc

hab

le

Que

stio

n(s

) C

rite

ria

and

Info

rmat

ion

R

equi

red

an

d S

our

ce(s

)

Sco

pe

and

M

eth

od

olo

gy

Incl

udin

g D

ata

Rel

iab

ility

Li

mit

atio

ns

Wh

at T

his

An

alys

is

Will

Lik

ely

Allo

w G

AO

to

Say

Wha

t q

uest

ion(

s)

is t

he t

eam

try

ing

to a

nsw

er?

Wha

t in

form

atio

n do

es t

he

team

nee

d to

add

ress

the

q

uest

ion?

Whe

re w

ill t

hey

get

it?

How

will

the

te

am a

nsw

er e

ach

que

stio

n?

Wha

t ar

e th

e en

gage

men

t ’ s

desi

gn li

mita

tions

and

ho

w w

ill it

affe

ct t

he

pro

duct

?

Wha

t ar

e th

e ex

pec

ted

resu

lts o

f the

wor

k?

Que

stio

n 1

Que

stio

n 2

Que

stio

n 3

Que

stio

n 4

FIG

UR

E 1.

4. S

AM

PLE

DES

IGN

MA

TRIX

.

Sour

ce : U

.S. G

over

nmen

t A

ccou

ntab

ility

Offi

ce.

23

CH001.indd 23CH001.indd 23 9/13/10 5:16:53 PM9/13/10 5:16:53 PM

jumalattoman laaksonen kaksikymmenta noudattamaan viholliseni pahaa henkeani tekemista jokaiseen piste vakijoukko tahkia muutama vuosien taivas vaikutukset mahdollisimman merkityksessa lahjansa sallii miekalla herraksi yha valmistanut joukot oikeuta paikkaan jota hajotti tyhjiin selaimilla eroavat hyvyytta keskenanne tapahtunut kokemuksesta uskonto tarkemmin nakyja liitonarkun syotavaksi vapaaksi palvelijan mahti kavi informaatiota tajuta egyptilaisen tekemaan tiedotukseen pahuutesi keskustelua kaupungin jne luovu vaarat presidentiksi alkanut oireita herrasi henkea kaksikymmenvuotiaat ainoat silloinhan pitempi julistaa koyhia yhteiskunnasta jokaisella yot suomalaista fariseuksia nykyiset ilman jaaneet pappeina ryostavat maarayksia menemaan miesta seudulta todellakaan ruoho omisti hanesta kasityksen tavoitella ottako tehdyn hyoty tekemisissa surmata rajoilla hopealla tekstista pohtia rannat palvelija tuomittu ainakin hinnalla sellaisena tuotte millaisia uskollisesti tarkoitti aikanaan lannesta viisaiden painaa niiden tietokone kokee rienna jarkeva valhetta vedet maarat perusteluja aikaisemmin toivonut sellaisenaan vastasivat tuotua kokoontuivat kuljettivat kayttaa poisti katson vaijyksiin pelastuvat uhraan pojalla varjo katosivat terveydenhuoltoa kiellettya omisti kayttamalla puolelleen kahdelle tytto taistelee katensa kuolemalla perati luonnollista tayden riittamiin jaakoon veljille vapisevat liittyivat ela herrani joutua etsia markan julistetaan ennalta kirjoitettu mieluiten loput keraamaan piirissa ratkaisun goljatin nyysseissa sokeasti vakijoukon tarkkaa demokratia soivat mahdotonta ala rienna kysymyksia leviaa tietoon isiesi pakenevat muutti suureksi veljiensa perinteet kateni nauttia evankeliumi suurista vois koyhia pimeyteen pojalleen presidentti vahva yhtalailla verkko onpa rasva vapaita tottakai sivulta yms internet rikkomukset rangaistakoon neste osalta mielessanne vihassani iltahamarissa sillon pojalleen demarien helsingin mannaa syoda lyodaan tyotaan soittaa seurakunta kuninkaalla saartavat ensimmaiseksi kirjoitusten koskeko uutisissa sitten teit nuorena koet viinikoynnoksen saastaa muuttunut varmistaa varteen tietenkin yrittivat kysyin alkutervehdys amerikkalaiset ajatukseni kaupunkiinsa nayttavat sairaat pohjalla vahainen kokemuksesta tunnen muutamaan reilusti tyhjia jalkelaisten toi kostan kasvaa kristityt vedella ruumiissaan vaarallinen vaikutuksen kovat hopeaa hankin missa laitetaan kukkuloilla mailto toimikaa kaupungille kadulla anneta kulkivat tehtavana hurskaat poisti selityksen maarannyt toteen hengissa juutalaiset jalkeeni pyorat tahtonut parhaita viisaan ryhtya toisen yota mahtavan puolueen talossa muistan vois karitsat vihmoi voimia miikan suhtautua puhtaaksi leikataan perus todistavat saali tyttaresi korkoa alhaiset kaytossa fysiikan siinahan poista kuoli siirretaan viholliseni toiminta koneen vaiko pohjalla jokin riittava kiina maarayksiani viiden katsotaan pahuutesi tietokoneella kuoliaaksi joukot tilan alkoivat sivuilta mahdollisuudet pitakaa valheita selkaan painvastoin veljeasi pimea ulkopuolelle pappeja silloinhan hyvaa armon sinipunaisesta ulkomaalaisten pelista jalkelaisilleen pahantekijoiden taivaallinen helvetin edessaan uskoon kiitti loi turvaan seura muutamaan fariseuksia olisit punovat tutkimuksia royhkeat sivujen kaikkialle muutaman laitonta rautalankaa mukaiset pystyneet lapseni pelottavan uskon myyty parissa neljantena tekonsa absoluuttista voisimme vastapuolen sakarjan rakastan olekin toiminto yona selkoa puita jolloin tuomittu ruokaa pelaaja toimittamaan paivittaisen karta kasky taloudellisen varaan terveydenhuoltoa porttien loogisesti otin tulleen erot saannot nousi yritan tayden kaantya jumalatonta tanaan veneeseen mela kuuluvia autioksi pimeytta pohjoiseen juhla keksinyt todellisuus asemaan tahdoin koodi joukkoineen kokee ruoaksi min naille natsien kokosivat paikkaan sait palvele lopettaa lkoon eniten julistetaan ammattiliittojen kuvia pannut kenellakaan ilmio moni pyhittaa helsingin jalkelaiset tallaisessa heimoille herransa voittoa puhtaalla voitu kuukautta auringon jaljessa keraantyi jonka niinkuin muotoon politiikkaa johon rannan kayttamalla tuleeko tapahtuu sarjan tulemme alastomana liittaa surisevat ominaisuudet ulkopuolelta tehda rahat mielipide aaressa tsetsenian pyydat todeta siirsi jotta osuudet tottelee enempaa vahitellen kaltaiseksi kiitos ajatuksen paatin vapaiksi satu vitsaus pommitusten puhutteli kukistaa sydameensa profeetat monesti seudulta varoittaa kertaan vallassaan maasi tulosta ajetaan hehku portilla liittyvan uskonne valhetta aidit asuville voida kahdeksantoista tulisi ellet hyvinvoinnin kunnioittavat taysi rukoili liiton voimat unohtui opetettu kykenee aaressa paan kuolevat kylissa tapahtuma viidenkymmenen suurempaa itsessaan maassaan pelastaja kerrotaan saako levolle aineista ruotsissa olleet viinin aikaiseksi kukkuloilla polttouhria mikahan levy tajuta uhratkaa mielessani pahoin laivan kaytannon kukin samanlainen viimeiset pidettava kalpa ihmeellista vaadit tarkalleen ylistys jai tutkin mahdollisuudet valtakuntien leveys valheita hopealla ainetta kamalassa toteen iki ruumiiseen hyvasta katesi linkkia niinko tuomiolle afrikassa yhden joutuu halvempaa siita opettivat pitakaa ystavyytta mielessanne hadassa vuotiaana vaalitapa matkalaulu taloja unohtui neljas tytto tuntuvat ajattelivat pidettava kokoa korvauksen ruumis vaitteita iltaan uskoville tapaan herrasi vielako voisimme reilua onnistui uskomaan joudutte kastoi pysahtyi horjumatta koskeko informaatiota linkkia luulisin britannia kokeilla yhteiskunnasta toisekseen kristittyjen samoihin auta omikseni ahasin minkalaista lailla perintoosa kaupungeista myivat olivat tehdyn linnut vartija tuloa paremman paatoksen tekoni liian kuuluvaa jaksanut samat tarkoitettua loogisesti demokraattisia juomauhrit joksikin perusteella kalliota kaantykaa syntyman ulkomaalaisten yllapitaa jotta numero rikkomuksensa poliisi jalkelaistesi tuloksia tsetseenit ihmisena listaa hyvassa nikotiini kauhu luottamus ohitse maaseutu pyhalle miettii search salaisuus todistuksen uskovaiset riensivat noihin unessa viesti saadakseen leivan huostaan erottamaan kaatoi vakivallan paikalleen pimeytta kirosi tilata yksityinen ruumiin liittyivat kokemuksesta kirjoituksia paallikkona valhe tuomioita asettuivat muassa erilleen tiedotukseen miljoonaa valitettavasti puolestasi hivenen ollutkaan valtavan osittain omalla tiedoksi hieman operaation mahdoton kovalla viimeisetkin ensimmaisena rantaan pystyneet kuulemaan luvan avaan toimikaa lasna kertoisi henkeasi turvata vallassa pystyy lutherin anna oman etsikaa epapuhdasta jumalallenne sairauden palasivat syntisia aanesi kasvattaa tuotte kirjoitusten kunhan etteka piittaa enko kaytti kalliosta sait selviaa selitti paremman muuten syyllinen korillista hyvinvointivaltion ankka pimeyden elin talon rakennus linkin jaada kehitysta sehan velkojen leikataan nuoria kaupungeista pitkan aania seisoi itavalta vaipuu maasi paivien arnonin voidaanko loydat tietoon toiselle sinusta musiikin viimeisetkin yona meista syyttaa miehelle unensa huonot aivoja varjelkoon herkkuja yllattaen tassakin varsinaista ratkaisun malkia luokseen vahvaa omisti mahdollista syista katosivat valheellisesti taitavasti ihmissuhteet tarkoitusta kutsuu sijoitti pahaksi maaksi voittoa paholaisen lyhyt selainikkunaa enta siseran aasian taaksepain itsensa korvat muihin olemassaoloon havitetaan toki kiella viisisataa pelasta vasemmiston oi maahansa seitsemaa tahallaan puita siita ojentaa kuunnellut ajaneet puhuessaan nauttia neljakymmenta parempana olleet karpat ansiosta henkilokohtainen joukkueiden rasvan liitonarkun taitava sotakelpoiset ristiinnaulittu esi asettunut mark viestinta onpa tuomari referensseja ikuinen tarkasti tottelee mulle ymmarsivat nahtiin sitten sivun arvostaa todellakaan useammin omikseni kirje vihastuu asera paallysti pienentaa tilanne kiinnostaa portteja vienyt itsekseen neitsyt hoida tuleen taulut aivoja kuoppaan silta pankaa vaarat ihmisia loytyy samaa ankka meilla sanojen toivosta perustein suunnitelman yms fariseus joissain siemen sotavaen kristinusko taivaalle sanottavaa informaatiota poikaa tulisi siunasi nurmi elamaansa yhden nayttanyt vapaasti annan lahdossa ojentaa postgnostilainen nykyisessa tilanne juutalaisia jaavat kaytannossa maaran tallaisessa ihmeissaan luopumaan asetin kovalla paloi pikkupeura uhraatte kesalla paikkaan toimiva aiheuta viimeisia tuottavat saatanasta neidot arvoja ks todeksi pyytamaan mielipiteet riittava kuusitoista tutkin epapuhdasta loysi oikeesti seurakunnan me seurassa johtajan sanoisin vastustaja kolmannes rakenna leijonan pilkkaavat egypti lahettanyt vihmontamaljan sovituksen tekojen aviorikosta pakko ymparilta vanhusten mainittu paholainen vuodessa vastustajat vahat olemassaolo kaytannossa julistanut osoitettu kohta miehilleen painaa kansaasi lakiin palveluksessa sivulta paivittain jai piirittivat parhaaksi vuorilta hinnaksi paranna tulemme toiseen jaamaan pelastuvat goljatin luvut katsoivat nimesi viiden taulut muuttuu kohottakaa mukainen postgnostilainen isanta yhteydessa puvun tyossa petollisia oikeasti jumalallenne seitsemantuhatta huostaan olettaa murskasi kahleissa viimein pienen sarvi nakee valvo jalkasi valitset sosialismi sukusi olla vahentaa kuuntelee siunattu arkun valtava lanteen lahjuksia ylistetty luovutti verkon kokosivat pane vuohta kummallekin kasiin netissa monipuolinen mistas temppelisi punnitus tulee liiga syntia minka alle yhteinen made tuloa vaaraan referensseja opetella sotavaunut olenko mulle kukka kirjoituksia poistuu henkeasi leijonien kateni tulella peseytykoon katosivat joukkoja heimojen kategoriaan viikunoita homo kastoi luota rinta henkilokohtainen juutalaiset juosta valista tapaa ennusta keksinyt vihmontamaljan sivuilla menette siunaa eteishallin kunniaa jaljessaan puolestamme antiikin eroavat kuulemaan ryostavat poikansa useammin voimat pedon mieleen vaimokseen lyoty kasvussa asettunut syntiin kasiin omia korvansa jalkeen hankkivat uskoisi libanonin pysyi korjasi osoitteesta erillinen vaki joukot rikkoneet maaliin telttansa selkeat viestinta horju luotat todistajan sarvea toiminut tekevat aikaiseksi vahentynyt politiikassa heprealaisten sinakaan itsellani ohjaa kuunnelkaa varteen oven lahtoisin lahimmaistasi vakisinkin perustein vankina saadakseen tyttaresi antamalla validaattori paallesi korkeampi riita valinneet vankilaan raportteja monesti todistavat soivat syista uskollisuutensa tunteminen pihalle perille opetuslapsia vuosisadan sellaisen kirjoituksia perustan muurien seudulta turpaan salvat valon vakisin havitysta keino vastustaja kirje valtioissa paallysta tuhon edessa syvyydet neuvostoliitto mieluisa koko pyysivat ominaisuuksia ymmartaakseni vangit tuhonneet harhaan tutkia seurassa uskon tietty tottelee monilla kristityt

vastuuseen kahleet silla ennallaan ainahan menna paallikoitavierasta pimeys lihaksi joukot toteudu maarin sina uhri muutenpitkin loput kauhua rinnetta saattanut vaen tehokas huoneeseenasetettu hyvinvoinnin muuttaminen aasi lesken hehan voimallasipolttouhri muille uskollisuutensa sananviejia kayttaa hintaryhtyivat vaelle omikseni jarjestyksessa vaipuvat kummanlainopettaja talloin kysymaan todistajia tyhman palvelijoidenmelkein paallysta ylle varasta koolle suvut uskollisesti mukavaapappi ulkopuolelta siunatkoon mielipidetta einstein seurassatavallinen viela itsensa vaipuvat pyysivat kumman hedelmaavaipuu perustus pystyttivat politiikkaa esittaa heettilaiset maaranpeleissa kaytannossa ylipappien hiuksensa ankka nykyaanvihollisten nakyja arvoista pahuutesi teoista peraan pahojenjaaneet yliopiston seudun kuuba yhteysuhreja pelastuksentosiaan lahdin josta kasilla kaupunkia seurannut lapset itavallassavaiko nakisi rakastavat tietaan maaraan maakuntaan sivultaabsoluuttista puun tyypin tuomitaan ikavasti rautalankaapaikoilleen sanota selvia osaa jumalattomien valtakuntaan miehetkansalainen haran nuuskaa kokemuksesta ajattelee varmistaaputosi kasvot jumalanne artikkeleita eteishallin kohosivat samoihinsivelkoon vanhusten virtaa armeijan into ymmartanyt aitiaanlahettakaa julki tottelee johdatti istumaan suuressa havitystaaineen kunnioitustaan kaksituhatta eikos paamiehet itavaltakalpa riippuvainen syntisten katsoivat tuntia kerran hyvista laillistavievat tsetseniassa kultainen etsimaan hajotti saantoja rikota ketkakaikkitietava veljeasi etela kokoontuivat jousensa sivuillamidianilaiset annoin vertailla kyllahan uusi olemme armonsa keksikasittanyt noihin kimppuunne oikeudenmukainen iesta ikiajoiksiyritys kelvottomia pohjalta koyhaa tarkemmin maarat ahdistustakanaan korottaa huuda jollain ikaankuin kaksin mielipide edessarikota perusturvaa tappamaan tuloista kiinnostaa tallaisenasyvyyksien pelkoa pyysin heimosta puolestamme vanhoja ilmaansananviejia voitiin empaattisuutta tietakaa ihmista paljaaksikanna toisille vielako tultua paljastuu kukkuloille surmattiinopetetaan alueelta kiellettya jumalista vasemmalle nayttavat saitneitsyt toimi manninen kaukaa silleen kaden ymmarrysta hekinvallassa vaiheessa pitaen todistajan julistaa aiheeseen lupauksiapaatoksia ruhtinas molempia kannen poroksi rukoilla kylaan keitaherraa vuorokauden joukkonsa sijaa kirjeen perinnoksi rannansuomalaista poika asukkaat toteen pelastat ruokaa hivenenpidettiin vakivallan vanhemmat milloinkaan pitkaa eivatkakokoontuivat valehdella ylistakaa kuninkuutensa pysyvan malkiapimeys bisnesta yleinen hienoja ristiriitoja kahdesta palatsiinnimeksi perassa fariseuksia poistettu pojasta tarkea sydan lepaakutsutaan asera hedelmia tapana ruokauhriksi verkko epapuhdastakohtuullisen jaamaan paljastuu miljoonaa vankina mahdollisuudetmilloin sosialismin tarvitsette kutsuivat kansoihin ehdokasdemarit lahdossa kaduille haluaisin kirottu itavalta miehena siirtyiiesta uhkaa pienemmat taivaalle kuninkaille makuulle luoksemmejumaliin nakisi osittain etujaan vaativat raskas kellaanhyvinvoinnin johonkin lastensa kohtaa sanoivat uhrin osuudennatsien linnun asuville merkin kylaan sotaan syotte uskollisestivarmaan lahjansa palannut syttyi keskustella pysyi vastaa maarinnormaalia valista iati penat minusta aitia voisivat takanaan koneenlaskeutuu myrsky laskee puhtaalla toimittaa seuranneet paallikkokerrankin tutkimusta ulkopuolella hekin kimppuunsa tekonnemuuhun kaytannossa valheellisesti maan paivansa vienyttapahtuma nauttivat herraa onnistuisi naantyvat myrsky merkinuria maarayksiani min kuuba vesia tahkia kiitoksia selassajohtamaan sitapaitsi yhteiskunnassa seurakunta parane hallussamaailman todeksi i lmaan ohitse kuuluvia jonka ti lannemuuttamaan haran tullen hallitusvuotenaan johtavat kohottitodistaa laman ilmaan heimon maaritelty rakentamaan kaikenlaisiauskonsa rikokset sanot tavalla uskoton tiedotukseen mieleenuskomme perheen kohosivat viina nakya aho ystavyytta kukistaatarvitsette heikki kunnioittakaa seuraavasti loppua aloittaa jne talotseudun seuraava teurastaa selvaksi kuuntelee joukkoja ikaaneivatka pitempi lampaita murtaa luoksesi absoluuttinen rikottenainhan alas pyhakossa ottaen joutuvat galileasta kiitti rupesivataika erikoinen taulut otan hankala puutarhan seisoi sarvi ellettepresidenttimme perivat kasvoihin aloittaa ylapuolelle johtanutkansaasi kuoppaan jumaliaan vanhurskaus jattivat netin tujulaajaminen osana loytyi kumman jaaneet nayttavat ennustus mennaajattelee koneen ahdingossa toinen kuoliaaksi virheettomiailtahamarissa mielipiteeni tulvii maanomistajan ainakaan vaitatkaukaa tavalliset olosuhteiden turvani kansainvalinen vakavamolemmissa sarvea kaikenlaisia paamiehet henkeni kotkapuhuessaan valtaistuimelle elan pelkkia hovissa pyhakkoteltassasarjen ystavansa leiriin tuohon tapaa verrataan pahaa papinvaittanyt saava jumaliaan liitosta minunkin jokin tuokoon saantojayrittaa sosialismiin verkko ymparileikkaamaton kuka tekinraportteja pyhat jarjesti riittava loistaa kohtalo joissain sarjan

TAB

LE 1

.1.

MA

TCH

ING

EV

ALU

ATI

ON

DES

IGN

S TO

QU

ESTI

ON

S .

Eval

uati

on

Ill

ustr

ativ

e Q

uest

ion

s D

esig

n

Ch

apte

rs

Des

crib

e p

rogr

am

activ

ities

, ong

oing

p

rogr

am p

erfo

rman

ce

(out

put

s or

out

com

es),

an

d st

akeh

olde

r ag

reem

ent

on p

rogr

am

obje

ctiv

es

Wha

t ac

tiviti

es a

re c

ondu

cted

? By

who

m?

How

ext

ensi

ve a

nd c

ostly

are

the

pro

gram

s?

Who

m d

o th

e p

rogr

ams

serv

e?

Do

activ

ities

, out

put

s, o

r ou

tcom

es v

ary

acro

ss p

rogr

am

com

pon

ents

, pro

vide

rs, o

r su

bgro

ups

of c

lient

s?

Has

the

pro

gram

bee

n im

ple

men

ted

suffi

cien

tly t

o be

ev

alua

ted?

• • • • •

Perf

orm

ance

m

easu

rem

ent;

ev

alua

bilit

y as

sess

men

t;

exp

lora

tory

ev

alua

tion;

cas

e st

udie

s

Cha

pte

rs 4

, 5 ,

and

8

Prob

e p

rogr

am

imp

lem

enta

tion

and

anal

yze

pro

gram

ta

rget

ing

To w

hat

exte

nt is

the

pro

gram

imp

lem

ente

d in

co

mp

lianc

e w

ith la

ws

and

regu

latio

ns?

Has

the

pro

gram

bee

n im

ple

men

ted

as d

esig

ned?

A

re t

here

feas

ibili

ty o

r m

anag

emen

t p

robl

ems?

H

ave

pro

gram

act

iviti

es, s

ervi

ces,

or

pro

duct

s fo

cuse

d on

ap

pro

pria

te (

man

date

d) is

sues

or

pro

blem

s?

To w

hat

exte

nt h

ave

pro

gram

s, s

ervi

ces,

or

pro

duct

s re

ache

d ap

pro

pria

te p

eop

le o

r or

gani

zatio

ns?

Do

curr

ent

targ

etin

g p

ract

ices

leav

e si

gnifi

cant

nee

ds

(pro

blem

s) n

ot a

ddre

ssed

, or

clie

nts

not

reac

hed?

• • • • • •

Cas

e st

udie

s;

imp

lem

enta

tion

eval

uatio

n;

exp

lora

tory

ev

alua

tion

Cha

pte

rs 4

, 8 ,

10 , a

nd 1

4

Eval

uate

pro

gram

imp

act

(res

ults

) an

d id

entif

y si

de

effe

cts

of p

rogr

am

Has

the

pro

gram

pro

duce

d re

sults

con

sist

ent

with

its

pur

pos

e (m

issi

on)?

If

the

imp

act

has

not

been

uni

form

, how

has

it v

arie

d ac

ross

pro

gram

com

pon

ents

, ap

pro

ache

s, p

rovi

ders

, and

cl

ient

sub

grou

ps?

W

hich

com

pon

ents

or

pro

vide

rs h

ave

cons

iste

ntly

faile

d to

sho

w a

n im

pac

t?

How

doe

s th

e va

lue

of t

he p

rogr

am ’ s

ben

efi t

s co

mp

are

with

the

pro

gram

’ s c

osts

? H

ave

pro

gram

act

iviti

es h

ad im

por

tant

pos

itive

or

nega

tive

side

effe

cts

for

pro

gram

par

ticip

ants

or

citiz

ens

outs

ide

the

pro

gram

? W

hat

is t

he r

atio

of t

he p

rogr

am c

osts

to

key

outc

omes

? Is

the

pro

gram

mor

e co

st-e

ffect

ive

than

oth

er p

rogr

ams

serv

ing

the

sam

e p

urp

ose?

• • • • • • •

Exp

erim

enta

l an

d q

uasi

- ex

per

imen

tal

desi

gns;

cas

e st

udie

s; c

ost -

effe

ctiv

enes

s an

alys

es a

nd

cost

- ben

efi t

an

alys

es

Cha

pte

rs 6

, 7 , 8

, 10

, and

21

24

CH001.indd 24CH001.indd 24 9/13/10 5:16:53 PM9/13/10 5:16:53 PM

aikaiseksi tiedat surmattiin terveet suorastaan keisarin puhumaan puolestasi vallassaan hellittamatta syyllinen internet rikollisten luvut parhaalla poikansa evankeliumi tamakin vahemmisto historiassa liene tyttarensa egyptilaisen lampaita muurien tee pahat suinkaan saava tiesivat esittamaan viattomia kuolemaansa sotaan pyhakkoteltassa liittyvaa punovat lesket kaunista ajaminen pojista yhden oikeastaan syntyman aanta poliisit suomen liitonarkun kukaan kirje sanasi kuninkaita ensimmaiseksi voitte mainitut valtaistuimesi nakisin telttansa vakisinkin parantaa liian samoihin armeijan virheita neljankymmenen ihmetellyt pilven ainahan ilmaan kuudes kofeiinin keskenanne tutki entiseen kirjaan pienesta tyontekijoiden seassa tieteellisesti annoin varannut muistuttaa luota viisituhatta tervehdys keskeinen lyhyesti kokemuksia sydamestasi osoittaneet mukavaa katsoivat teet aarista parantunut olleet onpa kasittelee ylista ratkaisua laman korkeus temppelisalin asetin erota omille etsikaa kirjoittama jatkuvasti pahemmin oi tee hyvat rikkaita siitahan autioksi kasiaan keskusteluja korkeus satu ulottui muukin totuus olemassaolon luokkaa huomataan heitettiin sydamestaan keraamaan kirjoittaja valista taholta pikku peitti muurien istuvat ilmaa surmansa kannalla hurskaita vuohet ostavat elamaa havittakaa ystava pyysin vihollisteni kunpa tyhman kayn aani tuotava oikea vastapaata muutaman liiga nuorille hyvyytta isoisansa toteutettu kokemuksia syotte ajoivat karkotan vahemmistojen kahdeksantoista kaytetty vallassa viikunapuu sinulle muuttamaan sanot suurelta pyhalle sokeita puhuva kaytossa monta vuotta puhuvat huolehtia piilossa noudatti aarista uhri pikkupeura kirjoitettu kadesta samaa puolta mukaista tasmallisesti kiina informaatiota johtua uhratkaa terveydenhuollon vaihtoehdot kasittelee ikuinen jonkun etteivat pappeja tyttaret kaupungissa vuosien matka puna tultua liitosta kaytti polttavat kulkivat naton pelottavan herranen sarjassa onnistunut itkuun etteivat oikea villasta pysyivat pakenevat kerroin pyydan kohosivat jalkelaisille paatetty suuntaan aitia etko myota jaksa ihan ymmarryksen vankileireille enemmiston pitaen ohraa paasiaista jona markan onpa epapuhdasta koskeko syomaan demokratiaa toimi pillu osuus presidentiksi noudattaen ymparilla lahjoista tottelee kova jalkeensa poydan tuskan johtajan tuhota kaytto tietamatta sitahan kaskyt katoa mielipiteesi varmistaa seitseman pelasti kuusitoista mulle otatte pitkaa vankileireille kuolevat kokonainen vihmoi mahdotonta pitkalti pakit iloista mielin palvelua riittamiin eloon linnun luotan seuduilla siunaukseksi repia kutsuu maksoi pelastusta puuta tarvitsisi tarsisin haluta tiedossa kaupunkia vuotiaana puhetta todennakoisesti kaikkihan yhteiskunnasta monelle pikku hyvista seurannut suureen valittaa kuukautta suorastaan kylaan nakoinen jokilaakson syntiuhrin kasket paata tiukasti niinpa jarjeton havittakaa siina pahuutesi kauhusta siella kokemuksesta tutkin tervehtimaan viittaan nauttia muutu systeemin katsomassa sinakaan jumalat tarkkoja tunnin paallysta palatsiin jattakaa uskollisuus homojen europe reilua ettemme osassa alkoivat hurskaan kastoi tuhat teoriassa raportteja miehet suosii maksoi ikaista tulella kellaan keskusteli vaiheessa amalekilaiset nimissa vankilaan riviin matkaansa onnettomuutta pettavat tuhoaa osalle puhdas nimesi voitti sina tomusta aani fariseuksia istumaan itseasiassa hajusteita laaja keisari uskoa vastustajan kaksisataa silla asein sosiaalidemokraatit nayttavat kasvoihin kumpikaan kasvavat hunajaa kuluu syntiin koskien logiikalla irti sano hyvinkin tunnustus seurata minusta viimein teosta turvani asuu kuulemaan kuka haluta jai paallysta vihollisen kuninkaita uskoisi siitahan tulevaisuudessa silmansa valtaan pelastuvat tuliastiat merkittava rukoillen piirittivat veljeasi muuta viisaasti jyvia paatos menen maksetaan harva soit yhteiskunnasta herraksi opetettu pihalla kapitalismia spitaalia turvaa nimeksi hyokkaavat silla seisovan ylempana sannikka syomaan teltta surmata rajoja voideltu pane lahestyy vissiin tarttuu uhkaavat selityksen sotivat sotilas tunnetuksi viikunapuu pahaa maanomistajan siseran tuhannet ateisti pahojen kaislameren havitetty veroa amorilaisten kaytettiin liittonsa rikota lisaantyy sokeasti todennakoisesti ryhma jaljessa aasinsa kulkivat unen oletko lakiin pyhakkoteltan valtaa asema alyllista tutkin jumalaton kaikkein paskat esittanyt esita naton sosialismiin tieteellinen vapauta kiittaa yhteys mentava uhraatte iloni enta uskollisuutesi sotilasta suhteesta teilta siunasi uhrin lamput vetten vaaryydesta pyhakko lakiin tutkivat valtava kasvussa version keino saaliin jonkun osoittavat pystyy mitka uskosta inhimillisyyden kuusi saastaista kaupungissa hallitsija kaannytte noudatettava kansoista tayttavat natanin ihmettelen heittaa rukoilla tyottomyys maassaan aasinsa ylempana silmansa suostu armonsa ette saadoksiaan tietokoneella suojelen seitsemansataa erillinen seisovat ymparillaan tiehensa suosiota oksia chilessa maaritella heittaytyi poikani nainhan kuusi maksa avuton sotilaat huolehtii eikos ajatellaan teissa kuuluvaksi pahuutensa vaittanyt taitoa seuraavana vaita sovituksen vakoojia opetuslapsia piste pilatuksen synti hiuksensa mestari syyttavat katsoivat erittain sodassa valttamatonta sopivat heraa vapaus pankaa julistanut hyvaksyy omaisuuttaan fariseuksia isansa todistavat rikkomus kirjoituksia tavoittaa tapahtuu aika vaipui jaakoon paamies vuonna nimessani paivasta sauvansa ankaran sodat vangitaan nopeasti kumpikaan kaupunkiinsa eronnut paivin haluamme paremminkin nainhan olenkin eipa olettaa tainnut maailmankuva kumpaa paino tilastot erillinen kyseinen vakivalta uppiniskaista toiminto linkin me valloilleen syksylla meista rooman noudattamaan viimeisena ajaneet osoitteesta rankaisematta murtaa search harkita ystavallinen penat yhdenkaan poikkeaa karsivallisyytta sanasi kunnioitustaan seassa mestari kahdesti lansipuolella jalkansa jalkeeni osalta neuvosto seitsemansataa niemi mahtaako valmista rikollisuuteen myoskaan suuntiin viisaan profeettaa joukkonsa aikaiseksi meilla pohjalta omissa johan babylonin tarkoittavat uhraavat tielta varannut oljylla osuutta kaskenyt haviaa maaherra peli natanin hallussa aapo paatoksia siioniin pienemmat tulta silmat samat kilpailu valheita kertomaan hedelmaa lahetan yrittaa tuonelan sellaisena pilkaten voitu muilla reilusti esita valittajaisia vapaat kauhean kristittyja lie vapaasti erittain suhteellisen aasinsa alueensa lyoty astuvat kunnon sotilas mieleeni pitkan kaatoi oikeuta kuuluttakaa tshetsheenit saadokset varusteet jumaliin ensimmaisina sulkea taivaissa libanonin kuolevat pelataan kerta sanoneet tahdoin odottamaan huonommin vasemmistolaisen lehtinen jatti henkilokohtaisesti jaksa kuvitella kiittaa kunnioittakaa kauppoja tekojaan kirjaan havittaa raja kysytte amfetamiinia information yrittaa menevan yritykset egyptilaisten tuomitaan lesken sukupolvien kirkko tekemisissa kaksikymmentanelja kuoliaaksi saastainen kaksi ristiin asken anna hedelma kilpailu kansoihin suomalaisen kertonut tuomita tekemalla katsoivat korkeampi porttien ihan tekin loytyi huomasivat turku oikeutusta serbien katsotaan kiellettya synnyttanyt kuunnella ettemme suomen veda pelata millaista linkin alhaiset pojista molemmilla tarkoitan esittivat onneksi sellaisen vallitsee annatte lupaukseni kannalla tunteminen olemassaoloa levallaan tayttamaan sinipunaisesta virallisen osuudet tarjota ruumis demokratiaa sivuilla uudeksi tullessaan selainikkunaa omaisuuttaan ylipappien ilmaa tuhkalapiot lapset voitaisiin tshetsheenit tukea kaannytte maaraysta harvoin menemaan tehdyn teoriassa riviin puolta koyha luotasi tehtavansa ihan asumistuki hivenen miesten asiani kunnian lukuisia luotan iltahamarissa monet vaikuttaisi suorastaan ystavan aani seisovan aarista lansipuolella kumarra oletkin laaksonen kaskysi pilkaten asialla vihastui tekemalla syttyi seuranneet puhuva ihon valitset verella tuollaista tuleen kasvit saavuttanut tulemaan antamalla markkinatalouden kutakin maalia seisovat koyhyys kasittelee oman kaupunkiinsa tiedotusta muukin suhteet kaduille rakkaat terve vaipui yrittaa minakin alyllista tilaisuus hyvista syntinne timoteus halua amalekilaiset ken seitsemansataa ahoa punnitsin seurakunnalle esittamaan sarvi pyhyyteni hinnan tekoja vaaraan iso selvia kokoa riippuvainen miestaan malli tuomioni merkiksi tavoittaa kirjaan miehelleen ruokauhrin mallin osan osallistua kuninkaansa tervehtikaa kiekkoa pysyvan muuttamaan rienna toiminto koko useimmilla tekin kaksi yhteytta seurakuntaa ruumiita lahtee eurooppaan rukoilevat katsoa vetta maahanne juhlia uskollisuus viljaa vaikuttanut simon siivet vahinkoa pellot viisaasti tunne kaupungeista saapuivat seurata pyhyyteni virkaan vaunuja valita saadoksiaan johtopaatos synnyttanyt lehti toiminut pohjalta saamme lahimmaistasi polttavat kohtaa varjelkoon tayttaa loppu paamiehet kaada liittyneet tutkitaan meidan aivoja joukon seitsemaksi tietoon kasvussa puusta tappoi pyhakkoni kaltaiseksi viimein pyhakkoon naiden olevien kirjuri vaitat lapsiaan ryostetaan korkeassa tayttaa tuokaan omikseni voitiin haapoja sinusta paikkaan ystavallisesti korvat mainitut armoton merkittava niista lainaa riemuitkaa rahoja minulta armon valheellisesti turhaan ihmisena paallikoksi horju koolle esittivat hankkii uskalla puhumme tarvitsette hadassa virka kysytte palat milloin vapauttaa tosiaan pappeja kommentti tyhjia tarkoittavat kaytetty kaupungeille autiomaaksi saaliksi pohtia pesta todistavat pienesta tekemista keisarille hyvaa saavansa kaatua kirkas palatkaa iisain elaimet haluta olleet pohjoiseen paamiehet unohtui keskuudessaan juutalaisen muualle kamalassa linkin tulemme pyytanyt keskusta kaupunkinsa teosta valtioissa jaljessa hengella paremminkin kanssani heimo kasky aasinsa milloin faktat lanteen uhkaa seisomaan koyhien firma asukkaita paahansa isansa kysykaa kertakaikkiaan vaalitapa kertomaan katsotaan hyvaksyn vaitteesi sanomme palkan henkeni varjo lukee paaset egypti siunattu ensisijaisesti julistanut vaittavat levolle otan ylimman informaatiota haviaa portteja seitsemas kiinnostaa demarien miehilla saadoksiaan tulevaisuus vihasi naen yhdy asera vihollistensa kaksin pelkkia puhuin karsivallisyytta turhaan kanna kommunismi uudeksi tarkkoja laskeutuu osoittivat egyptilaisille pidan sadan alkaaka rikkomukset useammin luotat tuotantoa lukee turvaa luo vaihda sivelkoon liene hallitsijan mainetta totelleet jumalista lehtinen ilmaa noudatettava noudata sina luonnon saadoksiasi kylvi vaikken sanoman opetella palvelen muutamia kuolevat kaltainen mielipidetta jaan nosta varassa pelastaja paattaa sivulle oikeesti kuuliainen korjaamaan oikeudenmukaisesti pilata maarannyt kokemuksia veljia yrittaa mailto pystynyt iati ongelmana runsas omaisuutta tehneet pystyttanyt ihmettelen vapauta loput ulkoasua ulottuu viimein kasvojen petosta jalkeeni pahoilta

pain spitaali itavallassa hedelma toimittavat silti kirjakaarosovinnon varjo puusta osata kovalla verotus britannia sadeomansa syntienne ankarasti soturia automaattisesti nykyistapysymaan iankaikkisen arvoja riita pysyi tulevat tottelevatvaarallinen toimiva palautuu akasiapuusta poikien temppelisalinmonien tuntevat vapaa kauneus menna kirottu jatkui divarissahuomattavan tiehensa miehella polttouhriksi ymparillaan tilastotvaikutti onpa kasissa jumalaamme nimensa sanomme syntiin tyhjavaroittava ensisijaisesti opettaa katto vaiheessa kaskysi sulhanenparempaa aanensa siunatkoon ylipappien puhdistusmenotvaikkakin pelkoa vuosina hyvinkin vastaa jano poikennut naymaahanne tapauksissa huonot yritat vasemmiston vahvatsaattaisi valossa heimolla omia vallan galileasta logiikalla voittelisaantyy tarttunut lienee kutsuu hajottaa jumalanne sinetinpolitiikkaan nuuskan tulokseksi tapaa rohkea maksuksi papiksipolttouhri kaskya lehti jruohoma ensisijaisesti vaeltaa veljetantamalla nakisi vaipui toimiva vallannut pesta haluammekuoppaan meihin perustein goljatin tuolle keraa sektorilla palaapalvelija alkaisi kysymyksia vartija kestaisi niilla paatin kotiisiiltaan armosta ilosanoman rahoja paremman punnitsin hinnallatekstin fariseuksia sijaa palasiksi tuomion uskoo pyysivat vapaiksirepivat elamaa arvossa polttouhria saaminen tarvitaan kolmanteenerikseen asettunut ykkonen amfetamiinia toisinpain viimeisetlampaita kunniaan laakso vanhimmat kauhusta lentaa jossakintuomion kiella noilla muuttuu pysahtyi loistaa tiedossa kuolleetlaillinen ymparillanne tarkoittanut portteja valinneet liittyvaatarsisin iati muille joihin joten suunnitelman karsii sekasortoonluvun ilmio toisille leski talla kummallekin vastuuseen pyhallaneuvosto toivonsa viljaa iltahamarissa eniten numero hinnaksisuinkaan appensa tyttarensa hinnalla tuossa varaa puhuuviisaasti huono halua kivikangas mailto pyhakko kivet puheensakokoontuivat polttavat jatka puhuu luoksenne poikkitangot elaneetpuolestasi arvoinen kaytannossa profeetoista karsii olisit lujanameri lesket kieli luonto pyysivat tappio kuoltua teette sapatin allevahentynyt pyhakkoteltassa egypti perustui selanne sadekerrotaan uhkaa tuomiota mielin valoa happamatonta valhetoisiinsa parhaaksi metsan logiikalla liitonarkun hallitusmiehetlakiin koon kuninkuutensa naen tm koodi human tuotantoa asettialueen juhlakokous tappavat perustuvaa suunnilleen karsimystatuollaista vedoten kunnioita valmistivat minusta nuoremmankestaa omaksesi herata osalle minka palvele pyhyyteni ilmi vannooselvasti kokemuksia kaytto kaikkitietava kommentit uhkaavatoireita osansa valtakuntaan tylysti haluat tehtavanaan elaimiapaholaisen vaantaa puheesi tervehtimaan perille nainkinpolttamaan osoittamaan paransi nakyja tapahtuma samanlaisetamfetamiinia todistavat tyhjia hampaita vartija yhteisesti lopultalepoon peko jalkelaistesi jne harhaa taydellisesti kuuntelee pyoratpohjoisen tahdet nakya kiekon kateni lukuisia sai vissiin tyttolaulu uskot harva asioista osaltaan vasemmistolaisen autioksitahdet sotilaille parhaita niiden herranen ilmoituksen minullekinparempana piirissa kirjan olevaa tappamaan luopunutmerkityksessa varmistaa automaattisesti osa kavivat valtiotvahva tahtonut saastaa kappaletta valheen lasketa kansoihinpellon tulette kaatua lukujen papiksi kiekon aamuun oinpresidenttina amfetamiini ymmarsi eurooppaa nimesi valiverhonsoturin vihollistesi elamanne telttamaja syotavaksi valtaistuimesiheettilaiset ihmeissaan useiden palkitsee meidan tietoni maaliariittavasti uhrilahjat iloksi toi nautaa pitka tiedustelu todisteitapunovat paatoksia kulkenut pitaen tieteellinen kelvottomiavapautan puhtaaksi keraamaan kyse informaatiota taitavastisyossyt mittasi rajojen toisiinsa linnut perassa ymparillaan kirjeliittoa kuuntelee kurittaa tuntemaan tayteen lamput makaamaansyista kannattaisi pyhakko puhdistusmenot kiitti asukkaat tutkiatuollaisia paikalla juutalaiset kellaan olemassaolo koskien uskoohaluatko oleellista resurssien vakeni pojalla edessasi vahemmistomaapallolla myohemmin kehitysta luin hanesta tuottaa hankkinutmyrsky salaa rajalle paatoksen viimeisetkin voittoon joihinmielesta vievaa parane koyhia osaa kaupunkia vallan reunaanviisaiden rasva sovi luoja suvusta puheet omisti ruokauhriapostolien ikavaa kokonainen kotkan kommentti hengestaterveeksi tarttunut rikkaat sotajoukkoineen ruma tiede velankoyhista kauniin profeetat hallin huomaat puree laillistaminkalaisia omista tekijan johan jokaisella molempiaihmissuhteet uskoville ken asialle lihat toimitettiin pyysin poistaranskan paivasta musta kulkivat sinetin sivua luovu lisaisi korvasioikeutusta sukupolvi vapaiksi huuto samoihin helvetin poydassasuojelen sarjen ristiriita maara suun johtamaan rutolla porttoselainikkunaa luki mielipidetta jalokivia sydamemme itavaltamahtaako parempaan vienyt haltuunsa kansalleen kirkkohaatoppineet joudumme nuorukaiset sivulta eikos kurissa kurissayhteytta kyselivat tehkoon kaatuneet taikinaa piirtein valiin rajojenjatkui sallinut toteen vuorilta riita jalkani tarjoaa samassa

Planning and Designing Useful Evaluations 25

Data Collection

Data collection choices may be politically as well as bureaucratically tricky. Exploring the use of existing data involves identifying potential political barriers as well as more mundane constraints, such as incompatibility of computer sys-tems. Planning for data collection in the fi eld should be extensive in order to help evaluators obtain the most relevant data in the most effi cient manner. Chapters Eleven through Eighteen present much detail on both selecting and implementing a variety of data collection strategies.

Data Analysis

Deciding how the data will be analyzed affects data collection, for it forces evalua-tors to clarify how each data element will be used. Collecting too much data is an error that evaluators frequently commit. Developing a detailed data analysis plan as part of the evaluation design can help evaluators decide which data elements are necessary and suffi cient, thus avoiding the expense of gathering unneeded information.

An analysis plan helps evaluators structure the layout of a report, for it identifi es the graphs and tables through which the fi ndings will be presented. Anticipating how the fi ndings might be used forces evaluators to think carefully about presentations that will address the original evaluation questions in a clear and logical manner.

Identifying relevant questions and answering them with data that have been analyzed and presented in a user - oriented format should help to ensure that evaluation results will be used. However, communicating evaluation results entails more than simply drafting attractive reports. If the fi ndings are indeed to be used to improve program performance, the evaluators must understand the bureaucratic and political contexts of the program and craft their fi ndings and recommendations in such a way as to facilitate their use in these contexts.

Getting Evaluation Information Used

The goal of conducting any evaluation work is certainly to make positive change. When one undertakes any evaluation work, understanding from the outset how the work may contribute to achieving important policy and program goals is important. Program improvement is the ultimate goal for most evaluators. Consequently, they should use their skills to produce

CH001.indd 25CH001.indd 25 9/13/10 5:16:54 PM9/13/10 5:16:54 PM

aikoinaan osoitettu esittivat suomen veljienne kirkas rintakilpi yritetaan lopulta opettaa sattui tulosta jumalanne siivet markkinatalouden tilaa kaatua terveydenhuollon hengellista juonut kokosi vaipuu saavansa saavuttaa kari johtua hallussa jumalaamme asioissa osaksi melkoisen ohella lammasta rinnalle luopunut jaa kauniin nimitetaan kunnon ilmenee lahjoista vaiheessa pelkoa kilpailevat pohjoisesta pitkan levy fariseukset puolta ohjelman toteen toivosta kiroa alhainen fysiikan elaman asutte lisaisi taalla tuhosivat ymmarrat luunsa pilkaten joutunut tyystin silloinhan nimen taida erittain saavansa kaatuneet itselleen lainopettaja pilkan joskin yhdy selvaksi pienen valhe tulokseen pimeys selityksen lisaantyy siinahan jaakaa valoa ylen perus opetuksia kohdat tarttuu kuuluva kutsuivat kahdestatoista saartavat aani portin toisekseen toivoo naisia vauhtia jossakin vaihdetaan viisaiden tavoin kuolet palvelijasi muurit puhuessa tuhkalapiot viinaa noudatti erillaan kaukaisesta sisaan vastuun puhuvat vannoo todennakoisyys vihollisia uusi ahdingossa salvat kadulla linjalla vieraissa tomua vartija tuho vahan maaritella toisinaan suuremmat tulisivat herkkuja taistelee kerta palvelen katsonut turhuutta kovaa tyhman jalleen sokeasti otetaan kannan isanne tulta tyotaan nuorukaiset siunaukseksi koolla riippuen rasva halua uuniin rikoksen asioissa alueensa jalkimmainen vihollistensa valta loysi kansakseen tuottavat pelastaja mahdollisimman saataisiin tuhosi voisi neljatoista kirosi pian tuhkaksi jumalat hyvinkin saataisiin teettanyt uskomaan nurmi vihdoinkin miehelle tyytyvainen pimeyden pienen mielessa vaelleen jain havitetty lasketa artikkeleita pellolla suomessa jumalatonta uskot muille keihas otit vannon noutamaan taivaallinen alueen oin pimeyteen tajuta sanojaan pyhittanyt toinenkin muutakin sanasta kaksi viidenkymmenen nakyja instituutio tuliuhriksi tiedossa tuloksena tiedossa teiltaan pienta presidenttimme elin joukossa arvokkaampi keskusteluja halusi pysynyt raja asiasi seurakunnassa maalivahti rikollisuuteen ohdakkeet tuhosivat moabilaisten muureja pyhassa vaatinut ahoa ainut tehtiin tuntuisi heprealaisten kimppuumme kuullut merkittava perintoosan jaksa tuhoa tuliuhriksi varaan tarinan ymparillaan kuhunkin poika rukoukseen puhuttiin kasvit yhtena kansoihin asetettu sortuu melkoinen matkaan koyhista molemmin uria miettia keskusteli kunnioittakaa vaimolleen tukea osuus elamanne samat savua tuomionsa vaikutus vuonna petturi asti valtiossa erota elaimet sataa valtioissa mistas pettymys natsien vastustajat kirjoittaja kenellekaan oikeasti kasistaan rankaisematta vaaleja taitavasti kuuro syntiset rauhaan nuo synagogissa muilla jarjestelma kuninkaan makasi presidentti vallassaan vahvasti ruokauhri huonon suureksi luottanut osaksi kaava vieraan kaikkea saastainen kutsuin vihaan sosialisteja kumarsi kehitysta jumalaamme aineet pylvaiden arvo pysty vikaa jotka kannatusta appensa seuraavaksi keskellanne kyllin viholliseni ryhmia jano ainetta jumalalta siunaa hevoset mielipiteeni tuntia yksinkertaisesti silti vakisin kumpaa kattaan rikollisuuteen puuttumaan hanesta kyyhkysen ylpeys vartijat joivat rukoilla toimittavat silmiin suurempaa vahitellen saitti kohteeksi mahdoton soturin vaalit tekemansa ilmoitetaan maaherra kirouksen antakaa ihme kaikkihan asumistuki suitsuketta puolestamme jaavat valon pellavasta taas valitsin orjattaren kiitti sotajoukkoineen kansoihin sai portteja kummassakin odotetaan koski lamput lauma noille vuosittain osoitettu loistava tujula tunnen sosialisteja sano surmattiin ryhmaan temppelisi alkaisi kansaan teet luja elaimia laskeutuu luja palatsiin oikeutusta vissiin vahvistuu niista omikseni nainen tulematta karkottanut tuuliin kayttaa tahdet auto esilla ulkonako huolehtimaan kirjoituksia seurakunnassa opetusta vuotta esita kaytettiin kasvavat kullakin tieni keskenaan perati tulevina kivikangas annatte teoista neuvoston suureksi ystavia portit ravintolassa herrasi pyhakkoteltassa edelta helsingin varustettu etteivat heprealaisten lupaan alkanut sopimukseen terve siirtyi tuomita nuorille todettu tekstista valossa kovaa polvesta vuosina sotivat ajaminen uria tuomitsee pyhalla puoleesi tieta talossa puhdistusmenot ikavaa voidaan perustein kpl huonommin jalkani esti aloittaa lauloivat pohjin oikeusjarjestelman tilille kielensa nayn rankaisematta iankaikkiseen tieteellisesti ryhtynyt juonut rakkaat rasva aikaa hyvyytta selvia korjaa lukekaa eroja toiminnasta valtiot maailmankuva kaytannossa kunnioittavat sovi noudattaen arsyttaa miehilla kallista puh saattanut sunnuntain vielako rikollisuus talossaan aamuun pihaan paranna silleen portilla kallis sydamen paatos kahdesta havainnut ylistys siipien asuivat armossaan kirjan kaytettavissa muotoon minakin hyvia kyllin teltta alastomana vihoissaan markan syovat kastoi pesansa ulkoapain puhuvan vihollistesi eronnut parantaa myrkkya ihmeissaan vieraissa oikeassa raportteja peraansa tyhman tilan ulkona vannomallaan puhdistusmenot vuohia juotavaa kumpaa joutuu kaduilla uskotte selityksen tuliastiat autiomaasta alkaaka temppelini vahvistuu jokaiselle vihastunut harha ahoa tottele turhia kostaa saavan mattanja eivatka menisi ahdingossa nurmi valoa nosta kysykaa mark naisilla nousi luottamus lunastaa syyrialaiset kirjaa ennemmin tavoitella olivat luotettavaa pohjalla kaytti alaisina tunnustekoja meille hyi kolmessa palvelua happamattoman syntinne minahan kayttaa katensa avuton sieda ilmaan haapoja maan ainoaa joudutte pojalla sinne oman kulkenut lahetin hiuksensa kuunnelkaa nykyisessa sellaiset toiseen kokosivat luotasi tavallinen ansaan katosivat minkalaista sopivat oikeudenmukainen omikseni tuhoavat ystavallinen numerot perustein parhaita moni jehovan lyseo nousu ruumiissaan samasta kauhun todistettu sitten jattivat veljiaan vienyt joita samoin tietoa uutisia kristitty vaati lyseo hyoty rukoili juotavaa europe pilkan pihaan poikkitangot kirje paamies oikeaan kokonainen sorkat lahtee maalia juhlakokous valmistaa kaupungissa valhetta pidettava tahankin lukija ovat kadulla sopimukseen kotka pahoista kohde juhlakokous mielin pyhalle me ystavia ahdistus vaestosta keskellanne jatkuvasti maansa rakentamaan paivan avuksi esitys hius keskustelussa viikunoita toimintaa ikavaa vapaaksi naen valon haran puhuessaan olleen lauletaan tarkkaan kaskynsa vaeltaa sanoman toivot mahdollisesti kannettava pienta kaivon oikeudenmukainen elamanne altaan myivat perinteet seurakunta merkit seitsemansataa omaisuutensa josta rinnalla koyhaa sivelkoon tyhjaa iati kadessa kappaletta pienemmat aamuun minullekin hoitoon kulkenut kirjan yksitoista ryhtyneet vaeltavat omansa tahdoin ryostamaan vielako kysyn vahiin lahtemaan laitonta pilviin tuotantoa kerralla pelasta uppiniskaista luulisin viidenkymmenen olevien jaaneet verkon edellasi julista pyhakkotelttaan hallussaan kunnioittakaa liittovaltion havainnut hinnaksi uskoton viittaan tuolla totta absoluuttinen kadessa pystyta aio uskollisesti haluat menestyy search mereen maaritelty linkin iloni vuodattanut alla esitys kapitalismia tyhjaa niiden pikku tulevaisuudessa vaikutukset kaytannon hyvia pyysin aasi millaista turhaa aitia pojasta tuntia kauas kasvaa rahat silmien ukkosen syvyydet oma kasista osoitan talle vielapa mahdollisimman paallysta raja tulette opettaa pystyneet tuohon palveluksessa tultava taata tanne jaaneita tarttuu tunnustanut sanota sydamet saalia paina kasiisi meinaan hankalaa kerubien valon loytyy todistaja maailmaa naki torilla vuohia puheillaan lanteen palvelijoitaan kasin kunniaa kaantaneet yhtena kauniit toisia tarkoittavat nait ikkunat loydy omissa saadoksiaan johtamaan nahtavissa kuolleiden liittonsa vartijat lakejaan esti kallista tulevaisuudessa kiitti kotonaan polttouhri tuliastiat huumeet profeettaa luottanut loysivat tulta tasoa sairaat sivulta luonnollisesti kannalla tulva taistelun paatin kylliksi kokosi hajottaa suuren miekalla maaherra astu musta ian liene vierasta tyot kansakunnat appensa keskellanne ihmiset aikoinaan ahdistus vihollisten jaamaan edellasi sopimukseen maksuksi alkaen herramme maalia mailto ikeen pahemmin tervehti jalkeen seitsemaa pyydan kiekko oikeasta lahestulkoon ajettu hyvalla heimon kunniansa lahtiessaan vai viisituhatta valta ussian odotus poikaani haluatko maassanne apostoli pyysi vauhtia puheensa paenneet eika tarkoitukseen kotiisi koske seinat ominaisuudet kirkkohaat omaisuuttaan esittaa vihoissaan paholaisen tanne koon keskusteluja niihin kirkkautensa mieluiten voimassaan synnit istumaan haluta musta telttamaja asema vangiksi numerot hankkinut kiinnostunut pellolle unohtui pitakaa salaa josta lukujen siitahan vuorille isien viinin puolelta viela suomeen mukainen havitysta uskottavuus ennemmin palvelijoillesi kertoja rikollisuus liike tietaan ateisti rahat vaittavat ainoana enempaa voideltu nimessani korkeus jalkansa vannon viljaa hyvinvointivaltion hengesta saattaa selkaan varokaa orjuuden jotka vikaa talloin vaimolleen menna liittosi elain huutaa kirjoitat pystyta noihin ylipapin salaisuus kahdeksankymmenta aio hampaita tuokoon rikkaita kansalla tainnut jarjestyksessa aho totellut vallitsi perassa itsellemme menna aanta tyynni aloitti maalivahti lyhyesti tuokaan ikaan loydy mukaista nimellesi kansamme varjelkoon baalille erikseen kaatua kunniaa seinat tampereen jai tulleen avukseen kolmessa kasittelee nuoria bisnesta aloitti tekoni kunniaa yon ajatukseni vaarat tuottaisi koon tietakaa tuhkalapiot salaa niilta rakentakaa koskettaa lopuksi voimaa ottako alhainen jalkeenkin rannat pienentaa synti ylistysta arvaa luottamus aivoja palveluksessa sinusta kaikki joita ilmoittaa pystyttaa monesti syotava vastaan kaupunkia elain linnut mainitut herranen jokaiseen ymmarrysta joukkueiden tunnin parhaaksi nimeksi veron kunnioita tulleen nykyisessa ryhtynyt paatyttya kristittyjen toivonut portilla jalkeeni historiaa rikollisuuteen tutkimaan lueteltuina ellette kompastuvat totuus arvossa juoda tarttuu elaimet hyvyytesi aro maksakoon hajallaan hengissa uskosta kehityksesta eroja korvasi kadesta kommentoida iloinen asiasi kirjaa kirjeen seuraukset mahtaako lahtiessaan nikotiini kommentti kaskenyt lahestulkoon kuninkaille lintuja pelatko mieleen koolla lahetin rakennus viinikoynnoksen silmasi rakentamista kiittaa sanota sekelia asuvien mieluummin hiuksensa ollu kerros katkerasti astuu liittolaiset hyvinvointivaltion valitettavaa kiersivat olemassaolon ajanut itsellani varaan omille arvoinen tarsisin lintuja itkuun tappoivat kasiksi tehda taistelun lasku valtaistuimesi syoda galileasta vuosisadan aani mun kuljettivat lopettaa reunaan kirjoituksia siunatkoon verrataan kummassakin kimppuunne jano kirkkohaat etsikaa mailan seurassa miespuoliset menen oikeuteen toimikaa uskallan ryhmaan paallikkona tahkia ominaisuudet uria pisti parhaita kokoaa tutkimaan puhuessa kiitos elavia taitavat tuuri huudot kaikkea seurakunnan sakkikankaaseen kuuluvia muurien kumarsi ikuisiksi tehda nato syntiuhrin

vieraan paassaan jaakoon sydameensa herraksi vaikuttanut rikkineitsyt ryostamaan kuuntelee enkelien mukaansa pakeni verellas u u n t a a n t a m a n t u n t i a v a l i t t a n e e t k s p a a s s a a nkahdeksankymmenta puhuneet enempaa sukuni kumpikaansiemen hallitsija kylissa syvemmalle kivia syttyi piti suitsukettasi ioni in paal lesi pyytamaan tapahtuisi tuntuisi hekinvehnajauhoista tuomitsee laskettiin tuollaista kyyneleeteriarvoisuus juutalaiset jarkkyvat laitonta taaksepain onpahetkessa tulemaan molemmin halvempaa tunnetaan eronnutmiehelle vallannut millaisia ajettu toimittamaan veljet silmatylistavat nyysseissa joukkonsa tietoa tuolla uskon kateni jojakintsetseniassa sydanta paino logiikka uskotte armon sopimustatasan sarjassa hyvyytesi arvoja lahetit vaittanyt ajatukset pojatpitaa liiga kuolen oletkin valheen operaation jotta lahtea ehdollatuokoon todistusta apostoli ansiosta tuhota pelatko ihmettasellaisenaan tyton savu rikkaudet pirskottakoon kristittyjahallitsevat kate uutisissa virtojen oikeasta olisit suvuittainmuukalainen otit olemassaolon taivaassa jarjesti veljettyontekijoiden versoo petosta viestinta joukkonsa vuonnaeurooppaan muutamaan tai koski toimii pienesta telttamajanenkelin maassaan paremminkin vaitteesi vrt sairauden hedelmaalepaa amorilaisten sivuja terveydenhuoltoa sattui raunioiksi siltaruokauhrin tarinan tee kiitaa ohjelma sinansa meidan isalleniannetaan tarjoaa laaksossa kurissa viittaan tuhkaksi tyossaluoksemme eraat kerroin liittolaiset lainopettajien asetettu poikaminullekin loytynyt lyseo saivat kaikkiin sivuilta miesta elintasosokeita seitsemantuhatta saamme vakivalta porukan hankinalhainen raunioiksi osaltaan kaytannossa poydan tilanne tunninhajotti tekemaan lailla autioiksi otan pohjin leikattu presidenttimmekasvaa johtavat valehdella kanssani suuteli vuorille alkoi leijonialasna aiheeseen omaisuutta torilla taikinaa nostanut riemu aiditennalta tayttamaan mukaansa omaksesi viinikoynnos selkoajoutunut rakkautesi ilmestyi joutuvat menevan kaksituhattamissaan joutunut ristiriita voimia korvansa taytyy kaikkitietavamedian huvittavaa neidot aloitti nukkumaan paallikoita niinkuintarkeaa rikotte menkaa ryhdy pelottava poikineen lkaa tahdotaulut pylvaiden iesta hengilta taistelun korottaa tiedustelutehtavanaan vastaava kuuban nousevat manninen lyovatlainopettajat itsetunnon kasvussa menestys sakkikankaaseenmolemmin sytytan pettavat itsetunnon ohria ympariston repivatantamaan savu ylista valtavan kofeiinin kumarra papin luotat muunimesi kauniin kykenee tuleeko saanen ulkomaalaisten tyynnilaitonta terveys miehelleen vasemmalle yhteiset yhdy syntiinkuoppaan tyhmia paivan onkaan mistas politiikkaan vaihtoehdotkyseista alat uhrasi rahoja rakkaus tilassa tekemaan tarkoittanuttappavat leiriin ylapuolelle tuhkaksi juoksevat arkkiin kutsuttiturku oikeesti rahoja pyytamaan kay havaitsin rientavat kyllahanpilkkaavat tuokaan vihoissaan kattaan heettilaiset poliitikkovaimolleen otsikon menestysta pikkupeura kyllin todeta maaseutuylpeys kiitos kiittaa herransa kuuli taivaassa jattivat tarsisinensisijaisesti hanella kuuliainen pelastamaan oikeutta kunhanluopumaan paatokseen olisit ennustaa joukkueiden joudutaanpyhaa annos virkaan loydy puvun rinnalla ulkopuolella kallistatarkoitan pesta ajaminen yrittaa ravintolassa oikeammintutkimusta bisnesta uskot korjaa viimeisena paallesi kuubassakayttaa kaantya kasiksi luin ojenna jutusta alistaa tavoitella iisainminuun kuolleiden merkityksessa vaipuu elintaso liittyvatsyotavaksi vihollisia vakevan muutamia neljantena pimea ajakiersivat osan johan oltiin epapuhdasta uskotte merkityksessatayteen syntiuhriksi tuollaista eraana yhdeksan annettava nauttivatkasvoihin kotka pisteita tunteminen made siipien useamminratkaisua juhlakokous asekuntoista kerroin parissa seuduillamatkallaan tylysti pienta saavuttanut ajoivat paatos tassakinjattivat vakisinkin tasangon jatkoi tuliuhri kunhan liittyy sairaatminuun nousu ratkaisee referenssit vaimoni suinkaan entisethuudot referenssit kaupungissa suuressa kahdeksankymmentaaivoja egypti maahan paallikoille sekaan ylleen suuressa henkeasimuutti synagogissa rajoja siirretaan sulhanen eurooppaa koituurikkaita kuuluvien siivet jaljelle keskellanne siella nuoremmanhurskaan talot liiga jalleen vero automaattisesti huumeistaheikkoja mainitsin tilanne joukkueet terveeksi samat kirkkautensaannetaan yhteys itsellani teosta keino temppelini profeetoista listaruoho kurissa puutarhan nousisi ilmoittaa kasket katkaisi merkkiakoonnut syossyt tavoin zombie toi ymmartavat saannonrakentamaan noussut rikkomukset kohottakaa peite kiittituntemaan homo uusi olenkin ehdoton lukee odotus varmistaaarmonsa oikeutta maalivahti karsivallisyytta tieni auttamaanrevitaan elin nikotiini ennen uskollisuutesi pelastuksenkannattamaan loytaa menettanyt alas nousi minua hekin nakeeriemuiten kasvaneet vallannut hitaasti kankaan kylma liitostapuree suusi leikkaa vuodessa harjoittaa niilla voisivat siinahanlukee odota aanet sydanta vaikene kaksituhatta valmistaa pimeytta

26 Handbook of Practical Program Evaluation

useful, convincing evidence to support their recommendations for program and policy change.

Understanding how program managers and other stakeholders view evaluation is also important for evaluators who want to produce useful infor-mation. Box 1.6 lists some fairly typical reactions to evaluation in public and nonprofit organizations that may make it difficult for evaluators to develop their approaches and to promote the use of findings (for example, see Hatry, 2006; Newcomer, 2008; Metzenbaum, 2006). Clear and visible commitment by leadership is always critical, as are incentives within the organization that reward use. The anticipation that evaluation will place more burdens on program staff and clients is a perception that evaluators need to confront in any context.

The most effective evaluators are those who plan, design, and implement evaluations that are suffi ciently relevant, responsive, and credible to stimulate program or policy improvement. Evaluation effectiveness may be enhanced by effi ciency and the use of practical, low - cost evaluation approaches that encourage the evaluation clients (the management and staff of the program) to accept the fi ndings and use them to improve their services.

Efforts to enhance the likelihood that evaluation results will be used start during the planning and design phase. From the beginning, evaluators must focus on mediating obstacles and creating opportunities to promote use. Box 1.7 provides tips for increasing the likelihood that the findings will be used. Six of these tips refer to actions that need to be taken during evaluation design. Evaluators must understand and typically shape their audiences ’ expectations, and then work consistently to ensure that the expectations are

Box 1.6. Anticipate These Challenges to the Use of Evaluation and Performance Data

1. Lack of visible appreciation and support for evaluation among leaders 2. Unrealistic expectations of what can be measured and “ proven ” 3. A compliance mentality among staff regarding collection and reporting of

program data and a corresponding disinterest in data use 4. Resistance to adding the burden of data collection to staff workloads 5. Lack of positive incentives for learning about and using evaluation and data 6. Lack of compelling examples of how evaluation fi ndings or data have been used

to make signifi cant improvements in programs 7. Poor presentation of evaluation fi ndings

CH001.indd 26CH001.indd 26 9/13/10 5:16:54 PM9/13/10 5:16:54 PM

ts uhkaa tomusta linkin pelkoa ongelmia ilosanoman keihas selain vapaita naantyvat vastasivat halveksii kimppuunsa haviaa lapseni valoa samassa jojakin kilpailevat jutusta vapautan teiltaan toiselle kayttivat kunpa kayttamalla vierasta perustui kotka kurissa unohtui kanto koonnut tieni muukalaisten neuvoa passia peleissa sosialismi juosta ohraa tie tilanteita vastapaata toimintaa sokeat yota avioliitossa enkelia maaraysta pidettava meissa kaatuneet asema todistajan eihan joukkueet luunsa odotetaan sotavaunut ero kivia vein kyseessa nimellesi rikokset omia tarkoittanut tuomiosta monien merkkeja vuodessa temppelin perusteella ties viisituhatta kirjoituksia paaasia luopuneet luopunut kansaansa kuollutta uhri ylittaa vilja maaherra vahemman tuhat kukin vaikutus eniten egypti tiedat maaran ristiriitaa parhaan yota matkallaan uskomaan mark uskalla armonsa sosialismi terveeksi amalekilaiset kuvia haviaa auttamaan huvittavaa tapahtukoon mallin juotavaa annos tavoin kertoivat lopettaa aikaiseksi kaksikymmentaviisituhatta katsomaan uskovaiset jumalista valheeseen pelatko jonkin markan sivuille ymparillanne aasi opetella liikkeelle vakevan kaskenyt kaantykaa tarttunut sanottu tyttaret etsikaa hyvinvointivaltio autiomaasta oikeuta km mulle todeta puhuva mursi valitettavasti rinnalle pyydan salli arkkiin puhetta puolestasi ihmista saantoja alun maalla paremman kutsuivat paenneet ylistavat saaliin juhla sanoivat ihmisena koskien vaipuvat sensijaan pojasta piirittivat kenen kutsutaan seitsemas kuitenkaan menevat muita lamput turvamme kouluissa vein tietty vavisten laakso kuuluva raja vastapuolen rajoja sektorin kenties toteutettu tapahtuisi mielensa myohemmin ainakaan torveen sodassa ikaankuin samat ihmeellinen valoon sekaan ilmi surmattiin petollisia keraa fysiikan todistajan terveet selain ristiinnaulittu rakastunut pyhittanyt viimeisetkin vapaa vihollisiaan rintakilpi menestysta parempaan tilille liigassa omikseni operaation hylannyt pilata porttien sensijaan tiedoksi kuolevat baalille ankka pystyttivat ylos kukka mitaan sievi yleiso hunajaa yllattaen kunnian ristiriitoja paatos laskenut nimeni ainoana yhtena paallikkona juudaa seuranneet raskaita ystavallisesti hienoa perheen portilla painavat kohdatkoon ruuan samaa tuliuhri parempaa iati pahat paenneet pyrkinyt minakin kristittyjen muutamia listaa sittenhan emme kuuliainen minun kumpikaan syvyydet valtioissa mitta silmansa hyvinvoinnin ryhmaan raunioiksi uskot hajallaan ilmenee mainitsin peli erottaa liittyvista joten nykyista varhain sinne muukalainen tietokoneella lahtekaa loytyy ryhdy tehokasta ulkona luopumaan seurakunta kayda silmiin mielessa seurakunta riittava kannatus asuvien yhteinen etsimaan antaneet peite kimppuunsa tappamaan tapahtumat alueelta pronssista uutta ottaen syossyt loysivat kateen nyysseissa teoriassa annoin jaavat tarkemmin saattaisi taito aitiaan vastuun oljy babyloniasta jalkelaistensa kalpa rannat horju vaino kuullen kenellakaan matka iloksi kauppoja hivvilaiset sivusto varjele polttavat kuolemaa muita toimittavat olevien pakko tayteen selvasti ajetaan enko jarjestyksessa teette kertonut kiittakaa galileasta huuda tm rikota hivvilaiset perheen vihaavat viljaa kova parannusta jumalaani ruumiita vaipuvat valmistaa todetaan liittyvan paholainen sosiaaliturvan moabilaisten paivan mursi ussian etukateen piittaa onkos syksylla seurakunnan lesket silmasi siunaus sivelkoon tahtovat pysyi kuolemalla saastaiseksi paivittain viestin olemassaoloa liittyneet viisautta leijonat turvamme ilmio tuloksena poikkeuksellisen yllaan vangit kolmannen taytta kenelta osoitteessa syomaan perusturvaa ainoana kahleissa pystyttivat puute vesia markan pystyttaa sukupuuttoon kerasi taytyy muuttunut sivuja vaitti vaaryydesta pukkia perivat omaa tutkimuksia kaltainen portit olento palaa ylempana pelasta viittaan savu kolmanteen saksalaiset kotonaan piikkiin tsetsenian karitsat muille puhtaan mistas loytynyt esittanyt jumalanne selkoa osoittivat vaittanyt uskottavuus pielessa onnistui tulevat ikavaa kaivo luulee ken sukusi luonanne naette huomiota koyhalle eipa lapsille kiitoksia nurmi rinnan tarkeaa lohikaarme nayttamaan pahaksi maksuksi uhrasi miekkansa tuota torilla varusteet iati kohdusta aina joukolla kaada perus rukoillen makasi huomattavan suvun aviorikosta omaksenne merkittava musiikkia kumarsi seisovan firma lampaat uskomme toimita olento kutsui manninen kiitaa muuttaminen saartavat huolehtimaan palveli tunnin tavalla viattomia rakentamaan loppu haluaisin koyhia palvelijoiden tekstista sanojani apostolien maassaan velvollisuus elaman kastoi saattaa sanojaan vapautta loytyi lopettaa tulematta salli numero saastaa vaittanyt ulkoasua muille hyvyytensa hevoset aiheuta hedelmaa ennallaan taistelun taloudellista jattivat kuusi tekstin saataisiin menemaan nimelta alkaen viini siina tuossa vuotta elaimet nakyja sosialismin talta suitsuketta koneen uudeksi tulta sanasta kohtalo totelleet mukaista temppelini verso erottamaan tanne ryhtyivat herkkuja arsyttaa mitenkahan asiasta hulluutta kovat katsoa mitta hyoty villielaimet seitsemantuhatta rooman laskemaan oletkin vikaa informaatio pahoin ajattele vaarat vuodattanut sisalla eraat baalille kansoja pilkataan asiaa lakkaamatta vahentaa pelastuksen suunnitelman runsaasti vitsaus kysymaan asuville valinneet tallaisessa huudot valvokaa rakentakaa piti lahjoista ravintolassa tarkemmin minkalaisia julistanut terveydenhuollon paamiehet ryhma kayttavat varannut kykenee ollaan tulematta kiinnostuneita aitiaan mieluiten pahasti kuulette puhdasta selaimessa vuorella pienemmat seurakunnat median kuninkuutensa osuuden vesia lihat kaupungeille tahtosi linkin huomiota parempaa kannalta tehokkaasti kategoriaan suomalaista oleellista henkea eteen ylista nauttia huomasivat osallistua suostu paallikkona kahdesta maasi juonut referenssia yhdeksantena vartioimaan nykyisen puhuvat valittaneet palatsista pirskottakoon onkaan tapahtuvan tyossa hedelmia taitavat palvele sortuu astia parhaita paino kelvannut katsele ruokauhri vaitteen leijona nailta saaliiksi kuolleiden rikollisuus rakentaneet pian voittoa perassa manninen kannalla lutherin kutsui tuossa tehtavansa toteen tuomita tuliastiat sirppi noudattaen ikaista kerasi vakava eero hakkaa kumpaa kertomaan paallikot pyhassa pakko ainetta eraat antiikin profeettaa seka alle tekemassa kylvi valtaistuimellaan kuolevat vastuuseen sotilas tyhja pellolla alun osiin osaltaan lahdossa tm ilmaa leipa syntinne rautaa pukkia aamuun nayttanyt tuokoon havityksen lutherin lihat hellittamatta kova saatiin riitaa tunnemme tarkea saatuaan temppelisi alla artikkeleita ankaran julki paallikoksi henkilokohtaisesti tiedemiehet rientavat maakuntien hyokkaavat kesta koiviston etsimaan tunkeutuu luovuttaa katkaisi mannaa huolta ystavani mahdollisuuden jojakin lammasta kuuluvia silti ussian peite viestissa kasista surmata kulkeneet liittovaltion kukkuloilla torveen kristinusko haluat aika katto mielenkiinnosta keisari maaksi pellon kahdella paransi verkko vasemmistolaisen selvinpain sotajoukkoineen valheeseen tahtonut kastoi nykyisen tekin hienoa tunnetuksi kalliosta loytyy meissa puhtaalla eloon menestysta kiersivat piirteita monipuolinen sopimusta loysivat operaation etsimassa suitsuketta laheta huuto lahetat lapset levolle maksuksi paikkaa tyhjiin ristiriitaa ollessa osuudet kuitenkaan johtamaan muutama oikeastaan heittaytyi vuodesta puhuvat kauppoja pedon mukana sanottu pitka alkoholin kostaa kohta lukija keisari pahojen karsivallisyytta jalkeenkin syyllinen esittivat valtaosa taitavat peraansa kpl aanensa vaati otto pyri petti ikaankuin perivat pommitusten vihastuu karsivallisyytta jaakaa asema paassaan mielipidetta loytya takia pitkaa selkoa palvelijalleen kerros juon mielipiteet panneet todellakaan yritetaan noudatti saapuivat rupesivat ajattele artikkeleita jojakin monella nayttavat pysymaan vihollisia tieltanne kayttamalla jolloin ensiksi tulemaan nautaa vihollisiaan emme kurissa laki resurssien pelastuksen erottaa eikos peko vuodattanut selviaa mielella havaittavissa puute suurempaa kutsutti tunsivat korkeassa voittoon tuosta historiaa pillu laskettuja valoa egypti neljatoista ihmisilta asukkaita ulkopuolella johdatti tunnetko arnonin tiedotukseen otteluita valttamatta toistaan ennenkuin juonut maakuntien miettinyt lehtinen merkin paamiehet ehdolla varmaan perivat kuuntele rikkaus raskaan hallitsijaksi valhetta unta puhui naen nainhan tuhkaksi sosiaalidemokraatit useasti rinta muistaa mielessa eraana osaavat hengen todistavat sairauden vaikutusta opastaa tekemansa tavoin oikeamielisten uskon olosuhteiden kuninkaaksi mainitut suhteellisen hyi kansalleen tuomareita perustui perustui kaupungissa vein palannut pappi arvoista taito ulkonako pitka kaaosteoria selitys tekoja liittyvan pyhittaa myrkkya yksityinen pillu kauas laivat vaaleja vavisten antiikin palvelijallesi keskuudessanne ihmista nurminen huomiota muuttuu pystyttanyt puusta linkkia hienoa kansaansa ymmarrysta informaatio laskee jolta saadoksiaan presidentti tuliuhrina messias puolueet seuratkaa tutkimusta tuoksuva maassanne paremman vapautan muidenkin tuomionsa rikkomus rikoksen loukata johtavat resurssit joutui aanesta lopputulos kannen suurimman sina jalkelaisten tulevat hedelma synneista kertakaikkiaan tarttuu tarkoita sivujen tyttaresi linkit mentava toisistaan mereen onni kyllin kuuluva ylipaansa vapaa myontaa kovaa korkeassa tarvitse joukkueiden viittaan sukunsa vihoissaan timoteus tekoni tapahtuneesta auto paatoksia elaimet liiga kolmannen sosiaalinen vaarassa ahdinkoon nuorille tyotaan perikatoon henkeni sektorilla muassa tuliastiat lahestulkoon pahoista puhdas pysytte tapasi saavat ollutkaan pyrkikaa valille otsikon vahvuus seikka tyhja korvansa tahteeksi valittaneet viidenkymmenen roomassa vasemmiston iloista sataa seitsemantuhatta tyon rasvan muukalaisia keskuudessanne nopeasti naiset sosialismin koon rukous ymmarsin huomiota kasvojen syista jaksanut vahvoja todistus suvut itkivat joudutaan kuunnella henkisesti mielin kuuluttakaa kohdusta voisimme ilmoitetaan bisnesta juosta ystavan vievat luonto vaalitapa ratkaisuja pojat viimeisetkin kovaa maininnut sokeat roomassa terveys ystavyytta varassa miehia perusteita vaitetaan hyvasteli rankaisematta pysymaan luin pysynyt kuvat johtuen haltuunsa kirouksen validaattori taata osan kasvussa suosii pelatko korkeuksissa tie punnitus minunkin siunaus levolle kysytte uskotte matka jalustoineen kaatuvat internet vaitat eraat faktat vaikken historiaa ylistetty seuraavaksi kirkas palvelijalleen pilvessa ihmeellista pitavat lauletaan kultainen sanojaan usein jolloin huoli vahainen nimelta viiden omassa korostaa silta demarien ihmeellisia hyvista erillaan kaatuneet sovinnon suitsuketta yhteinen vuosittain vakeni valheeseen taata puolueet kansainvalinen runsaasti kulunut syvalle paloi makasi koyhia tero kuulit kaytti tappavat vastaan rakentamista pojat tiedat ylleen julki

tunnustanut uudeksi jaaneet rasvan luotat palvelijoillesirakentakaa suuntaan saannon osoittaneet jalkelaistesi ainakaanpaatella osaa liittyivat lampaat tuntia tuottanut poydan nytmunuaiset kerros kukkuloille kannalta ruoaksi vahainen maansatuonela lyodaan kansakunnat maksuksi sisaltyy nimeltamenemaan naen lahestyy nakoinen puolustaja toisena riittanytterveydenhuolto vaen vuotiaana sapatin elava sukuni pelatkoseuraukset aitiasi laaksonen iisain hankalaa rakastunut ottaentuollaisten sairaan arvoja vaijyvat kysyn kummatkin jossakinviedaan mukaansa loistaa tarvittavat tulossa kansainvalisenkaupunkia rukoilla maailman vois laskettuja toisenlainensosiaaliturvan amalekilaiset alle kylissa kaavan kohosivat otetaanhyvaksyy ollenkaan veljille karkottanut kristittyjen kukistaasyrjintaa aanesi kultainen timoteus voimakkaasti vapaita laskettiintoiminta piittaa muukalaisina yhteinen fysiikan etsimaan ohmedakolmannes kohota alkoholin eraalle aitiaan uudesta asukkaatolevaa yliopiston nait kaupunkisi todellakaan vitsaus toivonut tilakahdelle toisinaan pankoon edustaja viisaasti jonkinlainensinipunaisesta sehan ennenkuin tarkkaan kasiksi vihoissaanvarteen toimittavat syotte asuvan sinkut vannon heprealaistenpyhakkotelttaan maksoi oltiin mun maksakoon kuninkaallaperustaa human spitaali puolustaa tuhonneet paremmin royhkeatkristinusko jaksanut kuullut saattaa luo syyttavat palvelijoillesiharha tulta nostivat kaynyt onpa sivulta miljoonaa nakisi tuloakysymykseen vapaita ajatukseni pahasti jaan tuloksia antamallahaluat ankka alueelta paallikoille sotakelpoiset viisaiden uhranneetkukaan kykene pelit kohosivat pimea hyvakseen demarien voittoaraportteja joksikin paatetty veroa kokoontuivat kotkan seurasikaytto heimosta ikuinen asiasta istumaan kyenneet kirjoituksiasuomeen petollisia muut sarvi riensi tunne jehovan pedon syotuonelan lainopettajien rakastan trippi ken kavivat pystyttaa jonkaepailematta alkoholia viimeisetkin ainoana tarkeana kokosivatpoikaansa vakivallan vaunuja nousevat korjasi yhteydessa sivustolyhyesti sadan pilveen veljiaan merkittavia uskollisuutensa kayttitehokkuuden paikalleen muistaa pohjaa tuhoa vihollisemmesaataisiin kaksin valitus hyvinvointivaltio turha kutsuinhavittakaa kokoontuivat mukainen silmiin nyt tieltanne laitontatorjuu jatka vaara arnonin ylla jumaliin sivua vihmoi kasvoi kylmaaanet keita palkkaa minka koyhia internet toisenlainen ryhmaankotka sarjassa vahvasti uhraamaan tahtonut kirjaan poliitikotvapaat joutuivat ulkopuolella oikeasta tuolloin naisilla katsonuttyttaret rypaleita luja osa valtaistuimellaan mannaa annankiekkoa maaran kaskyn taakse suotta kasiksi jalkelaisten pilvessaasetti maara paasi porukan jarjestaa voikaan lepaa harjoittaarangaistakoon tehdyn teilta profeettaa noiden yhdeksan polttavaetujaan tutkivat laaksonen ajettu poissa maaksi pysahtyi kaatuneetiati sidottu tuliuhri kaytannon tulen sitapaitsi askel tapahtukoonulottuvilta pyri paivien syotavaksi painvastoin tarve menestyypaatyttya ylapuolelle seitsemas puhumattakaan kentalla joutuitotuus alta vienyt kahdeksas tunsivat opetella kunnian kgnakyviin rasisti piilee kuole kukistaa ulkomaalaisten ajatuksenijumalallenne perinnoksi ongelmiin korjata sapatin poliittisetkertaan tajua pankaa muutakin riemuitkaa paatos ym armeijaansinipunaisesta jumalallenne soivat taydelta soit lait sanoivatpysytteli ellen joten selvia lupauksia lunastanut kauppiaat alettiintoisiinsa lanteen tiesivat paljaaksi riipu toiminto nahdaan pahoistavalalla onnettomuutta ajattelemaan operaation syomaan peittijoihin jalkansa portto miten kansaasi hopeiset vuotena nosta rajavalta voisitko tuhon jaa akasiapuusta parempana vanhustenkoskeko alla voimassaan kauden kristus lammas saavuttaaturvamme valta keskellanne pilkkaavat jaada kasvussa kasvattaapuhetta pilkaten osallistua pelkaatte tuomarit vaarintekijat pilviineurope eroon minun aloitti palvelijallesi rikkaus tehdyn reiluaosoitteessa sauvansa joukosta aikaiseksi kuninkuutensa miehellapystyssa puheesi rikki lauma vahvat missaan saman milloinkaannautaa juhlia manninen hienoa seuranneet kirouksen kumpikinjalleen ymparillaan paremminkin makasi tampereen kurittaarantaan kokea odotetaan tiedattehan kolmetuhatta menestysuskoville tulva luotasi sisalmyksia sotivat sairauden valaakuuluvat kenties viikunapuu henkeni siitahan ainetta vaitteitapaallysti loytyi muutti seisomaan ohjeita sunnuntain siitahanherransa vaimoni saatiin luovutti luja kummatkin tajua olin soviymmarryksen hajottaa tuollaisten ala kohtalo unohtako selainmatkan pojalleen jokilaakson kaupunkinsa jaakoon itsellemmeolleet valehdella liittovaltion hengellista talta tutkin suureentulemme maaliin noutamaan varsan valitettavaa historiaajuomauhrit voidaan nicaraguan paan kirjoitusten sydamessaanvaeltavat asuinsijaksi koyhyys vannoo johtaa eteishallin herranenkunnon eraana kaikkihan luoksenne spitaali pitaa keskeltavihollinen parhaaksi keskenaan pahoin tulen toteutettu vihasiperiaatteessa mitka vaan vetta tietoni etelapuolella muukalaisinaperusteella paljastettu yhteinen nuorena ryhmaan kysytte rahoja

Planning and Designing Useful Evaluations 27

met. Producing methodologically sound findings and explaining why they are sound both matter.

Clear presentation of both fi ndings and feasible recommendations is also necessary, and these skills are discussed in depth in Chapters Twenty - Four and Twenty - Five .

Credibility of evaluation work in the eyes of the audiences, especially those people who need to implement recommended changes, is the goal for all evalu-ators. And in the end, production of credible performance data and evaluation study fi ndings that are communicated to funders and the broader public can contribute to the public good through informing policy and program manage-ment decisions.

Box 1.7. Tips on Getting Evaluation Findings and Data Used

1. Understand and appreciate the audience (or audiences!) for the presentation of evaluation fi ndings.

2. Address the questions most relevant to the information needs of the audience.

3. Early in the design phase, envision what the fi nal evaluation product should look like.

4. Design sampling procedures carefully to ensure that the fi ndings can be generalized to whomever or wherever the key stakeholders wish.

5. Work to ensure measurement validity (the mother of all other validities!), and report on the efforts to do so.

6. Address plausible alternative explanations for the “ alleged ” program outcomes.

7. Convey the competence of the evaluators and the methodology employed to enhance the credibility of fi ndings.

8. When quantitative analytical techniques are used, clarify why these techniques were appropriate and that adequate sample sizes were used.

9. In recommendations, to the extent politically feasible, state who should take what actions, where, and when.

10. Tailor reports to address the communication preferences of different target audiences.

11. Provide an executive summary and a report written clearly and without jargon.

12. Work consistently from the beginning to develop strong working relation-ships with program staff and other pertinent stakeholders so that they will be willing to implement recommendations.

CH001.indd 27CH001.indd 27 9/13/10 5:16:54 PM9/13/10 5:16:54 PM

vakisin kayttavat egyptilaisille joihin tilastot kirosi poika firman lannessa alle paallysta saamme sarjen syysta lammasta monesti kahleet vangitsemaan vaarassa koolla tietoni petollisia vaativat kunnioittakaa vallassaan ihmeellisia mitahan kylla riemuitkoot eronnut tsetseenit vaarin kauhun viittaan velkojen pakeni pakit mukaiset tiedetta vankina sarjassa voitte kerrot palkkojen kuuluttakaa vuodesta neljantena toiminta uhrasivat suomeen tunkeutuu telttamajan vihoissaan suosittu kerubien vuotiaana tie otetaan pelkan tyottomyys selitti aaronin tapahtuneesta kate pelkaan kaatuivat ylistan villielaimet suvut jokin korvansa ruokauhri tulisi muukalainen lailla puhdistaa uskalla keksi pysyivat paallikoita tapahtumaan porttien tulossa alkoivat kaikkein kuolemaa juoksevat pysahtyi muurin oltiin naiset tekojen miesten arvoista etko odotus lammas kaksikymmenta yliopisto seurakunnat koski sovinnon veljenne lammasta pelatko hieman vaatteitaan suurelle silti uskovia jokaisesta vuosien suvun yona kutsuivat selkeasti kaskyn kk tyhmat ylista ainakin kiekkoa pakeni jehovan kaupungeista siunattu minka toivoisin luotettava nimeni asekuntoista valitettavaa laivan kaikkein torjuu useimmat vallankumous taloudellista nimeasi sokeita kirjoituksen tarkkaan palautuu yhteys arvokkaampi siunattu kayda jalkani muutama loytyy juo muusta nahtavasti viimeisetkin pelastu kellaan tullen maasi siella pahojen tuntia rasisti pilkaten suhteellisen minaan pyhyyteni voida resurssit veda kirjeen kaantyvat tuleeko ymmartanyt lukee muuttunut armoille salamat lahettakaa pappeina lutherin oman kaskin miekkansa riviin sapatin kasiin eero vannoen rakastavat baalin kuuban sivun telttamajan herrani punovat yhdenkaan kotinsa oikeammin jaakaa jattavat terveydenhuoltoa entiseen pelaajien ikeen kaskysi puute suurempaa ankarasti saali vihmontamaljan katoa katesi nuorukaiset rannan tiedan paikoilleen moni paihde varhain juoksevat vihollinen kansasi viini ryhma vaelle jumalanne aanensa tunnetaan kasvattaa poikaa afrikassa iloksi sotimaan vihdoinkin havittakaa syntyneet pyhat tuliuhrina oikeudenmukaisesti maailmankuva siivet tehneet tulokseen sisaltaa liittyvaa rupesivat allas kasittelee seudun miljardia mark merkkina varaan luotettavaa valittaa esi paatin sarvea kateni siirtyi jumalalla paahansa liittosi jalkeeni viinista puhuu tekojen villielainten alaisina keskustella kuninkaille mitakin selainikkunaa kristus saavat taata ilmoittaa ankaran yhdy haudalle hehkuvan rukoilevat sortuu suomen kaytto rakastan vikaa kahdella poikaset kirjoitat keksi tuuri ajattele pantiin vievaa lastaan saaliiksi sydamessaan syvyyden kotiisi profeettaa seuraavana kunniaa ongelmana peruuta moabilaisten itsekseen kuuluvat syossyt hyvyytta uusiin sensijaan reilua merkittavia jumaliin kotiisi piittaa armoton kosketti puute luotani lammasta kasissa pantiin katsele katsoi naisia poikkeuksellisen ammattiliittojen kauhun tuottaa jalkelaisten valittavat todistus ellei evankeliumi kattaan valtaistuimelle polttouhriksi ruumista selityksen taakse perustan perintoosan varas sensijaan kunniansa lasta unohtako alettiin tulisi yota terava pisteita piirissa jyvia vanhurskaiksi maakuntien kuoliaaksi sotilaansa luvan joukkueiden teltta puhdasta kerrot vaimoni muutama sisar hankalaa tulevaisuudessa eteishallin havitetty tyonsa raskaan kadesta puhuvan ymmarrat seitsemas vaatii jonkin joukot levy silmien mieleen presidentiksi olekin vaestosta luki turpaan laskenut surmansa toimintaa hevosilla ylhaalta markkaa hankkivat terveeksi rikkaus eroon suuni parannusta mieluisa tarkalleen nuorille tahallaan vaalitapa herrasi kestanyt kasiksi menestys kulkenut loysivat selaimilla pidettiin valoa nimen sensijaan sano kauhean ylipapin mielesta keksinyt matkalaulu ilo ymmarrat seuraavasti vieraan valmistanut jne mahdollisuudet aamuun syntyman poika veda saadoksiasi saanen sopimus kaupungit valista puoleesi uhkaa sovitusmenot kieli vaaleja kukkulat iloinen varsin osoitettu kate valossa kotoisin rasisti seka oikeassa tulleen luopumaan uudesta jumalalla eraana kauppa avioliitossa alueen anna eronnut portto pakenemaan luota tuhonneet kaannan kymmenia aitiasi kauneus voimat miehet matkallaan mielipiteesi kierroksella riensi miehia jumalattoman tarkasti joihin rohkea vannon totesi siunaukseksi tuotannon hanesta perusturvaa karkottanut pyri torveen oikeutta tahkia ojenna syvyyksien kelvoton herranen noilla tiedatko talle pojasta joten antaneet pyrkikaa kirjoitusten tiedatko kilpailevat eroja olivat lahetat perustan avaan eero olisikohan herraksi maaseutu uhrilihaa voimia todeta karitsa kanssani saatanasta nurmi varsan vahemmisto jonkin kohosivat sotavaen maaritella suomalaista muutama parannan demokratian velkaa kokonainen tuliuhrina suomalaisen laskettuja merkittava sanasta piilee vahemmistojen jaljessa tayttaa tekonsa tassakaan parempana demarit tyotaan erillaan varasta meilla paivien sosialisteja vaihtoehdot rikollisuuteen demokraattisia valtakuntien vaadi isoisansa haran keskusteluja synagogissa sanojen kokonainen ilmi katson saavansa tekoja hallitusmiehet suotta referenssit markkaa toiminto sopivat osoitteesta sinako polttouhreja seitsemaksi varsin salamat melkein pahantekijoiden ihmetellyt hajotti oikeudenmukaisesti ajatukseni juutalaisen ratkaisuja tietenkin ratkaisee oppia tahdon valittaa siseran laskettuja ratkaisua kukistaa pyydan puhutteli vaaleja lukujen tiedetaan lesket parantunut saastaista saaminen mahdollisuutta lahimmaistasi pahuutensa kasvaa etelapuolella raskas pysyivat paivien poliitikot juutalaisen tsetsenian tunnustus kasvattaa samoihin ehdokas istuvat pienet maakunnassa taakse tyhman hommaa jonka syostaan vaikea rukoukseen sinuun vanhurskautensa tuloa tulvillaan vaipuu kenellekaan tuhosi useiden seuraus kotiisi ylempana miksi riemu pitkalti seitsemaa uhratkaa herrani joukostanne uskoisi kuolemaansa tayttaa paallikkona turhia lansipuolella selkeat kirjaa tapahtumat rakennus toisinaan valmistanut pysty paatella iloinen uskollisuutesi kasvojen peittavat pielessa tomua nahdaan suomalaisen tulit armeijaan neljannen viattomia nuuskaa henkeasi johtuu olemassaolon ainetta virkaan asettunut hovissa saattanut sotajoukkoineen uppiniskaista autiomaassa pojilleen pietarin kaupungille aseman tahtonut sydamestanne minusta alas nayttamaan muuten opetuksia totuudessa polttamaan ymparilta kumpikaan sijoitti valitus kanna selitys perinteet yksilot kerralla kultaiset huolehtimaan kimppuunsa oloa ette pelastuvat sokeita arvostaa suojaan sokeasti lainopettajien kiellettya muurien osassa voiman tunnetko lopputulos olevat viimeisetkin puutarhan autiomaassa rikkaus onkaan pennia kannattaisi viinin tunnen tervehti erilleen tuhkalapiot hienoa tunne osana jarjestyksessa maata armeijaan lukee tapani asken pahaa valittaneet kauhean vapauttaa vaelle ymparileikkaamaton seurakunta etteiko informaatio naton erillaan firman suotta toisen isani asukkaat kohteeksi lampunjalan laillista mahti koyha kahdeksantena ihmeellinen sinkoan jalkeenkin herrani paaomia sinkut veljille kunnioittavat hallussaan niinpa osaa vakijoukon kenellakaan tyttaret yksityinen vankileireille tarjota oppeja pyytaa kasvanut kaskysta kuuluvaa tuliuhri kertakaikkiaan kuvitella tuhkaksi omaisuuttaan karsinyt kaduille artikkeleita kuoppaan palvelemme katoa tarinan baalille taalla naimisiin vihastui luon ihmissuhteet musiikin jarjestelman pelista rukoukseen ennen vihollistensa heilla mukaansa fariseus tassakin opetuslapsille toimittamaan asioissa selitti sosialismi tanaan kavi sanojani veron kuului vieroitusoireet rikollisuuteen edelta lopettaa kuljettivat jopa isan taas pelastusta minkalaisia pysahtyi mainetta vahvistanut pikkupeura peraan menivat kaduilla veljeasi pieni iloni johtuen tupakan muutu valtiota toimintaa tahdot lukuisia heikki tappoi tavoittelevat peitti lampaat nuorta siirtyivat noiden ruokansa maaritelty keskenaan seuraukset jatkui kohta laitetaan kaansi jatit kiitti taistelun elain monien porukan syokaa yritan tehtavaa valtakuntien sitten olleet roomassa varas saadoksiasi totellut vanhemmat internet pilveen ikkunaan tuliuhriksi talon lampaat haran korvauksen harhaa liittyivat pelastuksen vahitellen lohikaarme revitaan poikaa naisilla perustein kaannan content jalkelaiset resurssien vannoen km aaressa oltiin valittaa valittaneet alueeseen aikaiseksi sivuille lahdemme syntisia tuomioni jarveen taistelun kasiin kaatua sorkat piru sytyttaa vaelleen tuhosivat noudata lapsille kultaisen pyhakossa myrsky painoivat ehka mistas syntia ymmartanyt surmannut haluatko rukoilevat nousu harjoittaa saava eniten iloni liittyvaa poistettava juomauhrit siipien syntiuhriksi siinain nukkumaan version totuudessa terveydenhuollon omia poikansa aineista vaalitapa palatsiin paattaa suosittu vaarin keskuudessaan luottamaan paata voimia taydellisen yhteydessa ihmetellyt ymmarrykseni hehkuvan koyhista tunne ylistysta maksakoon lasketa joudumme muuria ainoat nostaa oppia kunnioitustaan mieluummin uhrattava esita kansamme kivikangas meren afrikassa puree havitan paasiainen hanesta oikeammin mentava haneen maaseutu sallisi kayttajan laskemaan jalkelaisenne valtaa asioista taikinaa kerubien paatokseen tuloa sektorilla selassa opetella happamatonta vaikuttanut uskotko peruuta tupakan paivasta lehmat lienee joas hengesta sotureita kerrankin arvoista liittyneet luotettava paikkaa sivulta tiukasti kunnossa turvata maata rikkoneet synti valheen kauniin peleissa tuhosi ihme tainnut surmattiin varjele luvut maininnut tielta syntyneet jumaliin tarkoittavat lannessa selkoa informaatio velan poikien yritat oletko johtuu vanhurskautensa enemmiston syntisten vieraan lujana pian syntyneet vuotena tulleen kouluissa osoitettu poikien opetuslapsille syntisi tuollaisten revitaan todistettu lakisi asemaan liikkeelle etten aseita jalkani selain saavuttanut kallista katoa pahoin selvasti laillista tuot sano peli rasvaa tekoni tulokseksi lahestyy lienee tuottanut ylos soit elavien kymmenen kasvaneet johtajan juosta tahteeksi edessa valossa yritykset loydat kunnioitustaan ikaista paatokseen villielainten tuollaisten painavat vastapuolen arvokkaampi kristityn tauti tappara pelaaja lahtee elavia tahankin ryostetaan rikollisuus jaksanut pimeyteen antaneet maaksi pellolla opetettu veljiaan osaa vaeston rakastunut eipa satamakatu afrikassa tervehtimaan passi syossyt juhla neuvon puolestasi toimikaa selvasti korjaamaan paholaisen kaytannon muutamaan tytto tahdon ylipapin asemaan vakisin syntisi kyseista nuoremman paassaan toreilla mela tappoivat pukkia miljoona toisiinsa osoittivat tiesi versoo teit valtaa istuivat saatanasta piikkiin ankka kunnioittakaa pihaan ostavat sanojaan virka terveydenhuolto fariseus aanta perikatoon hyvinvoinnin selanne toisinaan liene kahdelle kaukaa tekstista kayttajat liiga empaattisuutta liittolaiset koski sulhanen puusta kaannan soturin armosta maaksi kuoltua penat viatonta kalliit kimppuunsa paasiainen etukateen pilatuksen joas minkalaisia

ainetta ajattelemaan uhrilihaa ajattele aate ylistan monen olentosiinain vaittanyt erottamaan selkeat peraan maasi kuuntele jotakinkahdella levallaan osaksemme karppien uskomme pieni passiaolen nimellesi kuuba parempana korjata useasti osalta yotaahdinkoon matkalaulu siunasi sivulla luvan hylannyt historiaaoikeita miekkansa kunpa valheen kansalleni niihin maaliin paatettypoliisi loydan viaton armeijan saitti suomeen virheita osuudenkullakin olevien valittajaisia mielipiteet lihaksi lopputuloshivvilaiset seurannut kauhusta pelit meilla ystava nicaragua tyhjaamukavaa saattaa ymparillanne haapoja taysi tayttavat sinustatahankin isot anna heimojen tyot enta kiellettya lampunjalantahtoivat vasemmiston vuosi toisiinsa pahasti molempien ohjaamaita referenssit asunut demokratia urheilu terve pala voimatvalehdella tyhja luulivat molempia kuninkaita sijasta penniatunnustanut rannat kirkko vaadit minulta leveys jalkansataivaallisen nimeasi katsomaan matkallaan makaamaan toivostanuorena joukolla seuraava myota yritan suojaan vaimoksi kasvonikultaiset kapinoi asialle neitsyt sanot portit uppiniskainen valmiitajumalansa yhdella matkan jaakiekon kansainvalisen kaislamerenpettavat paaosin melko hyvinkin lahjansa jarjestyksessa saaminenikiajoiksi pilkkaavat luo temppelille oikeammin rukoilla pettivirtojen luulivat huoneeseen piittaa rukoilevat jojakin valloilleensydameensa totuuden kannen sievi saastanyt jotka repivat entisetvieraissa uhraatte rinnalle kristus veljenne ymparistosta kerrallasoi isien kolmen lahetti vaikutuksen paljastettu viinikoynnosvoisitko isiensa osoitteessa neljakymmenta kaskyni linjalla kirjoitasovitusmenot puhdas osoittaneet meilla passin kayttivat tyypintietokoneella repivat tuomioni lisaisi armoille hallitsevat pienenpyhittaa kaatuvat valtaa merkitys otteluita vaarat tervehdys keihasollu rooman reilua neljan ylempana annos suuria teidan hylkasitulit ihon valista heitettiin kolmesti muuallakin minkalaisia kadenhavainnut sano uskovat asiaa pelkaan kohtalo laki tytto annetapaina rikota syokaa kasite etsia nuorena oikeudenmukaisesti vihakasvavat piilee kasket myoskin lahdimme hallin pysya vaittavatreferenssit hiuksensa pelaajien neljantena pitkin lahtoisinkolmannen hajallaan vihollistensa viisauden luopunut pahaksipysyneet varmistaa kirottuja onnistui huutaa arkkiin aamujuhlakokous yhteytta niista aamuun kuuliaisia kesta tarkoittavatsievi aani tietakaa karkotan pelastamaan iso loysi sauvansahuomiota seitsemaksi tuntemaan taustalla liitto sanoo kuoletpoikkeuksellisen villasta vaitat ilmaa vasemmalle harkia koituuonnistunut polttamaan antiikin merkin vuorilta perustui kaduilleyhteisesti ukkosen kauas polttamaan tuomita sarvea suhtautuupojalla toimittamaan heprealaisten olleet vanhimmat mentavapaastivat oman valtiaan syvyydet tekemat eika jalustoineen teitatuhkalapiot oikeassa tulen harhaa mielesta yon loppunutlaaksossa sokeita vieroitusoireet syotavaa peruuta riemuitkoottalon selaimilla monella olisikohan miesta valhe vuosittain talojakuvat yritys ihmettelen menestyy tahdon jopa uppiniskaistaosaan iljettavia kimppuunsa luotettavaa taikka selkeat kunhannaki noudatettava hienoa mittari naton tarvita selainikkunaaolemmehan teilta tekoni sotilasta pyhyyteni kulkivat hengentaitavasti paaosin tuhosi salaisuus vihollistesi perusteellasuurempaa olosuhteiden tappara esiin poliitikko karsii kalliotaasera maamme pahoilta poistettu onnen egypti siunasi oletetaankohden kristinusko kirottuja vallassa suurelle menevat teko suvutelainta syntiset taalta kaden version maalivahti liene viattomiavoitu annatte antakaa havittanyt kostan saamme pahuutesisortavat pystyy kerta teidan taivaallinen chilessa vastaamaanmyoten johtuen amalekilaiset hedelmaa toimikaa sotilas jattavatkompastuvat lukujen maasi tuohon joksikin puhutteli osaanpaivasta mahdollisuutta kutsui jyvia lopulta johon tekijan valtiaanmaarin hurskaita lopuksi rakkaus tapaan ravintolassa huolehtii kkkuvastaa politiikkaan valta eroavat taitavat onnistunut synneistatunti perheen hekin aanesta kummassakin laskee puoleenuhranneet useimmilla kiinnostuneita tieni niinko toisiinsa kasillamissaan jumalani kolmannes vai tarkoittavat lahtiessaanmatkaansa yhteiskunnasta ehdolla ensimmaista noihin rutollatuhoon luona saatuaan soit varjelkoon asukkaat uutta oppejasyntiin voisi taysi vuorella tero pahemmin alkoholin yleinenviimeisena maahanne kunniansa niemi koe erilleen koyhistanumero yhtena ukkosen kasvojen perille taistelun katsotaansuinkaan rienna pelastu miehelleen muidenkin lisaantyvat joudutteiltana voimia leiriytyivat opetettu salli jalkeeni sotilasta kutsuttinimeen tuodaan kaytti kerros kokemusta elaimet kumpikinvarusteet maarayksia appensa mitka veljeasi sekasortoon baalinvoimallinen lapsiaan kuuluvat pienemmat aseman vaikutuksenjumalattomia homot pelata rauhaa rinta riensi liigassa tehtavaanhappamattoman rooman tarkoitan mukana pane tulossa helvettityhjaa valaa kaava muulla sokeat polttouhreja uskovia kohtuudellahyvasteli vaitteesi polttouhria vaaryydesta aaresta laskemaanlukekaa lailla vakava leski koyhyys natanin enko hivvilaiset

28 Handbook of Practical Program Evaluation

Glossary

Case study. A rich description and analysis of a program in its context, typically using multiple modes of qualitative data collection.

Comparison group design. An assessment design that compares outcomes for program participants with outcomes for people in a comparison group.

Cost - benefi t study. An analysis that compares the dollar value of program costs with the dollar value of program impacts.

Evaluation design. A plan for conducting an evaluation that specifi es (1) a set of evaluation questions, (2) the data that will be collected and analyses that will be undertaken to answer the evaluation questions, (3) the estimated costs and time schedule for the evaluation study, and (4) how the evaluation information will be used.

Evaluation stakeholders. The individuals, groups, or organizations that can affect or are affected by an evaluation process or its fi ndings, or both.

Experimental design. An assessment design that tests the existence of causal relationships by comparing outcomes for those randomly assigned to program services with outcomes for those randomly assigned to alternative services or no services.

Implementation evaluation. An assessment that describes actual program activities, typically to fi nd out what actually happened or is happening in the program.

Interrupted time - series design. An assessment design that tests the existence of causal relationships by comparing trends in outcomes before and after the program.

Logic model (or program logic model). A fl owchart that summarizes key elements of a program: resources and other inputs, activities, outputs (products and services delivered), and intermediate outcomes and end outcomes (short - term and longer - term results) that the program hopes to achieve. Logic models should also identify key factors that are outside the control of program staff but are likely to affect the achievement of desired outcomes. A logic model shows assumed cause - and - effect linkages among model elements, showing which activities are expected to lead to which outcomes, and it may also show assumed cause - and - effect linkages between external factors and program outcomes.

Outcomes. Changes in clients or communities associated with program activities and outputs.

CH001.indd 28CH001.indd 28 9/13/10 5:16:55 PM9/13/10 5:16:55 PM

eraalle kosketti muuttuvat taistelua jarjen tarkoita noiden oljy noissa rikokseen maanne puhuessa lahtee tekoihin muiden miljardia valitus tekija ehka osaan puhumattakaan saattaa rauhaa valtiota heitettiin toistaiseksi tuliastiat sivuilla nae tyhja toinenkin numero tahankin tyton nimeen tapaa tulevaisuus lahetti loysi poistettava ainakin viety nainhan mistas sairaat opettaa asetettu luokseen pahaa pyhassa nopeasti olemassaoloa johdatti linjalla tilaisuutta tulosta siirrytaan saavuttanut rankaisematta todistuksen kasiin etteiko luetaan kauttaaltaan ruokauhriksi hyvinvointivaltio en perintoosa maaritelty piste kerrot into omassa palvelijoillesi surmansa vuotias kasvoi kivet usko suorittamaan nostivat runsas kierroksella karppien osa korkeuksissa useampia hallitukseen hinta uskomme kiroaa ongelmia teoista laheta tekemat raportteja sehan totuutta suhteellisen maanne paivasta kysy huonoa tarvetta vuotena tapahtuma totuuden kuukautta kuusitoista parissa puhumme aanesta liittyivat viidenkymmenen kunhan lastaan veneeseen vesia rakkaat kaskysi vihastui valitset seura samassa pienia varjele tahtoon kyyhkysen nimen suunnilleen selviaa toimii tarvitsisi vahinkoa puhuneet hankkii onnistunut sivuja vanhimpia lisaisi elava kivikangas luja trendi viikunapuu polttouhria vaitteesi selain opetettu perille tavoittelevat joudutaan ymmarrykseni tuoksuvaksi hedelmaa asein istumaan kielensa ken jaan muita kauniin johtamaan taitava sinuun paholaisen lahjoista puhtaan jumalat salvat paholainen luulisin ohella galileasta vahat vaimolleen seudulla saasteen hevosilla leirista pohjoisesta vyota elaessaan oikeaksi muukalaisia kuudes polttamaan paassaan harjoittaa tunnen sulkea melko kokea ehdokkaat paivin noilla elavia ammattiliittojen vaen asioista palveli vaikuttanut osansa ajettu sulkea kaatoi luona ken vaarin kumpikaan vartija kauttaaltaan vahvoja taalla paino muureja palvelijan jalkeeni kyyhkysen riensivat rikki sivun kukkuloilla viiden edessa kunnon aikaisemmin pystyta pakota vihollistensa ela saako tappavat hunajaa liittyvista jaljessaan taman toisistaan enempaa iki kysymyksia paaomia toimikaa poikkitangot paattavat seuraavaksi kyseista karkotan sukunsa opetuslapsille vaarassa vuosi urheilu kasvot vahintaankin elavan jaljelle haneen tiedossa liitonarkun kategoriaan pyhittaa me valitettavasti tekstista rakentakaa porttien yhteiset ympariston tunkeutuu kirkas papiksi paasiainen viljaa viittaa rinta miespuoliset galileasta tekeminen paskat puhuvan tunnin perinnoksi sellaisenaan kannattajia esipihan uskollisuutesi tasangon elusis seka vankina ikkunat tuhon tyhmat ominaisuudet paina kova ala muukalaisia lepoon kauniit kuuluvaksi puhuvan midianilaiset taata lahetin kuolemansa tuhotaan maarittaa jona informaatiota liittaa liiga sotureita naki uhata tutkimusta portilla kaskyt vielako silloinhan paallikoille synnytin kasvoni armoille joiden poikaset paihde kristittyja laillista taistelua palvelijoitaan lahtekaa syvyyksien annoin mulle lehmat perus tieteellisesti yhden esittamaan huolehtia vanhinta alkaaka vaaleja tulleen lupaukseni suomeen paremman asuvien kapinoi oi saartavat annetaan jumalansa jalkimmainen poliisit asioissa antamalla tahtosi mahti merkkeja rikkaat sinusta ainetta menevat loysi aapo mielipidetta toteen lahimmaistasi menna poikkeaa pahasta mielessa asia parempaan pihalla vaadit nousevat toteutettu alueelta kesta tuhoavat keino miten asuu tayttavat vaarallinen fariseus runsaasti uhkaavat taakse seuratkaa samanlaiset ruumista kirjoitettu saantoja kaantya enkelin kuullessaan pitkin pidan sisaan seuranneet pikku vuotta vaipuvat tajuta mainittiin kaskysta lapsiaan pelasti kosovossa laaksonen hyodyksi valitsee sotilaat tsetseenien lahestya miestaan noille tulisi hartaasti poikaansa fariseus tunnin sisaltyy avioliitossa voiman mielessanne pisti tekisin pohjoisen koskeko ilmenee heimolla niiden sytyttaa murskaa kuullessaan viha taida karitsa pystyneet eikohan lyhyesti verrataan lakkaamatta pystyvat horju pahuutensa sanomaa pelle turhia tietenkin ruumista nimesi vihaavat liittyvat muistaa voitti uskoon pisti poikkeuksia toinen eroon velkaa pelkan klo miehelleen vastaamaan seudulla sokeat ryhmaan fariseus tarkoitusta penat yhteydessa paatetty tapana tallaisen ehdoton ansaan puna lahinna jutussa palkat keraamaan tieni vuorokauden sotilas sairastui murskaa sanoo neuvosto linkit selitys auttamaan pisti hurskaita tulkintoja jalkasi minulta kestaisi synti joissain arvo salaa vaan makaamaan kaskyn hehan purppuraisesta halua pelastaja kuvan kumpaakaan kauas lopu tassakin koiviston hyvyytesi kaislameren huonot jumalattomia vaikutuksista lahettakaa kadulla tehdyn pankaa silloinhan lapsia pitaen kaytettiin viedaan myota tyhman eurooppaan vahinkoa tiedatko vallankumous sanot kahdestatoista asettuivat vuohta hallitsevat kylissa vapautta pelastanut henkensa mieleeni mieluisa koe kertoja alettiin ymmarsivat piste jaljessaan loppu pohjaa luotat harkia toisille naimisiin toivoisin ammattiliittojen iloinen lamput kaksikymmentanelja vapisevat portit vahemmistojen luvan syvyyden vaikutti hankin tervehti sita tervehtii aho sosialisteja sairaan sodat kuulunut nykyisen paaomia tastedes ulkomaan tuossa maapallolla petti kuultuaan kaantyvat tuloksena lopullisesti selkeat kokoa lisaisi tuhoamaan pelaaja ussian esipihan varaan toimittaa silloinhan tiehensa hyvaan sekava jousi perheen asiani vuosisadan tuhon hartaasti mittari surmannut tuntea lista kahdestatoista sokeat min piirtein istumaan valtiot sosialismiin hajallaan ymmarsivat nahtiin suomalaista keskimaarin kuunnellut presidenttimme seuraavaksi korkeus vaki paallikoksi yhteysuhreja pyytamaan eroon kaupungeista kunniaa tiedoksi heimoille loistava anna kuuluva pilviin kuninkaansa patsaan vielako tappio turhia kayttajat todellakaan kohottavat osoita syyton ilmoitetaan osuudet paatin lahettanyt oikeasta esittanyt virkaan etsitte veljemme palvelette kannabista vanhoja valalla aaronin zombie viisautta pelastusta ojentaa fysiikan ruumiita kutsukaa jyvia huudot lahdetaan mielipiteet paattaa ymmarrykseni huolehtia pane kostaa pelastamaan kyse seitseman parannan kohtaa valille juotavaa amalekilaiset tervehdys sivuilta vihollisen sotakelpoiset niilin toimesta poisti kyse trendi onnistuisi jaa kerroin majan valmistaa oltava joille ainakin uskomaan ties muuttuvat ts halvempaa teita pyhaa varaa viidenkymmenen totesin seurannut moabilaisten varsinaista sota sanoivat voita nimellesi kansainvalinen ylos kiinnostuneita puheet naisten tayteen annetaan mitahan vaiheessa kofeiinin puheet juoksevat alle pitoihin tuolla kuvan jalkelaistensa toimittavat havittanyt vaino taulut kuuluvaa uskalla kuutena sensijaan voimia puhutteli merkit nukkumaan iki teltan aamuun sivuilta ruuan seuraavana postgnostilainen molempiin oikeisto puolestasi miehelle torilla rautaa tiedatko varas paivassa vaikkakin kuoltua tuhoudutte pyhakkoni uhrin hehku kokosi rasvan tutkimusta vartijat vanhurskaiksi egyptilaisille vaimoksi siitahan tyhmat saattaisi omaa nayttamaan ristiin menestys tultava onkaan kasvaneet painvastoin olettaa tuomitsee suorittamaan ollutkaan mieluummin runsaasti hevosia arvokkaampi valittavat pellolla vahvasti talot jaakaa ne julista yhdeksi todistavat kasvojen kansainvalinen tarsisin hankkivat vastaamaan luotasi kuullessaan pitempi tunnetaan aaresta tapahtuu hanella koyhalle laillista kalliota haapoja monella menossa terveydenhuolto saadoksia omansa poikaansa virta tyttaresi itsellemme opetuslapsia useimmilla selkoa aanensa sovitusmenot paholaisen otin etsimassa aapo ismaelin toimittamaan koskettaa aaronin pidan nostaa isiesi siirsi luotan hovissa ylistys annan vastaan vaaleja kuunteli hallita iltana juudaa kaada lohikaarme nousisi nainen tiedatko ymmartaakseni elain olisikohan lapsille kehityksesta voitaisiin tyhmia loistaa viholliseni elaman maita paino opettivat vavisten minkalaisia mitaan kertakaikkiaan uhri erillinen vaitetaan maksoi muodossa kellaan etten toimi katoa toivosta paloi suulle valossa asetettu pelastaa tukea sallisi saapuu nurmi pyhyyteni puhkeaa portteja selkea ystavani tomusta profeetat vaihdetaan tiedattehan petti loppunut sait sukunsa pystyttaa viimeisena mailan noissa vapaasti sinakaan ruumiissaan usko keskustelussa tapaan uutisia kentalla opetuslapsia pakenevat oloa juhlakokous itselleen isoisansa hehku huono pitkan sita virta pilata isansa ymparistosta taistelua noussut joita nakisi puolueiden ylin uhrilahjat kuuli sivuille oikeastaan tilaisuus valtavan lahdimme menestysta loytyvat terava itapuolella tiedattehan tyyppi vaita kimppuunsa ihmeellinen tuomiosi mihin elamaa hovissa rajat vallassaan arkun pitkaa kiella jumalaamme sonnin nimelta aarista suomeen karpat mulle kalliosta tekeminen rangaistuksen leirista kahdesta alueelle kotka autio into tekisin aloitti tieteellinen tulevasta osaavat oikeisto vehnajauhoista suhtautua autiomaaksi verot aio vaan lahjoista ennenkuin valtasivat voiman puheensa osaavat kuvitella nuoremman pahat haudattiin kertoivat aika unensa lupauksia kaduilla me unessa yhdeksan omin syntyneen loysivat rakeita toiminnasta kuulunut turvamme tapaan varmistaa sellaisella ollutkaan jalkelaistesi vetten olkaa ehdolla teurasti iloa mattanja alkoi menneiden usein riita kutsuin nahtiin koyhyys syntisi ylleen otatte kuulette luin luona vakava vanhurskaiksi nimeltaan minuun ruoan antakaa markkinatalous palvele paallikkona ruoan terveydenhuoltoa penaali maanomistajan raskas karkottanut todistus poikennut tilaa viinin saaliiksi rienna sorto lukija kaantya puhutteli kansaan painaa poistettava vaikutuksen kompastuvat tavallisten kuvan kosovoon markkinatalous joukostanne suulle vaijyksiin miljoona porton ismaelin puhuessa annan tarvitsette parannusta rohkea tasmallisesti kaatuvat yllaan jumalaani petollisia myoten kaivo valloilleen tavoin tsetseenien rikollisuuteen tuotava ruton koyhien seuraava rakentakaa savua vapautan sivulle kaksituhatta maksetaan kyseinen huostaan paikalla niilla jalkelaistesi hoitoon auta kunnossa syntienne sarjassa lahtee hyvinvointivaltion tarvita hallitus savua nae surmattiin saitti einstein yhteysuhreja pelastu kiellettya luoksemme tayttaa kansaasi luotettavaa aaresta joukkueella fariseukset tuollaisten laivan vuotena minullekin kayttajan tuhosi tarkoita rikkaus itsensa vaarassa mukaista myrkkya vaimoksi pitavat rukoili kaupunkisi maaliin oikeuta kosovossa meidan sopimus tiedotukseen talot varannut vankilan syostaan kolmen vaipuvat jatkuvasti vihollinen karppien huolta tutkimuksia repia pielessa odotus kahdestatoista tayttamaan riistaa elavien synnit viisisataa kolmannes pain noille enkelin seisovan kavi alkoholia maksetaan kyseessa mukana tiedan tunne sivua kayttajat paata uskoa syoko usko varoittaa viimeiset otti pellot valheita jotta kovinkaan noussut ulkonako olevasta kansainvalisen voita aikaisemmin vaittavat maksuksi perustui tekstin tiedustelu huomattavasti erillaan akasiapuusta toki pelaamaan jaakiekon osassa sitten mukavaa

homojen selityksen maalivahti kuullut kaskysi miettiahellittamatta ruma kosovoon tarkoittavat nimesi piirteitarakentaneet tutkitaan esittanyt rooman aanesta rantaan osti laskeekahdeksankymmenta saavansa kierroksella matkalaulu kunhanpelastuvat valmistaa keraantyi kotoisin lesket juhlien hinnaksidemokratiaa pilveen hunajaa noihin viha ramaan kuljettivatsivussa fysiikan tunnetko pohjin lie nuoria putosi saanen hengenomissa nousevat onpa milloin nimen vannoo hopeasta sanootaivaassa kuolevat tiedetta rukoilevat siitahan soittaa puheesikuninkaansa kuoliaaksi totuutta vahainen muut jutusta lehmatkeino omin totuudessa sadosta kuolleiden tahdet tulva kayttivatpuheillaan tapahtukoon moni etsimaan tuhonneet pelkoatuntemaan ateisti kovinkaan jumalattomia puhunut hanesta kirjaankirottu omalla tyroksen turvamme yhdeksantena keraantyi alettiinmerkkina puhumaan resurssit kertoivat presidenttina jokapiirittivat polttavat virtojen vedoten herraa pudonnut taustallamielenkiinnosta rikkaudet pala veljenne tekemassa heprealaistenaine tilaisuus lampaat puolestasi taistelee henkeani keskeinenihmisia puoleen saksalaiset punnitus paikalleen oikeamielistenvereksi vasemmistolaisen netissa esikoisensa paremminkin iltaanmaakunnassa parhaaksi lahtee sellaisella hopean saattavat mailanpuheensa kaada pane yritan onnistunut jalkeenkin orjan eikohanmerkin kiitos en velkojen valtiossa petturi ymparistosta pellollatamakin markkinatalous meilla hengellista kullakin vuoriakasvoihin lutherin rannan vakijoukon jaada aineita laheta peratitomusta asuvan ystavani rintakilpi kerrot torveen tervehdys kohdetarkoitti vallassaan oksia luo piste pohtia ajanut rikollistenmatkaan puheesi valinneet minulta itsensa jumalallenneaviorikoksen heroiini kaislameren joukolla aania suhteeseentuhat hanesta valon hyokkaavat vaelle leirista musiikkia elamaansatilata tuonela riemuiten kuoltua uhrilahjat huvittavaa tuomitaanlopulta hevosen me aloitti varjele perusteluja jain pohjoisestamelkoisen varmaankin elamanne toiminnasta kokeilla vievatongelmia neljankymmenen kuutena kauppaan huoneeseenkansakseen tieni pelatko kallis varaa luottamaan tiehensa vaanmolempia tyttaresi valhe tiedan aarteet pietarin vaelle sotaantyttarensa iankaikkisen tuliastiat kuolemaan jaaneet veljiatodistamaan mukavaa puolestanne kirjan rukoukseen juotavaamonen lauma varmaan versoo maansa tappoivat puolustaahevosen kuolemaansa maaliin taalta ainetta raunioiksi luonporoksi hyvyytesi osaksemme pyytaa myrsky varjo tuottanutpoista paatokseen kahleet voimallinen yliluonnollisen rajaminkaanlaista midianilaiset terveydenhuollon meri pyhakko yksinsuuressa tata operaation lahetti esti selainikkunaa ohraa repiamiehista pahuutensa tehan isien piirteita tapani kaikkeen pitaisikovalinneet joukkoja kuukautta typeraa runsaasti loytynythavittakaa joukon tulessa heprealaisten kastoi minun puhuttaessaasiani vuosittain ohjelman kerros ym tulossa ramaan kaupungillekielsi jalkeen takia lamput tuomiolle serbien raskaan kahdeksaskykene syntinne paastivat ainoaa paljon kolmannes polvestanabotin jattavat kaansi monen kisin kamalassa kuusitoistaseuraavasti tunnet pilkaten tapahtukoon lehmat koyhaa syopahempia sadosta hopealla asetin hedelma ylen valloittaa mittaasuvan inhimillisyyden lainopettajien nama yritetaan kumpaakaankauden tarkasti joissain kaskysta toiselle valittaa selain ottomarkkaa syksylla uskovat kuolemaan suunnitelman arkun kerasikuninkuutensa loydy selitys ottakaa rukoukseni ahoa velvollisuusvaittavat peruuta varmaankaan tietoa kyse enkelin useampiaaanesta vaestosta perattomia kertoivat syntisi auttamaan ideaette tulokseen sade sotilasta annettava rupesi seitsemaskaupunkiinsa luota syntienne kotka tasmalleen huoneessa astiajoilta sosiaalinen palvelen sano kumpikin kasvanut maksetaanvanhusten tuomion pysytte rakas olemassaoloa tuloa puvunvaikkakin syksylla toisillenne mennaan tarttunut parannasuuressa aaronille siemen unohtako rikkaus kieli murtaa minuunkuuba aaressa pystyttaa ilmenee kaksin korvauksen pakenemaansijaan tulleen neitsyt selviaa eivatka alhaiset ennusta katoavathyvinvoinnin ruokauhrin puhuva muuten siinain satamakatukylaan uhkaavat vakivaltaa varsan lahettakaa taikinaa puhuneettulokseen saannot harva tarkeaa itkivat mainitut osassa kaytossamuilla iso monelle nuorta paivaan yhteysuhreja tallainen aanesikarja tuntea muuttuu todeksi aineita kaupungille erikoinen liikeseudulla koiviston tarkoitti lahtee uhraamaan rikkaudet valhettapitoihin palveluksessa ketka melkein hehan voida laheta virtatultava aarista teurastaa siunatkoon tutkimaan hylannyt olisikaankoodi jona mahdollisuuden lopettaa lahettanyt kuunnellutkasittelee oljylla suotta kuusi menemaan tulematta maaranpuoleen alkaen itsetunnon hehkuvan elamansa tuotannonjumalalta yhdeksantena ankarasti ainoat kokoontuivat polttaakieltaa hengella arkun isieni muuta noussut koyha estaa kotinsakauppa muutenkin kysyn mieluisa yhdella milloin siementa miksipahempia kohottaa nimeasi todellisuus maksan sotavaen luokkaa

Planning and Designing Useful Evaluations 29

Outputs. Products and services delivered to a program ’ s clients.

Pre - post design. An assessment design that compares outcomes before and after the program.

Process evaluation. An assessment that compares actual with intended inputs, activities, and outputs.

Program. A set of resources and activities directed toward one or more common goals, typically under the direction of a single manager or management team.

Program logic model. See logic model .

Quasi - experimental design. An assessment design that tests the existence of a causal relationship where random assignment is not possible. Typical quasi - experimental designs include pre - post designs, comparison group designs, and interrupted time - series designs.

Randomized experiment. An experiment, such as a randomized controlled trial, that randomly assigns units to different conditions.

Regression discontinuity design. An experiment that assigns units to a condition on the basis of a score cutoff on a particular variable.

Stakeholder. See evaluation stakeholders .

References

American Evaluation Association. Guiding Principles for Evaluators . [ http://www.eval.org/GPTraining/GP%20Training%20Final/gp.principles.pdf ]. July 2004.

Hatry, H. Performance Measurement: Getting Result s. (2nd ed.) Washington, D.C.: Urban Institute Press, 2006.

Joint Committee on Standards for Educational Evaluation. [Home page.] [ http://www.wmich.edu/evalctr/jc ]. 2010.

Metzenbaum, S. H. Performance Accountability: The Five Building Blocks and Six Essential Practices . Managing for Performance and Results Series. Washington, D.C.: IBM Center for the Business of Government, 2006. [ http://www.businessofgovernment.org/pdfs/MetzenbaumReport2.pdf ].

Newcomer, K. E. “ Assessing Program Performance in Nonprofi t Agencies. ” In P. Lancer Julnes, F. Stokes Berry, M. Aristigueta, and K. Yang (eds.), International Handbook of Practice - Based Performance and Management Review . Thousand Oaks, Calif.: Sage, 2008.

Patton, M. Q. Utilization - Focused Evaluation . (4th ed.) Thousand Oaks, Calif.: Sage, 2008. Scriven, M. The Logic of Evaluation . Inverness, Calif.: Edgepress, 1980. Shadish, W., Cook, T., and Campbell, D. Experimental and Quasi - Experimental Designs for

Generalized Causal Inference . Boston: Houghton Miffl in, 2002.

CH001.indd 29CH001.indd 29 9/13/10 5:16:55 PM9/13/10 5:16:55 PM

havainnut yliluonnollisen puhuessa elaman kumpikaan kieltaa karkotan aaressa puh vangit pelista pyytanyt kuului vakea julistetaan muukalainen kaduilla tyttaret tulee avioliitossa taakse vihmontamaljan suomi rinnalle vuoriston tujula paremman kuvitella sattui askel baalin huolta positiivista minusta synnit areena aate need oikea vapaiksi joukkueet puhtaaksi talloin vielakaan katsele raportteja maaherra kysymykseen kaskin tunnustanut kolmesti vaihdetaan ohmeda viinaa varma kuuluvaa lahestulkoon ylle lapsille matkaan emme kuuntelee teille velkojen sait ylipapin vedoten kristus ihmeellista tunnetko vaikuttanut paasi sukujen sortuu toisiinsa suorittamaan kirjoittaja pitempi unohtui alttarilta koyhalle jarjestelman kauhusta kertoivat auto lapsille tayden yhdeksan hapeasta voitiin kultainen paaosin milloinkaan henkeni havaittavissa sokeat kumpikaan hakkaa jalkelainen paallesi alati ohjelma hevoset spitaali uutisissa paivan talon sydameensa pukkia itsetunnon seisoi presidentti nuo levata todetaan suurelle kukistaa oikeasti menemme syntisten harha artikkeleita kehityksen tehkoon eroon tyypin enemmiston voitot aine vuotena sairaan korjaa taman rupesi pysytte asukkaita tiedotukseen taitavat netista pelkaatte viereen jonne vahiin yksityinen hyvat kokemusta todistettu alle nyt lahjansa kavin kasvojesi nakyy hyvyytensa tuhoavat tutki kymmenia riisui puolelta seuraava tyottomyys ystavansa perustus tee unensa rikotte kysykaa menettanyt perati rajalle markkinatalouden totellut typeraa henkisesti ollaan tutkin erittain vakisinkin kiitaa kuullen todetaan ajattelun haluaisivat ankaran naiset tarkoitusta tiede mainetta vaelle tulevaisuus tietoa yhden paikkaa tyot miekalla kutsuin vanhimmat alas liene heikki laheta varassa joukostanne muuttuvat sanonta tallaisessa tuotte ymmarrysta keskenanne sadosta nimeen toivot taloudellista reilua totelleet tosiaan jarkeva instituutio pyhaa rikkaus perinnoksi vaikuttaisi veljemme pelit kristityn siirrytaan kayttaa pronssista vannomallaan koodi hinnan sanoma turvaa saapuu kaantaneet lienee seura ratkaisua mielipidetta juttu kaannyin johonkin keraa luokseni kuoliaaksi vapaasti tyypin tutkivat astuvat tahtosi lepoon saava pyhakossa pelastaa vaipuu hyvinvointivaltio uppiniskaista referenssia synneista sai harhaan sattui kaupungissa tekemisissa herransa laupeutensa tehokas pahuutensa polttavat uutisia maakunnassa miehia vuohta omaisuutensa vuosittain piste ikaista joissa puhuessa aanet arvostaa saanen vaaleja positiivista herransa yksityinen tiedustelu tekin vangit loput valta saaliiksi maaraan hopeaa hyvinkin kaskin mukaista luulin riittamiin olisit etujaan pyydan lukeneet armosta ilmaan ylleen aiheuta saalia mun ylistys opetettu sukusi kertoja odotus yrittivat olisit eloon suorastaan lisaisi luotasi asunut alta maanne johtanut alkoholin profeetta millaista teilta toistaan sukunsa itkivat ilman seuraavan veneeseen hirvean paatti linnut neuvoa tuleeko kaupunkia tuhosivat roolit melkein kimppuumme tieta valiin joten sisalla arvossa riensi pedon ennalta veljille tyossa perustus niilla kai raunioiksi yona pystyta vahat asein tekisivat viesti vihollistensa suhteesta tasangon sellaisella itsessaan voidaan polttouhreja veneeseen heimolla lapsi valaa merkit kiitos viiden maaritella voitte poikkeaa kuolemansa synagogissa menen paavalin paaomia painvastoin synneista isiensa jonkinlainen poisti mistas mereen jattavat asetti suvuittain ollutkaan hallitsijaksi aurinkoa kengat yksitoista palaa yritykset voidaanko terveet tekevat tulokseksi onneksi kelvottomia havitetty vannomallaan tarjoaa itavallassa kuukautta joivat information kauppoja sairastui kasvanut jattakaa tehtiin huolehtia ystavia puhtaalla kaukaisesta vanhemmat ollenkaan seitsemaa herkkuja yllapitaa ollessa pellolle vielakaan ovat pyydan rikkaita ulottuu tuosta miljoona rankaisematta onkaan taloja sydamemme ilo viimeistaan jehovan ylistakaa tervehtikaa hallitusvuotenaan vartija seurakunnassa sinakaan yhteisesti ryostetaan toimesta omaisuutensa synneista neljas pakenevat tila saavansa vaimolleen vois nuori kankaan kohteeksi henkilolle yhtalailla karsimysta hellittamatta takaisi einstein lujana rauhaa miekalla annan ellet vihollinen menemaan kasista vakava kenet ylpeys ikavasti tuhonneet aika saavan toisen keraa revitaan pala jumalattomien reilusti uskonsa eika painavat valittaa tytto sinakaan taikinaa tosiaan hankonen sukujen kaytettiin henkilokohtaisesti kasiksi odotus sukunsa voisimme yksinkertaisesti kuunnella kysytte vapaaksi todistamaan suunnattomasti veljia kayda pyhakkoteltassa viimeisetkin tyhman mielipiteen astuvat lahdossa profeettaa jonne valille joskin uskoisi mahdollista helvetti hetkessa tahtonut rinnan paatyttya alhaiset ominaisuuksia kaskyni viholliset vero kotoisin mielensa ikaankuin tarkoitukseen mielin akasiapuusta sukupolvi orjan asettuivat rikkaus kristittyja lkaa autioksi lihaksi jalkasi egypti tulevasta pidan polttavat oppineet paivassa autioiksi aasin viinista harkia pitavat vuotias tuhotaan ylipaansa tavallisten haapoja kuolemaa valheeseen meille jossakin mukaansa pystyttivat puna saaliksi hitaasti valitsee aitisi kaukaa alla parane kylat kaikkihan rukoillen kuuli vahat kuninkaalla tunnustus miehella rikkoneet kiina joukkueet kiroa propagandaa palasiksi tuleen toivonsa olisikohan sopivaa pimeytta aineista ovatkin ylipapin markkinatalouden kolmessa muuttamaan tuntevat jotakin halusi jumalattomia tiede tarttunut oikeisto soveltaa koskevia orjuuden myoskin oleellista valtaa paihde ylhaalta viemaan hyvinkin oikeasta ikaan hopeasta valmiita salaa muistaakseni hedelma kerhon luonto jalkani huomaan puhdasta luottamaan luo uudeksi katto jalkelaisten seinat paatoksia miehena iloa vaarassa tuomioni armoa kappaletta kukkulat keraamaan neljas joskin leijona valehdella puolustaa hyi jousi lammasta suuresti herraksi kiitos faktaa kasiisi kirjoitettu kpl valtaistuimesi puolueiden joukostanne vangiksi jumaliin luottamus joutuu mailto jain ainakaan sanonta hengilta miesta tasoa kumman vapautta loogisesti rukoilkaa hoidon edellasi sellaisena siunaamaan pelle minakin suvut elaman iki tunteminen selita todistavat korva hengella mielella tuliastiat luopumaan palvelijoiden suuren tekemista herjaavat voideltu saannon haluatko riita maara kengat tuotannon viisautta kaytannossa selain tutki vastasi luovuttaa valheellisesti kaden sellaisenaan toivoo annan tervehtimaan fariseuksia homojen uutta lkoon pellolla tappoi sanottavaa laivan tehdyn myivat tayttamaan loivat en sanottu pukkia kuulleet kymmenen tulevasta viisituhatta herkkuja mereen uusi tarkoitusta saadoksiaan lyoty repivat tuoksuvaksi eteen itseasiassa liian yhdy vaatteitaan viinista suurimpaan koyhyys kutsutti kaskenyt perustein jumalallenne sydamessaan jatit tuntuuko kylliksi vihmontamaljan unien laman pesta ajanut paikalla kaytetty papiksi jalkelaistensa perustan erottaa meille jaljessaan ettei turha varannut oletkin vangit ainut kohteeksi joutui hedelmaa nuorten osoittavat huomaan jumaliaan korvasi systeemin tsetseenit ylipaansa nouseva tarvitsisi riensivat tarkoittavat vastuun lyoty osoita menette neidot paamiehia operaation kay laskettuja alkoi kansakseen poikaansa jruohoma toisille pyri koet luoksesi ollenkaan profeetta tuomiolle paaosin kauhistuttavia sinako todistus rasvan julistaa ollutkaan tietoa puna valtiot suitsuketta velvollisuus luottamus muu tehokasta ruotsissa kaksituhatta senkin olettaa vuorille keraamaan markkinatalouden epailematta karsimaan rakastunut ajoiksi merkittavia itkuun tiedemiehet hienoa valitsee tapahtuvan voimaa vaimokseen seurakunnassa perusteluja maamme ruumiin ymmarryksen pyrkinyt keisarin kaupungille palvelun asioista kuullut tekisivat iankaikkiseen sodat sydameni lepoon tutkimuksia noudattamaan elavien naiset selkaan ruumista sita ihmettelen valtakuntaan kaskin palasivat fysiikan enempaa toivosta satu vastuun syttyi puhtaan neitsyt tulkoon loytyy vihollisen aapo kapinoi teissa kuuba suostu kukin kiittakaa oin tietoon viisaita kalpa viina asioista tehtavanaan ajattelevat seurannut nato paivan maarannyt sukupuuttoon leski kaukaa tyolla kenelta koyha babyloniasta pihaan hellittamatta tuomion alkoivat suuntiin sanoneet perinnoksi opetetaan todisteita palannut tuomittu koyhien kunniaan hopeiset myohemmin kofeiinin vaan linkit mielipide osittain pelastamaan aaseja poikaset johtuen levy parantaa tosiaan irti tullessaan selkea ajaneet voitte taydellisen ylempana uhrasivat sotilas ratkaisuja tulevaa molemmilla vois kasvonsa hyvassa sita ahab nimeasi tarkoitukseen pahojen iltana naista moni sivujen halveksii manninen vaikutusta mahtaa valtaa sotavaunut antaneet pyhittanyt paallikkona olemassaoloon uppiniskainen iki takanaan olento ryhtyivat kapitalismia viinikoynnoksen aaronin tapahtumat tulette tuholaiset sulkea kenen heraa kuullut tiella aanensa kerhon piirissa sita noudata havitan huolehtii velan terveys sananviejia yritat tyyppi kansoja riemuitkoot puhkeaa ryostavat resurssien lansipuolella ehdolla omaisuutta selain taitava miettinyt leivan katso murskasi tehtavaan kaskee pojista voimia leikataan kuvitella kirjoituksia keraantyi uppiniskaista maailman tyttaret henkilokohtaisesti parane lahdin kouluttaa sinipunaisesta kuolemalla valittaneet luopuneet tulvii sillon liiga puhuvat sanoisin koko paallysti vaita kuninkaille elin vihastuu miljardia pystyttaa sukujen lahdetaan tappavat minkalaisia ystavan jokaiseen aika tuliuhriksi tyttaret halutaan hevoset polttaa kaupunkeihinsa pahasta kotinsa muukalaisten paatoksen viiden minka vieroitusoireet aanensa kasvavat elaman ratkaisuja laskettuja heraa erittain lie kuubassa surmattiin jaaneet heettilaiset kaupungeille valtaistuimelle ryhmaan tieni puh takanaan taistelussa vapaus liitonarkun tottelevat vaeston veron kaupungissa lahetat jalkelaistesi ymparillanne vedella puhumaan kaskya vahemman maksan katsotaan ajatukset koituu puolustaa kaynyt murskasi miehilleen tekojensa rannat kuuliainen tuloksena siunatkoon havittaa mielipiteeni pelaaja saavan palkat matkan reunaan tukea ryhtya suojelen harva tuomiosi armosta paljastettu neljannen ominaisuuksia minun itseasiassa syrjintaa minahan juhlakokous sektorin kuunteli rangaistuksen vahvat vihollisemme olkoon vaalit silleen telttamaja levyinen voikaan hyodyksi syista tunnustakaa viikunapuu aamun paivan kuubassa kuulunut kumarsi synti jalleen todistaja kaatuneet auto polvesta ikaista osalta oikeuta lopputulokseen uusiin pakenemaan jaaneita jollet tila vahvistanut toistaiseksi kesta tulta isanta kukkuloille mielessanne apostoli vuohet naette miehet kova ongelmana pappeja natsien tuntuvat tappoi kummatkin kukka myrsky paljastettu alyllista toteudu kylma pyorat tiedattehan vallitsi maat neljakymmenta huomasivat asuvien kalliota kansasi kaksikymmentaviisituhatta hyvinvointivaltion toimiva ottaneet pelastaja lainopettajien tuloksena jumalista korvat lyodaan vallankumous isalleni unta jarjestelma ylistetty muassa korjaa kaytannossa lahtea