Partizipative Evaluation

Susanne Ulrich,Florian M. Wenzel

Partizipative Evaluation

Ein Konzept für diepolitische Bildung

unter Mitarbeit von:Gabriele KetterlePhilipp RühleConstanze Schellhaas

VerlagBertelsmannStiftung

Bibliografische Information der Deutschen Bibliothek

Die Deutsche Bibliothek verzeichnet diese Publikation in derDeutschen Nationalbibliografie; detaillierte bibliografische Datensind im Internet über http://dnb.ddb.de abrufbar.

© 2003 Verlag Bertelsmann Stiftung, GüterslohVerantwortlich: Michael Seberich, Katrin UhlHerstellung: Christiane RaffelUmschlaggestaltung: HTG Werbeagentur, BielefeldUmschlagabbildung: PhotoDiscSatz: digitron GmbH, BielefeldDruck: Bertelsmann Media on Demand, PößneckISBN 3-89204-751-0

www.bertelsmann-stiftung.de/verlag

Inhalt Vorwort . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Einleitung: Herausforderung Evaluation . . . . . . . . . . . 9

1 Evaluation: Hintergrund und Problematik . . . . . . . . 13Der Begriff Evaluation . . . . . . . . . . . . . . . . . . 13Historische Entwicklung . . . . . . . . . . . . . . . . . 16Die Entstehung von Evaluationsstandards . . . . . . . . 21

2 Politische Bildung und Evaluation . . . . . . . . . . . . 25Verständnis politischer Bildung . . . . . . . . . . . . . . 25Konsequenzen für die Evaluation . . . . . . . . . . . . . 29

3 Partizipative Evaluation . . . . . . . . . . . . . . . . . 31Der Evaluationsprozess . . . . . . . . . . . . . . . . . . 32Die Rolle des Evaluators . . . . . . . . . . . . . . . . . 38Qualität und Standards . . . . . . . . . . . . . . . . . . 41

4 Konsequenzen Partizipativer Evaluation . . . . . . . . . 43Politischer Charakter . . . . . . . . . . . . . . . . . . . 43Der Stellenwert für Bildungsprojekte . . . . . . . . . . . 46

Bibliographie . . . . . . . . . . . . . . . . . . . . . . . 49

5

Vorwort Was macht erfolgreiche Bildungsarbeit aus? Kann man die Wir-kung von politischer Bildung »messen«, und wenn ja – wie?Welche Merkmale muss eine Evaluation aufweisen, um demGegenstand »politische Bildung« gerecht zu werden? Evaluation ist im Bereich der politischen Bildung vonwachsender Bedeutung. Zunehmend stehen Praktiker vor derAufgabe, ihre Programme und Projekte einer Beurteilung zuunterziehen. Diese bewegt sich oft im Spannungsfeld zwischenQualitätssicherung und Rechenschaftspflicht: Dem Wunschvon Programmentwicklern, Koordinatoren und Trainern nachAussagen über die Wirkung ihres Bildungsangebots steht häu-fig das Interesse von Geldgebern gegenüber, Evaluation unterKosten-Nutzen-Gesichtspunkten zu betreiben. Wie lassen sichdiese unterschiedlichen Interessen und Ansprüche miteinandervereinbaren? Das Projekt »Erziehung zu Demokratie und Toleranz« hatsich über drei Jahre intensiv mit diesem Thema beschäftigt.Seit 1995 werden in dem Kooperationsprojekt der Bertels-mann Stiftung und des Centrums für angewandte Politik-forschung der Ludwig-Maximilians-Universität München Bil-dungsprogramme zur Demokratie- und Toleranzerziehungentwickelt bzw. für den Einsatz in Deutschland adaptiert.Aufbauend auf den Erfahrungen, die mit der Wirkungsevalua-tion dieser Programme gemacht wurden, entwickeln die Auto-

7

ren des vorliegenden Bandes ein Konzept von Evaluation, dasdie Einbeziehung der Interessen und Expertise aller an einemBildungsprojekt Beteiligten in den Mittelpunkt stellt. Diesesdemokratische und partizipative Verständnis möchte neuePerspektiven eröffnen und Wege aufzeigen, wie durch Evalua-tion neue Lernmöglichkeiten geschaffen und handlungsrele-vante Daten ermittelt werden können. »Partizipative Evalua-tion« versteht sich als Orientierungshilfe für Praktiker. Wirhoffen, mit diesem Konzept einen Beitrag zu einem neuen Ver-ständnis von Evaluation in der politischen Bildung zu leisten.

Prof. Dr. Marga PröhlMitglied der GeschäftsleitungLeiterin des Themenfelds Demokratie und Bürgergesellschaftder Bertelsmann Stiftung

8

Einleitung: Herausforderung Evaluation Anspruch und Wirklichkeit von Evaluation klaffen auseinan-der. Zur Erfassung und Beseitigung von Mängeln und Prob-lemen, zur Optimierung von Organisationen und Projektenwerden Evaluationen umfassend eingesetzt. Bei der Verwen-dung öffentlicher Gelder werden Evaluationen obligatorischintegriert, um sicherzustellen, dass systematisch erfasst werdenkann, was geleistet und welche Wirkungen erzielt wurden.Evaluationen bilden immer häufiger die Grundlage für dieWeiterführung oder den Abbruch von Projekten. Insbesondereim Bereich der Bildungsarbeit besteht der Anspruch, durchEvaluationen überfällige Reformen und eine flexiblere Anpas-sung an gesellschaftliche Wirklichkeiten leisten zu können. Dem gegenüber zeigt sich die Wirklichkeit von Evaluation:Der Begriff verschwimmt in seiner breiten Verwendung zurKonturlosigkeit und bezeichnet unterschiedlichste Vorhaben,von Teilnehmerfeedback (»Wie hat Ihnen das Seminar gefal-len?«) bis hin zum Total Quality Management (TQM), das

1eine komplette Organisation erfassen und bewerten möchte.Neben dieser Bandbreite kommt hinzu, dass in Deutschlandbislang wenig Evaluationsforschung und auch keine universi-täre Ausbildung zum Evaluator stattfindet. Die Bezeichnung»Evaluator« als Verantwortungsträger von solchen Vorhaben

1 Zur Spannbreite vergleiche umfassend www.equality.de.

9

lokalisiert sich in den unterschiedlichsten Berufsständen, vonSoziologie über Psychologie und Pädagogik bis hin zu Be-triebswirtschaft und Ingenieurwesen. Standards für Evaluationwerden bisher hauptsächlich aus der US-amerikanischen Dis-kussion entnommen und entwickeln sich in Deutschland erst

2langsam. Eine kritische Auseinandersetzung mit der Theorieder Evaluation findet im Praxisbereich kaum statt. Oft werden Evaluationen erst angesichts veränderter finan-zieller Rahmenbedingungen oder neuer gesellschaftlicher Dis-kurse zur Rechtfertigung des eigenen Tuns eingefordert. Eva-luation ist daher mit Misstrauen in das zu Evaluierendebehaftet; darüber hinaus erscheint Evaluation in einem unglei-chen Machtverhältnis: Auftraggeber von Evaluationen forderndie Offenlegung von Prozessen und Programmen, um diese zubewerten. Die Auftraggeber selber bleiben mit ihren – überge-ordneten – Initiativen und Richtlinien dabei intransparent undscheinen wenig von der Evaluation berührt zu sein. Die von Evaluationen Betroffenen stehen dann häufig voreiner Herausforderung, die unbekannt ist und von außen inbedrohlicher Weise an ein Projekt oder eine Organisation he-rantritt. Evaluation wird als »Richter« wahrgenommen. Ge-rade im schwer messbaren Bereich des sozialen Lernens führenEvaluationen zu Irritationen, wenn etwa ProjektentwicklerZweifel haben, ob die Evaluationsfrage: »Welche langfristigenVerhaltensänderungen zeigen Ihre Teilnehmer?« überhaupt sozu beantworten ist. Eine solche Frage konfrontiert Bildungs-prozesse mit enormen Schwierigkeiten, wenn sie nicht in ihreigenes Selbstverständnis integriert ist. Widerstände und Kon-flikte sind so gemeinsames Merkmal vieler Evaluationen.

2 Auf der Internetseite der Deutschen Gesellschaft für Evaluation wird die

Adaption, Entwicklung und der Stand deutscher Evaluationsstandards aus-führlich dokumentiert: www.degeval.de.

10

Das Verhältnis gerade von politischer Bildung zu Evalua-tionsfragen ist ungeklärt. Das Paradoxon einer Pädagogik, diesich an der Freiheit des Menschen und der Erziehung zu Au-tonomie und Verantwortung orientiert und diese durch geeig-nete Lernarrangements zielgerichtet erreichen möchte, ver-schärft sich, wenn die Frage von Evaluation auftaucht: Wiekönnen Verantwortungsbewusstsein, Mündigkeit und Auto-nomie evaluiert werden? Konterkariert Evaluation politischeBildung und ihre pädagogischen Grundlagen durch zu einfa-che Fragestellungen? Häufig werden diese Fragen nicht theo-retisch reflektiert. Pragmatische Arrangements herrschen vor,und in der Folge werden die Ergebnisse von Evaluationen, obpositiv oder negativ, in ihren Konsequenzen nicht umfassendgenutzt oder oftmals nur zur Befriedigung der Interessen derAuftraggeber verwendet. Wir möchten die »Herausforderung Evaluation« aufgreifenund erste Antworten für politische Bildner und ihr Umfeldanbieten. Aus der Erfahrung der dreijährigen Evaluation unse-

3res Projektes zur Demokratie- und Toleranzerziehung habenwir eine systematische Erfassung und Konzeptualisierung die-ses Feldes begonnen. Wir stellen hiermit ein Evaluationskon-zept vor, welches für die Praxis politischer Bildung Orientie-rung und Einordnungsmöglichkeiten geben möchte. Es bietetweder eine fertige Lösung für konkrete Evaluationsvorhabenan, noch löst es die Dramatik von Evaluation in ihren Konse-quenzen für die Arbeitswelt auf. Es soll vielmehr eine neuePerspektive auf die Möglichkeiten und Chancen von Evalua-tion in der politischen Bildung eröffnen und insbesondere dieSpannungen und Ängste, die mit Evaluation verbunden sind,in produktive Lern- und Reflexionsmöglichkeiten umwandeln. 3 Informationen zu dem Projekt und seinen Programmen sind unter www.cap.

uni-muenchen.de zu finden. Als Downloads stehen die Evaluationsberichteder einzeln in ihrer Wirkung evaluierten Programme bereit.

11

Dieses Konzept ist aus einer systematischen Betrachtung derPraxis für die Praxis entstanden; Ziel ist es nicht, selbst Eva-luator zu werden, sondern als informierter Betroffener und Be-teiligter an Evaluationen teilnehmen zu können. Zunächst wird in Kapitel 1 der Begriff der Evaluation be-trachtet und in den Kontext der US-amerikanischen Diskus-sion und ihrer Entwicklungen eingebettet. Anschließend er-läutern wir in Kapitel 2 das Verhältnis von Evaluation undpolitischer Bildung, um Evaluation im konkreten Kontext zusituieren: Evaluation muss zu politischer Bildung »passen«,wenn sie sinnvoll angelegt sein soll. In der Konsequenz dieserÜberlegungen stellen wir in Kapitel 3 Partizipative Evaluationals ein Konzept für die politische Bildung vor, das beteili-gungsorientiert und demokratisch vorgeht. Es wird diskutiert,welche Rolle und Aufgaben ein Evaluator unter diesen Ge-sichtspunkten hat und welche Faktoren dafür sorgen, dass alleBeteiligten gleichermaßen mit dem Prozess und den Ergebnis-sen der Evaluation einverstanden sein können. Hier wirdsichtbar, dass Qualität mehr ist als die Genauigkeit und Ob-jektivität von Daten. Kapitel 4 schließlich wägt Chancen undGrenzen des vorgelegten Konzeptes ab und verdeutlicht denpolitischen Charakter von Evaluation in Bildungszusammen-hängen. Evaluation hat so verstanden einen neuen Stellenwertfür Bildungsprojekte, indem sie Qualität steigert, verschie-denste Lernchancen eröffnet und zu einer fundierteren Aus-einandersetzung mit der konzeptuellen Basis von Bildungspro-jekten anregt.

12

1 Evaluation: Hintergrund und Problematik Der Begriff Evaluation

Der Begriff der Evaluation ist schwer greifbar und nicht scharfdefiniert. Gegenwärtig wird er inflationär gebraucht undscheint sich beinahe selbst zu rechtfertigen. Er steht in Gefahr,als Allheilmittel verstanden zu werden, das allerdings kaummehr Wirkung zeigt. Im gängigen Verständnis ist Evaluation eine ziel- und zweck-gerichtete Handlung. Das übergeordnete Ziel ist die Erfas-sung von Daten zur Optimierung und Entscheidungsfindungin komplexen Handlungssituationen. Im Gegensatz zu allge-meiner Forschung will Evaluation keine generellen Aussagentreffen, sondern etwas über eine konkrete Praxis aussagen. Es können drei Funktionen von Evaluation unterschiedenwerden, die besonders für den Bildungs- und Trainingsbereichrelevant sind (vgl. Kinast 1998: 23 ff.):• Erkenntnisfunktion – es sollen wissenschaftlich fundierte

Erkenntnisse über ein Evaluationsobjekt gewonnen werden;• Legitimationsfunktion – die Evaluation sollte im bestmög-

lichen Fall die Wirksamkeit von Interventionen bestätigenund deren Existenz rechtfertigen;

• Optimierungsfunktion – die Grundlage zur Steuerung derVerbesserung des Evaluationsobjektes soll geschaffen wer-den.

13

In Evaluationsprojekten wird mit Hinblick auf die Verwert-barkeit der Ergebnisse der Blick häufig auf die zweite unddritte Funktion gelenkt, auch um sich von wissenschaftlicherForschung im Allgemeinen abzugrenzen. Im Vordergrund vonEvaluation steht also eine konkrete Frage, die Konsequenzenfür die Praxis haben wird. An die Legitimations- und Optimierungsfunktionen knüpftsich die Unterscheidung von summativer und formativer Eva-luation an. Summative Evaluation ist bilanzierend, zieht aneinem bestimmten Punkt einen Schlussstrich, erhebt die Wir-kungen des bisher Erreichten und bietet so eine Legitimations-basis. Formative Evaluation ist projektbegleitend und gibtihre Ergebnisse immer wieder in kleinen Schritten an ein Pro-jekt zurück, um kontinuierlich Optimierung zu erreichen undschon während eines Bildungsprojektes eine Legitimationsba-sis zu schaffen. An das Evaluationsobjekt, d. h. an den Gegenstand, deruntersucht werden soll, werden bestimmte Kriterien angelegt,die eine Bewertung ermöglichen. Diese Kriterien werdenmeistens aus den ursprünglichen Zielvorstellungen des jeweilsuntersuchten Projektes entwickelt. Durch geeignete Datener-hebungsmethoden soll dann die Ausgangsfrage beantwortetwerden. Das folgende Schema verdeutlicht dieses Grundverständ-nis von Evaluation und ist ein Beispiel einer summativenEvaluation, die abschließend bestimmte Wirkungen erhebenmöchte. An dieser Darstellung verdeutlicht sich ebenfalls die Prob-lematik von Evaluation gerade im Bereich politischer Bildung.Die harmlos wirkende Ausgangsfrage impliziert eine Mess-barkeit, die eine quantitative Aussage zum Ergebnis hat. DochEvaluation kann hier kaum mit naturwissenschaftlichem Vor-gehen verglichen werden.

14

Ausgangsfrage Wieviel toleranter sind Teilnehmer einesToleranzseminars geworden?

Kontext Bildungsprojekt mit Praxismaterialien undMultiplikatorenausbildung

Evaluationsobjekt Seminarteilnehmer

Evaluationskriterien • Respekt gegenüber Minderheiten• Konfliktfähigkeit• Soziales Engagement

Datenerhebung • Fragebogen• Einzelinterviews• Alltagsbeobachtung

Dem Wort nach ist Evaluation ein wertgebundener Akt, d. h.der Wert oder die Qualität einer Sache soll beurteilt werden.Schon hier zeigt sich, dass Evaluation nicht abstrakt oder garneutral zu denken ist. Evaluation ist keine wissenschaftlicheTechnik oder neutrale Fragestellung, die unabhängig von be-stimmten Norm- und Wertvorstellungen existiert. Evaluationbenötigt zumindest einen Vergleichsmaßstab, um eigene Be-wertungen vornehmen zu können. Woher dieser Maßstabkommt und auf welchen Werten er gründet, ist aber in jedempraktischen Evaluationsvorhaben umstritten. Die Benennungder Ziele eines Seminarprogrammes und die daraus resultie-renden Evaluationskriterien erweisen sich in der Bildungs-praxis als höchst flexibel und sind abhängig von den unter-schiedlichen Wertvorstellungen und Weltbildern derjenigen,die tatsächlich in der Praxis tätig sind. Die Konflikthaftigkeitvon Evaluation ergibt sich somit aus dem Gegensatz der For-derung einer objektiven Bewertung und der Tatsache, dassjede Evaluation sich an häufig unausgesprochenen und unre-flektierten Normen orientiert. Diese Tatsache wurde im Laufeder Evaluationsgeschichte zunehmend in den Blick gerückt.

15

Historische Entwicklung

Begriffe wie Effektivitätskontrolle, Qualitätssicherung und Qua-litätsmanagement haben seit der Industrialisierung zunehmendan Bedeutung gewonnen. Sie standen zunächst vor allem inZusammenhang mit betriebswirtschaftlichen und adminis-trativen Entscheidungsgrundlagen. Egon Guba und YvonneLincoln (Guba/Lincoln 1989: 21 – 49) unterteilen die Geschich-te der Evaluation in vier Generationen. Diese Entwicklung sollam Beispiel des Bildungsbereichs dargestellt werden. Zunächst stand die Messbarkeit von Abläufen und Kenn-zahlen im Vordergrund. Das quantitative Erfassen von Faktenmit dem Ziel der Vergleichbarkeit zeigt sich in der jahrhun-dertealten Tradition der Methoden der Naturwissenschaften.Diese Methoden wurden aufgrund ihres enormen Erfolges im19. Jahrhundert auch für die Humanwissenschaften über-nommen und bildeten im Schulbereich die Grundlage für Leis-tungsprüfungen, in denen das gelernte Wissen reproduziertund somit der Lernerfolg dargestellt werden sollte. Die zweite Generation der Evaluation ergab sich aus derProblematik des Messens. Als Evaluationsobjekte wurden nurdie »Verwerter« von Bildungsprogrammen in den Blick ge-nommen, während beispielsweise Lehrplankonzeptionen un-hinterfragt blieben. Die Anwendung in der Praxis zeigte aber,dass die Umsetzung von Zielvorstellungen im Bildungsbereichnicht möglich war, weil der Zusammenhang von Schülern undLehrplan nicht passte. Der Vergleichsmaßstab existierte wohl,war aber nicht an die Realität von Schülern angepasst. Nunwurde der Blick auf die Beschreibung dieser Phänomene in derPraxis gerichtet, um Konsequenzen für die Programmentwick-lung zu ziehen. Evaluation als Praxisbeschreibung hatte hierOptimierungsfunktion, um die gewünschten und feststehen-den Ziele mit anderen Mitteln zu erreichen. Messen und Be-

16

schreiben wiesen der Rolle des Evaluators in den ersten zweiEvaluationsgenerationen die Funktion eines externen und neu-tralen Beobachters zu, der auf wissenschaftliche Art undWeise Daten erhebt, aus denen sich quasi »automatisch« Kon-sequenzen ergeben, da ja die zu erreichenden Ziele feststan-den. In den 60er Jahren des vergangenen Jahrhunderts wurdeschließlich von den Evaluatoren ein Urteil über ihre Beobach-tungen erwartet. Dieses Urteil nahm nun auch kritisch die Kri-terien und Zielvorstellungen von Programmen in den Blick:nicht nur wie diese Ziele messbar sind und ob sie in der Praxisangemessen umgesetzt werden können, sondern ob diese Zieleselber überhaupt angemessen sind, stand im Mittelpunkt derÜberlegungen. Die Bewertung von Programmen und derenAnwendung wurde eingefordert. Auch wenn Evaluatoren sichfür diese Rolle alleine oftmals fachlich nicht kompetent genugfühlten, wurden sie immer wieder als Richter über ein Projektoder Programm angesehen, da sie vermeintlich am objektivs-ten urteilen würden. Sie sahen sich so als Wissenschaftler mitder Herausforderung konfrontiert, für ihnen fachfremde Dis-ziplinen inhaltliche Empfehlungen geben zu müssen. Evaluato-ren wurden als Personen zu Legitimationsbeschaffern für Bil-dungsprojekte. Gerade für den Bildungsbereich wurde jedoch deutlich,dass Fragen nach Programmwirkungen und Programmlegiti-mation immer noch nicht befriedigend genug beantwortetwerden konnten. Es mussten vielmehr pädagogisch-psycholo-gische Evaluationsmethoden entwickelt werden, welche Aus-sagen ermöglichen, die nicht nur den angemessenen Einsatzvon Ressourcen betreffen, sondern vor allem auch den Lerner-folg, die mögliche Transferleistung in den Alltag und dieAkzeptanz der Methoden. In den 80er Jahren kritisierten Eva-luationsforscher aus den USA den damaligen Stand der Theo-

17

riebildung. Die zunehmende Problematisierung von Evalua-tionsobjekten, Zielen und Fragestellungen und die Ergebnisseinterdisziplinärer Forschung (vgl. Siebert 2002) zur Erkennt-nistheorie führten die Forscher zum Konstruktivismus undseiner Grundannahme, dass Wirklichkeit nicht problemlos er-fassbar ist, sondern sich je nach Kontext, Herkunft, Weltsicht,Glauben oder Profession anders darstellt. Dies hat auch Fol-gen für die Evaluation: »Der Konstruktivismus problemati-siert die ›ungebrochenen‹ Evaluationsmethoden. Die Wirk-samkeit des Lehrens und Lernens lässt sich nur begrenztfeststellen.« (Siebert 1999: 192) Evaluation kann aus dieserSicht »nicht als Versuch gesehen werden, an dessen Ende eineErfassung der Realität steht« und »Evaluationsergebnisse stel-len keine Fakten dar, die gesammelt zu einem erhöhten Wis-sen über Wirklichkeit führen.« (Grohmann 1997: 83) AufderBasisderkonstruktivistischenErkenntnistheorie ent-stand die von Guba und Lincoln entwickelte vierte Genera-tion, die sie schlicht als Fourth Generation Evaluation bezeich-nen. Sie versucht ein »übergreifendes Verständnis und einebesondere Bezugnahme auf die menschlichen, politischen, so-zialen, kulturellen und kontextuellen Elemente des Evaluations-prozesses« (Grohmann 1997: 83) herzustellen. Dies geschieht,indem die Betroffenen und Beteiligten (stakeholder) mit ihrenunterschiedlichen Interessen von den Evaluatoren in einendemokratischen Aushandlungsprozess eingebunden werden,an dessen Ende die Einigung über die Interpretation der erho-benen Daten zu einer besonders hohen Relevanz der Resultateführt. Objektivistische Ansprüche der Auswertung und Er-folgskontrolle treten in den Hintergrund zugunsten andererFaktoren, wie Glaubwürdigkeit, Anschlussfähigkeit und Hand-lungsrelevanz. Die notwendigen evaluatorischen Aktivitätenund Kompetenzen haben sich demnach in Richtung Aushan-deln von unterschiedlichen Perspektiven verschoben. Das Ur-

18

teilen über die Glaubwürdigkeit und die Relevanz der Datensteht in diesem Fall nicht nur den Evaluatoren, sondern allenBeteiligten zu. Evaluatoren werden so zu Moderatoren einesoffenen Prozesses.

Evaluation – vom Messen zum Aushandeln

1. Messen Evaluator als externer Daten-sammler

2. Beschreiben Evaluator als neutraler Beobachter

3. Urteilen Evaluator als Richter

4. Aushandeln Evaluator als Moderator

Die Geschichte der Evaluation zeigt hier dreierlei: erstens wur-den die Rahmenbedingungen, in denen Evaluation stattfin-det, zunehmend hinterfragt und kritisch in den Blick genom-men. Dies kann als eine Auflösung der Selbstverständlichkeitverstanden werden, die Evaluation eine kritisch-aufklärerischePosition zuweist. Evaluation wird zum Symbol für die Schwie-rigkeit, die Welt linear zu verstehen, zu deuten und zu planen.Sie ist keine neutrale Messsonde mehr, sondern beeinflusstentscheidend das, was sie untersuchen möchte. Auf »ewige«wissenschaftliche Aussagen muss zunehmend verzichtet wer-den. Zweitens änderte sich die Funktion des Evaluators in derWeise, dass ihm zunehmend mehr Verantwortung zugewiesenwurde: Zum Beschreiben von Praxis benötigt er ein umfassen-deres methodisches Repertoire als beim rein quantitativenMessen. Um auch noch ein Urteil fällen zu können, benötigter anerkannte Standards und Hintergrundkonzepte als Ver-gleichsfolie. Schließlich muss er in einer Evaluation, die sichals offener Prozess aller Beteiligten versteht, neben wissen-

19

schaftlichen Fähigkeiten auch soziale Kompetenzen einbrin-gen. Es wird anerkannt, dass Evaluation in einem grundsätz-lich von unterschiedlichen Interpretationen und Konfliktengeprägten Umfeld stattfindet. Drittens fand – zumindest im Bildungsbereich – eine Ver-schiebung von quantitativer zu qualitativer Evaluation statt.Standen ursprünglich Messen und Zählen im Blickfeld, sorückten aufgrund des zunehmenden Komplexitätsbewusstseinsqualitative Verfahren wie Interviews, Gruppendiskussionenund die Analyse von Lernprozessen in den Vordergrund.Wegen der gegenwärtigen massiven Forderungen nach Evalua-tion und begrenzter Mittel findet jedoch häufig ein Rückgriffauf die vermeintlich einfacheren und besser darstellbarenquantitativen Evaluationen statt, die hinter das zurückfallen,was sich in der Evaluationsforschung bereits entwickelt hat.

20

Die Entstehung von Evaluationsstandards

In der Betrachtung der Entwicklung von Evaluation stellte sichzunehmend die Frage, welchen Anspruch Evaluation selbsthat. Auf welchem Fundament steht sie, nach welchen eigenenKriterien findet sie statt? In den USA werden seit einiger ZeitEvaluationsstandards für die Qualitätssicherung verfolgt, diezunehmend auch in Deutschland übernommen und adaptiertwerden. Die Qualität einer Evaluation bemisst sich im gängi-gen Verständnis vor allem in der Qualität der Datenerhebungund -auswertung, d. h. sie hängt davon ab, ob sie den Gütekri-terien quantitativer bzw. qualitativer Forschung genügt. ImFalle einer quantitativen Evaluation sind dies die Kriterien• Objektivität – neutral und durch keine subjektive Sicht

beeinflusst• Reliabilität – wiederholbar und damit überprüfbar, ver-

gleichbar• Validität – genaue Datenerfassung, Gültigkeit.

Im Falle qualitativer Forschung bzw. Evaluation gehen dieMeinungen über die Gütekriterien stark auseinander und las-sen sich vereinfacht drei Grundpositionen zuordnen (Steinke2000):1. Die quantitativen Kriterien gelten auch für die qualitative

Forschung/Evaluation.2. Es werden eigene Kriterien für die Evaluation aufgestellt.

Kriterien sind hier etwa kommunikative Validierung, d. h.die erhobenen und bearbeiteten Daten werden den Befrag-ten vorgestellt und mit ihnen besprochen, oder Methoden-triangulation, d. h. ein Phänomen wird mit unterschiedlichenmethodischen Herangehensweisen in den Blick genommen.

3. Aus einer postmodernen oder konstruktivistischen Haltungheraus werden Gütekriterien abgelehnt.

21

Die radikale Ablehnung von Gütekriterien der dritten Posi-tion hängt mit der Problematisierung der Reduktion vonEvaluation auf Datenerhebung zusammen. Wenn Evalua-tion zunehmend von der Auflösung der Selbstverständlich-keiten und Rahmenbedingungen betroffen ist, kann sie inihrer Qualität nicht auf Datenerhebung reduziert werden,und deshalb verlieren Gütekriterien ihre Relevanz, zumalsie einem überholten naturwissenschaftlichen Verständnisvon Evaluation angehören. In dieser Position bricht auchdie Unterscheidung quantitativ/qualitativ zusammen.

Deshalb ergab sich die Notwendigkeit, Qualitätskriterien, Re-geln oder Standards für »gute« Evaluationen insgesamt zuformulieren. Denn schließlich sollen Evaluationen »auf Ak-zeptanz und Glaubwürdigkeit bei den am evaluierten Pro-gramm Beteiligten und den Adressaten der Evaluationsberich-te stoßen.« (Beywl/Taut 2000) Dies bemisst sich nicht nuram Umgang mit Daten, sondern an dem Vorgehen im Evalua-tionsprozess insgesamt. So wurden bereits Anfang der 1980er Jahre in den USAvom Joint Committee on Standards for Educational Evalua-tion Standards zur Durchführung von Evaluationen entwi-

4ckelt. In Deutschland hat die Deutsche Gesellschaft fürEvaluation (DeGEval) davon adaptierte Standards veröffent-

5licht , die einen ersten Schritt in Richtung von Professionali-sierung von Evaluation darstellen. Sie enthalten vier Haupt-forderungen, die weiter ausdifferenziert werden:

4 Deutsche Übersetzung: Sanders 1999.5 Deutsche Gesellschaft für Evaluation 2002. Die deutschen Evaluationsstan-

dards werden bis zu ihrer geplanten endgültigen Fassung im Jahre 2004einem ständigen Revisionsprozess unterworfen, siehe www.degeval.de.

22

• Nützlichkeit: Die Nützlichkeitsstandards sollen sicherstel-len, dass die Evaluation sich an den geklärten Evaluations-zwecken sowie am Informationsbedarf der vorgesehenenNutzer und Nutzerinnen orientiert.

• Durchführbarkeit: Die Durchführbarkeitsstandards sollensicherstellen, dass eine Evaluation realistisch, gut durch-dacht, diplomatisch und kostenbewusst geplant und durch-geführt wird.

• Fairness: Die Fairnessstandards sollen sicherstellen, dass ineiner Evaluation respektvoll und fair mit den betroffenenPersonen und Gruppen umgegangen wird.

• Genauigkeit: Die Genauigkeitsstandards sollen sicherstel-len, dass eine Evaluation gültige Informationen und Ergeb-nisse zu dem jeweiligen Evaluationsgegenstand und denEvaluationsfragestellungen hervorbringt und vermittelt.

In Kapitel 2 werden hierauf aufbauend eigene Schwerpunkteim Rahmen dieser allgemeinen Evaluationsstandards vorge-stellt, die sich insbesondere als Orientierung für die politischeBildung eignen.

23

2 Politische Bildung und Evaluation Verständnis politischer Bildung

Evaluation kann nur sinnvoll konzeptualisiert werden in Hin-blick auf den Kontext, in dem sie durchgeführt wird. Deshalbist es essenziell, mit einem Verständnis der eigenen theoreti-schen Basis von politischer Bildung zu beginnen. Das hier vor-gestellte Verständnis politischer Bildung als der Entwicklungeiner Form von Mündigkeit soll verdeutlichen, warum Evalua-tion in diesem Bereich anders beschrieben werden muss und

6lineare Messbarkeit in den Hintergrund tritt. Bildung und das pädagogische Selbstverständnis beginnenmit einem Paradox, welches immer wieder beiseite geschobenund verdrängt wird, um pragmatisch handlungsfähig zu blei-ben: Erziehung hat etwas mit der Freiheit des Menschen zutun und kann sich nicht in technischen Machbarkeitsvorstel-lungen erschöpfen: »Gäbe es für Erziehung eine funktionsfä-hige Kausaltechnologie, könnte auf dieser Basis nicht nur eineeinheitliche Organisation, sondern auch eine theoretisch kon-solidierte, praxisanleitende Erziehungswissenschaft aufgeführt

6 Dies zeigt sich oft in der Praxis erst bei der Durchführung von Evaluation:

Häufig wird hier zum ersten Male bewusst konzipiert, was eigentlich in derBildungspraxis passiert und mit welchen Schwierigkeiten dies Evaluationkonfrontiert.

25

werden« (Luhmann/Schorr 1982: 9). Das scheint trotz der De-finition von Kompetenzanforderungen und Schlüsselqualifika-tionen nicht möglich zu sein, denn all diese Zielvorstellungenmüssen gerade in der politischen Bildung immer wieder refle-xiv bearbeitet werden, um so als freiheitliche Handlungsoptio-nen für Individuen zugänglich und nicht als technischeLerninstrumente rezepthaft angewendet zu werden: »Bildungwird in der geisteswissenschaftlichen Tradition als Emanzipa-tion, im Resultat also als Freiheit begriffen.« (Luhmann/Schorr2002: 196). Dies weist bereits auf die spezifische Problematikder Evaluation von politischer Bildung hin, deren Interventio-nen demokratisch, pluralistisch und vielschichtig angelegtsind. Politische Bildung in Deutschland betont Multiperspektivi-tät und die Freiheit des Individuums bereits im Beutelbacher

7Konsens durch das Überwältigungsverbot des Schülers unddie notwendige Darstellung gegensätzlicher Meinungen undPerspektiven. Sie ist durch Selbstreferenz, also durch denBezug des Gelernten auf sich selbst, gekennzeichnet. Das Ge-lernte wird in Beziehung gesetzt zu anderem, verändert undneu bewertet. Das Lerngeschehen wird dadurch komplex undletztlich technisch nicht mehr beherrschbar. Vor allem, da Ur-sachen keine klar definierten Wirkungen mehr haben: »DieSelbstreferenz tritt faktisch so massenhaft auf, und zwar inden psychischen Systemen je individuell wie auch im Systemder sozialen Kommunikation, dass sie von einem Standpunkteaus ohnehin nicht mehr zu überblicken ist, zumal dieserStandpunkt als der des Lehrers selbst aktiv im System invol-viert ist.« (Luhmann/Schorr 1982: 17)

7 Abrufbar unter: www.lpb.bwue.de/beutels.htm. Für eine ausführliche Dis-

kussion siehe Schiele/Schneider 1996.

26

Politische Bildung muss dennoch mit bestimmten Inhaltenoperieren und findet sich innerhalb eines bestimmten gesell-schaftlichen Wertekontextes. Doch gerade in partizipatori-schen und erfahrungsgebundenen Lernarrangements wirdimmer deutlicher, dass diese Inhalte nur Angebote und Rah-men sein können, innerhalb derer die Lernenden ihre eigeneWirklichkeit anschließen und ihre Perspektiven und Bedürf-nisse in gegenseitigen Austausch bringen. »Dies kann nichtdurch einen hohen Aufwand an inhaltlicher Vorbereitung ge-schehen, sondern durch die Offenheit und Sensibilität für Er-eignisse und Zufälle innerhalb des Lerngeschehens. Eine sol-che Pädagogik »müsste auf die Garantie der ›Jederzeitigkeit‹des Ablaufs verzichten und könnte nur dann zugreifen, wennsich geeignete Konstellationen ergeben.« (Luhmann/Schorr1982: 29) Dieses Aufgreifen von Stichworten, Meinungen undPerspektiven dient letztlich auch dazu, den Blick weg vom ein-zelnen lernenden Individuum zur Gruppe insgesamt zu lenken.Der Prozess des Lernens tritt in den Vordergrund, währendfertige Lösungsangebote eine untergeordnete Rolle spielen.Nicht richtiges oder falsches Wissen und Handeln steht zurDebatte, sondern die kritische Hinterfragung verschiedenerEinstellungen zur Wirklichkeit. Lernen und Bildung finden durch Reflexion von Inhalten ineinem sozialen Kontext statt und sind nicht vollständig plan-

8bar. Das folgende Schema verdeutlicht die Dimensionen desLernens für politische Bildung:

8 Für weitere Implikationen dieser Sichtweise im Hinblick auf Didaktik und

die Rolle des Lehrenden vgl. Seberich/Wenzel 2002: 241 – 256.

27

Lernangebot undMethode

Ziele Menschenbild

1. Dimension Konzepte und Fak-ten: Orientierungund Bestätigung

Wissen undKompetenz

fremdbestimmt

2. Dimension Identität undSozialität: Perspek-tivenwechsel,Konfrontation,Irritation

Reflexion,Verantwortung

reflexionsfähig

3. Dimension intentional nichtmöglich

Selbstorganisa-tion,Freiheit

autonom

Politische Bildung findet in allen diesen unterschiedlichen Di-mensionen statt. Die Zielrichtung neuerer politischer Bildungist die dritte Dimension, die die anderen Dimensionen inte-griert. Politische Bildung versteht sich so zunehmend als De-mokratie-Lernen, das sozial orientiert ist und das PolitischeBildung versteht sich so zu nehmend als Demokratie-Lernen,das sozial orientiert ist und das Politische als eine Lebensformansieht, die nicht auf die Sphäre des Staates beschränkt ist.Deutlich wird das Ausgangsdilemma von Bildung in der drit-ten Dimension: Im Seminar wird modellhaft erprobt, wie In-dividuen und soziale Gruppen selbstorganisiert und verant-wortungsbewusst operieren können und fähig werden, immerneue Herausforderungen ihrer Umwelt aufzunehmen, ohnedurch Ausgrenzung zu erstarren. Dies kann durch kein nochso ausgereiftes Bildungsprogramm garantiert werden.

28

Konsequenzen für die Evaluation

Je nach Schwerpunkt und Fokus der Orientierung politischerBildung auf den unterschiedlichen Ebenen ergeben sich Kon-sequenzen für das Verhältnis von Bildung und Evaluation.Während die erste Dimension sich weitgehend mit den Me-thoden der ersten drei Evaluationsgenerationen erfassen lässt,sind für die anderen beiden ganz andere und neue Ansätze nö-tig, um Evaluation adäquat zu betreiben. Evaluation wurdebisher als ein Prozess angesehen, der von aussen kommt undDaten erfasst. Durch das Grundverständnis politischer Bil-dung wird deutlich, dass sich hier zahlreiche Probleme erge-ben: Wie lassen sich zu Zielkriterien wie Verantwortung undAutonomie sinnvoll Daten erheben? Wie ist Erfolg konkreti-sierbar, wenn Freiheit und mündige Meinungsbildung dasoberste Motto von politischer Bildung sind? Lassen sich dieZielkriterien überhaupt vorab bestimmen, wenn Unintentio-nales eine wesentliche Rolle spielt? Wer ist das Evaluationsob-jekt in diesem interaktiven Prozess von Lehrenden, Lernenden,Programm und individuellen Alltagserfahrungen im Lernkon-text? Die systemische Komplexität der Interaktion in politi-scher Bildung als Demokratie-Lernen führt außerdem dazu,dass Ursachen und Wirkungen prinzipiell nicht zuzuordnen

9sind und intransparent bleiben. Evaluation als externe Datenerhebung und -bewertungführt bei politischer Bildung zu einer Entmündigung, die gera-

9 Hierzu aktuell Luhmann (2002: 104): »Auch Interaktionssysteme sind mit-

hin Systeme mit einer selbsterzeugten Ungewissheit. Kein Teilnehmer underst recht nicht die Kommunikation selbst kann erkennen, was vor sichgeht ... Die im System selbsterzeugte Ungewissheit heißt nicht zuletzt, dassVoraussicht kaum möglich ist ... Die Schritte, die zum Erfolg führen, sindnicht im vornhinein spezifizierbar. So sorgfältig und systematisch die Vor-bereitung sein mag: Unterrichten ist ein opportunistischer Prozess, und jemehr er sich nach den Gelegenheiten richtet, desto besser ist er.«

29

de dem ursprünglichen Ziel dieser Bildung zuwider läuft. DasBewertungsmonopol eines externen und vermeintlich objekti-ven Evaluators steht im Gegensatz zum pluralistischen unddemokratischen Ansatz politischer Bildung. Zudem weist einebestimmte, vom Auftraggeber gestellte Ausgangsfrage die Eva-luation in eine Richtung, die den Blick auf mögliche Lerner-gebnisse und nicht geplante Erfolge oder Misserfolge ver-sperrt. Konsequenzlosigkeit ist dann eine wahrscheinlicheFolge, da die Ausgangsfragen und die Gesamtanlage einer sol-chen Evaluation als nicht relevant für die Komplexität desLerngeschehens erscheinen. Evaluation muss zu politischer Bildung passen. Dies giltnicht im Sinne eines Erfüllungsgehilfen, quasi als Erfolgsga-rant, sondern im Sinne der Authentizität des Vorgehens. Dievorausgegangenen Bildungsbemühungen sollten nicht durchein vermeintlich neutrales Vorgehen konterkariert werden,welches in der politischen Bildung selbst keinen Platz hat.Evaluation muss sich als integraler Bestandteil von Projektenpolitischer Bildung verstehen. Sie bekommt dadurch einenganz neuen Stellenwert und auch neue Aufgaben zugewiesen,die für alle Beteiligten bereichernd wirken können.

30

3 Partizipative Evaluation Evaluation sollte grundsätzlich, vor allem aber aufgrund desBildungszusammenhanges von politischer Bildung, demokra-tisch und partizipativ angelegt werden. Evaluation ist als in-teraktiver Prozess zu begreifen, der durch das Einbeziehen un-terschiedlicher Perspektiven blinde Flecken aufdecken kannund so zu einer umfassenden Analyse des gesamten Interven-tionskontextes kommt. Es genügt nicht, aus einer einzigen ex-ternen Perspektive Daten zu erfassen und zu bewerten. Geeig-nete Evaluationsverfahren bieten die Möglichkeit, »anderePerspektiven zu Worte kommen zu lassen, Urteile von anderenzu integrieren und Bewertungsmonopole zu öffnen. Evalua-tion ist kein Instrument zur technischen Überprüfung undKontrolle (zumindest nicht ausschließlich) klar definierterZielvorgaben am Ende einer Entwicklung. (...) Evaluation istein sozialer, kein messtechnischer Prozess.« (Herrmann/Höfer1999: 102). So verstanden hat Evaluation selber Bildungswir-kung, sie lässt sich nicht unabhängig von politischer Bildungdenken. Genauso wie politische Bildung das Ursache/Wir-kung-Verhältnis von Lernen problematisiert und in reflexiveZirkel überführt, so wird Evaluation auch zur Ursache vonneuen Lernerfahrungen und hat eine zusätzliche Wirkung aufdie erforschten Lernprojekte. Statt es als vielleicht unvermeidbaren und im besten Falleherausdefinierbaren Faktor zu betrachten, stellen wir diesen

31

Umstand in den Mittelpunkt eines neuen Verständnisses vonEvaluation und betrachten Evaluation als Chance für erwei-terte Partizipation und Pluralität. Damit fällt auch die klareUnterscheidung zwischen den verschiedenen Funktionen vonEvaluation weg: Erkenntnis des eigenen Tuns, Anregungen fürVerbesserung und Auftauchen gemeinsamer bilanzierenderErkenntnisse ereignen sich wechselseitig. Evaluation wird zumAnstoß für vertiefte Reflexion und damit dem Anspruch poli-tischer Bildung selber gerecht. Evaluation ordnet sich somit ein in den grundsätzlichenVersuch, mit Komplexität umzugehen: Die Intransparenz undKontingenz der Welt führt zu Bildungsprogrammen und Or-ganisationsformen, um handlungsfähig zu werden. In derKonsequenz erzeugen diese Programme durch ihre innereKomplexität aber selbst Intransparenz und Kontingenz, dermit Evaluation zu begegnen versucht wird.

Der Evaluationsprozess

Eine Evaluation beginnt immer »impulshaft« mit der Interven-tion eines Auftraggebers oder einer drängenden Evaluations-frage, die sich stellt und zum Anlass für den Auftrag einerEvaluierung eines Projektes der politischen Bildung wird. Eva-luation konstruiert schon mit ihrer ersten Fragestellung eine

10Wirklichkeit eigener Art und muss sich dessen bewusst sein:Die Fragestellung einer Evaluation fokussiert wie ein Licht-strahl bestimmte Aspekte der Aussenwelt und blendet damitandere aus. Sie erlaubt eine bestimmte Perspektive auf dieWelt, die auch ganz anders ausfallen könnte. Dieser Tatsachewird durch die Einbeziehung weiterer Perspektiven im Verlauf

10 Vgl. Siebert 1999: Kapitel 5.8 Evaluation als Konstrukt.

32

der Evaluation Rechnung getragen. Durch die demokratische,d. h. gleichberechtigte Beteiligung der von der Evaluation Be-troffenen kommen verschiedene Perspektiven zur Sprache,auch solche, die bisher vielleicht unberücksichtigt blieben odergar unangenehm sind. Partizipative Evaluation bedeutet, kon-struktiv mit diesen konflikthaften Perspektiven umzugehen.Wichtig ist, dass eine konkrete Ausgangsfrage aus einer Per-spektive existiert und dass diese vertraglich festgehalten wird,um überhaupt einen handlungsfähigen Ausgangspunkt zu ha-ben. Der Ausgangsvertrag für eine Evaluation sollte ausserdembeinhalten, dass die verschiedenen stakeholder identifiziertwerden und gleichberechtigt ihre Sichtweise zur Beantwortungder Frage als auch zur Frage selber einbringen können. Stake-holder sind alle diejenigen, die ein bestimmtes »Interesse« ander Evaluation haben, beteiligt oder auch von einer Bildungs-maßnahme ausgeschlossen, gleichsam »negativ« oder »invers«betroffen sind. Sie haben alle unterschiedliche Perspektivenund verschiedene Fragestellungen an die Evaluation, die be-rücksichtigt werden müssen. Das wesentliche Augenmerk vonEvaluation liegt deshalb auf der Einbeziehung möglichst vielerstakeholder, und der Evaluationsprozess muss mit ihrer Iden-tifizierung beginnen. Damit werden blinde Flecken einseitigerBeobachtung oder Bewertung durch neue Perspektiven erhellt.Politisch brisant wird dieses Vorgehen, weil es häufig auchdiejenigen zu Wort kommen lässt, die bisher von der Pro-grammentwicklung oder -teilnahme ausgeschlossen warenoder speziell zu diesem Bildungsprogramm eine konträre Mei-nung vertreten. Ähnlich wie die zu evaluierende politische Bil-dung orientiert sich Partizipative Evaluation hier eher an derDifferenz als an übereinstimmenden Meinungen. Wenn diestakeholder identifiziert sind und ihre unterschiedlichen Per-spektiven eingebracht haben, beginnen die ersten Aushand-

33

lungsprozesse. Dabei ist es praktikabel, eine Begleitgruppe mitVertretern der unterschiedlichen stakeholder einzurichten undsie als intensiven Kern umfassend miteinzubeziehen. So kanneinerseits das Evaluationsvorhaben handlungsfähig bleibenund andererseits können Teilschritte umfassend über die Be-gleitgruppe weitergeleitet werden. Zuerst richtet sich der Blick auf das Finden akzeptablerZielkriterien und geeigneter Evaluationsobjekte. Die ursprüng-liche Ausgangsfrage der Evaluation steht im besten Falle auchzur Disposition, da es letztlich keinen starren Bedingungsrah-men mehr geben kann, wenn ernsthaft partizipativ vorgegan-gen werden soll. Meist stößt der Auftraggeber mit einerbestimmten Intervention den Evaluationsprozess an, der imWeiteren explorativ verläuft und gemeinsam mit den Beteilig-ten die relevanten Fragen erarbeitet. Das Augenmerk liegt sovorrangig auf dem Prozess der Evaluation und nicht wie beieinem naturwissenschaftlichen Experiment auf der Beantwor-tung vordefinierter Fragen. Dies bedeutet auch, aus den unter-schiedlichen Perspektiven evtl. vorgegebene oder schriftlichfixierte Zielvorstellungen von Programmen und Projekten zudiskutieren. Oft werden diese in der pädagogischen Praxisunreflektiert angewandt und sehr unterschiedlich in die jeeigenen Welt- und Menschenbilder von politischen Bildnerneingeordnet. Andere Beteiligte der Evaluation haben oft völligandere Zielvorstellungen im Kopf, die sich unausgesprochenim Verlaufe eines Projektes gebildet haben. (Für die politischeBildung macht sich dies z. B. an der Frage fest, welche Bedeu-tung Konflikte in Bildungsveranstaltungen haben oder habensollen.) Diese gilt es zu benennen und in die gemeinsame Aus-handlung zu bringen, um eine gemeinsame Basis für die Da-tenerhebung der Evaluation zu haben. Im weiteren Verlauf der Evaluation werden Daten erho-ben. Es ist nicht entscheidend, ob es sich um quantitative oder

34

qualitative Daten handelt. Die Erhebung der Daten ist nichttraditionell als wissenschaftlich unabhängiger Prozess zu ver-stehen, sondern als das Einholen unterschiedlicher Perspekti-ven in Bezug auf das Evaluationsobjekt. In diesem Sinne kön-nen jenseits der Evaluatoren auch andere an der Evaluation

11Beteiligte Daten erheben. Unerläßlich ist, dass die erhobenenDaten und die aus ihnen gezogenen Schlussfolgerungen immerwieder in den Aushandlungsprozess der unterschiedlichenstakeholder gebracht werden. Wo Differenzen, Unterschiedeoder Konflikte in der Bewertung auftauchen, sind Punkte ge-geben, weiter zu forschen und mit neuen TeilfragestellungenDaten zu erheben. Diese Art des emergenten Vorgehensschafft für alle Beteiligten die Möglichkeit, unterschiedlichePerspektiven und methodisches Vorgehen in einen Aushand-lungsprozess zu bringen, der vom Evaluator begleitet und mo-deriert wird. Das Aushandeln der Interessen und Interpreta-tionen der Daten sind als schleifenartiger Prozess zu verstehen,der kontinuierlich wiederholt wird. Am Ende des Prozesses steht nicht die Veröffentlichung ob-jektiver Daten, sondern eine sinnvolle gemeinsame Konstruk-tion, die aus der demokratischen Aushandlung der verschiede-nen Sichtweisen erwachsen ist: »The aspiration is to constructvalid conclusions where there are conflicting views.« (House/Howe 2000: o. S.) Ziel von Evaluation ist also nicht, die»Wahrheit« zutage zu befördern. Evaluation hat hier einenkonstruktivistischen Grundcharakter, der sich darin äußert,dass Sinnperspektiven nicht vorgegeben oder entdeckt werden,

12sondern in konkreten Prozessen je neu konstruiert werden.

11 Vgl. hierzu den Ansatz von Appreciative Inquiry, der Befragung als einen

Prozess aller Beteiligten versteht: Mohr/Jacobsgaard (im Druck).12 Wichtig ist jedoch, einen demokratischen Grundrahmen als Orientierungs-

maßstab anzulegen, um nicht zu relativistischem und beliebigem Vorgehen zukommen.

35

Gemeinsame Sinnzuschreibungen können in einem Abschluss-bericht ebenso wie unterschiedliche und konflikthafte Perspek-tiven benannt werden. Wann der Prozess beendet ist, hängtnatürlich von finanziellen und personellen Ressourcen ab.Entscheidend ist jedoch die Authentizität des Vorgehens:Wenn Redundanzen in den gemeinsamen Perspektiven auftau-chen und kein neuer Erkenntnisgewinn vom gemeinsamenAustausch zu erwarten ist, können diese Gemeinsamkeitenniedergelegt werden. Wenn dies nicht möglich ist, bestehtauch die Alternative der gegenseitigen Anerkennung von Dif-ferenzen (we agree to disagree), die in einem Evaluationsbe-richt benannt werden können. Der Abschlussbericht sollte auf jeden Fall alle Perspektivenintegrieren und evtl. für unterschiedliche stakeholder in Hin-blick auf die jeweilige Brauchbarkeit unterschiedlich verfasstwerden. Dies sollte keinesfalls geschehen, um unterschiedlicheInteressen zu »bedienen«, sondern um sicherzustellen, dass dieHandlungskonsequenzen, die aus den Diskussionen und Ver-handlungen hervorgegangen sind, transparent und deutlichformuliert werden. Zudem muss ein Abschlussbericht denProzess der Evaluation verdeutlichen, auch seine Schwierigkei-ten und Konflikte. Dies ist ein entscheidender Teil der Er-gebnisse, denn die Art und Weise, wie der gemeinsame Wegbeschritten wurde, ist wichtig für die Glaubwürdigkeit derEvaluation und ist auch Ausdruck der (existierenden odermangelhaften) Stimmigkeit zwischen Evaluation und dem An-spruch eines Projektes der politischen Bildung, das untersuchtwird.

36

Die

Pha

sen

des

part

izip

ativ

en E

valu

atio

nsan

satz

es

0. Im

puls

Ausg

angs

kont

ext

Ausg

angs

frage

Kons

trukt

ion

der

Bene

nnun

g of

fene

rUn

ters

chie

deAb

schl

ussb

erich

t

3. A

ssim

ilatio

n

Erge

bniss

e

2. D

iffer

enzie

rung

Date

nerh

ebun

gIn

terp

reta

tione

nAu

shan

dlun

gspr

ozes

sN

eue

Frag

este

llung

enO

rient

ieru

ng

an D

iffer

enze

n

Stak

ehol

der f

inde

nBe

glei

tgru

ppe

einr

ichte

n

Frag

este

llung

disk

utie

ren

Ziel

krite

rien

fest

lege

n

1. E

xplo

ratio

n

37

Der partizipative und damit zeitaufwändige Ansatz empfiehltsich langfristig, weil er Ergebnisse in Form von gemeinsamenHandlungsempfehlungen verspricht, deren Umsetzung von al-len Seiten mitgetragen wird und daher die geringsten Reibungs-verluste beim Transfer in die Praxis fürchten muss. Die Artdes Vorgehens kann als Partizipative Evaluation verstandenwerden, da sie Beteiligung sichert und Praxisrelevanz in denKonsequenzen des Evaluationsberichtes schaffen will. Beson-ders im Hinblick auf den sozialen und interaktiven Kontextpolitischer Bildung als Demokratie-Lernen ist dieses Vorgehenwichtig, da es sich an der Freiheit des Menschen orientiert. Das beschriebene Vorgehen möchte in seiner Gesamtheitdazu beitragen, dem weit verbreiteten Missbrauch von Evalua-tion als Legitimationsbeschaffer zur Fortführung oder Beendi-gung von Bildungsprojekten zu begegnen. Wenn eine authenti-sche Einbeziehung aller stakeholder in den Evaluationsprozesszu dem (vorläufigen) Ergebnis der Fragwürdigkeit eines Bil-dungsprojektes führt, können gemeinsam neue und kreativeLösungen gesucht werden. In der Praxis ist in der Konsequenzeiner Evaluation sicher von einer Ungleichheit der Verantwor-tungs- und Entscheidungsebenen (insbesondere auch im Hin-blick auf Arbeitsplätze) auszugehen. Aber insbesondere dieEinbeziehung von Auftrag- und Geldgebern kann hier zueinem neuen gegenseitigen Verständnis der unterschiedlichenPerspektiven und Handlungsnotwendigkeiten führen.

Die Rolle des Evaluators

Partizipative Evaluation verändert die Rolle des Evaluators infundamentaler Art und Weise; sie schreibt dem Evaluatornicht nur die Aufgabe zu, »wissenschaftliche« Daten zu erhe-ben. Zusätzlich ist es seine Aufgabe, möglichst viele Beteiligte

38

und Betroffene sowie ihre Perspektiven in einen kommunika-tiven Aushandlungsprozess zu bringen. In diesem Prozess, des-sen Moderator er ist, werden die Ausgangsfragestellungen, dasVorgehen und schließlich die Interpretationen der erhobenenDaten abgestimmt. Der Evaluator erkennt und thematisiertKonflikte. Seine Verhandlungskompetenz ist ausschlaggebendfür das Gesamtergebnis. Damit alle ihre Perspektiven einbrin-gen können, wird ausserdem die Kenntnis geeigneter Metho-den benötigt, die u. a. auch im visuellen oder gestalterischenBereich liegen. Dies wird besonders deutlich, wenn die Betei-ligten des Evaluationsprozesses aus unterschiedlichen Kultu-ren, Bildungsmilieus oder Sprachheimaten kommen. Aufgabedes Evaluators ist es hier, aktivierend zu wirken und methodi-sche Angebote zu machen, mit denen Daten gleichberechtigterhoben werden können. Der Evaluator wird so zum Advokaten unterschiedlichergleichberechtigter Perspektiven. Dies ergänzt die klassischeDatenerhebung und bedarf beim Evaluator einer erhöhtenSensibilität für die verschiedenen (Macht-)Positionen, Hierar-chien und blinden Flecke. Er trägt die Verantwortung für denerfolgreichen Prozess der Evaluation und muss immer wiederOffenheit und zielgerichtetes Vorgehen abwägen können. Dieskann als die Wahrung eines demokratischen Grundrahmenseiner Evaluation verstanden werden. Seine persönliche Glaub-würdigkeit zeigt sich im Ernstnehmen jedes Anliegens und inder Balance von Sicherheit und notwendiger Konfrontation. Glaubwürdigkeit, Autorität und Kompetenz eines Evalua-tors zeigen sich vor allem auch in der theoretischen Rekon-

13struktion des zu untersuchenden Gegenstandes. Er versetztsich dadurch in den historischen und sozialen Kontext einesBildungsprojektes und gewinnt eine eigene Perspektive. Dies

13 Hierzu House/Howe 1999: 115.

39

kann sicher nicht in Abstraktion, sondern muss im Verlauf derEinbeziehung der stakeholder geschehen. Dennoch stellt eseine eigene wichtige Dimension dar, die den Evaluator vomvermeintlich neutralen Datensammler zum ebenfalls Beteilig-ten macht. Die theoretische Rekonstruktion erlaubt außerdemim Evaluationsprozess eine bessere Moderation der unter-schiedlichen Perspektiven und Interessen jenseits relativisti-scher Gleichberechtigung.

14Kompetenzen und Aufgaben des Evaluators

• Anwaltschaft (Advocacy): Suche nach und Einbindung von mög-lichst vielen Stakeholdern in den Evaluationsprozess

• Theoretische Rekonstruktion: Rekonstruktion der theoretischenImplikationen und Grundannahmen des zu evaluierenden Projek-tes oder Programmes, Gewinnung einer eigenen Perspektive

• Verhandlungskompetenz: Klärung unterschiedlicher Perspektivenund Konstruktion gemeinsamer Bewertungsmuster

• Methodenkompetenz: Angebot geeigneter Methoden zur Erhe-bung von Evaluationsdaten für unterschiedliche Gruppen der Be-teiligten

• Demokratiekompetenz: Wahrung eines demokratischen Grund-rahmens durch Dialog und geteilte Werte

• Ästhetische Kompetenz: Gestaltung eines Abschlussberichtes, derdie Dynamik, Atmosphäre, Unterschiede und Gemeinsamkeitendes Evaluationsprozesses widerspiegelt

Der Evaluator garantiert den Beteiligten ein Höchstmaß anPartizipation, ohne den zeitlichen und finanziellen Rahmenaus den Augen zu verlieren. Auf diese Weise sorgt er dafür,dass die gemeinsamen Konstruktionen der Evaluation für die

14 In der Grundrichtung orientieren sich diese Aufgaben im Kreuzungsfeld

konstruktivistischer Evaluation nach Guba/Lincoln und deliberativer demo-kratischer Evaluation nach House/Howe und sind für die politische Bildungspezifiziert.

40

unterschiedlichen stakeholder brauchbar sind und damit quasi»automatisch« zu Handlungskonsequenzen führen. Letztlichist es die Aufgabe des Evaluators, den Abschlussbericht stim-mig zu gestalten, d. h. die Gesamtatmosphäre des Evalua-tionsprozesses einzufangen. Hier sind weniger wissenschaftli-che denn ästhetische Kompetenzen nötig.

Qualität und Standards

Wir haben die Geschichte der Evaluation und unsere Konzep-tualisierung bisher als Steigerung der Komplexität und Refle-xivität verstanden. Nach diesem Verständnis stellt sich dieFrage nach einer »guten« Evaluation auf eine völlig neue Art,wenn selbst überlieferte wissenschaftliche Standards wie Vali-dität (Gültigkeit) nur als Konstrukte betrachtet werden, diezur Disposition stehen. Welchen »Rahmen« hat nun Evalua-tion und wie kann garantiert werden, dass Evaluatoren nichtim Sinne des anything goes vorgehen und Evaluation schein-bar theoretisch legitimiert zu einem Verfahren der Beliebigkeitwird? Der Evaluator verstand sich bislang als Erhebender vonDaten, deren Qualität zu sichern ist und die in einem Ab-schlussbericht festzuhalten sind. Evaluation von politischerBildung, wie wir sie verstehen, verändert den Qualitätsbegriff.Im Folgenden werden Standards für Evaluation vorgestellt, dieeinen sinnvollen Rahmen bieten, um demokratisch und parti-zipativ vorzugehen. Sie sollen es ermöglichen, den Evalua-tionsprozess möglichst produktiv und sinnvoll zu gestalten

15und die Aufgaben des Evaluators klären. 15 Orientiert an Guba/Lincoln 2001. Es wurden hier diejenigen Kriterien auf-

geführt, die sich von den veröffentlichten Standards für Evaluation unter-scheiden (vgl. oben Kapitel 1).

41

• Fairness – die verschiedenen Perspektiven werden im Evaluations-bericht, d. h. der gemeinsamen Sinnkonstruktion, berücksichtigt.

• Weiterentwicklung – die Verfeinerung und das komplexere Ver-ständnis der eigenen Perspektive der Beteiligten im Rahmen desEvalutionsprozesses wird ermöglicht.

• Fortbildung – das erweiterte Verständnis für die Bewertungen undPerspektiven der jeweils anderen am Evaluationsprozess Beteiligtenwird gesichert.

• Relevanz – die Verwertbarkeit der Ergebnisse und die Relevanz derEvaluation für die Beteiligten führt zu Handlungskonsequenzen.

• Ermächtigung – die erkannten Handlungskonsequenzen könnenvon den Beteiligten im Rahmen ihres institutionellen Kontextesauch durchgeführt werden.

• Glaubwürdigkeit – die Evaluation geht authentisch und umfassendpartizipativ vor, und der Prozess als solcher wird von den Beteilig-ten akzeptiert.

An diesen Standards zeigt sich in konzentrierter Form die ver-änderte Stellung von Partizipativer Evaluation. Statt externerBewertung fördert sie Beteiligung und Handlungsorientierungund erhöht die Qualität des untersuchten Bildungskontextesin Hinblick auf Programm, Organisation und Interaktion.

42

4 Konsequenzen Partizipativer Evaluation Politischer Charakter

Partizipative Evaluation tritt in den Kontext von Aushand-lungsprozessen und bekommt somit selbst politischen Cha-rakter. In der weiteren Konsequenz bedeutet dies, dass eineEvaluation dieser Art, besonders wenn sie in hierarchischeoder politisch einseitige Kontexte eintritt, auch system- undorganisationsverändernden Charakter hat. Evaluation zeigtsich in der Realität nicht nur als ein interessantes methodi-sches Vorgehen, sondern hat Implikationen für den Kontextselbst. Evaluation ist nicht neutral, sondern hat in der Ver-bindung mit politischer Bildung Bekenntnischarakter zu einemdemokratischen und partizipativen Vorgehen. In diesem Sinneist sie auch nicht abstrakte Wissenschaft, sondern hat einenpolitikberatenden Charakter: »Evaluation ist selbst Teil diesespolitischen Prozesses, wird von ihm beeinflusst und beeinflusstihn seinerseits – ob sie es bewusst will oder nicht. Auf diesempolitischen Bezug beruht die disziplinäre Eigenart der Evalua-tion und daraus resultiert ihre Mittlerstellung zwischen For-schung und Politikberatung.« (Heiner 2001: o. S.) Partizipa-tive Evaluation ist darüber hinaus eine neue Möglichkeit, zueiner weiteren Politisierung nicht nur der Zielgruppe eines Pro-jektes, sondern des Organisationskontextes selbst beizutragen. Evaluation in unserem Sinne bedeutet also eine Auswei-

43

tung demokratischen Vorgehens in Bereiche, die vormals ver-meintlich neutraler Wissenschaft reserviert schienen. Diesmuss am Anfang eines Evaluationsvorhabens klar benannt undauch vertraglich festgehalten werden. Brisant kann dies imKontext einer politischen Bildung werden, die sich mit ihreneigenen Wertvorstellungen auf sicherem Terrain zu befindenmeint und andere von ihren Grundwerten überzeugen möch-te. Diese Problematik ist in vielen Programmen »gegen rechts«erkennbar, die nicht grundsätzlich pluralistisch angelegt sindund sich durch den Ausschluss »falscher« Weltbilder definie-

16ren. Evaluation kann in solchen Zusammenhängen als Ein-ladung zu neuer Kommunikation dienen, muss sich aber ihrerGrenze bewusst sein: wenn Bildungsprogramme auf der Grund-unterscheidung von richtig und falsch operieren, so kann Par-tizipative Evaluation sehr stark als (manipulative) Zerstörungdieser Grundunterscheidung verstanden werden. Aus Sicht vonProgrammverantwortlichen würde sich Evaluation so aber-mals zum Richter aufschwingen und über »besseres« Wissenverfügen. Dies wäre kontraproduktiv für das eigentliche An-liegen Partizipativer Evaluation. Im Praxisfall muss ausgelotetwerden, wo Ansätze für unterschiedliche Perspektiven bereitsvorhanden sind und wie diese weitergetragen werden können. So gesehen kann Evaluation nicht länger von außen anBildungsprojekte herangetragen werden, sondern ist immerschon mit ihnen und ihren Kontexten verwoben. Evaluationtritt nicht objektiv auf, sondern verändert von Beginn an densozialen Kontext und die Strukturen innerhalb eines Bildungs-projektes als eine Intervention, die grundsätzlich offen in Vor-gehen und Konsequenzen ist und sich in gesamtgesellschaftli-che Diskurse einfügt.

16 Nach unserer Definition befinden sich solche Programme meist innerhalb

der ersten Dimension politischer Bildung. Vgl. Berg/Roth 2003.

44

Partizipative Evaluation

Demokratie Politische Bildung

Das Schema verdeutlicht die Wechselwirkung von Partizipati-ver Evaluation, politischer Bildung und Demokratie. Partizi-pative Evaluation orientiert sich an der Grundanlage politi-scher Bildung, die sich plural versteht. Sie wird aber ebensovon den Errungenschaften und Grundwerten von Demokratie

17bestimmt. Insbesondere der Aushandlungsprozess im Ver-lauf einer Evaluation ist nicht ohne Rückbezug auf den demo-kratischen Rahmen zu denken. Dies bedeutet insbesondere,dass die Werte Gleichheit und Freiheit aller Beteiligten ge-wahrt werden und Ansichten oder Interpretationen, die dieseWerte untergraben, auch nicht als gültige Perspektiven der

18Evaluation zu betrachten sind. Umgekehrt bedeutet die Orientierung Partizipativer Evalua-tion an einem demokratischen Grundrahmen auch eine Rück- 17 Vgl. House/Howe (1999: 97): »The evaluation must be inclusive, dialogical,

and deliberative.«18 Dies ist ein Unterscheidungsmerkmal zur rein konstruktivistischen Evalua-

tion, die in der Gefahr steht, keinen Orientierungsrahmen für unterschied-liche Wertvorstellungen zu bieten. Vgl. hierzu House/Howe (1999: 60):»Suppose that a participant advances a racist view. Are we to hold that thisview is as good as other views? It is no use arguing that other stakeholderswould disagree ... To say that we can have no way of resisting these viewssuggests why relativism is untenable.«

45

wirkung auf politische Bildung bzw. konkrete Projekte undBildungsmaßnahmen politischer Bildung, die evaluiert wer-den. Hier bietet Partizipative Evaluation selbst die Chance,politische Bildung in Richtung der oben besprochenen zwei-ten und dritten Dimension voran zu bringen.

Der Stellenwert für Bildungsprojekte

Evaluation bietet eine Chance der Erweiterung und Vertiefungvon bestehenden Projekten der politischen Bildung. Durch diesystematische Einbeziehung aller Beteiligten wird oft zum ers-ten Mal klar, welche unterschiedlichen expliziten und implizi-ten Annahmen über das eigene Tun und Erleben vorherrschen.Evaluation ermöglicht eine neue Reflexionsebene, die zu einemQualitätssprung innerhalb eines Praxisprojektes werden kann.Theoretische Konzeptionen werden klarer gesehen, eine Ein-ordnung und Abgrenzung von anderen Konzeptionen findetstatt. Evaluation hat darüber hinaus auch Fortbildungsfunktion,indem sie nicht nur neutral Daten abruft, sondern verschiede-ne Perspektiven in das gemeinsame Spiel immer wieder ein-bringt. Dies führt zur Neubewertung der eigenen Perspektiveund der Entwicklung neuer Sichtweisen. Evaluation erweitertso in ihrem Stellenwert den Wirkungsbereich politischer Bil-dung, wie wir sie konzeptualisiert haben. Partizipative Evaluation ermöglicht es den Beteiligten einesBildungsprojektes, durch die gemeinsame Auseinandersetzungklarer nach aussen zu beschreiben, wie ihr »Produkt« definiertist und wie es sich von anderen Produkten politischer Bildungabgrenzt. Dies ist nicht zuletzt unter Wettbewerbsgesichts-punkten notwendig und produktiv. Demokratisches und partizipatives Vorgehen in Evaluation

46

verbindet die Innen- und Aussenwirkung von Bildung. Die oftmangelhafte Umsetzung der eigenen externen Bildungsansprü-che im Rahmen der eigenen Organisation kann mit Partizipa-tiver Evaluation verwirklicht werden. Dies erlaubt eine we-sentlich höhere Transparenz und damit Glaubwürdigkeit beider Darstellung der Binnenstruktur von Bildungsprojekten. Partizipative Evaluation verabschiedet sich von der Vor-stellung, neutral und objektiv vorgehen zu können. Sie beein-flusst nicht nur das, was sie untersucht, sondern bindet sichinhaltlich ein und tritt in eine regelrechte Interaktion mit demjeweiligen Evaluations»objekt«. Sie wird zum Bestandteileines Projektes, ohne darin völlig aufzugehen, denn sie beginntmit einer systematisierten Ausgangsfrage, die explorativ ver-ändert werden kann, aber zu einer bestimmten gemeinsamenAussage über ein Bildungsprojekt führen sollte.

Chancen Partizipativer Evaluation

• Qualitätssprung: Konzeptionelle Vertiefung und Einordnung einesPraxisprojektes

• Bildungscharakter: Eigene Supervision und Weiterbildung der pä-dagogischen Praxis

• Konturierung: Klarere »Produktbeschreibung« und Aussendarstel-lung

• Demokratie: Transparenz und Glaubwürdigkeit des Vorgehens-weise

• Interaktion: Inhaltliche Einbindung in ein Bildungsprojekt• Konsequenz: Handlungsrelevanz für alle Beteiligten

Partizipative Evaluation hat Konsequenzen. Die Beteiligtenund Betroffenen erhalten Antworten auf ihre je eigenen Fra-gen und werden so befähigt, entsprechend zu handeln. Im Ge-gensatz zu vielen Evaluationen, die beeindruckende Statistikenund Zahlenwerke vermitteln, aber ohne Konsequenz bleiben,

47

ist der partizipative Evaluationsansatz selber darauf angelegt,Maßnahmen zu formulieren und gemeinsam umzusetzen. Wir haben in einem dreijährigen Evaluationsprozess unse-res Projektes Erziehung zu Demokratie und Toleranz einigesvon diesen Chancen erfahren dürfen. In der Auseinanderset-zung ist Partizipative Evaluation durchaus ein konflikthafterProzess im Streiten um Deutungen und Sichtweisen. Irritatio-nen, Verunsicherungen und die Suche nach eigenen neuenWegen und Orientierungen sind Teil der Erfahrungen – undgerade dies schlägt den Bogen zu politischer Bildung, die sichder Freiheit und Verantwortung des Menschen verpflichtetweiß.

48

Bibliographie Altrichter, Herbert (1999): Evaluation als Alltäglichkeit, als

Profession und als Interaktion. In: Thonhauser, Josef undJean-Luc Patry (Hrsg.): Evaluation im Bildungsbereich.Innsbruck.

American Evaluation Association (1995): Leitprinzipien fürEvaluatoren. Univation e.V. Verfügbar über: www.univation.org/eval_q15.html (Datum des Zugriffs: 16.06.03).

Arbeitskreis deutscher Bildungsstätten (2001): Qualitätssiche-rung im Arbeitskreis deutscher Bildungsstätten. In: Außer-schulische Bildung. Materialien zur politischen Jugend-und Erwachsenenbildung. Heft Nr. 2/2001.

Beer, Wolfgang (2001): Qualitätsentwicklung in der politi-schen Bildung. In: Außerschulische Bildung. Materialien zurpolitischen Jugend- und Erwachsenenbildung. Heft Nr.2/2001.

Berg, Heinz Lynen von, und Roland Roth (Hrsg.) (2003):Maßnahmen und Programme gegen Rechtsextremismus wis-senschaftlich begleitet. Aufgaben, Konzepte und Erfahrun-gen. Opladen.

Bertelsmann Forschungsgruppe Politik (Hrsg.) (2000): Tole-ranz – Grundlage für ein demokratisches Miteinander. Gü-tersloh.

Beywl, Wolfgang (1999): Zur Weiterentwicklung der Evalua-tionsmethodologie. Grundlegung, Konzeption und Anwen-

49

dung eines Modells der responsiven Evaluation. Frankfurta. M.

Beywl, Wolfgang, Bettina Henze, Susanne Mäder und SandraSpeer (2002): Evaluation in der Stiftungspraxis. Die RotenSeiten zum Magazin Stiftung&Sponsoring. Beilage zu Heft2/2002.

Beywl, Wolfgang, und Sandy Taut (2000): Standards: Aktu-elle Strategie zur Qualitätsentwicklung in der Evaluation.In: Vierteljahreshefte zur Wirtschaftsforschung. 69. Jahr-gang, Heft 3/2000.

Beywl, Wolfgang, und Ellen Schepp-Winter (2000): Zielgeführ-te Evaluation von Programmen – ein Leitfaden. Mit CD-ROM GrafStat. In: Bundesministerium für Familie, Senio-ren, Frauen und Jugend (Hrsg.): QS Nr. 29. Materialien zurQualitätssicherung in der Kinder- und Jugendhilfe. Berlin.

Breit, Gotthard, und Siegfried Schiele (Hrsg.) (2002): Demo-kratie-Lernen als Aufgabe der politischen Bildung. Bonn.

Chelimsky, Eleanor, und William R. Shadish (Hrsg.) (1997):Evaluation for the 21st Century – A Handbook. ThousandOaks.

Ciupke, Paul, Monika Engel, Klaus-Peter Hufer u. a. (2001):Zum demokratischen und professionellen Standort politi-scher Erwachsenenbildung. In: Außerschulische Bildung.Materialien zur politischen Jugend- und Erwachsenenbil-dung. Heft Nr. 2/2001.

Cupchik, Gerald (2001): Constructivist Realism: An Ontologythat encompasses positivist and constructivist Approachesto the Social Sciences (33 paragraphs). Forum QualitativeSozialforschung (On-line Journal), 2(1). Verfügbar über:http://qualitative-research.net/fqs/fqs-eng.htm (Datum desZugriffs: 16.06.03).

Denzin, Norman K., und Yvonna S. Lincoln (2000): Hand-book of Qualitative Research. 2nd Edition. Thousand Oaks.

50

Deutsche Gesellschaft für Evaluation e.V. (Hrsg.) (2001): Eva-luation – Reformmotor oder Reformbremse? Köln.

Deutsche Gesellschaft für Evaluation e.V. (Hrsg.) (2002):Standards für Evaluation. Köln.

Dunn, Seamus, K. Peter Fritzsche und Valerie Morgan, (In-ternational Network »Education for Democracy, HumanRights and Tolerance«) (Hrsg.) (2003): Tolerance Matters– International Educational Approaches. Gütersloh.

Edelstein, Wolfgang, und Peter Fauser (2001): Demokratielernen und leben – Gutachten zum Programm. In: Materia-lien zur Bildungsplanung und zur Förderung. Bund-Länder-Kommission für Bildungsplanung und Forschungsförde-rung. Heft Nr. 96.

Engelhardt, Moritz von (2001): Qualitätssicherung und Eva-luation in der politischen Jugendbildung. In: Außerschuli-sche Bildung. Materialien zur politischen Jugend- und Er-wachsenenbildung. Heft Nr. 2/2001.

Fengler, Jörg (1997): Lernziel, Design und Evaluation. In: Kö-nig, Oliver (Hrsg.): Gruppendynamik. Geschichte, Theorien,Methoden, Anwendungen, Ausbildung. München.

Fetterman, David M. (2001): Foundations of EmpowermentEvaluation. London.

Fielding, Nigel, und Margrit Schreier (2001): On the Compa-tibility between Qualitative and Quantitative Research Me-thods. Forum Qualitative Sozialforschung (On-line Journal),2(1). Verfügbar über: http://qualitative-research.net/fqs/fqs-eng.htm (Datum des Zugriffs: 16.06.03).

Filzmaier, Peter, und Daniela Ingruber (2001): Politische Bil-dung in Österreich – Erfahrungen und Perspektiven einesEvaluationsprozesses. Innsbruck.

Flick, Uwe, Ernst von Kardorff und Ines Steinke (2000): Qua-litative Forschung – Ein Handbuch. Reinbek bei Hamburg.

Georgi, Viola, Susanne Ulrich und Florian Wenzel (2003):

51

Education for Democracy and Tolerance in Germany. In:Dunn, Seamus, K. Peter Fritzsche und Valerie Morgan(Hrsg.): Tolerance Matters – International Educational Ap-proaches. Gütersloh.

Grilz, Wolfgang (1998): Qualitätssicherung in Bildungsstät-ten. Anleitung zur Erstellung eines Qualitätshandbuches.In: Grundlagen der Weiterbildung – Arbeitshilfen. Neu-wied.

Grohmann, Romano (1997): Das Problem der Evaluation inder Sozialpädagogik. Bezugspunkts zur Weiterentwicklungder evaluationstheoretischen Reflexion. Frankfurt a. M.

Guba, Egon G., und Yvonna S. Lincoln (1989): Fourth Gene-ration Evaluation. Newbury Park.

Guba, Egon G., und Yvonna S. Lincoln (2001): Guidelinesand Checklist for Constructivist (a.k.a. Fourth Generation)Evaluation. The Evaluation Center, Evaluation Check-lists. Verfügbar über: www.wmich.edu/evalctr/checklists/constructivisteval.htm (Datum des Zugriffs: 16.06.03).

Heiner, Maja (Hrsg.) (1996): Qualitätsentwicklung durchEvaluation. Freiburg im Breisgau.

Heiner, Maja (2001): Evaluation. In: Otto Hans-Uwe, HansThiersch (Hrsg.): Handbuch Sozialarbeit/Sozialpädagogik.Verfügbar über: www.uni-tuebingen.d/uni/sei/a-sozp/files/evaluation01-pdf (Datum des Zugriffs: 16.06.03).

Herman, Joan L., Lynn Lyons Morris und Carol Taylor Fitz-Gibbon (1987): Evaluator’s Handbook. Newbury Park.

Herrmann, Joachim, und Christoph Höfer (1999): Evaluationin der Schule – Unterrichtsevaluation. Berichte und Mate-rialien aus der Praxis. Gütersloh.

Herneson, Marlene E., Lynn Lyons Morris und Carol TaylorFitz-Gibbon (1987): How to Measure Attitudes. 2nd Edi-tion. Newbury Park.

Hitzler, Ronald, Jo Reichertz und Norbert Schröer (1999):

52

Hermeneutische Wissenssoziologie. Standpunkte zur Theo-rie der Interpretation. Konstanz.

House, Ernest R., und Kenneth R. Howe (1999). Values inEvaluation and Social Research. Thousand Oaks.

House, Ernest R., und Kenneth R. Howe (2000): Delibera-tive Democratic Evaluation Checklist. The Evaluation Cen-ter, Evaluation Checklists. Verfügbar über: www.wmich.edu/evalctr/checklists/dd_checklist.htm(DatumdesZugriffs:16.06.03).

Jagenlauf, Michael (1989): Erfolgskontrolle und Evaluation.In: Grundlagen der Weiterbildung – Praxishilfen, System-stelle 7.90.10.

Kinast, Eva-Ulrike (1998): Evaluation Interkultureller Trai-nings. Lengerich.

Kirkpatrick, Donald L. (1998): Evaluating Training Programs.The Four Levels. 2nd Edition. Berkeley.

König, Oliver (Hrsg.) (1997): Gruppendynamik. Geschichte,Theorien, Methoden, Anwendungen, Ausbildung. München.

Kromrey, Helmut (2001): Evaluation – ein vielschichtigesKonzept. Begriff und Methodik von Evaluierung und Eva-luationsforschung. Empfehlungen für die Praxis. In: Sozi-alwissenschaften und Berufspraxis, 24. Jg., Heft 2.

Lind, Georg, und Jürgen Raschert (Hrsg.) (2000): MoralischeUrteilsfähigkeit. Eine Auseinandersetzung mit LawrenceKohlberg. Weinheim.

Luhmann, Niklas, und Karl Eberhard Schorr (Hrsg.) (1982):Zwischen Technologie und Selbstreferenz. Fragen an diePädagogik. Frankfurt a. M.

Luhmann, Niklas, und Karl Eberhard Schorr (1988): Refle-xionsprobleme im Erziehungssystem. Frankfurt a. M.

Luhmann, Niklas, und Karl-Eberhard Schorr (Hrsg.) (1996):Zwischen System und Umwelt. Fragen an die Pädagogik.Frankfurt a. M.

53

Luhmann, Niklas (2002): Das Erziehungssystem der Gesell-schaft. Frankfurt a. M.

Mohr, Bernhard, und Mette Jacobsgaard (im Druck): Appre-ciative Evaluation. Taos NM.

Morscher, Edgar (1999): Evaluation aus Sicht der Ethik. In:Thonhauser, Josef, und Jean-Luc Patry (Hrsg.): Evaluationim Bildungsbereich. Innsbruck.

Patton, Michael Quinn (2002): Qualitative Research and Eva-luation Methods. 3rd Edition. Thousand Oaks.

Pawson, Ray, und Nick Tilley (1997): Realistic Evaluation.London.

Reber, Rolf (2001): Klar erkannt – schon entschieden. DerEinfluss der perzeptuellen Geläufigkeit auf evaluative Ur-teile. Bern.

Reichertz, Jo (2000): Zur Gültigkeit von Qualitativer Sozialfor-schung. Forum Qualitative Sozialforschung/Forum Qualita-tive Social Research (On-line Journal), 1(2). Abrufbar über:http://qualitative-research.net/fqs-texte/2-00/2-00reichertz-d.htm (Datum des Zugriffs: 16.06.03).

Reischmann, Jost (2002): Weiterbildungs-Evaluation. EinLehrbuch für Praktiker mit zahlreichen Übungsaufgaben.Neuwied.

Rogge, Klaus I. (2001): Qualitätsmanagement: Zwischen(Selbst-)Evaluation und Qualitätssicherung. In: Außerschu-lische Bildung. Materialien zur politischen Jugend- und Er-wachsenenbildung. Heft Nr. 2/2001.

Sanders, James R. (Hrsg.) (1999): Handbuch der Evaluations-standards. Die Standards des »Joint Committee on Stan-dards for Educational Evaluation«. Opladen.

Schiele, Siegfried, und Herbert Schneider, (Hrsg.) (1996):Reicht der Beutelsbacher Konsens? Stuttgart.

Seberich, Michael, und Florian Wenzel (2002): Handeln re-flektieren – Demokratie erleben. In: Breit, Gotthard, und

54

Siegfried Schiele (Hrsg.): Demokratie-Lernen als Aufgabeder politischen Bildung. Bonn.

Shaw, Ian F. (1999): Qualitative Evaluation: IntroductingQualitative Methods. London.

Siebert, Horst (1999): Pädagogischer Konstruktivismus. BerlinSiebert, Horst (2002): Der Konstruktivismus als pädagogische

Weltanschauung. Frankfurt a. M.Steinke, Ines (2000): Gütekriterien qualitativer Forschung. In:

Uwe Flick, Ernst von Kardorff, und Ines Steinke (Hrsg.):Qualitative Forschung. Ein Handbuch. Reinbek bei Ham-burg.

Thonhauser, Josef, und Jean-Luc Patry (Hrsg.) (1999): Eva-luation im Bildungsbereich. Wissenschaft im Dialog. In:Studien zur Bildungsforschung und Bildungspolitik. Band22. Innsbruck.

Uhl, Katrin, Susanne Ulrich und Florian Wenzel (Hrsg.)(2003): Evaluation politischer Bildung. Ist Wirkung mess-bar? Gütersloh.

Weiss, Carol H. (1998): Evaluation. Methods for StudyingPrograms and Policies. 2nd Edition. New Jersey.

Widmer, Thomas (1996): Meta-Evaluation. Kriterien zur Be-wertung von Evaluationen. Bern.

Wottawa, Heinrich, Heike Thierau (1998): Lehrbuch Evalua-tion. 2. vollständig überarbeitete Auflage. Bern.

55

In der Bertelsmann Forschungsgruppe Politik am Centrum fürangewandte Politikforschung (C·A·P) an der Universität Mün-chen sind die folgenden Autoren für das Papier verantwortlichgewesen:

Dipl.-Verw. Wiss. Susanne Ulrich (susanne.ulrich@bigfoot.com), Studium der Verwaltungswissenschaften in Konstanz,1987 – 1990 Referentin für entwicklungspolitische Bildungs-arbeit beim Kolpingwerk, 1992 – 1995 freiberuflich in der Se-minar- und Kulturarbeit tätig, seit 1995 wissenschaftlicheMitarbeiterin des Centrums für angewandte Politikforschungim Projekt »Erziehung zu Demokratie und Toleranz«.

Florian M. Wenzel (florian-marinus.wenzel@weihenstephan.org), Studium der politischen Theorie, Philosophie und Pä-dagogik in Edmonton (Kanada), Essex (Großbritannien) undMünchen, von 1999 bis 2003 wissenschaftlicher Mitarbeiterdes Centrums für angewandte Politikforschung im Projekt»Erziehung zu Demokratie und Toleranz«. Prozessbegleiterfür Open Space und Appreciative Inquiry.

56