TeilA. Übersetzung von The Program Evaluation Standards

Transkript

1 TeilA Übersetzung von The Program Evaluation Standards

2 Funktionales Inhaltsverzeichnis Die Standards sind in diesem Kapitel gruppiert nach den Hauptaufgaben einer Prograrnmevaluation dargestellt. Diese Art der Darstellung soll dem Nutzer zeigen, daß die Standards im ganzen Evaluationsprozeß angewendet werden können, angefangen bei der Planung über die Durchführung bis hin zur Berichterstattung. Die funktionale Übersicht veranschaulicht zudem, daß einige Standards in der Regel für bestimmte Evaluationsaufgaben besser anwendbar sind als andere. Es wäre jedoch ein Fehler, lediglich die hier bezeichneten Standards für eine bestimmte Aufgabe beizuziehen, ohne daß geprüft worden wäre, ob auch andere relevant sein könnten. Grundsätzlich sollten alle Standards in Betracht gezogen werden, wenn es darum geht, ihre jeweilige Bedeutung für eine spezifische Evaluationsaufgabe einzuschätzen. Entscheidung über die Durchführung einer Evaluation N2 Glaubwürdigkeit der Evaluatorin N7 Wirkung der Evaluation D2 Politische Tragfähigkeit D3 Kostenwirksamkeit K1 Unterstützung der Dienstleistungsorientierung K2 Formale Vereinbarungen K7 Deklaration von Interessenkonflikten G2 Kontextanalyse Definition des Evaluationsproblems Kl Unterstützung der Dienstleistungsorientierung

3 14 Handbuch der Evaluationsstandards G2 Kontextanalyse Planung der Evaluation N3 Umfang und Auswahl der Informationen N4 Feststellung von Werten D 1 Praktische Verfahren K2 Formale Vereinbarungen K5 Vollständige und faire Einschätzung G4 Verläßliche Informationsquellen G5 Valide Informationen G6 Reliable Informationen G8 Analyse quantitativer Informationen G9 Analyse qualitativer Informationen G10 Begründete Schlußfolgerungen G 11 Unparteiische Berichterstattung Informationsgewinnung N2 Glaubwürdigkeit der Evaluatorin N3 Umfang und Auswahl der Informationen N4 Feststellung von Werten D 1 Praktische Verfahren D2 Politische Tragfähigkeit K2 Formale Vereinbarungen K3 Schutz individueller Menschenrechte K4 Human gestaltete Interaktion K5 Vollständige und faire Einschätzung G2 Kontextanalyse G4 Verläßliche Informationsquellen G5 Valide Informationen G6 Reliable Informationen G7 Systematische Informationsüberprüfung

4 Funktionales Inhaltsverzeichnis 15 Informationsauswertung N4 Feststellung von Werten D1 Praktische Verfahren GI Prograrnmdokumentation G2 Kontextanalyse G8 Analyse quantitativer Informationen G9 Analyse qualitativer Informationen G10 Begründete Schlußfolgerungen Berichterstattung zur Evaluation N3 Umfang und Auswahl der Informationen N4 Feststellung von Werten N5 Klarheit des Berichts N6 Rechtzeitigkeit und Verbreitung des Berichts N7 Wirkung der Evaluation K1 Unterstützung der Dienstleistungsorientierung K3 Schutz individueller Menschenrechte K5 Vollständige und faire Einschätzung K6 Offenlegung der Ergebnisse GI Prograrnmdokumentation G2 Kontextanalyse G4 Verläßliche Informationsquellen G10 Begründete Schlußfolgerungen G 11 Unparteiische Berichterstattung Budgetierung der Evaluation N3 Umfang und Auswahl der Informationen D3 Kostenwirksamkeit K2 Formale Vereinbarung K8 Finanzielle Verantwortlichkeit

5 16 Handbuch der Evaluationsstandards Abschluß des Evaluationsvertrages N2 Glaubwürdigkeit der Evaluatorin N3 Umfang und Auswahl der Informationen N6 Rechtzeitigkeit und Verbreitung des Berichts D2 Politische Tragfähigkeit Kl Unterstützung der Dienstleistungsorientierung K2 Formale Vereinbarungen K3 Schutz individueller Menschenrechte K6 Offenlegung der Ergebnisse K7 Deklaration von Interessenkonflikten K8 Finanzielle Verantwortlichkeit Leiten der Evaluation/Evaluationsmanagement N2 Glaubwürdigkeit der Evaluatorin N6 Rechtzeitigkeit und Verbreitung des Berichts D2 Politische Tragfähigkeit D3 Kostenwirksamkeit Kl Unterstützung der Dienstleistungsorientierung K2 Formale Vereinbarungen K3 Schutz individueller Menschenrechte K4 Human gestaltete Interaktion K7 Deklaration von Interessenkonflikten K8 Finanzielle Verantwortlichkeit G7 Systematische Informationsüberprüfung Personelle Ausstattung der Evaluation N2 Glaubwürdigkeit der Evaluatorin D2 Politische Tragfähigkeit K7 Deklaration von Interessenkonflikten

6 Einladung an die Nutzer Die Program Evaluation Standards sind das Ergebnis eines Pionierprojektes, das im Jahr 1975 begonnen wurde. Das Ziel war es, Standards zu entwickeln, die dazu beitragen, nützliche, durchführbare, ethische und fundierte Evaluationen von Programmen, Projekten und Materialien in den Bereichen Bildung und Erziehung zu ermöglichen. Diese Standards müssen angewendet, überprüft und verbessert werden und zwar in vielen Feldern, als Teil eines fortwährenden Bemühens zahlreicher Personen, die sich dafür einsetzen, die Praxis der Evaluation voranzubringen. Wir ermutigen diejenigen, welche die Standards in vielfli.ltigen Feldern oder Situationen einsetzen, ihre Erfahrungen bei der Nutzung der Standards mit dem Joint Committee zu teilen. Um diesen Prozeß zu unterstützen, hat das Joint Committee ein Informationspaket zusammengestellt, das einen Dankesbrief, Informationen über den Überprüfungs- und Aktualisierungsprozeß und auch Feedback-Formulare mit Hinweisen für deren Einsatz enthält. Dieses Paket kann vom Joint Committee angefordert werden. Auf den Formularen aus diesem Paket werden die Nutzer gebeten, a) Rollen und Verantwortlichkeiten zu beschreiben - beispielsweise diejenigen der Evaluatorin, des Auftraggebers und anderer Adressaten - die während der Evaluation, über die berichtet werden soll, bestanden; b) eine Zusammenfassung der Evaluation mitzusenden, einschließlich einer Anwendung der Standards; c) Exemplare der Evaluationsberichte zur Verfügung zu stellen; d) Probleme zu beschreiben, die bei Anwendung der einzelnen Standards entstanden sind; e) Konflikte zu beschreiben, die sie zwischen den Standards wahrgenommen haben und wie diese gelöst wurden; f) Schwachstellen zu beschreiben, die sie in den Standards gefunden haben und Verbesserungen oder Verfeinerungen vorzuschlagen; und g) wichtige Bereiche zu identifizieren, die durch die Standards noch nicht abgedeckt werden, aber abgedeckt sein sollten. Das Joint Committee hat auch eine Art Zitier-Formular 4 zur Verfügung gestellt, welches in der Einleitung abgedruckt ist. Nutzer der Standards möchten es bitte ausfüllen, Materialien, auf welche die Standards angewendet wurden, wie Evaluati- 4 Vgl. die Checkliste im Kapitel "Anwendung der Standards", S. 42 (Anm. d. Ü.)

7 18 Handbuch der Evaluationsstandards onsausschreibungen, Evaluationspläne, Verträge, Berichte usw. beifügen und dies dem Joint Committee zusenden. Alle Anfragen (in englischer Sprache) sind zu richten an: The Joint Committee on Standards for Educational Evaluation The Evaluation Center c/o Western Michigan University Kalamazoo, Michigan USA Kopien solcher Anfragen (oder deutschsprachige Texte) werden an eine oder beide der nachstehenden Adressen erbeten: Deutsche Gesellschaft für Evaluation AK Leitprinzipien/Standards c/o UNIvation e.v. Universität zu Köln Gronewaldstraße Köln Schweizerische Evaluationsgesellschaft AG Evaluationsstandards c/o Institut für Politikwissenschaft Universität Zürich Karl Schmid-Strasse 4 CH-8oo6 Zürich

8 Vorwort Im Jahr 1974 schloß ein Komitee die Revision der 1966 durch die American Psychological Association veröffentlichten Standards for Educational and Psychological Tests and Manuals ab. Dieses Komitee war durch die American Educational Research Association, die American Psychological Association und den National Council on Measurement in Education berufen worden. Ein bedeutsames Thema dieser Zeit war die Nutzung von Tests bei der Evaluation von Programmen in Bildung und Erziehung. Nach eingehender Diskussion entschied das Komitee, daß es außerhalb des Rahmens seiner Revisionsaufgabe lag, einen Abschnitt über Evaluation in diese Test Standards einzufügen. Es empfahl, ein neues Komitee zu schaffen, um diese Aufgabe zu übernehmen. Die drei Organisationen akzeptierten diese Empfehlung und stellten ein neues Komitee zusammen, dem drei Mitglieder jeder dieser Organisationen angehörten. Das Komitee traf sich das erste Mal im Frühjahr 1975 und empfahl den entsendenden Organisationen, daß diese ein Projekt zur Entwicklung von Standards beginnen sollten, nicht nur für den Einsatz von Tests in der Evaluation sondern allgemein für die Evaluation in Bildung und Erziehung. Die drei Organisationen akzeptierten diese Empfehlung. Außerdem sprach sich das neue Komitee dafür aus, seine Mitgliedschaft auszuweiten und andere Organisationen, die sich mit der Qualität von Evaluation im Bereich Bildung und Erziehung beschäftigten, einzubeziehen. Schließlich benannten zwölf Organisationen Mitglieder für dieses neue Joint Committee on Standards for Educational Evaluation. Das Joint Committee nahm seine Arbeiten im Herbst 1975 auf. Es war nicht von vornherein klar, daß die Bemühungen zur Entwicklung von Standards für Evaluation im Bereich Bildung und Erziehung erfolgreich sein würden. Bei den zwölf unterstützenden Organisationen bestand bis dahin keine Tradition der Zusammenarbeit und es gab ernsthafte und grundlegende Unterschiede in den Positionen der Komitee-Mitglieder. So plädierte beispielsweise ein Mitglied dafür, den Einsatz von Tests auszuschließen, während sich andere für deren Nutzung einsetzten. Es gab also ernsthafte Nicht-Übereinstimmungen in Bezug auf die Themen, die in den neuen Standards behandelt werden sollten. So wurde z.b. darüber diskutiert, ob Standards für Institutionen- oder Personalevaluation eingeschlossen werden sollten oder nicht. Das Joint Committee nahm die Arbeiten auf, um diese bestehenden thematischen Konflikte zu lösen und es beschloß, seine Bemühungen zunächst auf Evalua-

9 20 Handbuch der Evaluationsstandards tionen von pädagogischen Programmen, Projekten und Materialien zu beschränken. Hieraus resultierte die Publikation der Standards for Evaluations of Educational Programs, Projects, and Materials (McGraw-Hill, 1981). Die Evaluation von Institutionen war nicht eingeschlossen, mit Blick auf die Arbeit von Akkreditierungsagenturen. Das Thema Personalevaluation wurde vertagt, um sich nicht zu viel vorzunehmen und weil Bedenken hinsichtlich der potentiellen politischen Konsequenzen bestanden, wenn sich ein sehr junges Komitee mit dieser emotional aufgeladenen Thematik beschäftigen würde. Später veröffentlichte das Joint Committee die Personnel Evaluation Standards (Sage, 1988) Das Joint Committee entwickelte einen systematischen öffentlichen Prozeß, um die neuen Standards zu entwickeln und zu überprüfen, bevor es deren Nutzung empfahl. Dieser Prozeß wird beschrieben in den Operating Procedures of the Joint Committee on Standards for Educational Evaluation, welche beim Evaluation Center an der Western Michigan University bezogen werden kann (vgl. den Beitrag von James Sanders im Teil B dieses Buches S. 237ff; Anm. d. Ü.). Der Prozeß bezieht viele Evaluationsexperten, Evaluationsnutzer und andere, die sich mit der Qualität von Evaluation in Bildung und Erziehung auseinandersetzen, mit ein. Diese Personen sind in einen öffentlichen Prozeß des Setzens von Standards eingebunden und zwar als Mitwirkende in Schreibgruppen, Rezensionsgruppen, Feld-Überprüfungsgruppen, öffentlichen Anhörungen, Validierungsgruppen, im Joint Comrnittee selbst und schließlich als interessierte Kritiker. Einige Hundert Pädagogen, SozialwissenschaftIer und Bürger wurden in die Entwicklung der ersten Standards für Programmevaluationen einbezogen, ebenso für die Entwicklung der Standards für Personalevaluationen. Im Jahr 1981 wurde das Joint Comrnittee als permanente Non-Profit-Organisation zur Entwicklung von Evaluationsstandards, zu deren periodischer Überprüfung und Revision, zur Förderung und Unterstützung der Nutzung der Standards wie auch der Forschung und Entwicklung im Zusammenhang mit den Standards institutionalisiert. Im Jahr 1989 wurde der Prozeß des Joint Comrnittee für die Entwicklung von Standards durch das American National Standards Institute (ANS I) akkreditiert. Standards, die durch das ANSI anerkannt sind, werden nationale amerikanische Standards und sind als solche auf der ganzen Welt erhältlich. Im Jahr 1989 kam das Joint Comrnittee zu der Einschätzung, daß die Zeit reif sei, die Standards for Evaluations of Educational Programs, Projects and Materials einer Überprüfung zu unterziehen. Diese Entscheidung basierte auf einem wachsenden Interesse von Evaluatorinnen in Feldern außerhalb von Schulen, welche die Standards auf Programmevaluationen in ihren je eigenen Feldern anwenden wollten. Außerdem schlossen die 1981er Standards neue Entwicklungen in der Evaluation nicht ein, die, seitdem die Standards das erste Mal veröffentlicht worden waren, eingeführt wurden. Man entschied sich dazu, daß die Prinzipien aus dem Jahre 1981 auf das neue, breiter angelegte Vorhaben angewendet werden sollen. Die neuen Program Evaluation Standards sind das Ergebnis eines äußerst breit angelegten Überprüfungsprozesses. Ursprüngliche Standards sind kombiniert worden, andere sind hinzugefügt worden. Außerdem - und dies ist besonders wichtig - sind neue Anwendungsbei-

10 Vorwort 21 spiele hinzugefügt worden, welche die Anwendung der Standards in Erziehungs-, Ausbildungs- und Trainingsbemühungen darstellen, die sowohl Schulen, Universitäten, Recht, Medizin, Pflege, Militär, Unternehmen, Regierung und soziale Dienstleistungsagenturen berücksichtigen. Eine Validierungsgruppe, deren Zusammensetzung diese ausgeweiteten Publika repräsentierte, wurde eingerichtet, um die Entwicklung dieses Dokumentes zu überwachen. Als Ganzes genommen stellen die dreißig Standards eine Arbeitsphilosophie für Evaluation zur Verfügung. Sie definieren die Konzeption der Prinzipien durch das Joint Committee, die Programm-Evaluationen anleiten und steuern sollten und sie bieten sehr praktische Hinweise dafür, wie diese Prinzipien beachtet werden können. Das Joint Committee fordert all diejenigen, die in Programmevaluationen einbezogen sind, dazu auf, die Standards anzuwenden, und zwar umfassend und sorgfaltig. Die Anwender werden außerdem ermutigt, an der Verbesserung dieser Standards mitzuwirken, indem sie deren Angemessenheit einschätzen und darüber berichten, wenn diese in ihren eigenen Programmevaluationen oder in der Evaluatorinnenausbildung angewandt werden. Die Standards bemühen sich darum, Leitlinien für effektive Evaluationen zur Verfügung zu stellen. Die Standards allein können die Qualität von bestimmten Evaluationen nicht garantieren oder sicherstellen. Gute Evaluationen erfordern geübte professionelle Beurteilung, um die Standards angemessen auf bestimmte Evaluationssituationen anzuwenden. Die Standards beabsichtigen, die beste Praxis zur Zeit ihrer Formulierung wiederzugeben. Das Joint Committee anerkennt, daß, wenn sich die professionelle Praxis und die professionelle Wissensbasis über Evaluation mit der Zeit verändert, die Standards selbst revidiert werden müssen, um diesen neuen Entwicklungen zu entsprechen. Dennoch ist das Joint Committee zuversichtlich, daß die Standards weiterhin zu nützlichen, durchführbaren, ethischen und genauen Programmevaluationen anleiten werden und daß diese Evaluationen schließlich einen erkennbaren Beitrag zur Verbesserung von Bildung und Erziehung in verschiedensten Situationen zu leisten vermögen.