1. Unter welchen Voraussetzungen kann sozialwissenschaftlich gestützte Evaluation stattfinden?

Transkript

1 1. Unter welchen Voraussetzungen kann sozialwissenschaftlich gestützte Evaluation stattfinden? Es muß ein Bedarf nach Evaluationsprojekten beim Auftraggeber vorliegen. Dieses setzt folgende Dinge voraus: Es gibt Ziele, die mit psychologischen bzw. sozialwissenschaftlichen Evaluationsvorhaben erreicht werden können. Aus der Sicht des Auftraggebers müssen die Beiträge der Wissenschaft für solche Fragestellungen einen Nutzen haben, der die erwarteten "Kosten" übersteigt. Kompetente Evaluatoren und andere Ressourcen müssen verfügbar sein. 2. Nennen Sie "psychologische Voraussetzungen" für die Akzeptanz von Evaluation und beschreiben Sie Bedingungen, die diese Voraussetzungen gefährden. Erläutern Sie diese psychologischen Voraussetzungen anhand eines von Ihnen notwendig erachteten Evaluationsprojekts. Akzeptanz der Veränderbarkeit und Veränderungsbedürftigkeit: Gefährdung durch lang eingeführte Mechanismen, die (subjektiv) als erfolgreich angesehen werden und ein in Frage stellen von Gewohnheiten vermeiden. Sich dem Risiko des Scheiterns (= Furcht vor Mißerfolg) auszusetzen: Gefährdung durch a) positive Verhaltensverstärker in der Vergangenheit - Lernen am Erfolg - Lernen durch Wiederholung - Lernen am Modell b) Verantwortungsvermeidung c) Angst, daß das Versagensrisiko größer ist als ein eventueller Nutzen. Bereitschaft der Entscheidungsträger zur Akzeptanz von Fakten: Gefährdung durch die Abwehrhaltung des Menschen, sich Schwächen der herrschenden Ideologie aufzeigen zu lassen. Evaluationsprojekt: Schaffung einer neuen Abteilung oder gravierende Organisationsänderungen im Personalwesen. 3. Nennen Sie unterschiedliche Formen der Systemsteuerung nach Wottawa und Thierau und beschreiben Sie diese Systemsteuerung anhand eines Evaluationsvorhabens ihrer Wahl. Warum sind die genannten Steuerungssysteme trotzt ihres unterschiedlichen Ansatzpunktes immer Output orientiert? Inputsteuerungssystem: Angriffspunkt ist der Auswahlfilter Beispiel: Auswahlverfahren von Professoren an den Unis Verhaltenssteuerungssystem: Angriffspunkt sind konkrete Handlungsvorhaben oder Anweisungen Beispiel: Motivationsanreize oder Leistungsbeurteilungen in öffentlichen Verwaltungen Outputsteuerungssystem: Angriffspunkt sind die Ziele hinsichtlich ihrer Effektivität Beispiel: Vertriebsunternehmen wird hinsichtlich Kosten-Nutzen-Verhältnis evaluiert = Profit-Center-Optimierung Ines Gallowski, Susann Herrmann, Tina Krawetzke, Stefanie Krysiak Seite 1 von 6

2 Alle Steuerungssysteme kann man auch als Outputsteuerungssysteme verstehen, da egal wo der Angriffspunkt gesetzt wird, es immer zu einem Einfluß auf den Output kommt. 4. Nennen Sie sechs potentielle Ziele und Nutzenserwartungen von Auftraggebern eines Evaluationsprojektess und mögliche Schwierigkeiten, die sich aus diesen Nutzenserwartungen ergeben können. Bewertung ohne detaillierte Zielsetzung: Schwierigkeit: Durch ein zwangsläufiges entstehendes Mißtrauen gegenüber den Verantwortlichen, Befürwortern oder Nutznießern, muß mit emotionalen Problemen, verdeckten oder offenen Widerständen und der Gefahr von Fehlinformationen durch die Beteiligten gerechnet werden. Verantwortungsdelegation: Schwierigkeit: Verantwortung soll zum Teil auf den Evaluator übertragen werden Kann zur Unklarheit des Auftrages führen, wenn dieses nicht offen angesprochen wird. Durchsetzungshilfe: Schwierigkeit: "Salami-Taktik" (Veränderung in kleinen Portionen) schafft für Gegner und Befürworter der Innovation Zeit, um für die jeweils eigene Auffassung aus den Reihen der Personen, die mit der Innovation persönliche Erfahrungen gesammelt haben Argumente zu finden. Entscheidungshilfe: Drang des Auftraggebers nach "erwünschten" Ergebnissen kann zu ergebnisorientierten Einfluß auf Durchführungsbedingungen, Personalauswahl oder Berichtslegung führen. Schwierigkeit: Vergleichbarkeit der Alternativen, Festlegung des Gesamtnutzen einer Maßnahme, Kompensationsmöglichkeiten Optimierungsgrundlagen: Schwierigkeit: Evaluator benötigt Fachkenntnisse aus dem evaluierten Bereich und ist auf häufige und intensive Kooperation und Konsensbildung mit den Betroffenen angewiesen. Kontrolle der Zielerreichung: Hier werden viele Schwierigkeiten vermieden, die sich bei vergleichender Evaluation stellen. 5. Erläutern Sie den Begriff Kontextevaluation. Bei der Kontextevaluation werden vor der sachgerechten Planung einer zu evaluierenden Maßnahme auch die Voraussetzungen bewertet, unter denen eine Evaluation stattfinden soll. Ines Gallowski, Susann Herrmann, Tina Krawetzke, Stefanie Krysiak Seite 2 von 6

3 Welche Aspekte werden bei dieser Form der Evaluation zum Gegenstand der Untersuchung? Darunter versteht man die Erarbeitung der Projektziele, die ethische Bewertung der zu untersuchenden Maßnahmen und die geplante Verwendung der Evaluationsergebnisse. Nicht zu vergessen sind dabei auch deren absehbaren, kontextbedingten Nebenfolgen. Warum ist eine parteiliche Evaluation abzulehnen und eine offene Evaluation einer geschlossenen vorzuziehen? Wird eine Evaluation parteilich beeinflusst, so ist die Studie so anzulegen, dass unabhängig von der empirischen Faktenlage ein bestimmtes, gewünschtes Ergebnis auftritt. Dieses Ansinnen widerspricht den Grundgedanken wissenschaftlichen Arbeitens an sich und der Evaluationsforschung im Besonderen. Bei der geschlossenen Evaluation werden die Evaluationsergebnisse nur dem Auftraggeber bekannt gemacht. So kann es für den Leiter einer Hotelkette einen wirtschaftlichen Schaden bedeuten, wenn die positiven Ergebnisse über die Zufriedenheit der Gäste mit den neuesten Wellnessangeboten der Öffentlichkeit (insbesondere der Konkurrenzhotels) zugänglich gemacht werden. Der wissenschaftlichen Ethik entsprechend sollte aber auf die Bekanntgabe der Ergebnisse als offene Evaluation wert gelegt werden. 6. Grenzen Sie die Begriffe praxisorientierte, entwicklungsorientierte und theorieorientierte Evaluation voneinander ab. Praxisorientierte Evaluation besteht dann, wenn konkrete Praxiseffekte bewertet werden. Das geschieht häufig bei der Evaluation von Erfolgen bei Psychotherapien für bestimmte Störungen. Steht die Verbesserung einer Interventionsmaßnahme für die Zukunft im Vordergrund, spricht man von entwicklungsorientierter Evaluation. Theorieorientierte Evaluation hebt die Förderung oder Weiterentwicklung der einer Interventionsmaßnahme zugrundeliegenden Theorie hervor. Haben sich zum Beispiel die Akupunktur und die Pharmakotherapie bei der Behandlung von Schmerzpatienten besonders effektiv bewähren können, so hätte die theoriefördernde Evaluation die Aufgabe, neben der Bewertung beider Maßnahmen auch die theoretischen Grundlagen des Erfolges mit aufzudecken. 7. Was versteht man unter Mikro- und Makroevaluation? Eine Mikroevaluation interessiert sich nur für Details während eine Makroevaluation komplexere Einheiten untersucht. Ersteres liegt zum Beispiel vor, wenn Unterrichtstexte didaktisch aufbereitet werden und Letzteres, wenn hingegen Fragen der Schulorganisation beantwortet werden sollen. Warum ist eine derartige Unterscheidung schwierig festzulegen? Aussagen über komplexe Einheiten (Makrobereich) können nur gemacht werden, wenn man sich die einzelnen Bestandteile (Mikrobereiche) anschaut und diese näher untersucht. Daher können diese beiden Begriffe nicht losgelöst voneinander gesehen werden. 8. Grenzen Sie die Begriffe prognostische und prospektive Evaluation voneinander ab. Soll eine Untersuchung Vorhersagen aufgrund empirischer Daten über den Erfolg einer später durchzuführenden Maßnahme treffen, spricht man von prognostischer Evaluation. Diese liegt zum Beispiel vor, wenn im Rahmen der Einführung einer neuen Unterrichtsform Schulen ausgewählt werden, welche die neue Art des Unterrichtens vorerst modellhaft anwenden. Ebenfalls werden Untersuchungen dieser Art typischerweise anhand von Testmärkten durchgeführt. So plant eine große Supermarktfirma in Deutschland, mit einer Frischfleischtheke ihr Angebot aufzustocken. Um den Erfolg dieser Maßnahme vorherzusagen, soll die Reaktion der Kunden auf das neue Angebot vorerst in Mecklenburg- Vorpommern getestet werden. Ines Gallowski, Susann Herrmann, Tina Krawetzke, Stefanie Krysiak Seite 3 von 6

4 Bei der prospektiven Evaluation geht es darum, eine Maßnahme vor deren Realisierung auf der Basis geeigneter Sozialtechniken zu bewerten. Dies ist zum Beispiel nötig, wenn es um die Frage geht, welche von zwei geplanten Transrapid-Strecken am rentabelsten sein wird. Diesen Vergleich anhand der Anzahl der Mitreisenden erst nach dem Bau beider Strecken anzustellen, wäre es ersichtlichen Gründen abzulehnen. 9. Nennen Sie Schwierigkeiten, die bei Evaluationsprojekten auftreten können, die sich an der relativen Effektivität unterschiedlicher Maßnahmen orientieren. Die Erzielung einer zufriedenstellenden Effektivität kann schwierig sein, da hier durch die Berücksichtigung des Nutzens pro Aufwandseinheit ein Vergleich mit alternativen Maßnahmen naheliegt. Vor allem größere, aufwendige Projekte können dabei schlechter abschneiden als einfache, schnell und billig durchzuführende Projekte. Diese bringen zwar vom absoluten Betrag weniger Nutzen, zeigen aber bezogen auf den Aufwand die höhere Rendite. Beispiel: a) Eine neue Lernform, die ohne großen Aufwand in den Mathematikunterricht einzuführen ist b) die flächendeckende Anschaffung von PCs. 10. Warum sollte bei den meisten Fragestellungen neben einer Program-Impact- Evaluation auch eine Compliance-Evaluation durchgeführt werden? Begründen Sie Ihre Aussage anhand eines eigenen Beispiels! Bewertung der Programmauswirkungen (program impact) Compliance-Evaluation: hierbei geht es darum, wie weit eine Maßnahme überhaupt befolgt wurde Beispiele: a) Medikamentöse Behandlung: fehlende Compliance liegt vor, wenn die Patienten die vorgeschriebenen Medikamente nicht einnehmen- dies ist häufig der Fall. b) Die Erprobung einer neuen Lehrform: Haben sich die Lehrer überhaupt an die Programmvorgaben gehalten? Für die Bewertung einer Maßnahme spielt es natürlich eine große Rolle, ob ein negatives Resultat auf fehlende Compliance oder fehlende Programmeffektivität zurückzuführen ist. 11. Grenzen Sie die Begriffe intrinsische und extrinsische Evaluation sowie interne und äußere Evaluation voneinander ab. Extrinsische Evaluation: Eine Maßnahme wird aufgrund ihrer Auswirkung bei den jeweiligen Adressaten überprüft (häufig) Intrinsische Evaluation: Die Bewertung erfolgt unabhängig von konkreten Auswirkungen dieser Art, z.b. bei der Bewertung eines Personalentwicklungssystems hinsichtlich seiner Passung zur jeweiligen Unternehmenskultur durch die Befragung der dortigen Führungskräfte. Ines Gallowski, Susann Herrmann, Tina Krawetzke, Stefanie Krysiak Seite 4 von 6

5 Innere Evaluation (auch Selbstevaluation): Die Mitarbeiter einer Institution sind auch für die Bewertung verantwortlich (im Extremfall sogar der Planer und Durchführer der jeweiligen Interventionsmaßnahme) Äußere Evaluation: Es erfolgt eine entsprechende personelle Trennung 12. Beschreiben Sie die beiden von Wottawa und Thierau beschriebenen Formen der Meta- Evaluation. Nach Abschluß von Evaluationsprojekten sollten die dabei gemachten Erfahrungen nach Möglichkeit aufbereitet und zusammengefaßt werden, was man allgemein als Meta- Evaluation bezeichnet. Summierende Meta-Evaluation: Es werden globale Aussagen über die Effektivität einer bestimmten Therapie oder einer bestimmten Organisationsform gemacht. Dafür wurden auch eine Reihe spezieller statistischer Techniken entwickelt. Program-Design Evaluation: Man erhält Hinweise für die verbesserte Gestaltung neuer Evaluationsprojekte, z.b. für das verwendete Instrumentarium, Techniken zur Feststellung der Ziele und Konsequenzen oder für die jeweils gewählten Untersuchungsdesigns. 13. Was versteht man unter entscheidungsorientierter und schlußfolgernder Evaluation (Cronbach & Suppres, 1969)? Entscheidungsorientierte E.: - Aufgabe des Forschers: im Rahmen einer Auftagsuntersuchung die von den Entscheidungsträgern gewünschten Informationen zu liefern Schlußfolgernde E.: - Forscher formuliert selber die ihn interessierenden Hypothesen ohne nennenswerten Einfluß eines Entscheidungsträgers - Ziel: nicht konkrete Umsetzung der Ergebnisse (z.b. in einer Institution), sondern begriffliche Erfassung und Erklärung des ausgewählten Problems Welcher dieser beiden Formen der Forschung ist Evaluation zuzuordnen? - entscheidungsorientierter Forschung = Evaluation - schlußfolgernde Evaluation = wissenschaftliche Forschung In welches Verhältnis setzt Glass (1972) die Begriffe Wert und Wahrheit zu Evaluation und Forschung? - Evaluation: - versucht Wert einer Sache einzuschätzen - Wert = gesellschaftlicher Nutzen - Forschung : - versucht Wahrheit einer Sache einzuschätzen - Wahrheit = Kriterien empirische Überprüfbarkeit eines allg. Phänomens mit allgemeinverbindlichen Forschungsmethoden und logische Konsistenz Ines Gallowski, Susann Herrmann, Tina Krawetzke, Stefanie Krysiak Seite 5 von 6

6 14. Nutzen und Zusatznutzen der Wissenschaft in der Durchführung eines Evaluationsprojektes Nutzen: echter Sachbeitrag: - Theorie- und Methodenkenntnisse allg. - Erfahrung i. d. Durchführung empirischer Projekte Zusatznutzen: - Aufwertung von Projekten - höhere Glaubwürdigkeit einer fachlichen Autorität 15. Zusammenhang zwischen dem in der Wirtschaft angewandten Qualitätsmanagement nach vorgegebenen Normen und Evaluation Zielsetzungen sind identisch: - auf Basis von empirisch feststellbaren Sachverhalten soll ein Vorgang bewertet (summativ) oder optimaler gestaltet (formativ) werden Aber: unterschiedliche Wurzeln, daher unterschiedliche Terminologien! Qualitätsmanagement: Evaluation im Dienstleistungsbereich: technische Qualitätsprüfung weiche Kriterien Vor- und Nachteile von Evaluation und Qualitätsmanagement nach vorgegebenen Normen Vorteile bei Qualitätsmanagement = Nachteile bei Evaluation und umgekehrt! Qualitätsmanagement: Evaluation: + Normen (man erreicht Standards) + Vergleichbarkeit + Verifizierbarkeit der Maßnahmen - es gehen Details verloren - weniger Flexibilität + klare Definition des in der Dienstleistung für den Kunden zu erbringenden Outputs + Aussagen für angestrebte Leistung dürfen nicht offen bleiben (z.b. hohe Erreichbarkeit unsrer Hotline ), sonder. Aufstellung exakter Mindestgrenzwerte (z.b. max. Wartezeit 5 Minuten ) + Verbindung zw. eigenem Verhalten und dem für den Kunden zugesagten Leistungen müssen allen an der Leistungserbringenden Beteiligten bekannt sein + Überprüfung der erbrachten Leistung unmittelbar durch Leistungserbringer, aber auch durch unabhängiges Personal + Qualitätsaudit in regelmäßigen Abständen für Optimierungsmöglichkeiten 16. Funktionen d. Evaluators im Handlungsablauf eines Evaluationsprojektes (Wottawa &Thierau) - summativer Bewerter: Zurücknehmen der eigenen Meinung und Persönlichkeit gegenüber Auftrag und Sachlage - Informationsbeschaffer: Gestaltung des Instrumentariums gemäß eigener Auffassung und Durchsetzung einer optimalen Anwendung im Feld (auch gegen Widerstände) - formativer Helfender: Ratgeber, der unterschiedliche Gestaltungsvorschläge und Interessen zu einem Konsens führt Ines Gallowski, Susann Herrmann, Tina Krawetzke, Stefanie Krysiak Seite 6 von 6