Evaluationsforschung in der Pädagogischen Psychologie: Grundlagen & Überblick. Kirsten von Sydow

Transkript

1 Evaluationsforschung in der Pädagogischen Psychologie: Grundlagen & Überblick Kirsten von Sydow 1

2 Worüber sprechen wir heute? Grundlagen der Evaluationsforschung Überblick über nationale & internationale Schul-Vergleichsstudien Stellenwert der Evaluationsforschung in der Pädagogischen Psychologie 2

3 Grundlagen der Evaluationsforschung 3

4 Evaluationsforschung Befasst sich mit der Bewertung von Maßnahmen oder Interventionen. Ist keine eigenständige Disziplin, sondern eine Anwendungsvariante wissenschaftlicher Forschungsmethoden auf eine spezielle Gruppe von Fragestellungen. 4

5 Definition Evaluation (Bortz & Döring, 1995) Evaluationsforschung befasst sich mit der Bewertung von Maßnahmen oder Interventionen (Konzept, Untersuchungsplan, Implementierung, Wirksamkeit) Anwendungsfelder: Bildungsforschung Psychotherapie- & Psychiatrieforschung Arbeitspsychologie Politikforschung 5

6 Definition Evaluationsforschung (angelehnt an: Rossi & Freeman,, 1993) = Die systematische Anwendung empirischer Forschungsmethoden zur Bewertung sozialer Interventionsprozesse, insbesondere deren: Konzept Untersuchungsplan Implementierung & Wirksamkeit 6

7 Es geht jedoch nicht nur um die Bewertung von Interventionsprogrammen, sondern auch um die Bewertung von... Personen (z.b. Therapeuten, Dozenten) Umweltfaktoren (z.b. Fluglärm) Produkte (z.b. Psychopharmaka) Techniken/Methoden (z.b. beim Lesen-Lernen) Lernen) Zielvorgaben (z.b. Lernziele) Projekte/Programme (z.b. HIV-Prävention) Systeme/Strukturen (z.b. Privat- vs. staatl. Unis) Forschung (z.b. Gutachten über Forschungsanträge) 7

8 Evaluationsforschung (EF) EF umfasst alle Forschung, die den Erfolg gezielt eingesetzter Maßnahmen überprüft oder die Auswirkungen von Wandel in Natur, Kultur, Technik & Gesellschaft bewertet. = angewandte Forschung (<-> Grundlagenf.) = Auftragsforschung / Begleitforschung > Evaluationsfrage soll beantwortet werden! > Allgemeinverständlicher Untersuchungsbericht > Selbstevaluation ist problematisch! 8

9 Lehrbücher Amelang,, M. & Zielinski,, W. (2002). Psychologische Diagnostik und Intervention (3. Auflage). Berlin: Springer. (im Semesterapparat) Wottawa,, H. & Thierau,, H. (2003). Lehrbuch Evaluation (3. korr. Aufl.). Bern: Hans Huber Verlag. 9

10 Weitere Literaturquellen I Bortz & Döring (1995). Forschungsmethoden und Evaluation. Berlin: Springer. Brähler,, E. et al. (Hrsg.) Brickenkamp Handbuch psychologischer & pädagogischer Tests (Bd. 1 & 2). Göttingen: Hogrefe. Committee to Develop Standards for Educational & Psychological Testing (1998). Standards für pädagogisches & psychologisches Testen. Diagnostica,, 1, Supplementum. Fisseni,, H.J. Lehrbuch der psychologischen Diagnostik (3. Überarb. & erw. Aufl.). 10

11 Weitere Literaturquellen II Lienert & Raatz (1998). Testaufbau & Testanalyse (6. Aufl.). Weinheim: Beltz/PVU. Testzentrale (2002). Testkatalog 2002/03. Göttingen: Hogrefe. Wottawa,, H. & Hossiep,, P. (1987). Grundlagen psychologischer Diagnostik. Eine Einführung. Göttingen: Hogrefe. Wottawa,, H. & Hossiep,, P. (1997). Anwendungsfelder psychologischer Diagnostik. Göttingen: Hogrefe. 11

12 Anwendungsfelder von Evaluationsforschung Bildungsforschung Psychotherapieforschung Medizin & Gesundheitswesen Arbeitspsychologie Politikforschung USA: schon seit den 1930er Jahren in die Sozialpolitik integriert 12

13 Qualitätssicherung Überprüft, inwieweit eine Maßnahme ihre angestrebten Ziele bei möglichst niedrigen Kosten erreicht. Beispiele: Psychotherapie: Ist eine bestimmte Therapie wirksam? Können andere Therapien das gleiche Ziel schneller erreichen? Prävention, z.b. von HIV/AIDS-Infektionen: Infektionen: Führen die Präventionsmaßnahmen zu Veränderungen im Wissen, Einstellungen & Verhalten? Sind sie kostengünstig? Schulunterricht: Führt er zu Verbesserungen von Wissen & kogn. Fähig- keiten?? Welche Schüler werden erreicht, welche nicht... 13

14 Solide Methodik ist auch in der Evaluationsforschung wichtig! Interne Validität Registrierte Veränderungen können möglichst gut auf die evaluierte Maßnahme (& keine anderen Ursachen) zurückgeführt werden. Externe Validität Befunde der Evaluationsstudie gelten nicht nur für die untersuchten Personen, sondern für die Gesamtheit aller von der Maßnahme betroffenen Menschen. 14

15 Summative vs. formative E. Summative Evaluation Beurteilt zusammenfassend die Wirksamkeit einer vorgegebenen Intervention. (Wird meist eingesetzt.) Formative Evaluation Erstellt regelmäßig Zwischenergebnisse mit dem Ziel, die laufende Intervention zu modifizieren oder zu verbessern. 15

16 Forschungs-Designs für summative Evaluationsstudien I Hypothesen-Prüfung: Maßnahme ist wirksam (ja-nein). Möglichst: Mindestens 2 Untersuchungsgruppen Experimentalgruppe (mit Intervention) Kontrollgruppe (ohne Intervention) Was ist das Problem, wenn nur eine Experimentalgruppe ohne Kontrollgruppe untersucht wird? 16

17 Forschungs-Designs für summative Evaluationsstudien II Möglichst: Randomisierung = Zufällige Verteilung der Untersuchungsteilnehmer auf Experimental- & Kontrollgruppe. Meist: quasiexperimentelle Studien -> Randomi-sierung unmöglich -> > Vergleich natürl natürl. Gruppen. Was ist das Problem, wenn keine Randomisierung erfolgt? Feld- oder Laboruntersuchung Felduntersuchung: in einem natürlichen, wenig kontrollierten Umfeld Bsp.: Lernstudie in einer Schule Laboruntersuchung: in einem kontrollierten, künstlichen Umfeld Bsp.: Lernstudie in einem universitären Lernlabor Was sind die Vor- & Nachteile von Feld- oder Labor- untersuchungen? 17

18 Ausschöpfungsqualität (Rossi & Freeman,, 1993) Bildet ab, wie gut eine Maßnahme die vorgesehene Zielpopulation erreicht hat: = 100 x (Anzahl der erreichten Zielobjekte : Anzahl aller Zielobjekte Anzahl der unbefugten Prog.teilnehmer : Anzahl aller Programmteilnehmer) Optimal: Ausschöpfungsqualität = 100 Beispiel: Evaluation eines Uni-Seminars 40 Seminarteilnehmer (Studierende = Zielobjekte) 36 Studierende füllen den Fragebogen aus 0 unbefugte Programmteilnehmer Ausschöpfungsqualität = 36 : 40 0 : 40 = 90 0 = 90 18

19 Evaluationsstichprobe Umfasst alle Personen (Objekte) der Zielgruppe einer Maßnahme, die an der Intervention & der Evaluation teilnehmen sowie gegebenenfalls zusätzliche Personen (Objekte), die zwar Teil der Zielgruppe, nicht jedoch der Interventionsstichprobe sind (= Kontrollgruppe). 19

20 Bildungsstandards Wenn empirisch überprüft (evaluiert) werden soll, ob bestimmte Schüler, Klassen, Schulen usw. die gewünschten Bildungsziele erreichen, so muss zunächst genau & messbar definiert werden, was Kinder/Jugendliche in einem bestimmten Fach jeweils gelernt haben sollten (= Bildungsstandards) Bsp.: Welche Mathematik-Kompetenzen sollten Erstklässler am Ende der 1. Klasse erworben haben? Bsp.: Was sollten Realschüler am Ende der 8. Klasse für Deutschkenntnisse haben? 20

21 Überblick über nationale & internationale Schul- Vergleichstudien Übersichtstabelle adaptiert von Prof. Jäger: 21

22 22

23 TIMS-Studie (Third International Mathematics & Science Study) TIMSS I IEA-Studie (International Association for the Evaluation of Educational Achievement) Grundschule (ohne Deutschland) TIMSS II TIMSS III Sek. I (ohne Baden Würtemberg); 7. & 8. Jahrgangsstufe; Längsschnittstudie; Ca SchülerInnen Sekundarstufe II PISA (Programme for International Student Assessment) OECD-Studie; 3 Zyklen von ; 1. Erhebung 2000; 15jährige: Lesen & Textverständnis, Mathematik, Naturwissenschaften in wechselnder Gewichtung; ab 2. Zyklus: CCC (Cross-Curricular-Competencies); PISA-BRD ist repräsentativ für die Bundesländer! 23

24 DESI (Deutsch-Englisch-Schülerleistungen International) IGLU (Internationale Grundschul- Lese-Untersuchung) LAU (Lern-Ausgangslagen- Untersuchung) 16 Bundesländer & einige europäische Länder. PIRLS (Project International Reading Literacy Study) heißt die IEA-Studie: IGLU ist der deutsche Part; auch Mathematik untersucht; 13 der 16 Bundesländer. Hamburger Vollerhebung in der 5., 7. & 9. Klasse des Schülerjahrgangs 1996/97; N=ca ; Fächer Deutsch, Mathematik, Englisch (ab 7. Kl.). QuaSum (Qualitätsuntersuchung an Schulen im Unterricht in Mathematik) MARKUS (Mathematik- Gesamterhebung RP: Kompetenzen, Unterrichtsmerkmale, Schulkontext) Brandenburg ; Mathematik in der 5. & 9. Klasse; (5. Klasse = vorletzte Grundschulklasse); repräsentative Stichprobe. Rheinland-Pfalz; Vollerhebung in der 8. Klasse; N = ; Fach Mathematik; zusätzlich Schüler, Lehrer- & Schulleiterbefragung. 24

25 Stellenwert der Evaluationsforschung in der Pädagogischen Psychologie 25

26 Evaluation wird immer wichtiger! 26

27 Beispiel Schule I PISA & Folgestudien... Institut für Qualitätsentwicklung im Bildungswesen (IQB), Humboldt Universität Berlin Neugründung Leiter voraussichtlich: Prof. Olaf Köller,, Päd. Psych. Initiator: Kultusministerkonferenz (KMK) Soll Auftragsforschung für KMK betreiben Entwicklung nationaler Bildungsstandards Auch Service für Lehrer (Testaufgaben im Internet) Viele neue Initiativen & Modellprojekte... 27

28 Beispiel Universität Lehrveranstaltungen werden z.t. schon flächendeckend extern! - evaluiert. Forschungsleistungen werden z.t. schon flächendeckend evaluiert wichtig bei: Anstellung von ProfessorInnen Zukünftig auch leistungsorientierte Besoldung Niedersachsen: systematische Qualitätskontrolle der Forschung aller Hochschulen seit 1999 Evaluation als neuer Studiengang: Universität des Saarlands, Saarbrücken: 2003: Eröffnung des Centrums für Evaluation Ab WS 2004/05: Master of Evaluation (4 Sem.) 28

29 Neue Schul-Modelle & Initiativen I (Spiewak,, M. (2004). Lehrer ärgere dich nicht! Zeit, 37, ) Zentralabitur Um einheitliche Leistungsstandards zu erreichen, erhalten die Abiturienten landesweit in allen schriftlichen Abiturprüfungen dieselben Aufgaben. NRW: Ja, ab Jahre (statt 13 Jahre) bis zum Abitur Deutsche Abiturienten sollen jünger werden, deshalb wird die Schulzeit verkürzt. Der gymnasiale Lernstoff muss dann in 8 statt 9 Jahren gelernt werden. NRW: Ja, ab 2005 Deutschkurse bei Bedarf Pflicht PISA: Sprachprobleme waren die Hauptursache der schlechten dt. Leistungen. Verpflichtende Sprachtestes & Kurse schon vor der Einschulung (für Migranten & Deutsche) sollen das ändern. NRW: Ja, seit

30 Neue Schul-Modelle & Initiativen II Fachübergreifender Unterricht Für modernen Projektunterricht arbeiten verschiedene Fachlehrer interdisziplinär zusammen. NRW: Regional vorhanden Flexible Schuleingangsphase Der Unterricht in den ersten zwei Schuljahren wird jahrgangsübergreifend organisiert. Schnelle Schüler schaffen die Phase in 1 Jahr, langsamere brauchen bis zu 3 Jahre, wobei das 3. Jahr nicht als Sitzenbleiben gewertet wird. NRW: Ja, ab 2005 Kampagne für Ganztagsschulen In Ganztagsschulen gibt es auch Nachmittags verpflichtenden Unterricht. Ziele: Förderung schwacher Schüler, Entzerrung von Unterricht (s. Abitur nach 12 Jahren!) & bessere Berufschancen für Mütter & Väter. 30

31 Neue Schul-Modelle & Initiativen III Schulprogramme Pflicht Schüler, Eltern & Lehrer formulieren pädagogische Ziele, die verpflichtend sind auch gegenüber der Schulaufsicht. NRW: Flächendeckende Einführung geplant Sitzenbleiben abgeschafft Viele europäische Länder haben das Sitzenbleiben abgeschafft, weil Widerholer nur wenig dazulernen, jedoch länger zur Schule gehen. (& Lehrer sich weniger zur Förderung JEDES Schülers verpflichtet fühlen). NRW: Nein Lernzielvereinbarung mit Schülern Schüler, Eltern & Lehrer vereinbaren miteinander Lernziele, die die Schüler nach einem bestimmten Zeitraum nachprüfbar beherrschen sollen. Ziel u.a.. Senkung der Sitzenbleiber-Quote. NRW: Regional vorhanden 31

32 Neue Schul-Modelle & Initiativen IV Vergleichsarbeiten Alle Klassen einer bestimmten Jahrgangsstufe schreiben landesweit dieselbe Klassenarbeit. Damit sollen einheitliche Leistungsstandards ards sichergestellt & der Wettbewerb zwischen den Schulen gefördert werden. NRW: Ja, seit 2004 Nachweis für Lehrerfortbildung Auf dem Papier sind Lehrer schon immer zur Fortbildung verpflichtet gewesen. Jetzt wollen viele Länder überprüfen & einfordern, da Fortbildung das zentrale Mittel ist, neue Ideen an Schulen zu bringen. NRW: Nein Bachelor & Master für Lehrer Das LA-Studium wird flexibler & besteht aus 2 Abschnitten: 3 Jahre dauert der Bachelor,, Jahre der Master. Die Spezialisierung auf die Schularten erfolgt erst im Master-Abschnitt. NRW: Ja, Modellversuch seit

33 Kampagne für Ganztagsschulen I (Friedman, J. (2004). Ganz ist nicht genug. Zeit, 39, 83.) Seit 2. Jahren, Initiator: Regierung Ganztagsangebote an ca Schulen in BRD NRW: mit Ganztagsangebot Ganztagsschule = Unterricht an mind. 3 Wochentagen an mind. 7 Stunden & Mittagessen (???) Bis 2007 erhalten die Länder 4 Milliarden Euro für den Auf- & Ausbau von Ganztagsschulen, unterschiedliche Nutzung: NRW: Ausbau offener Ganztagsschulen 33

34 Kampagne für Ganztagsschulen II Probleme: Vormittag & Nachmittag unverbundene Teile, die nur das Nötigste abdecken kein ganzheitliches pädagogisches Konzept. Bikini-Modell (Holtappels( Holtappels) Oft ist noch unklar, wer die zusätzliche Betreuung leisten soll: Lehrer, Sozialpädagogen, Honorarkräfte oder Freiwillige?! Halbtagsschule mit Suppenküche & Verwahrangebot (GEW) Empirisch ungeklärt ob Ganztagsschulen besser für die Entwicklung der Schüler sind. ABER: Gewollt von der Mehrheit der Eltern. Lösungen: Das Kollegium muss die Schule, seine Arbeitszeiten & Arbeits- weise verändern wollen (Klosterschule, Ganztagsgymnasium in HH) 34

35 FAZIT Evaluationsforschung (& Qualitätssicherung) überprüft Wirksamkeit & Nutzen von Interventionen & orientiert sich an methodischen-standardanforderungen. Ein wesentlicher Anwendungsbereich ist die Unterrichts-Evaluation. In der Folge werden eingesetzte disgnostische Verfahren und zentrale Ergebnisse der Evaluationsforschung an Kindergärten, Schulen (Bsp. Pisa-Studie) und Universitäten vorgestellt. 35

36 Weiterführende Informationen Deutsches Institut für internationale Pädagogische Forschung, Frankfurt Zentrum für empirisch-pädagogische pädagogische Forschung (ZEPF), Universität Koblenz-Landau: Pedagogical & Educational Research Information Network for Europe (Perine( Perine) ) (Infos in 11 Sprachen): Broschüre Wissenschaft macht Schule : ZEIT-Stiftung: Robert Bosch Stiftung: