Ausgangslage. Evaluation. Ausgangslage. Programm-Evaluation. Evaluation. Evaluation von Programmen zur Sprachförderung. Wissenschaftliche Standards

Transkript

1 Sprache fördern im Vorschulalter 3.-. November 7 Fachtagung Evaluation von Programmen zur Jeanette Roos & Hermann Schöler Pädagogische Hochschule Heidelberg Ausgangslage Viele Vorschul- und Schulkinder mit Migrations- oder Aussiedlerhintergrund verfügen über keine oder unzureichende Deutschkenntnisse. Die Teilhabe am deutschen Bildungssystem erfordert ausreichende Deutschkenntnisse. Die Erfahrung der letzten Jahrzehnte zeigt, dass Schule kaum in der Lage ist, unzureichende Sprachkenntnisse zu kompensieren/aufzufangen. Förderungen müssen daher zwingend vor Schuleintritt erfolgen. 1 3 Ausgangslage Erzieherinnen und Erzieher sind zur Durchführung von Sprachfördermaßnahmen nicht hinreichend ausgebildet. Zur Zeit liegen nur wenige Sprachförderprogramme vor. Die wenigen vorliegenden Programme sind hinsichtlich ihrer Wirksamkeit nicht evaluiert (dies betrifft auch die zur Zeit laufenden Fördermaßnahmen im Rahmen des Sprachförderprogramms der Landesstiftung Baden- Württemberg). Evaluation Evaluation als wissenschaftsgestütztes Handeln Unterscheidung Forschung und Evaluation: Empirische Überprüfbarkeit eines allgemeinen Phänomens vs. Einschätzung des Wertes einer Sache. Bei auftragsgebundener, in einem praktischen Verwertungszusammenhang stehender Forschung (Zielsetzung durch Auftraggeber). Einsatz auf wissenschaftlichen Methoden und langen Erfahrungen aufbauender Messinstrumente sichert fundierte Erfassung komplexer psychologischer und sozialwissenschaftlicher Konstrukte. 5 Evaluation Evaluation als wissenschaftsgestütztes Handeln Wissenschaftler/-innen sind aufgrund relativer Unabhängigkeit vom Auftrageber/von der Auftraggeberin weniger von externen Interessen beeinflussbar. Wissenschaftlicher Darstellungs- und Argumentationsstil garantieren eher Seriosität (vs. Bedürfnis der Praxis nach klaren Handlungsanweisungen). Programm-Evaluation Wissenschaftliche Standards Bearbeitungsformen (u. a.) summativ (global, zusammenfassend, bewertend) formativ (gestaltungsverbessernd) extern vs. intern Anforderung an das Design --Untersuchung (Bestimmung unmittelbarer Effekte) Follow-up-Studien (Bestimmung langfristiger Effekte) Kontroll- bzw. Vergleichsgruppen (ethische Implikationen) Anforderung an Methoden Validität der Untersuchungsverfahren 1

2 7 Idealtypische Evaluation von en Zufallszuteilung aus einem Pool von Kindern mit Sprachförderbedarf Interventionsgruppe A Interventionsgruppe B Placebokontrollgruppe Kontrollgruppe(n) Voruntersuchung umschriebene Interventionsmaßnahmen A B nichtsprachliches Kleingruppenprogramm langfristige Erhebung der weiteren Entwicklung zu mehreren Untersuchungszeitpunkten Auswahl der Kinder mit Sprachförderbedarf für den Pool (standardisierte Diagnostik) Einsatz erprobter und den Gütekriterien genügender Verfahren zu allen Untersuchungszeitpunkten Ausschluss anderer Interventionen im gesamten Evaluationszeitraum (Konfundierung) Möglichst Konstanthaltung bzw. Kontrolle von Außenfaktoren Nachuntersuchung Follow up 1 Follow up Follow up n Programm-Evaluation versus Evaluation dessen, was durchgeführt wird Ausgewähltes Programm gibt Inhalt, Methodik und Struktur der Förderung vor. Programmwahl legt auch Aspekte der Durchführbarkeit fest. beinhaltet Komponenten eines Programms und Kompetenzen der Sprachförderkraft. Effekt des Programms kann evaluiert werden. Effekt des Programms wird in Zusammenhang mit der durchführenden Förderkraft evaluiert. Effekt der Bausteine des Sprachförderprogramms und Kompetenzen der Sprachförderkraft können nicht getrennt werden. Erfolgsfaktoren für Evaluationsprojekte Erfolgsfaktoren für Evaluationsprojekte 9 Angemessene Laufzeit Ausreichende Vorlaufzeit Kooperationsverträge mit allen Beteiligten in denen Ablauf, Aufwand und Leistungserbringung expliziert sind; Anerkennung der Rahmenbedingungen durch alle Beteiligten Kontinuität in der Durchführung (Mitarbeiter/-innen, Kooperations- und Ansprechpartner/-innen, etc.) Diese Faktoren beeinflussen den Zusammenhang von Aufwand und Ergebnis maßgeblich mit. Kompromissbereitschaft und Konsensfindungen, in denen sowohl Praxisnähe als auch Wissenschaftlichkeit Berücksichtigung finden Kontinuierlicher Austausch mit allen und Information aller Beteiligten erhöht Compliance und Zufriedenheit aller Beteiligten Vermeidung von sich überschneidenden Projekten und Interventionen Respektvoller Umgang aller Beteiligten miteinander Professionalität Diese Faktoren beeinflussen den Zusammenhang von Aufwand und Ergebnis maßgeblich mit. 11 Alternativen zur Überprüfung der Interventionseffekte Sprachstandserfassung Der Einsatz von diagnostischen Verfahren, die valide und reliabel Sprachverstehen und Sprachproduktion erfassen, ist unverzichtbar. Alternativen zur Überprüfung der Interventionseffekte Zur Prüfung der Effekte könnten darüber hinaus erfasst werden: Außenkriterien wie Schulerfolg (in Form Leistungsbeurteilungen durch Lehrkräfte) Noten (Lesen, Schreiben, etc.) Grundschulempfehlung in der zweiten Hälfte der. Klasse Integrationskriterien (Vereinszugehörigkeit, Freundeskreis, Kontakte etc.) Selbstbild des Kindes bezüglich Sprache (Fähigkeitsselbstkonzept) Subjektive Zufriedenheit mit der Intervention 1 (Sprachförderkräfte, Eltern, Lehrkräfte, Kinder )

3 Transferbereiche Transferbereiche Transfer aus sprachwissenschaftlichen sowie nicht genuin sprachwissenschaftlichen Bereichen Transfer aus sprachwissenschaftlichen sowie nicht genuin sprachwissenschaftlichen Bereichen Professionalisierung / Aufwertung der Erzieherinnen-/Erzieher-Ausbildung Grundlagen in Didaktik, Moderation, Kleingruppenarbeit in Lehr-Lern-Kontexten Fort- und Weiterbildung, Coaching und Supervision von Sprachförderkräften; Training-on-the-Job Grundlagenwissen über Sprache und ihren Erwerb, Entwicklung, Diagnostik Grundlagenwissen Forschungsmethodik, Lerntheorien/-techniken Nutzung von Erkenntnissen aus der Arbeits- und Organisationspsychologie zur Erhöhung der Arbeitszufriedenheit und -effizienz der Sprachförderkräfte (Rahmenbedingungen, Entscheidungsspielräume, Arbeitsplatzsicherheit etc.) 13 1 EVAS Evaluationsstudie zur von Vorschulkindern Ablauf Ergebnisse der wissenschaftlichen Begleitung der Sprachfördermaßnahmen im Programm Sag mal was für Vorschulkinder der Landesstiftung Baden-Württemberg Durchgeführt durch die Pädagogische Hochschule Heidelberg Finanziert von der Landesstiftung Baden-Württemberg Hintergrund Fragestellung / Ziele von EVAS Design der Studie Beschreibung der Untersuchungsstichprobe Eingesetzte Untersuchungsverfahren --Ergebnisse Fazit Hintergrund Fragestellungen Richtlinien zur Durchführung der (Landesstiftung Baden-Württemberg) z. B. Auswahl-Verfahren Zusammensetzung der n: - Nennung durch Erzieher/-in - Heidelberger Auditives Screening in der Einschulungsuntersuchung (HASE) - Beobachtungsbogen (SISMIK) Qualifikation der Sprachförderkräfte Anzahl der Förderstunden Stunden Gruppengröße Kinder Inhalte der Förderprogramme z. B. Syntax Morphologie Phonologie Pragmatik Eltern- Beteiligung 1 (1) Evaluation der Sprachförderprogramme für Vorschulkinder in Heidelberg und Mannheim Sind spezifische Sprachfördermaßnahmen effektiver als im üblichen Kindergartenprogramm? Zeigen sich differenzielle Effekte der eingesetzten Sprachförderprogramme? () Prüfung der Nachhaltigkeit der Effekte der Sprachförderprogramme auf der Basis von späteren Schulleistungen/späterem Schulerfolg Tragen die Sprachförderprogramme langfristig dazu bei, die Chancen zur Teilhabe am Bildungsprozess bei Kindern mit Migrationshintergrund zu erhöhen?

4 Evaluation von en in EVAS Design War in der Praxis nicht möglich; Auswahl der Kinder aus den gesamten Stadtgebieten führt jedoch zu einer hinreichenden Verteilung Interventionsgruppe der Kinder. A 19 Zufallszuteilung aus einem Pool von Kindern mit Sprachförderbedarf Interventionsgruppe B Placebokontrollgruppe Kontrollgruppe (n) Voruntersuchung Unterschiedlicher Standard je nach Programm. A B Nicht sprachliches Kleingruppenprogramm Nachuntersuchung Aus ethischen Gründen nicht möglich! langfristige Erhebung der weiteren Entwicklung zu mehreren Untersuchungszeitpunkten Finanzierung nur bis zum. Schuljahr nach Abschluss der Förderung bewilligt. Diagnostisch standardisierte Auswahl der Kinder für den Pool Screening und Einschätzungen Einsatz erprobter Verfahre zu allen Untersuchungszeitpunkten der Erzieherinnen sowie Ausschluss anderer Interventionen im gesamten Untersuchungszeitraum Nachuntersuchung zeigte, dass Konstanthaltung bzw. Kontrolle von Außenfaktoren diese Auswahl gut war! Einschluss vieler Kinder und Erhebung weiterer Variablen (Elternfragebogen; Sprachförderprotokollbogen; 1.3. U. a. aus ethischen Gründen nicht möglich! Interviews mit Sprachförderkräften) Follow up 1 Follow up Follow up n Einbeziehung von zwei Vergleichsgruppen 1. Vergleichsgruppe: Kinder mit Förderbedarf. Vergleichsgruppe: Kinder ohne Förderbedarf -Test -Test 1 IS Imitation grammatischer IS VS Verstehen grammatischer VS PS Plural-Singular-Bildung PS WF Wortfindung WF WS WS CPM Coloured Progressive Matrices umschriebene Interventionsmaßnahmen VGL-MF VGL-OF test A B C test 1 Schulbesuch Klasse 1 -Test Schulleistungsbeurteilungen test Schulbesuch Klasse -Test Schulleistungsbeurteilungen & Schulleistungstests test 3 Design Zusammensetzung der Gruppen 1 tests 5 Oktober 5 Juli Kinder mit Förderbedarf SDF Tracy Penner Kinder ohne Förderbedarf Lehrerbeurteilungen (Klasse 1) tests 7 Schulleistungstests (Klasse ) Untersuchungsgruppen 1 N = 9 Vergleichsgruppe mit Förderbedarf = VGL-MF N = Vergleichsgruppe ohne Förderbedarf 3 = VGL-OF N = A B C N = 57 N = 111 N = 1 nach Kaltenbacher & Klages nach Penner nach Tracy Deskription Deskription Ausgangsstichprobe (-Test): 5 Kinder -Test: 9 Kinder Follow-up Rate: 9,1% Range Follow-up Rate in den einzelnen Untergruppen: % 91% 3 Verteilung der Jungen und Mädchen: -Test -Test ,% 57,% 3,%,% Range Jungen in den einzelnen Untergruppen: 55% 59% Sozioökonomischer Status 1 VGL-MF 3 VGL-OF Sprachlicher Hintergrund 1 VGL-MF 3 VGL-OF hoch mittel niedrig 7,5% 7,% 5,3% 33,3% 5,% 1,7% 1,7% 33,5%,% deutscheinsprachig türkischmehrsprachig sonstigmehrsprachig 1,1%,7% 5,% 35,% 19,5% 5,1% 73,9% 3,% 3,1% Kaltenbacher & Klages Anwesenheit Penner Tracy 1,7 Std., Std. 7, Std

5 Eingesetzte Untersuchungsverfahren Design 5 Heidelberger Auditives Screening in der Einschulungsuntersuchung [HASE] NS Nachsprechen von Sätzen WZ Wiedergeben von Zahlenfolgen EW Erkennen von Wortfamilien NK Nachsprechen von Kunstwörtern Heidelberger Sprachentwicklungstest [H-S-E-T] IS Imitation grammatischer VS Verstehen grammatischer PS Plural-Singular-Bildung WF Wortfindung prüfung [WS; Ravensburger Bildtafeln] Coloured Progressive Matrices [CPM] (kulturfair) Hauptfaktoren: Gruppenzugehörigkeit Testzeitpunkt weitere Faktoren: Geschlecht Sprachhintergrund Kovariaten: Sozioökonomischer Status Intelligenz (, VGL-MF, VGL-OF) (, ) (deutschsprachig, türkisch-mehrsprachig, sonstig-mehrsprachig) (A, B, C, unspezifisch) (Mannheimer Sozialindex, 7-stufig) (CPM) Untersuchungsgruppen Grammatik Untersuchungsgruppen Semantik und Imitation grammatischer Verstehen grammatischer Plural-Singular- Bildung Wortfindung VGL-MF; Vergleichsgruppe mit Förderbedarf VGL-OF; Vergleichsgruppe ohne Förderbedarf VGL-MF; Vergleichsgruppe mit Förderbedarf VGL-OF; Vergleichsgruppe ohne Förderbedarf en en Grammatik Semantik und Imitation grammatischer Verstehen grammatischer 1 Plural-Singular- Bildung Wortfindung nach Kaltenbacher & Klages nach Tracy nach Penner nach Kaltenbacher & Klages nach Tracy nach Penner

6 Sprachlicher Hintergrund weitere Einflussvariablen 31 Imitation grammatischer Verstehen grammatischer Wortfindung Plural-Singular- Bildung Grammatik Semantik und deutsch-einsprachig türkisch-mehrsprachig sonstig-mehrsprachig mit Sprachförderbedarf 3 In der Gesamtgruppe der Kinder mit Förderbedarf erbringen weitere erfasste Variablen KITA-Besuch (Dauer, Regelmäßigkeit etc.) Bildungsniveau und Einkommen der Eltern Freizeitgestaltung & Mediennutzung sprachliche Kompetenz der Familie (bei Kindern mit Migrationshintergrund) u. a. keine differenziellen Effekte. Unspezifisch geförderte Kinder aus Kindertagesstätten mit Sprachfördergruppen unterscheiden sich nicht von unspezifisch geförderten Kindern aus Kindertagesstätten ohne Sprachfördergruppen Zusammenfassung bisheriger Ergebnisse Zusammenfassung bisheriger Ergebnisse test Die angewandten Verfahren zur Bestimmung der Risikokinder erwiesen sich als geeignet. Die kognitiven Leistungen der Kinder sind vergleichbar für alle n. In der Grammatik (insbesondere Morphologie) zeigen sich bei den Kindern mit geringen sprachlichen Kompetenzen die größten Defizite. Der Subtest Imitation grammatischer Strukturen (HSET) erwies sich als bester Indikator für grammatische Kompetenzen test Die Ergebnisse des --Vergleichs zeigen: Die erbrachte keine substanzielle Annäherung zwischen den Leistungsniveaus der Kinder mit und ohne Förderbedarf. Es ergeben sich keine wesentlichen Unterschiede zwischen den eingesetzten Sprachfördermaßnahmen Zusammenfassung bisheriger Ergebnisse Weitere Wirkgrößen Interviews Sprachförderkräfte Ergebnisse Abgesehen von der Fördermaßnahme selbst können Moderatorvariablen maßgeblich an der Wirkung von Interventionen beteiligt sein. Dazu können Merkmale der geförderten Person oder Kompetenz der Förderkräfte usw. gehören. Ausbau der Coaching- und Supervisionsangebote Veränderung der Dokumentation Altersgerechte, besser handhabbare Programme kleinere Gruppen mehr Vor- und Nachbereitungszeit

7 Empfehlungen Förderkräfte als Sprachvorbild Sprachl. Interaktion als Fördermethode Qualifikation der Förderkräfte (sprachlich & pädagogisch) Optimierung der Flexibilisierung der zeitlichen Organisation Gruppengröße Arbeiten mit Teilgruppen Vielen Dank für Ihre Aufmerksamkeit! PÄDAGOGISCHE HOCHSCHULE Keplerstr. 9 9 Heidelberg 37 Sprechanlässe Sprechen als Mittel zur Kommunkation Best Practice Einrichtungen Überlegungen zur Angemessenheit der Programmen 3 Telefon +9 () 1 77 /-53 roos@ph-heidelberg.de schoeler@ph-heidelberg.de 7