Überprüfung von Verfahren zur Evaluation von Alphabetisierungskursen durch eine Einzelfallstudie*

Transkript

1 Überprüfung von Verfahren zur Evaluation von Alphabetisierungskursen durch eine Einzelfallstudie* von Michael Grosche und Anna-Maria Hintz Bislang liegt nur eine einzige Evaluationsstudie von Alphabetisierungskursen in Deutschland vor. Um nachfolgende Untersuchungen zu vereinfachen, sollen in diesem Beitrag verschiedene Verfahren zur Evaluation im Grundbildungsbereich für Erwachsene beschrieben und überprüft werden. Dazu wird eine direkt-instruktive Förderung des Erlesens (phonologisches Dekodieren) bei einem Analphabeten erläutert, dessen Lernfortschritte durch curriculum-basierte Messungen (CBM) erfasst wurden. Die Alphabetisierungsforschung ist aufgrund der sehr langsamen adulten Leselernentwicklung auf besonders zuverlässige Verfahren und objektive Auswertungsmethoden der CBM angewiesen. Deshalb werden die statistische Überprüfung der Reliabilität und die regressionsanalytische Auswertung in einem Einzelfallsetting geschildert. Der in dieser Studie geförderte Analphabet zeigte im Verlauf des Unterrichts schlechtere Leseleistungen als zuvor, was durch Interferenzen von automatisierten Hilfslesestrategien erklärt werden könnte. Zur Überprüfung dieser Interpretation wird die experimentelle Erhebung von Lesestrategien erläutert. Auf die in diesem Beitrag diskutierte Art können nun in zukünftigen Untersuchungen Fördereffekte von Alphabetisierungskursen evaluiert werden. Schlüsselwörter: Curriculum-basierte Messung, direkte Instruktion, Einzelfallstudie, Funktionaler Analphabetismus Inspection of procedures to evaluate adult basic education courses through a single case study. Up to now only one study exists that evaluates the efficacy of adult basic education courses in Germany. In order to make future research easier, this paper inspects different methods to evaluate these courses. First, a training of phonological decoding based on principles of direct instruction with an adult illiterate is described. His learning progress was assessed via curriculum based measurement (CBM). Because the learning progress of adults is very slow, the field of adult basic education needs especially reliable and objective evaluation methods. This paper describes the statistical test of reliability and the regression analytical approach, and finds the adult illiterate showed less reading achievement during the training than before. These findings are interpreted by interferences in automatized assistive reading strategies and hence, we explain the experimental assessment of reading strategies. The demonstrated evaluation procedures could be used for evaluation of adult basic education courses. Key words: Curriculum-based measurement, direct instruction, functional illiteracy, single case research In Deutschland leben schätzungsweise vier Millionen Erwachsene, die nicht richtig lesen und schreiben können (Döbert & Hubertus, 2000) und deshalb * Die vorliegende Studie wurde mit Mitteln des Bundesministeriums für Bildung und Forschung (BMBF) innerhalb des Projektes Alphabetisierung, Beratung, Chancen ( abc-projekt.de) gefördert. dringend (sonder)pädagogische Leseund Schreibförderung in Alphabetisierungskursen benötigen. Etwa die Hälfte von ihnen liest langsamer als reguläre Grundschüler in der ersten Klasse (Wagner & Eulenberger, 2008). Vor diesem Hintergrund ist es erstaunlich, dass bislang nur eine einzige deutsche Untersuchung vorliegt, in der eine Alphabetisierungsmaßnahme systematisch evaluiert wurde (Hintz & Grosche, 2010). Solche Evaluationsstudien werden jedoch gebraucht, um empirisch gesicherte Empfehlungen für die Praxis geben zu können. Zur Anbahnung adäquater Untersuchungen sollen im vorliegenden Beitrag drei Verfahren der Evaluation von Grundbildungsmaßnahmen bei Er- heilpädagogische forschung Band XXXVI, Heft 4,

2 wachsenen überprüft werden. Dies geschieht im Rahmen einer Einzelfallstudie, in der ein Analphabet eine direktinstruktive Förderung der Lesegenauigkeit erhielt. Dazu sollen im Folgenden (1) die Erhebung von Lernfortschritten, (2) deren statistische Interpretation und (3) die experimentelle Erhebungen von Lesestrategien erläutert werden. Lernfortschrittsmessung Organisatorische Gründe (wie die unregelmäßige Teilnahme der Lernenden, die sehr kleinen Kursgrößen, die damit verbundene geringe statistische Teststärke und die fehlende Möglichkeit zur Randomisierung) behindern die experimentelle Forschung im Alphabetisierungsbereich. Daher ist die dort verortete Evaluationsforschung vor allem auf Einzelfallstudien mit wiederholten Messungen der Leselernfortschritte angewiesen. Ein weiteres Problem ist der häufig nur sehr langsame Lernzuwachs von Analphabeten (Hintz & Grosche, 2010). Zur Erhebung solch geringer Fortschritte werden besonders reliable, valide und vor allem entwicklungssensitive Messinstrumente für den Alphabetisierungsbereich benötigt. Bei der als curriculumbasierten Messung (CBM) bezeichneten Lernfortschrittsmessung sollen durch regelmäßige, kurze und gleichschwere Erhebungen die individuellen Lernzuwächse z. B. im Lesen festgehalten werden (Deno, 2003). Gegenüber publizierten und eher allgemein gehaltenen standardisierten Tests wird die CBM als flexibles und curriculum-nahes Verfahren dargestellt, das Leistungsfortschritte von Lernern änderungssensibel über die Zeit hinweg erfassen kann (Walter, 2008, 2009). Die CBM soll nicht mehr als drei bis fünf Minuten der Unterrichtszeit in Anspruch nehmen und dennoch objektive, reliable und valide Ergebnisse liefern (Klauer, 2006). Damit eignet sich das Verfahren besonders für sonderpädagogische Einzelfallstudien (Horner, Carr, Halle, McGee, Odom & Wolery, 2005; Stoner, Scarpati, Phaneuf & Hintze, 2002). Lesekompetenzen von beginnenden Lesern lassen sich am besten durch Wortlisten-CBM testen, deren Items (Wörter) zu jeder Testung neu per Zufall aus einem geeigneten Text gezogen werden (Wayman, Wallace, Wiley, Tichá & Espin, 2007). Neben diesen Vorteilen der CBM wird allerdings auch Kritik an dem Verfahren geäußert. Die Wörter in Wortlisten- CBM können unterschiedlich schwer zu lesen sein und zu großen individuellen Schwankungen innerhalb der Messungen führen (Waymann et al., 2007). Zusätzlich sind die Testschwierigkeiten von ad hoc konstruierten Wortlisten-CBM weder grundsätzlich homogen noch reliabel (Strathmann, Klauer & Greisbach, 2010). Solchen Messfehlern sollte am ehesten mit wiederholtem Messen und aufwändig erstellten CBM begegnet werden, was sich allerdings negativ auf die leichte Umsetzbarkeit bzw. die zeitliche Ökonomie des Verfahrens auswirken würde. Im praktischen Anwendungsfeld wurde zudem auf Seiten der Lehrenden häufig angemerkt, dass in Wortlisten-CBM aufgrund unterschiedlich langer Wörter die gelesenen Silben und nicht etwa die Wörter ausgezählt werden sollten. Zur Güte verschiedener Auswertungen der CBM ist daher weitere Forschung notwendig. Statistische Auswertung der CBM Die mithilfe der CBM erhobenen Daten lassen sich graphisch visualisieren, indem die erhobenen Kompetenzen auf der Y-Achse im zeitlichen Verlauf (X- Achse) angeordnet werden. Die Auswertung der Daten erfolgt nach Julius (2004) vor allem durch die visuelle inspektion der Graphen. Sie ist aber aufgrund starker tagesaktueller Schwankungen in den Leseleistungen von Analphabeten sehr zugänglich für subjektive Deutungen. Deshalb ist der Einsatz statistischer und damit objektiverer Verfahren in der Einzelfallforschung zu empfehlen (Parker & Hagan-Burke, 2007). Zum Beispiel lässt sich eine Regression mit der Leseleistung als Kriterium rechnen. Als Prädiktoren werden eine Trend- Variable (Messzeitpunkte) und eine dummy-kodierte Phasenvariable (Baseline- vs. Interventionsphase) sowie die Interaktion der z-standardisierten Trendund Phasenvariablen verwendet. Ein solches Modell ist ab 17 Beobachtungen genügend teststark (Parker et al., 2005). Die Effektstärke wird anhand des Bestimmtheitsmaßes R² errechnet, deren Interpretationsgrenzen nach Cohen (1987) bei R² =.01 (klein),.09 (mittel) und.25 (groß) liegen. Das Modell überschätzt jedoch die Effektivität, weil es im Regelfall zu hohe Effektstärken liefert (Parker et al., 2005). Dennoch ist von diesem Modell eine objektivere Interpretation stark schwankender CBM- Graphen zu erwarten. Eine Umsetzung in der deutschsprachigen Sonderpädagogik steht nach unserem Wissen jedoch noch aus. Lesestrategien von Analphabeten Während Kinder (und auch die meisten Analphabeten) im Laufe ihrer Leseentwicklung immer schneller lesen, werden einige Analphabeten im Laufe der Förderung des phonologischen Dekodierens (Erlesen von Wörtern) sogar langsamer (Hintz & Grosche, 2010). Wie ist das zu erklären? Es ist denkbar, dass einige Analphabeten ihre vermeintlich mangelnden Fähigkeiten im Dekodieren zu kompensieren versuchen (Grosche, 2009), indem sie Wörter anhand des orthografischen Abbilds lesen (Sichtwortlesestrategie; vgl. Ehri, 2005) oder den Kontext zur Hilfe zu nehmen (Kontextlesestrategie; vgl. Kintsch, 2005). Beim Sichtwortlesen aktiviert das orthografische Abbild des geschriebenen Wortes automatisch die Aussprache und Bedeutung. Das Sichtwortlesen ist sehr schnell, funktioniert aber nur bei bereits bekannten und mehrmals gelesenen Wörtern. Beim Kontextlesen werden diejenigen Wörter schneller gelesen, die sich durch den Kontext erschließen lassen. 178 heilpädagogische forschung Band XXXVI, Heft 4, 2010

3 Für diese Interpretation liegt einige empirische Evidenz vor: Davidson und Strucker (2002) wiesen nach, dass die kontextfreien Wortlesekompetenzen von Analphabeten über 1,5 Schulbesuchsjahre unterhalb ihres Leseverständnisses lagen. Bei Greenberg, Ehri und Perin (1997) sowie Thompkins und Binder (2003) zeigten Analphabeten bessere orthografische, aber schwächere phonologische Verarbeitungskompetenzen als Kinder auf dem gleichen Leseentwicklungsstand. Ebenso präferierten Analphabeten im Vergleich zu Kindern eine visuelle anstatt einer phonologischen Analyse von Buchstaben (Burgund & Abernathy, 2008). Im Gegensatz zu lesekundigen Erwachsenen nahmen Analphabeten vermehrt den Kontext zur Hilfe, um Wörter zu lesen (Binder & Borecki, 2008; s. jedoch Binder, Chace & Manning, 2007). Die Befunde der angeführten Studien deuten daraufhin, dass Analphabeten Probleme beim phonologischen Dekodieren haben und ihre Defizite durch Hilfsstrategien (z. B. Sichtwort- und Kontextlesestrategien) unterstützen. Wird nun das phonologische Dekodieren geübt, könnte diese neue und langsamere Lesestrategie zu einer Verlangsamung des Leseprozesses beitragen. Ebenso könnten über viele Jahre hinweg automatisierte Hilfslesestrategien die Ausführung des Dekodierens stören (Interferenz). Anders als bei Kindern wäre die Leseverlangsamung aufgrund von solchen Strategiewechseln durchaus positiv zu beurteilen. Das phonologische Dekodieren ist zwar langsamer, ermöglicht aber anders als die Sichtwort- bzw. Kontextlesestrategie das Lesen von nahezu allen Wörtern. Bislang ist jedoch unklar, wie solche Lesestrategien zu erfassen sind. Fragestellungen Die bisherigen Überlegungen führen uns zu drei Fragestellungen, die durch die individuellen Messwerte eines Analphabeten beantwortet werden sollen. Dadurch können geeignete Empfehlungen für die Auswertung von Einzelfallstudien mit Analphabeten gemacht werden. Die inferenzstatistischen Berechnungen sind als explorativ zu bezeichnen und sollen bei zweiseitiger Testung ab α <.10 als signifikant gelten. Im Einzelnen gehen wir folgenden Fragen nach: Wie zuverlässig sind unterschiedliche Auszählungen der CBM? Wie kann die CBM statistisch ausgewertet werden? Wie lassen sich die Lesestrategien von Analphabeten erheben? Methode Beschreibung und Vorgeschichte des Probanden Im Rahmen einer Einzelfallstudie sollen die aufgeführten Forschungsfragen durch die Evaluation einer Einzelfallförderung des Analphabeten Rolf (45 Jahre; Name geändert) beantwortet werden. Nach eigenen Angaben besuchte Rolf in seiner Kindheit und Jugend für neun Jahre die Schule, berichtete aber über massive Schwierigkeiten beim Lesenlernen von Beginn seiner Schullaufbahn an. Seine Eltern halfen ihm kaum bzw. setzten ihn stark unter Druck. Entsprechend habe er nie richtig lesen und schreiben gelernt. Rolf ist gelernter Maurer und Polier. Musste er beruflich etwas schreiben, rief er seine Frau an, die ihm die Aufzeichnungen dann zufaxte. So konnte er seine mangelnde Lesekompetenz vor seinen Arbeitskollegen verheimlichen. Seine Motivation zur Kursteilnahme nährt sich aus dem Wunsch, zukünftig mehr Büroarbeit machen zu können, da er durch einen Bandscheibenvorfall nicht mehr praktisch in seinem Beruf tätig sein kann. Für die Kursteilnahme wurde er von seinem Chef für ein Jahr freigestellt, vor dem er sich als Analphabet geoutet hatte. Gemessen mit der Würzburger Leise-Leseprobe (Küspert & Schneider, 1998) und dem ELFE-Leseverständnistest (Lenhard & Schneider, 2006) liest Rolf Wörter und Sätze auf dem Niveau der zweiten Klasse. Vorgehen Von einer vorherigen direkt-instruktiven Förderung der Graphem-Phonem- Korrespondenzen hatte Rolf stark profitieren können, auch wenn kein Transfer auf das Wortlesen stattfand (Hintz & Grosche, 2010). Deshalb sollte eine weitere Unterweisung in der phonologischen Dekodierfähigkeit für Wörter angeschlossen werden. Rolf besuchte täglich für vier Stunden einen Intensivlernkurs der Volkshochschule Oldenburg, in dem die Lesegenauigkeit durch das direkt-instruktive Vermitteln der phonologischen Dekodierungsstrategie jeden Tag für zweimal 15 Minuten trainiert wurde. Die Evaluation erfolgte über insgesamt 150 Tage. Ohne die Baselinephase sowie die Herbst- und Winterferien dauerte das Training insgesamt ca. 16 Wochen an. Es orientierte sich am direkt-instruktiven Manual von Carnine et al. (2004) sowie an der Studie von Pullen et al. (2005). Hierbei werden das Zusammenlauten der Buchstaben und das Lesen von Wörtern von den Lehrkräften modelliert, Rolf sollte dieses nachahmen. Es wurde auf ein sehr langsames und genaues Zusammenlauten geachtet, um eine möglichst hohe Lesegenauigkeit auch für unbekannte Wörter zu erreichen. Die vorgemachte Strategie wurde an verschiedenen Wörtern an der Tafel geübt, anschließend sollte Rolf die Strategie an einem Arbeitsblatt festigen. Bei Erfolgen wurde er gelobt und bei Fehlern unmittelbar korrigiert. Instrumente Für die wöchentliche CBM las Rolf für zwei Minuten eine Wortliste, deren Wörter immer wieder neu aus geeigneten Texten gezogen wurden. Es wurde festgehalten, wie viele Wörter Rolf richtig, falsch, langsam (länger als drei Sekunden) und selbst-korrigiert las. Konnte er ein Wort nicht innerhalb von drei Sekunden erlesen, wurde es ihm vorgesagt, um mit der Messung weiter fortfahren zu können. Da die Wortliste unterschiedlich lange Wörter enthielt heilpädagogische forschung Band XXXVI, Heft 4,

4 und so unterschiedliche Itemschwierigkeiten zu erwarten waren, wurde die Liste ebenso für Silben ausgezählt. Die Reliabilität verschiedener Auszählungsprozeduren ließ sich durch Cronbachs α zwischen den Leistungen in der ersten und zweiten Testminute berechnen. Da Lesen meist ein impliziter Prozess ist (Oerter, 2000), können Lesestrategien (im Gegensatz zu Textverständnisstrategien) kaum durch Fragebögen erhoben werden. Aus diesem Grund wurden zwei experimentelle Paradigmen eingesetzt, um die Reaktionszeiten für das Lesen von Wörtern zu erfassen. Leider liegt kein Prätest der Lesestrategien von Rolf vor, da erst im Laufe der Förderung bemerkt wurde, dass er zunehmend langsamer las. Deshalb kann anhand der vorliegenden Daten nicht festgestellt werden, ob er im Laufe der Förderung unterschiedliche Strategien nutzte, sondern nur, welche Strategien er am Ende verwendete. Starke Sichtwortleser können reale Wörter deutlich schneller lesen als Pseudowörter. Folglich wurde das Sichtwortlesen durch das schnelle Lesen in drei Bedingungen mit je 30 realen Wörtern, 30 unvollständigen Wörtern und 30 Pseudowörtern überprüft. Die erste Bedingung enthielt ein reales Wort mit sieben Buchstaben (z. B. Fenster ). In der zweiten Bedingung wurde nur die erste Silbe (z. B. Fen ) und in der dritten Bedingung ein aus zwei Wörtern zusammengesetztes Pseudowort (z. B. Fenske aus Fenster und Gedanke) vorgegeben. Kontextleser können Wörter, die in den Kontext passen, schneller lesen als Wörter, deren Sinn sich nicht aus dem Kontext erschließen lässt. Dazu wurden wiederum in drei Bedingungen jeweils 30 kurze Sätze mit drei bis vier Wörtern vorgegeben. In der ersten Bedingung konnte das letzte Wort des Satzes anhand des Kontextes vorhergesagt werden (kongruente Bedingung, z. B. Pferde kann man reiten ). Die zweite Bedingung lieferte ein orthografisch ähnliches, aber kontextual falsches Wort (orthografische Bedingung, z. B. Pferde kann man reifen ). Die letzte Bedingung gab ein Wort vor, das anhand der Auftretenshäufigkeit des Zielwortes in deutschen Texten gematcht wurde (gleichfrequente Bedingung, z. B. Pferde kann man streiken ). Die randomisiert dargebotenen Testitems wurden per Computer präsentiert. Rolf wurde vor der Erhebung mündlich instruiert, die Items so schnell, aber auch so richtig wie möglich vorzulesen. Er sah für zwei Sekunden ein Fixationskreuz, auf das unmittelbar das Item folgte. Sobald er das Item vorgelesen hatte, drückte der Versuchsleiter eine Taste und die Reaktionszeit vom Erscheinen des Wortes bis zum Tastendruck wurde erfasst. Machte Rolf einen Lesefehler, wurde die Taste <i> (inkorrekt) gedrückt, andernfalls die Taste <k> (korrekt). Zu jedem Test bearbeitete Rolf einige Beispielitems, um sicherzustellen, dass die Aufgabe verstanden wurde. Beide Tests wurden ebenfalls von neun lesekundigen Erwachsenen im Alter von 22 bis 60 Jahren durchgeführt (Mittelwert 32 Jahre; Median 28 Jahre). So können Rolfs Leseleistungen als standardisierte z-werte im Vergleich zu geübten Lesern berechnet werden. Spezifische Stärken und Schwächen lassen sich so vor dem Hintergrund der Vergleichsstichprobe interpretieren (siehe die Einzelfallstudie mit einem Analphabeten von Beblo & Menne, 2004). Ergebnisse Reliabilität der CBM Tab. 1: Übersicht zur Zuverlässigkeit unterschiedlicher Auszählungsarten der CBM Wörter Silben Zuletzt erreichtes Item Langsam benannt Selbst korrigiert Falsch benannt Richtig benannt Anm.: Alle Angaben als Cronbachs α; N = 21 Messwertpaare. Es sollte eine Antwort auf die Frage gefunden werden, wie zuverlässig verschiedene Arten der Auszählung der gelesenen Wörter in der CBM sind. Dazu finden sich in Tabelle 1 die internen Konsistenzen (Cronbachs α) zwischen der ersten und zweiten Testminute der jeweiligen CBM-Leistung. anders als in den sonst üblichen Gruppenauswertungen stellen die Objekte der Betrachtung nicht unterschiedliche Probanden, sondern unterschiedliche Zeitpunkte bei einem einzigen Probanden dar. Die Stichprobe setzt sich also aus den Messwertpaaren der CBM zusammen (erste und zweite Minute). In diesem Fall wurden n = 21 Messwertpaare bei Rolf erhoben. Nun lässt sich die interne Konsistenz des ersten und zweiten Items (Anzahl der gelesenen Wörter/Silben in der ersten und zweiten Minute) berechnen. Zu den Auszählungsarten der CBM gehören neben dem Erfassen der Anzahl aller bearbeiteten Items auch die Anzahl aller korrekt gelesenen Items, der Lesefehler, sowie der unkorrekt, unsicher oder langsam benannten Items. Sämtliche Tests wurden sowohl auf Wortebene als auch auf Silbenebene ausgezählt. Wie aus Tabelle 1 abzulesen ist, erfüllen ausschließlich die Anzahl der insgesamt bearbeiteten Items und die Anzahl der richtig benannten Items zufriedenstellende Werte, die aber für eine Einzelfallstudie immer noch zu niedrig sind. Alle anderen Auszählmethoden sind vollkommen unbrauchbar. Die in Tabelle 1 angeführten Werte zeigen ebenfalls, dass es keinen Unterschied macht, ob Wörter oder Silben ausgezählt werden. Statistische Auswertung der CBM Aus Abbildung 1 ist Rolfs Lernverlauf über die Zeit abzulesen. Es fällt deutlich auf, dass seine Leseleistungen stark schwanken. Insbesondere zu Beginn der 180 heilpädagogische forschung Band XXXVI, Heft 4, 2010

5 Abb. 1: Rolfs Leseleistungen in korrekt gelesenen Wörtern pro Minute (schwarz) und die Ergebnisse der Regressionsrechnung (grau) im Verlauf von 150 Tagen. Anm.: HF = Herbstferien; WF = Weihnachtsferien Intervention und nach den Herbstferien liest er auf einem sehr niedrigen Level. Eine objektive visuelle Inspektion der Daten scheint nur schwer möglich zu sein. Deshalb wurde das weiter oben beschriebene Regressionsmodell mit den korrekt gelesenen Items als abhängige Variable in drei hierarchischen Regressionsmodellen berechnet. Als Prädiktoren fungierten im ersten Modell allein die seit Evaluationsbeginn verstrichene Zeit, im zweiten Modell zusätzlich die unterschiedlichen Phasen (Kodierung: 0 = Baseline ohne Förderung, 1 = Intervention vor den Herbstferien, 2 = Intervention nach den Herbstferien und 3 = Intervention nach den Weihnachtsferien), und im dritten Modell wurde die Interaktion der standardisierten Trend- und Phasenvariable hinzugefügt. In der endgültigen Regressionsgleichung wichen zwei Messwerte (nach 98 Tagen positiv und 103 Tagen negativ) von der Modellgleichung mit mehr als 1.5 Standardabweichungen ab. Sie wurden deshalb aus der Analyse ausgeschlossen, weil sie bei nur 21 Messwerten die Modellgleichung stark verfälschen können. In Tabelle 2 finden sich die Ergebnisse der Regressionsgleichungen. Das dritte Modell ist als graue Regressionsgerade in Abbildung 1 auffindbar. Im ersten Modell wurde nur der Effekt der Zeit überprüft, die allerdings nicht zur Varianzaufklärung beiträgt. Die Analyse von Abbildung 1 weist auf den Grund hin: Die Lernverlaufskurve ist in etwa U-förmig, so dass eine lineare Vorhersage der Leseleistungen in der Tat keinerlei Varianz binden sollte. Im zweiten Modell wurden zusätzlich die verschiedenen Phasen berücksichtigt. Hier werden beide Variablen mit p <.10 zweiseitig signifikant. Der hier vor allem interessierende Interaktionsterm bindet im dritten Modell noch einmal zusätzlich Varianz und ist der einzig signifikante Prädiktor (p <.10). Damit wirken Zeit und Phasen ausschließlich Tab. 2: Parameter der Regressionsmodelle mit der Anzahl richtig gelesener Wörter pro Minute als abhängige Variable Modell 1 Modell 2 Modell 3 B SE Β p B SE β p B SE β p Konstante < < <.00 Zeit Phasen Interaktion R² =.00, p =.88 R² =.00, p =.88 R² =.21, p =.15 R² =.21, p =.05 R² =.37, p =.07 R² =.15, p =.08 heilpädagogische forschung Band XXXVI, Heft 4,

6 multiplikativ, aber nicht additiv zusammen. Die Förderung hat also je nach betrachtetem Zeitintervall einen unterschiedlichen Effekt. Als Interpretation der Abbildung 1 ergibt sich, dass Rolf zu Beginn (Baseline ohne Förderung) über einen Zeitraum von 14 Tagen relativ gleichbleibende Leseleistungen zeigt. Zu Beginn der Intervention gibt es einen starken Einbruch seiner Fertigkeiten. Rolfs Leistungen erholen sich im Verlauf der Intervention und erreichen nach Weihnachten das Ausgangsniveau, das er bereits vor der Förderung aufwies. Sichtwortlesestrategien Zuerst wird die Lesegenauigkeit im Sichtwortlesen analysiert. Alle Wörter, Pseudowörter und unvollständigen Wörter konnten von sämtlichen lesekundigen Erwachsenen völlig korrekt gelesen werden. Rolf liest mit einer Lesegenauigkeit von durchschnittlich 91 % schlechter als die Kontrollgruppe. Er liest zwar alle realen Wörter korrekt (100 %), verliest sich aber bei den unvollständigen Wörtern (83 % korrekt) und Pseudowörtern (90 % korrekt). Es folgt die Analyse der Lesegeschwindigkeit beim Sichtwortlesen bei geübten Lesern. Es wurden alle Reaktionszeiten ausgeschlossen, die mehr als zwei Standardabweichungen vom Mittelwert der jeweiligen Versuchsperson entfernt lagen. Anschließend wurde erneut der Mittelwert pro Versuchsperson berechnet. Die Mittelwerte und Standardabweichungen der neun Kontrollpersonen finden sich im linken Teil von Tabelle 3. Geübte Leser können unvollständige Wörter mit drei bis vier Buchstaben schneller lesen, als reale Wörter mit sieben Buchstaben (d = 0.57) und Pseudowörter mit ebenfalls sechs bis sieben Buchstaben (d = 1.95). Ebenso lesen sie Pseudowörter langsamer als reale Wörter (d = 1.46). Die kurzen unvollständigen Wörter sind relativ schnell zu lesen. Die realen Wörter bestanden aus sieben Buchstaben, können aber als Sichtwort auf einen schnellen Blick gelesen werden. Die Pseudowörter sind ausschließlich langsam phonologisch zu dekodieren, weshalb sie am langsamsten gelesen werden (Sichtworteffekt). Bei Rolf wurden die deskriptiven Statistiken ebenfalls anhand der Reaktionszeiten errechnet, die innerhalb von zwei Standardabweichungen um seinen Mittelwert streuten (s. Tab. 3, linke Spalte). Er zeigt ebenfalls einen Sichtworteffekt. Zwar liest er die unvollständigen und realen Wörter gleichschnell (d = 0.08). Die Pseudowörter werden von ihm dagegen langsamer gelesen als die realen Wörter (d = 1.36) und die unvollständigen Wörter (d = 1.28). Zur Analyse von Rolfs Lesegeschwindigkeit zwischen den Bedingungen im Vergleich zur Kontrollgruppe wurden seine Werte anhand der Reaktionszeiten der Kontrollgruppe innerhalb der jeweiligen Bedingung standardisiert (vgl. Beblo & Menne, 2004). Verglichen mit den geübten Lesern liest Rolf als Analphabet die realen Wörter natürlich sehr viel langsamer (z = -9.57). Aber die unvollständigen Wörter liest er sogar noch etwas langsamer als diese von der Kontrollgruppe gelesen werden (z = ). Der Effekt wird beim Lesen der Pseudowörter deutlich potenziert (z = ). Wenn Rolf den gleichen Sichtworteffekt wie geübte Leser zeigen würde, dann müsste er in allen drei Bedingungen ähnliche z-werte haben. Das ist offenkundig nicht der Fall. Rolf liest im Vergleich zur Kontrollgruppe die realen Wörter rascher als unvollständige Wörter (d = 0.65) und sehr viel schneller als Pseudowörter (d = 5.40): Rolf zeigt einen stärkeren Sichtworteffekt als lesekundige Erwachsenen. Kontextlesestrategien Geübte Leser lasen alle Sätze des Kontextlesetests komplett richtig. Rolf dagegen las mit einer Lesegenauigkeit von durchschnittlich 84 % schlechter als die Kontrollgruppe. Während er die kongruenten Sätze und die anhand der Auftretenshäufigkeit in deutschen Texten parallelisierten Sätze mit 90 und 93 % etwa gleich gut liest, macht er bei den Sätzen mit orthografisch ähnlichen Wörtern mit nur 68 % korrekt gelesenen Sätzen deutlich mehr Lesefehler. In der Auswertung der Lesegeschwindigkeit zeigte sich, dass die geübten Leser einen Kontexteffekt aufweisen (s. Tab. 3, rechte Spalte; Berechnungsmodalitäten s. o.): Sätze in der kongruenten Bedingung werden schneller gelesen als Sätze mit gleichfrequenten Wörtern (d = 0.58) und orthografisch-ähnlichen Wörter (d = 0.62). Zwischen der gleichfrequenten und der orthografisch-ähnlichen Bedingung gibt es dagegen keinen Unterschied (d = 0.07). Der kongruente Kontext unterstützt demnach Tab. 3: Mittelwerte (Standardabweichungen in Klammern) der Reaktionszeiten in den experimentellen Lesestrategietests Sichtwortlesen Kontextlesen Unvollständ. Inkongruent Inkongruent Wörter Pseudowörter Kongruent Wörter Frequenz Orthogr. Kontrollpersonen 1008 (102) 948 (107) 1175 (125) 1529 (130) 1608 (142) 1618 (156) Rolf 1979 (668) 2037 (702) 3135 (995) 3330 (584) 4188 (1257) 4788 (1569) Anm.: Alle Angaben in Millisekunden. 182 heilpädagogische forschung Band XXXVI, Heft 4, 2010

7 das Lesen des letzten Wortes des Satzes. Rolf zeigte ebenfalls einen Kontexteffekt hinsichtlich der Lesegeschwindigkeit (s. Tab. 3, rechte Spalte). Er liest den kongruenten Kontext schneller als die Sätze der gleichfrequenten Bedingung (d = 0.88) und der orthografisch ähnlichen Bedingung (d = 1.23). Zwischen den beiden inkongruenten Bedingungen gibt es einen kleinen Unterschied zugunsten der an der Wortfrequenz parallelisierten Wörter (d = 0.42). Es folgt der Vergleich von Rolfs Lesegeschwindigkeit zwischen den Bedingungen im Vergleich zu den z-standardisierten Leistungen der Kontrollgruppe. Verglichen mit den geübten Lesern liest Rolf die kongruenten Wörter natürlich deutlich langsamer (z = ). Die gleichfrequenten Wörter liest er dagegen noch viel langsamer als geübte Leser (z = ). Das ganze wird noch einmal verstärkt, wenn die inkongruenten Wörter orthografisch ähnlich zum Zielwort sind (z = ). Im Vergleich mit den Kontrollprobanden liest Rolf kongruente Wörter also schneller als gleichfrequente (d = 4.32) und orthografisch-ähnliche Wörter (d = 6.47). Damit zeigt er einen deutlich stärkeren Kontexteffekt als lesekundige Erwachsene. Diskussion Um zukünftige Einzelfallstudien von Alphabetisierungskursen anbahnen zu können, hatte die vorliegende Arbeit die Überprüfung von drei Auswertungsmethoden zum Ziel: Die adäquate Erfassung der Lernfortschritte, deren inferenzstatistische Auswertung sowie die experimentelle Erhebung von Lesestrategien. Aufgrund sehr kleiner Kursgrößen und fehlender Möglichkeiten zur Randomisierung, scheinen Einzelfallstudien das Mittel der Wahl zur Evaluation von Grundbildungskursen zu sein. Hierbei werden Lernfortschritte einzelner Teilnehmer wiederholt über die Zeit gemessen. Die in dieser Studie verwendete CBM ist aufgrund der geringen Reliabilität kaum als Lernfortschrittsmessung zu legitimieren. Lediglich die Anzahl aller Items bzw. die Anzahl der korrekt gelesenen Items würde eine vorsichtige Auswertung rechtfertigen. Es macht dabei keinen Unterschied, ob die Wörter als Ganze oder auf Silbenebene ausgezählt werden. Lesefehler treten nur sporadisch auf und sollten nicht ausgezählt werden. Für zukünftige Alphabetisierungsstudien bedeutet das Gesagte, dass bei selbstentwickelten CBM eine Überprüfung der Testgüte (z. B. interne Konsistenz) erfolgen muss. Um eine gleichbleibende Schwierigkeit der einzelnen Tests und damit eine höhere Zuverlässigkeit zu gewährleisten, sollten in weiteren Studien das Wortmaterial nicht per Zufall gezogen, sondern nach vorher festgelegten Regeln konstruiert werden. Das ist aber schwierig und zeitaufwändig, denn die Erstellung einer konstruierten Liste von 20 Wörtern dauert nach unserer Erfahrung auch bei einiger Übung ca. 30 Minuten. Es muss konstatiert werden, dass die CBM ihrem eigenen Praxisanspruch einer einfachen und schnellen Entwicklung nur schwerlich gerecht werden kann. Vielleicht muss dem Ansatz von Walter (2010) gefolgt werden, der in einem größeren Forschungsprojekt ein standardisiertes Verfahren zur Lernverlaufsmessung entwickelte, das den Testgütekriterien entspricht (s. auch Strathmann et al., 2010). Für kommende Alphabetisierungsstudien ist festzuhalten, dass die Lernfortschrittsmessverfahren notwendigerweise regelgeleitet gestaltet werden sollten. Neben der Herausforderung der Konstruktion angemessenen Materials, findet sich eine weitere Schwierigkeit in der adäquaten Auswertung der Testergebnisse. Die in der (Forschungs-)Praxis zwar einfach zu praktizierende visuelle Auswertung ist aufgrund starker tagesaktueller Schwankungen in den Leseleistungen von Analphabeten oftmals zu subjektiv und damit kaum zufriedenstellend. Eine objektivere inferenzstatistische Auswertung erfordert allerdings viel statistisches Fachwissen. In Studien zur Alphabetisierung sollten deshalb immer Forscherinnen und Forscher mitarbeiten, die der komplexeren inferenzstatistischen Auswertung z. B. durch das hier beschriebene Regressionsmodell mächtig sind. Das letzte Problem betrifft das Aufstellen von Erfolgskriterien von Alphabetisierungsmaßnahmen. Das Lesenlernen scheint bei Analphabeten nur sehr langsam fortzuschreiten. Deshalb ist es notwendig, die Evaluation über einen größeren Zeitraum zu planen und die Fördereffekte sehr langfristig zu erfassen. Darüber hinaus müssen für eine genügend große Teststärke des oben beschriebenen Regressionsmodells zu jedem Teilnehmer mindestens 17 Messzeitpunkte vorliegen (s. Parker et al., 2005). Zusätzlich kann eine Förderung des phonologischen Dekodierens bei Analphabeten entgegen der Erwartung zu einer Verlangsamung der Lesegeschwindigkeit führen. Auf den ersten Blick drängt sich die Annahme auf, dass sich die Förderung im vorliegenden Fall negativ auf die Lesefertigkeiten von Rolf ausgewirkt hat. Eine andere Interpretation legt dagegen folgenden Schluss nahe: Rolf, der sonst über Hilfsstrategien wie das Kontextwortlesens und das Sichtwortlesens las, wurde durch die Förderung zugunsten des phonologischen Dekodierens zunehmend von seinen gewohnten Hilfsstrategien abgebracht. In der Tat zeigen die Ergebnisse der vorliegenden Studie, dass Rolf im Vergleich mit geübten Lesern sehr viel stärker automatisierte Kontextlesestrategien und Sichtwortstrategien anwendet. Es lässt sich annehmen, dass die bei ihm über die Zeit öfter genutzten und damit stärker automatisierten Lesestrategien mit der neuen Strategie des phonologischen Dekodierens interferiert. Zwar ist das Dekodieren deutlich langsamer als das Sichtwortlesen (Coltheart, 2005), dafür ist es aber auch bei Wörtern einsetzbar, die Rolf bislang noch nicht gelesen hat (Ehri, 2005). Die Le- heilpädagogische forschung Band XXXVI, Heft 4,

8 severlangsamung ist damit positiv zu bewerten, was im starken Gegensatz zu Studien mit lesenlernenden Kindern steht. Deshalb müssen in Studien zur Alphabetisierung von Erwachsenen dringend Lesestrategien zu Beginn, im Laufe und am Ende der Förderung erfasst werden. Zusammengenommen kann der vorliegende Beitrag wichtige Impulse für weitere Untersuchungen zur Evaluation von Grundbildungsmaßnahmen bei Erwachsenen liefern. Ein weit über diese Arbeit hinausgehendes Problem ist jedoch die kausale Interpretation von Einzelfallstudien: Ist der Lernverlauf von Rolf wirklich auf das direkt-instruktive Treatment zurückzuführen? Durch das vorliegende Design kann darüber keinerlei Aussage getroffen werden. Hier müssen komplexere Forschungsdesigns verwendet werden (Überblick bei Horner et al., 2005). Eine weitere Evaluationsstudie eines Alphabetisierungsangebotes mit einem multiplen Einzelfalldesign ist deshalb in Vorbereitung (siehe Grosche, Hintz & Grünke, 2010). Literatur Beblo, T. & Menne, A. (2004). Prüfung von Analphabetismus durch modifizierten Farbe-Wort-Interferenztest: Eine Einzelfallstudie. Zeitschrift für Neuropsychologie, 15 (1), 1 5. Binder, K. S. & Borecki, C. (2008). The use of phonological, orthographic, and contextual information during reading: a comparison of adults who are learning to read and skilled adult readers. Reading and Writing, 21 (8), Binder, K. S., Chace, K. H. & Manning, M. C. (2007). Sentential and discourse context effects: adults who are learning to read compared with skilled readers. Journal of Research in Reading, 30 (4), Burgund, E. D. & Abernathy, A. E. (2008). Letter-specific processing in children and adults matched for reading level. Acta Psychologica, 129 (1), Carnine, D. W., Silbert, J., Kame enui, E. J., Tarver, S. G. & Jungjohann, K. (2006). Teaching struggling and at-risk readers. A direct instruction approach. N: Pearson. Cohen, J. (1987). Statistical power analysis for the behavioral sciences (2. Aufl.). Hillsdale, New Jersey: Lawrence Erlbaum Associates. Coltheart, M. (2005). Modeling Reading: the dual-route approach. In M. J. Snowling & C. Hulme (Eds.), The science of reading (pp. 6 23). Malden: Blackwell. Davidson, R. K. & Strucker, J. (2002). Patterns of word-recognition errors among adult basic education native and nonnative speakers of English. Scientific Studies of Reading, 6 (3), Deno, S. L. (2003). Developments in curriculum-based measurement. Journal of Special Education, 37 (3), Döbert, M. & Hubertus, P. (2000). Ihr Kreuz ist die Schrift. Analphabetismus und Alphabetisierung in Deutschland. Stuttgart: Klett. Ehri, L. C. (2005). Development of sight word reading: phases and findings. In M. J. Snowling & C. Hulme (Eds.), The science of reading (pp ). Malden: Blackwell. Greenberg, D., Ehri, L. C. & Perin, D. (1997). Are wordreading processes the same or different in adult literacy students and third-fifth graders matched for reading level? Journal of Educational Psychology, 89 (2), Grosche, M. (2009). Zur Rolle der phonologischen Bewusstheit bei Analphabetismus. Alfa-Forum, 72, Grosche, M., Hintz, A. M. & Grünke, M. (2010). Evaluation der direkten Instruktion bei Analphabeten durch einen multiplen Grundratenversuchsplan [Informationen aus Forschungsprojekten]. Vierteljahreszeitschrift für Heilpädagogik und ihre Nachbargebiete, 79 (4), Hintz, A. M. & Grosche, M. (2010). Förderung basaler Lesekompetenzen von erwachsenen Analphabeten nach Prinzipien der direkten Instruktion. Empirische Sonderpädagogik, 2 (2), Horner, R. H., Carr, E. G., Halle, J., McGee, G., Odom, S. & Wolery, M. (2005). The use of single-subject research to identify evidence-based practice in special education. Exceptional Children, 71 (2), Julius, H. (2004). Evaluation der Intervention. In G. W. Lauth, M. Grünke & J. C. Brunstein (Hrsg.), Interventionen bei Lernstörungen (S ). Göttingen: Hogrefe. Kintsch, W. (2005). An overview of top-down and bottom-up effects in comprehension: the CI perspective. Discourse Processes, 39 (2&3), Klauer, K. J. (2006). Erfassung des Lernfortschritts durch curriculumbasierte Messung. Heilpädagogische Forschung, 32 (1), Küspert, P. & Schneider, W. (1998). Würzburger Leise Leseprobe (WLLP). Göttingen: Hogrefe. Lenhard, W. & Schneider, W. (2006). ELFE 1 6. Ein Leseverständnistest für Erst- bis Sechstklässler. Göttingen: Hogrefe. Oerter, R. (2000). Implizites Lernen beim Sprechen, Lesen und Schreiben. Unterrichtswissenschaft, 28 (3), Parker, R. I., Brossart, D. F., Vannest, K. J., Long, J. R., De- Alba, R. G., Baugh, F. G. et al. (2005). Effect sizes in single case research: How large is large? School Psychology Review, 34 (1), Parker, R. I. & Hagan-Burke, S. (2007). Single case research results as clinical outcomes. Journal of School Psychology, 45 (6), Pullen, P. C., Lane, H. B., Lloyd, J. W., Nowak, R. & Ryals, J. (2005). Effects of explicit instruction on decoding of struggling first grade students: A data-based case study. Education and Treatment of Children, 28 (1), heilpädagogische forschung Band XXXVI, Heft 4, 2010

9 Stoner, G., Scarpati, S. E., Phaneuf, R. L. & Hintze, J. M. (2002). Using curriculum-based measurement to evaluate intervention efficacy. Child & Family Behavior Therapy, 24 (1), Strathmann, A., Klauer, K. J. & Greisbach, M. (2010). Lernverlaufsdiagnostik Dargestellt am Beispiel der Entwicklung der Rechtschreibkompetenz in der Grundschule. Empirische Sonderpädagogik, 2 (1), Thompkins, A. C. & Binder, K. S. (2003). A comparison of the factors affecting reading performance of functionally illiterate adults and children matched by reading level. Reading Research Quarterly, 38 (2), Wagner, H. & Eulenberger, J. (2008). Analphabetenzahlen Probleme, Forschungsstrategien und Ergebnisse. In J. Schneider, U. Gintzel & H. Wagner (Hrsg.), Sozialintegrative Alphabetisierungsarbeit. Bildungs- und sozialpolitische sowie fachliche Herausforderungen (S ). Münster: Waxmann. Walter, J. (2008). Curriculumbasiertes Messen (CBM) als lernprozessbegleitende Diagnostik: Erste deutschsprachige Ergebnisse zur Validität, Reliabilität und Veränderungssensibilität eines robusten Indikators zur Lernfortschrittsmessung beim Lesen. Heilpädagogische Forschung, 34 (2), Walter, J. (2009). Eignet sich die Messtechnik MAZE zur Erfassung von Lesekompetenzen als lernprozessbegleitende Diagnostik? Heilpädagogische Forschung, 35 (2), Walter, J. (2010). Lernfortschrittsdiagnostik Lesen (LDL). Ein curriculumbasiertes Verfahren. Göttingen: Hogrefe. Wayman, M. M., Wallace, T., Wiley, H. I., Tichá, R. & Espin, C. A. (2007). Literature synthesis on curriculum-based measurement in reading. Journal of Special Education, 41 (2), Relevante Internetadressen (abgerufen am ) Internetpräsenz des Bundesverbandes Alphabetisierung und Grundbildung e.v. in Münster. Hier finden sich allgemeinere Hinweise, Hilfestellungen und Ansprechpartner für den Bereich der Alphabetisierung. Übersicht, aktuelle Mitteilungen und Forschungsergebnisse des vom BMBF finanzierten Projektes Alphabetisierung, Beratung, Chancen. Auch die vorliegende Studie wurde innerhalb dieses Projektes gefördert. National hat insbesondere die ABC-Zeitung große Verbreitung gefunden, die von Analphabeten für Analphabeten herausgegeben wird. Hier bündelt der Projektträger DLR zahlreiche Forschungsergebnisse des BMBF-Schwerpunktprogramms Alphabetisierung und Grundbildung. html Ein aktueller journalistischer Bericht ( Manuelas Sehnsucht nach fetten Büchern ) über eine Analphabetin aus dem ABC-Projekt mit einer sehr ausführlichen und kontroversen Diskussionsseite. Ein kurzer journalistischer Film in drei Teilen (insgesamt ca. 30 Minuten) über das Phänomen des funktionalen Analphabetismus in Deutschland. Der Film liefert Einsichten in die Leseprobleme von Analphabeten und in den Grundbildungsunterricht für Erwachsene. Stichwörter im Glossar: Analphabetismus Direkte Instruktion Implizite Lesestrategien Autorenanschrift: Michael Grosche, Anna-Maria Hintz Universität zu Köln Department Heilpädagogik und Rehabilitation Klosterstr. 79b Köln michael.grosche@uni-koeln.de ahintz@uni-koeln.de heilpädagogische forschung Band XXXVI, Heft 4,