USB PluSUnterrichtsbegleitende Sprachstandsbeobachtung, Profilanalysen und Sprachbildung. Referenzprofile des Instruments USB PluS

Transkript

1 Unterrichtsbegleitende Sprachstandsbeobachtung, Profilanalysen und Sprachbildung Referenzprofile des Instruments

2 Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße Salzburg Referenzprofile des Instruments Dominik Freunberger BIFIE (Hrsg.): Salzburg, 2018 (aktualisierte Version) Layout & Satz: Sandra Hechenberger Lektorat: Martin Schreiner

3 Inhalt 3 1 Indikatoren bei Aufgabenbewältigung 4 2 Pilotierung Stichprobe Methoden zur Festlegung der Entwicklungsbereiche 5 3 Entwicklungsbereiche bei Verben, Konnektoren und Benennen Verben Konnektoren Benennen 9 4 Referenzstufen 10 5 Pilotierung des neuen Materials

4

5 Referenzprofile des Instruments 3 1 Indikatoren bei Bei wird der Sprachstand von Kindern der Grundstufe I durch insgesamt sieben Indikatoren erfasst (Aufgabenbewältigung, Benennen, Verben, Konnektoren, Verbstellung, Verbformen und Erzählsprache). Im Bereich Verbformen werden im Kompetenzprofil die bereits verwendeten bzw. noch nicht verwendeten Tempusformen (Präsens, Präteritum, Perfekt, Futur) und die Möglichkeitsform Konjunktiv ausgegeben; im Bereich Erzählsprache wird die festgehaltene Varietät (ausschließlich Dialekt/Standard, hauptsächlich Dialekt/Standard, gemischt Dialekt/Standard) ausgegeben. Die sprachlichen Kompetenzen, die über die restlichen fünf Indikatoren ermittelt werden, werden über so genannte Entwicklungsbereiche beschrieben. Bei Aufgabenbewältigung sowie Verbstellung ergeben sich diese aus maximal erreichbaren Punktzahlen bzw. vorhandenen Kriterien. Diese beiden Teilbereiche werden am Ende dieses einführenden Kapitels beschrieben. Die Bereiche Verben, Konnektoren und Benennen sind hinsichtlich der erreichbaren Punktzahl offen. Die Festlegung der Entwicklungsbereiche kann daher einzig über eine groß angelegte Normierung/Pilotierung erfolgen. Diese fand im Frühjahr/Sommer 2017 statt. Die Pilotierung sowie die Vorgehensweise zur Festlegung der Entwicklungsbereiche werden in Kapitel 2 beschrieben. Kapitel 3 stellt die Ergebnisse der Pilotierung und die daraus resultierenden Entwicklungsbereiche für die drei Teilbereiche Verben, Konnektoren und Benennen vor. In Kapitel 4 werden die häufigsten und somit zu erwartenden Entwicklungsbereiche pro Schulstufe und Analysebereich tabellarisch dargestellt. 1.1 Aufgabenbewältigung Im Bereich Aufgabenbewältigung ergibt sich die Einteilung der Entwicklungsbereiche durch die höchstmögliche Anzahl an Punkten, die in diesem Bereich erreicht werden können. Zu jedem der sechs Bilder der Geschichte gibt es zwei Referenzsätze. Wird der Inhalt dieser Referenzsätze nicht versprachlicht, gibt es 0 Punkte, wird der Inhalt nur angedeutet, gibt es 1 Punkt, einfach ausgedrückt, 2 Punkte, erweitert versprachlicht, 3 Punkte und wird der Inhalt gar umfassend erzählt, gibt es 4 Punkte. Es können also maximal 48 Punkte erreicht werden. Der erste bzw. fünfte Entwicklungsbereich ist festgelegt als ca. 10 % der Punkte bzw. 90 % der Punkte. Die dazwischenliegenden Entwicklungsbereiche nehmen je ein Drittel der verbleibenden 80 % ein (also je ca. 27 %). Daraus ergibt sich folgende Einteilung der Entwicklungsbereiche: Entwicklungsbereich 1 Entwicklungsbereich 2 Entwicklungsbereich 3 Entwicklungsbereich 4 Entwicklungsbereich Punkte 6 18 Punkte Punkte Punkte Punkte Tabelle 1: Entwicklungsbereiche bei Aufgabenbewältigung.

6 4 Referenzprofile des Instruments 1.2 Verbstellung Verbstellung und -kongruenz wird über vier teils aufeinander aufbauende Kriterien ermittelt (Kriterium 1: Verbzweitstellung; Kriterium 2: Verbklammer; Kriterium 3: Inversion; Kriterium 4: Subordination). Das (Nicht-)Vorhandensein eines Kriteriums legt den Entwicklungsbereich fest: Entwicklungsbereich 1 Entwicklungsbereich 2 Entwicklungsbereich 3 Entwicklungsbereich 4 Entwicklungsbereich 5 Kein Kriterium vorhanden Kriterium 1 vorhanden Kriterien 1 und 2 vorhanden Kriterien 1, 2 und 3 vorhanden Kriterien 1, 2, 3 und 4 vorhanden; optional 1, 2 und 4 Tabelle 2: Entwicklungsbereiche bei Verbstellung. 2 Pilotierung In einer österreichweiten Pilotierung wurden 712 Erhebungen von eigens eingeschulten Lehrpersonen in der Grundstufe I durchgeführt. Davon wurden 631 Aufnahmen transkribiert und in den Bereichen Verben, Konnektoren, Benennen, Verbformen und Verbstellung ausgewertet. Sechs davon wurden mit Kindern aus der dritten Schulstufe durchgeführt; diese wurden ausgeschlossen. In die weitere Analyse flossen also die Auswertungen von 625 Schülerinnen und Schülern. 63 der Aufnahmen wichen minimal von der Durchführungsanleitung ab, d. h. dass eine Frage oder Aufgabenstellung vergessen wurde, zu wenig Zeit gegeben wurde, es Zwischenfragen gab oder der Lärmpegel im Hintergrund verhältnismäßig hoch war. Diese wurden für die vorliegende Analyse nicht ausgeschlossen, da durch diese Mängel vor allem der Analysebereich Verbformen betroffen ist, welcher hier nicht vordergründig relevant ist Stichprobe In der finalen Stichprobe waren 322 Schülerinnen und 303 Schüler. 48 % 52 % 11 % 69 Kinder besuchten die Vorschulklasse, 249 die erste Klasse und 282 die zweite Klasse. 40 % 49 % 1 Aufgabenstellungen/Fragen, die vergessen wurden, betreffen ausschließlich das Elizitieren verschiedener Verbformen (Futur, Präteritum, Konjunktiv, Perfekt).

7 Referenzprofile des Instruments 5 1 % In der Stichprobe waren 336 Kinder mit Deutsch als Erstsprache, 282 Kinder mit nichtdeutscher Erstsprache und 7 bilinguale Kinder. 54 % 45 % Die vier verschiedenen Bilderbücher wurden annähernd gleich oft eingesetzt: Bild 169, Fahrrad 150, Goldfisch 166, Skateboard % 22% 24 % 27 % 2.2 Methode zur Festlegung der Entwicklungsbereiche Der erste bzw. fünfte Entwicklungsbereich ist festgelegt als die unteren bzw. oberen 5 % der erreichten Punkte. Der dritte Entwicklungsbereich umfasst eine Standardabweichung zentriert um den Mittelwert (SD) der erreichten Punkte. Die Bereiche für die Entwicklungsbereiche zwei und vier ergeben sich dadurch ebenfalls. 2 Abbildung 1: Schematische Darstellung der Methode zur Festlegung der Entwicklungsbereiche (EB). EB1 wird durch das fünfte Perzentil begrenzt, EB5 durch das 95. EB3 umfasst eine Standardabweichung (SD) zentriert um den Mittelwert, wodurch sich auch die Grenzen für EB2 und EB4 ergeben. 3 Entwicklungsbereiche bei Verben, Konnektoren und Benennen 3.1 Verben Bei werden Verben nicht nur gezählt, sondern nach Komplexität und Auftretenshäufigkeit gewichtet: Für Basisverben, spezifische einfache Verben und spezifische trennbare Partikelverben wird je ein Punkt vergeben (Partikelverben sind zwar morphosyntaktisch komplex, sind jedoch sehr häufig und werden früh erworben). Modalverben werden aufgrund des relativen morphosyntaktischen Anspruchs mit zwei Punkten gewichtet. Spezifische untrennbare Präfixverben sind selten und werden spät erworben (unter anderem vermutlich deshalb, weil das Präfix im Gegensatz zu Partikeln bei Partikelverben unbetont ist), weshalb sie mit drei Punkten gewichtet werden. Für reflexiv verwendete Verben gibt es jeweils einen weiteren Punkt. 2 Es wurden drei weitere Methoden zur Festlegung der Entwicklungsbereiche getestet. Diese wurden verworfen, da a) die Verteilung der Schüler/innen über die Entwicklungsbereiche nicht der Punkteverteilung entsprach (z. B. bimodale Verteilung der Entwicklungsbereiche gegenüber einer unimodalen Punkteverteilung) und b) die Zuordnung der Schüler/innen zu Entwicklungsbereichen nicht den Kompetenzbeschreibungen der Entwicklungsbereiche entsprach (z. B. viele Schüler/innen im ersten Entwicklungsbereich, für die die Kompetenzbeschreibung des zweiten Entwicklungsbereichs zutreffender war).

8 6 Referenzprofile des Instruments Die Schüler/innen haben zwischen einem und 51 Punkten und im Durchschnitt 24,28 Punkte erreicht (Standardabweichung 9,03). Die Hälfte hat dabei über 23 Punkte. 5 % der Schüler/innen haben 11 oder weniger Punkte, 5 % haben 41 oder mehr Punkte erreicht. Abbildung 2: Häufigkeitsverteilung der erreichten Punkte im Bereich Verben. Die gestrichelten Linien stellen die Grenzen der Entwicklungsbereiche dar, die durchgehende Linie markiert den Mittelwert. Daraus resultiert folgende Einteilung der Entwicklungsbereiche: Entwicklungsbereich 1 Entwicklungsbereich 2 Entwicklungsbereich 3 Entwicklungsbereich 4 Entwicklungsbereich Punkte Punkte Punkte Punkte 41+ Punkte Tabelle 3: Entwicklungsbereiche bei Verben. Für die Stichprobe der Pilotierung ergibt sich dadurch folgendes Ergebnis: Entwicklungsbereich Schulstufe Tabelle 4: Verteilung auf Entwicklungsbereiche bei Verben pro Schulstufe in Prozent. Abbildung 3: Verteilung der Schüler/innen auf die Entwicklungsbereiche bei Verben.

9 Referenzprofile des Instruments Konnektoren Im Analyseschritt Konnektoren werden je nach Häufigkeit und Komplexität des Konnektors Punkte vergeben. Für häufig verwendete Konnektoren, wie dann, und und und dann wird je ein Punkt vergeben, für etwas weniger häufig gebrauchte, wie aber, oder und weil je zwei Punkte, für komplexere und seltener gebrauchte, wie beispielsweise also, doch oder Relativpronomen je drei Punkte, und selten gebrauchte und komplexere, wie zum Beispiel falls, nachdem oder zwar erhalten je vier Punkte. Die Schüler/innen haben zwischen einem und 34 Punkten und im Durchschnitt 10,42 Punkte erreicht (Standardabweichung 5,27). Die Hälfte hat dabei über 10 Punkte. 5 % der Schüler/innen haben 3 oder weniger Punkte, weitere 5 % haben 20 oder mehr Punkte erreicht. Abbildung 4: Häufigkeitsverteilung der erreichten Punkte im Bereich Konnektoren. Die gestrichelten Linien stellen die Grenzen der Entwicklungsbereiche dar, die durchgehende Linie markiert den Mittelwert. Daraus resultiert folgende Einteilung der Entwicklungsbereiche: Entwicklungsbereich 1 Entwicklungsbereich 2 Entwicklungsbereich 3 Entwicklungsbereich 4 Entwicklungsbereich Punkte 4 7 Punkte 8 13 Punkte Punkte 21+ Punkte Tabelle 5: Entwicklungsbereiche bei Konnektoren.

10 8 Referenzprofile des Instruments Für die Stichprobe der Pilotierung ergibt sich dadurch folgendes Ergebnis: Entwicklungsbereich Schulstufe Tabelle 6: Verteilung auf Entwicklungsbereiche bei Konnektoren pro Schulstufe in Prozent. Abbildung 5: Verteilung der Schüler/innen auf die Entwicklungsbereiche bei Verben. 3.3 Benennen Im Analyseschritt Benennen werden alle einfachen Nomen mit einem Punkt, alle Komposita mit zwei Punkten bewertet. Die Schüler/innen haben zwischen null und 55 Punkten und im Durchschnitt 25,73 Punkte erreicht (Standardabweichung 8,53). Die Hälfte hat dabei über 25 Punkte. 5 % der Schüler/innen haben 12 oder weniger Punkte, weitere 5 % haben 40 oder mehr Punkte erreicht. Abbildung 6: Häufigkeitsverteilung der erreichten Punkte im Bereich Benennen. Die gestrichelten Linien stellen die Grenzen der Entwicklungsbereiche dar, die durchgehende Linie markiert den Mittelwert.

11 Referenzprofile des Instruments 9 Daraus resultiert folgende Einteilung der Entwicklungsbereiche: Entwicklungsbereich 1 Entwicklungsbereich 2 Entwicklungsbereich 3 Entwicklungsbereich 4 Entwicklungsbereich Punkte Punkte Punkte Punkte 41+ Punkte Tabelle 7: Entwicklungsbereiche bei Benennen. Für die Stichprobe der Pilotierung ergibt sich dadurch folgendes Ergebnis: Entwicklungsbereich Schulstufe Tabelle 6: Verteilung auf Entwicklungsbereiche bei Konnektoren pro Schulstufe in Prozent. Abbildung 7: Verteilung der Schüler/innen auf die Entwicklungsbereiche bei Benennen. 4 Referenzstufen Der folgenden Tabelle kann entnommen werden, welche Entwicklungsbereiche pro Schulstufe in den pilotierten Analysebereichen am häufigsten erreicht wurden. Diese können als zu erwartende Entwicklungsbereiche betrachtet werden. 3 Vorschulstufe 1. Schulstufe 2. Schulstufe Entwicklungsbereich Entwicklungsbereich Entwicklungsbereich Aufgabenbewältigung X X X Verben X X X Konnektoren X X X Benennen X X X Verbstellung 3 X X X Tabelle 9: Erwartete Entwicklungsbereiche pro Schulstufe. 3 Anteile der erreichten Entwicklungsbereiche (EB) pro Schulstufe in Prozent: Vorschulstufe: EB1 1.5, EB2 4.4, EB3 5.9, EB4 19.1, EB5 69.1; 1. Schulstufe: EB1 0.8, EB2 2.0, EB3 2.0, EB4 13.0, EB5 82.1; 2. Schulstufe: EB1 0, EB2 0, EB3 1.0, EB4 8.9, EB

12 10 Referenzprofile des Instruments 5 Pilotierung des neuen Materials Im Frühjahr 2018 wurden zwei weitere Bilderbücher (Supermarkt, Sandburg) sowie ein neues Zusatzbild (Dachsbau) österreichweit an 13 Schulen pilotiert. Insgesamt wurden 308 Erhebungen transkribiert und in den Bereichen Verben, Konnektoren, Verbformen und Verbstellung ausgewertet. In der finalen Stichprobe waren 154 Schülerinnen (50 %) und 154 Schüler (50 %). Davon besuchten 33 eine Vorschulklasse (11 %), 178 die erste Schulstufe (58 %) und 156 die zweite Schulstufe (31 %). 149 Kinder sprachen Deutsch als Erstsprache (48 %), 156 Kinder Deutsch als zusätzliche Sprache (51 %) und drei Kinder waren bilingual (1 %). 159 Erhebungen wurden mit der Geschichte Sandburg durchgeführt (52 %), 149 Erhebungen mit der Geschichte Supermarkt (48 %). Im Bereich Verben haben die Schüler/innen zwischen 4 und 62 Punkte und im Durchschnitt 23,65 Punkte erreicht (Standardabweichung 10). Die Hälfte hat dabei über 22 Punkte. 5 % der Schüler/innen haben 10 oder weniger Punkte, weitere 5 % 42 oder mehr Punkte erreicht. Im Bereich Konnektoren haben die Schüler/innen zwischen 0 und 30 Punkte und im Durchschnitt 9,43 Punkte erreicht (Standardabweichung 5,11). Die Hälfte hat dabei über 9 Punkte. 5 % der Schüler/innen haben 2 oder weniger Punkte, weitere 5 % 18 oder mehr Punkte erreicht. Im Bereich Benennen haben die Schüler/innen zwischen 0 und 48 Punkte und im Durchschnitt 25,22 Punkte erreicht (Standardabweichung 9,05). Die Hälfte lag dabei über 26 Punkten. 5 % der Schüler/ innen haben 9 oder weniger Punkte, weitere 5 % 38 oder mehr Punkte erreicht. Die neuen Bilderbücher bzw. das neue Zusatzbild führen also zu Ergebnissen, die mit den Ergebnissen der bestehenden Materialien höchst vergleichbar sind. Die Hinzunahme der Ergebnisse der neuen Pilotierung zu den Ergebnissen der ersten flächendeckenden Pilotierung führt lediglich zu äußerst geringfügigen Veränderungen der für die Festlegung der Entwicklungsbereiche relevanten Maße (Verben: zwischen 1 und 62 Punkte, Mittelwert 24,07, Standardabweichung 9,36, untere 5 % 11 oder weniger Punkte, obere 5 % 41 oder mehr Punkte; Konnektoren: zwischen 0 und 34 Punkte, Mittelwert 10,09, Standardabweichung 5,24, untere 5 % 3 oder weniger Punkte, obere 5 % 20 oder mehr Punkte; Benennen: zwischen 0 und 55 Punkte, Mittelwert 25,65, Standardabweichung 8,71, untere 5 % 11 oder weniger Punkte, obere 5 % 40 oder mehr Punkte). Die Schwellenwerte der Entwicklungsbereiche wurden daher nicht verändert.