DEUTSCH-TEST FÜR ZUWANDERER A2-B1

Transkript

1 DEUTSCH-TEST FÜR ZUWANDERER A2-B1 unter Berücksichtigung der ALTE- Qualitätskriterien Expertenforum im Rahmen des Dialogforums 7 Sprache Integrationskurse: Überprüfbarkeit von Lernerfolgen München, 24. März 2011 Dr. Michaela Perlmann-Balme

2 Inhalt Ausgangspunkt ALTE Qualitätsstandards Entwicklung Durchführung Analyse Bewertung Kommunikation Herausforderungen für Audit des dtz 2

3 Ausgangspunkt Entwicklung Goethe-Institut und telc GmbH Entwicklung des Rahmencurriculums Entwicklung des dtz Durchführung telc GmbH ab August 2009 Echteinsatz Prüfungsdurchführung an ca lizenzierten Prüfungszentren 3

4 Wenn eine Prüfung, dann eine nach allen Regeln der Kunst. Was sind die Regeln der Kunst? Wer setzt sie fest? 4

5 ALTE-Weg zur Qualität Phase 1 Sammeln: ab 1990 alle europäischen Sprachen 34 Mitglieder, 27 Sprachen (inklusive sog. lesser spoken languages) bis zu vier Anbieter pro Sprache: Deutsch: Goethe-Institut, telc GmbH, TestDaF-Institut, Österreichisches h Sprachdiplom (Selbst-) Einstufung der Prüfungen auf Niveaustufen Phase 2 ab 2005 Audits zur Überprüfung der Einhaltung der Standards dtz wird 2011 zum Audit vorgelegt 5

6

7 New Framework Beispiel Goethe-Institut Start Deutsch 1 Start Deutsch 2 Zertifikat Deutsch Goethe- Zertifikat B2 Goethe- Zertifikat C1 May 08 May 08 May 08 May 08 May 08 Re-audit: Re-audit: Re-audit: Re-audit: Re-audit: May 2013 May 2013 May 2013 May 2013 May

8 ALTE Qualitätsstandards ALTE definiert für alle Mitgliedssprachen gültige 17 Mindeststandards für: Entwicklung Durchführung & Logistik Analyse der Ergebnisse Bewertung & Benotung Kommunikation Handout: Übersicht Qualitätsstandards 8

9 Entwicklung (1) Stellen Sie sicher, dass Ihre Prüfung sich auf ein theoretisches Konstrukt bezieht, z.b. auf ein Modell der kommunikativen Kompetenz. (2) Beschreiben Sie die Ziele der Prüfung sowie die Verwendungssituationen und die Adressaten, für die die Prüfung geeignet ist. (5) Wenn Ihre Prüfung sich auf ein externes Referenzsystem bezieht (z.b. den Gemeinsamen europäischen Referenzrahmen), stellen Sie sicher, dass Sie diesen Bezug durch ein angemessenes methodisches Vorgehen nachweisen. 9

10 Standards 1, 2, 5 Entwicklung konzeptionelles Format Standard 1 Definition Lernziele Standard 1 Beschreibung der Zielgruppe Standard 2 Erhebung des Sprachbedarfs der Zielgruppe Standard 2 Kalibrierung Lernziele Standard 5 10

11 11

12 12

13 13

14 Standards - Entwicklung (3) Definieren Sie die Anforderungen, die Sie an die Auswahl und das Training von Testkonstrukteuren stellen. Beziehen Sie das Urteil von Experten in Form von Gutachten sowohl in die Prüfungsentwicklung als auch in die Revision ein. (4) Stellen Sie sicher, dass die verschiedenen Testsätze einer Prüfung, die an unterschiedlichen Terminen durchgeführt werden, vergleichbar sind. Dies betrifft sowohl den Prüfungsinhalt und die Durchführung als auch die Notengebung, die Festsetzung der Bestehensgrenze und die statistischen Werte der Aufgaben. Erprobung 14

15 Standard 4 PS1 PS1 PS2 PS2 PS3 PS3 PS4 PS4 PS5 PS5 o-b1 X ,34 LV6 o-b1 X ,58 LV10 o-b1 X ,06 LV14 o-b ,11 LV10 o-b1 XX ,44 HV10 o-b ,71 LV9 o-b ,28 LV12 o-b ,94 HV19 o-b ,47 HV11 o-b ,26 LV14 B ,15 HV10 o-b1 XX ,77 HV6 o-b ,21 LV9 o-b ,07 LV9 o-b ,11 HV9 B ,64 LV10 o-b ,00 HV15 o-b ,95 LV16 o-b1 XX ,71 LV5 o-b ,00 LV9 B ,53 LV8 o-b1 X ,80 LV16 o-b ,98 HV11 B ,56 LV2 o-b ,93 LV6 B ,96 HV18 o-b1 X ,71 LV6 B ,10 LV6 B ,51 LV12 o-b ,39 LV10 B ,63 HV20 o-b ,83 HV12 B ,97 LV13 B ,87 HV13 o-b ,10 HV20 Ü-B ,55 LV3 o-b ,33 HV14 B1 XX ,58 HV1 B ,48 HV1 B ,69 HV19 Ü-B ,45 HV19 o-b ,18 LV11 B ,00 LV24 B ,08 HV12 B1 XX ,99 HV12 Ü-B ,40 LV25 B ,55 HV2 B ,48 LV11 B ,00 HV2 B ,17 LV5 Ü-B1 X ,92 LV21 B ,14 LV1 B ,00 HV12 B ,91 LV6 B ,26 LV13 Ü-B ,44 LV22 B ,86 LV4 B ,59 LV7 B ,48 HV20 B ,86 LV16 Ü-B ,32 LV14 B1 XX ,84 LV15 B ,17 HV9 B ,11 LV16 B ,31 HV18 Ü-B ,25 LV24 B ,75 LV14 B ,99 LV12 Ü-B ,99 HV19 B ,31 LV11 Ü-B ,11 LV16 B ,97 HV10 B1 X ,81 HV8 Ü-B ,95 HV10 B ,79 HV14 Ü-B ,69 LV7 B ,31 HV18 B ,49 LV15 Ü-B ,02 LV24 B ,53 HV15 Ü-B ,33 LV5 B ,53 LV3 B ,38 HV7 Ü-B ,91 LV8 B ,92 LV18 Ü-B ,16 HV13 B ,01 HV19 B ,55 LV22 Ü-B ,28 LV22 B ,50 HV16 Ü-B ,03 LV12 B ,63 LV13 B1 X ,50 HV4 Ü-B ,28 LV23 B ,37 LV24 Ü-B ,70 HV1 B ,34 LV24 B ,12 HV15 Ü-B ,89 HV9 Ü-B1 X ,48 LV4 Ü-B ,49 HV6 B1 XX ,25 LV9 B ,05 HV2 Ü-B ,64 LV7 Ü-B ,68 LV22 Ü-A ,98 LV13 Ü-B ,68 HV13 Ü-B ,73 LV18 Ü-B ,61 LV18 Ü-B ,19 LV23 Ü-A ,58 HV14 Ü-B ,78 HV4 Ü-B ,94 LV25 Ü-B ,23 HV15 Ü-B ,53 LV7 Ü-A ,07 LV18 Ü-B ,10 LV5 Ü-B ,92 LV3 Ü-B ,21 LV4 Ü-B ,18 LV25 Ü-A ,43 LV23 Ü-B ,32 HV7 Ü-B ,40 HV18 Ü-B ,54 LV21 Ü-B ,49 LV2 Ü-A ,90 HV4 Ü-B ,22 LV23 Ü-B ,61 HV16 Ü-B1 X ,18 HV17 Ü-B ,37 HV8 Ü-A ,02 HV15 Ü-B ,88 LV22 Ü-B ,70 LV2 Ü-A ,16 LV17 Ü-B ,03 HV17 Ü-A2 XX ,34 LV11 Ü-B ,41 LV17 Ü-B ,40 LV21 Ü-A ,83 LV14 Ü-B ,23 LV3 A ,94 HV16 Ü-A2 X ,23 LV8 Ü-B ,32 LV23 Ü-A ,60 LV25 Ü-B ,11 HV11 A ,73 LV4 Ü-A ,21 LV25 Ü-B ,39 LV17 Ü-A2 X ,90 HV3 Ü-B ,75 LV15 A ,17 LV2 Ü-A ,99 HV11 Ü-A ,75 LV8 Ü-A ,15 LV13 Ü-B1 X ,43 LV12 A ,04 HV11 Ü-A ,68 LV18 Ü-A ,53 HV17 Ü-A ,60 LV3 Ü-B ,18 LV8 A ,61 HV5 Ü-A2 X ,94 LV7 Ü-A ,24 LV5 Ü-A ,43 HV5 Ü-A ,84 LV21 A ,32 HV3 Ü-A ,44 HV8 Ü-A ,39 LV10 A ,30 LV11 Ü-A ,25 HV5 A ,01 HV7 Ü-A ,15 HV5 Ü-A ,32 HV5 A ,71 HV18 Ü-A ,25 HV13 A ,07 HV8 Ü-A ,00 HV20 Ü-A2 X ,21 LV4 A ,63 LV1 Ü-A ,15 LV17 A ,63 LV1 A ,99 LV2 A ,87 HV13 A ,02 HV7 Ü-A ,54 HV4 A2 X ,61 HV9 A ,94 HV9 A ,44 HV14 A ,83 HV14 A ,21 LV1 A ,30 LV17 A ,82 HV3 A ,29 LV1 A ,63 HV6 A ,35 HV7 A2 X ,00 LV15 A2 X ,87 LV21 A2 X ,48 HV20 A ,13 LV15 A2 X ,24 HV3 u-a2 X ,91 HV17 A ,71 HV1 A2 X ,92 HV6 A ,71 HV8 u-a2 X ,45 HV1 u-a ,76 HV12 A2 X ,48 HV16 u-a2 X ,17 HV3 u-a ,60 HV16 u-a ,60 HV6 u-a ,91 HV2 A2 X ,91 HV17 u-a2 X ,95 HV10 u-a ,57 HV4 u-a ,46 HV Durchschn. Schw. 25,82 32,34 30,79 28,46 30,53 15

16 Standard 5 Standard-Setting, Benchmarking Seminar - Internalisieren der Skalen des GER - Gemeinsames Einstufung bzw. Bewerten von Referenzaufgaben - Anwendung des Bewertungsmaßstabes auf dtz-teilnehmerarbeiten Schreiben / Sprechen 16

17 Standards - Durchführung (6) Stellen Sie sicher, dass alle Prüfungszentren, die Ihre Prüfung durchführen, anhand von klaren und transparenten Kriterien ausgewählt werden und dass ihnen die Prüfungsordnung bekannt ist. (7) Stellen Sie sicher, dass die Prüfungsunterlagen in einwandfreier Form und auf sicherem Postweg an die lizenzierten Prüfungszentren verschickt werden, dass die Organisation der Prüfungsdurchführung einen sicheren und nachvollziehbaren Umgang mit allen Prüfungsunterlagen erlaubt und dass die Vertraulichkeit aller Daten und Unterlagen garantiert ist. (8) Stellen Sie sicher, dass Ihre Organisation der Prüfungsdurchführung eine angemessene Unterstützung der Kunden vorsieht (z.b. Telefon-Hotline, Internet- Service). 17

18 Standards - Durchführung (9) Gewährleisten Sie die Sicherheit und Vertraulichkeit der Prüfungsergebnisse und Zeugnisse sowie aller damit verbundenen Daten. Stellen Sie sicher, dass Sie die gültigen Datenschutzbestimmungen einhalten und dass Sie die Kandidaten über ihre Rechte auch hinsichtlich Einsicht ihrer Prüfungsunterlagen - informieren. (10) Stellen Sie sicher, dass Sie bei der Durchführung Ihrer Prüfungen Vorkehrungen treffen für Kandidaten mit Behinderungen. 18

19 Standards - Bewertung (11) Stellen Sie sicher, dass die Bewertung der Leistungen der Kandidaten so korrekt und zuverlässig ist, wie die Art der Prüfung es erforderlich macht. (12) Stellen Sie sicher, dass Sie einen Nachweis darüber erbringen können, wie die Bewertung durchgeführt wird, wie die Zuverlässigkeit der Bewertung hergestellt wird und wie Informationen über die Qualität der Prüfer/Bewerter zum schriftlichen und mündlichen Ausdruck erfasst und analysiert werden. 19

20 Standards - Analyse (13) Führen Sie Erprobungen mit einer repräsentativen und angemessenen Population durch, um Daten zu der Prüfung zu erhalten und zu analysieren. Weisen Sie nach, dass die Ergebnisse der Teilnehmer eine Folge ihrer Leistungsfähigkeit ist und nicht durch andere Faktoren verursacht wird, wie z.b. Muttersprache, Herkunftsland, Geschlecht, Alter und ethnische h Zugehörigkeit. it (14) Stellen Sie sicher, dass die Erprobungsdaten für die statistischen Analysen (z.b. um die Schwierigkeit und die Trennschärfe der einzelnen Items und die Reliabilität sowie den Messfehler der gesamten Prüfung zu ermitteln) mithilfe von repräsentativen und angemessenen Populationen gewonnen werden. 20

21 Bosnien 3% China 2% Irak 3% 3% Iran 4% Italien 2% Kasachstan 3% Bosnien Kosovo 2% Marokko 2% andere 37% China Irak Iran Italien Philippinen 2% Polen 6% Kasachstan Kosovo Marokko Philippinen Russland Polen Russland Serbien Thailand Russland 8% Serbien 2% Ukraine Türkei Ukraine andere Thailand 2% Türkei 20% 2%

22 Qualität der Testsätze Erprobungsergebnisse Kenngrößen: Angezielter Wert: Erreichter Wert: Reliabilität der Gesamtprüfung (Cronbachs Alpha) Schwierigkeit der einzelnen Items Trennschärfe der einzelnen Items > 0,8 0,817 0,5 0,9 0,3 0,97 > 0,3 siehe unten

23 Qualität der Items Erprobungsergebnisse,: 13 Von 56 Items liegen außerhalb a der angezielten e Werte und wurden z.t. überarbeitet. Item-Nr Prop. corr. über 90 unter 50 biser. Index 1 91! 31 HV1 7 47! 20! HV ! 38 HV ! 29! HV ! 21! HV ! 27! HV ! 39 LV ! 24! LV ! LV ! LV ! LV ! LV ! 22! LV4 unter 0,3 unter 0,1 Testteil

24 Standards - Kommunikation (15) Stellen Sie sicher, dass Sie den Kandidaten und den Prüfungszentren die Prüfungsergebnisse schnell und auf klare Weise mitteilen. (16) Informieren Sie Ihre Kunden (Testzentren, Kandidaten) über den angemessenen Einsatz der Prüfung, die Prüfungsziele, den Nachweis, den die Prüfung erbringt, und über die Reliabilität der Prüfung. (17) Stellen Sie Ihren Kunden klare Informationen zur Verfügung, g die es ihnen ermöglichen, die Ergebnisse zu interpretieren und den Leistungsnachweis angemessen zu verwenden. unproblematisch 24

25 Herausforderungen für Audit des dtz Qualitätsstandard Vergleichbarkeit der Prüfungssätze, Items Qualitätsstandard 12 Zertifizierung der Prüfenden/Bewertenden Qualitätsstandard 13 Analysen: Bias 25

26 Herzlichen Dank! 26