an der nerversität Betreuer: Sommer 2012

Transkript

1 Islamische Azad-U Universität zu Teheran (Markazi) Fakultät für Fremdsprachen-Deutsche dess Magistergrades (M.A) Fachrichtung: Didaktik der deutschen Sprache Abteilung Magisterarbeit zur Erlangung Thema: Die Anwendung des C-Tests als Einstufungstest Islamischen Azad-Un nerversität an der Betreuer: : Dr. Saied Firuzabadi Mitbetreuer: Dr. Armin Fazelzad Vorgelegt von: Sedigheh Sharifdini Sommer 2012

2 Im Namen Gottes

3 Danksagung Die vorliegende Arbeit wurde im Zeitraum von April 2011 bis August 2012 unter der Betreuung von Herrn Dr. Saied Firuzabadi an der Islamischen Azad-Universität angefertigt. Mein besonderer Dank gilt an dieser Stelle Herrn Dr. Firuzabadi und Herrn Dr. Fazelzad, die mit vielen Ratschlägen zur Gestaltung dieser Arbeit beigetragen haben. Hiermit möchte ich Herrn Dr. Kamali dafür danken, dass ich bei seiner Vorlesung meinen Test durchführen durfte. Dabei gilt mein herzlicher Dank den Studierenden, die durch ihre bereitwillige Kooperation und Mitarbeit die Durchführung des Tests ermöglicht haben. Mein spezieller Dank gilt dabei Herrn Univ. Prof. em. Dr. rer.nat Ulrich Raatz und Herrn Prof. Dr. phil. Rüdiger Grotjahn, die mir per bei einigen Problemen geholfen haben. Nicht zuletzt möchte ich mich bei meiner Familie für ihre ständige Unterstützung bedanken.

4 Vorwort Das Thema dieser Arbeit ergab sich aus einer Anregung von Herrn Dr. Firuzabadi, der mich bei der Anfertigung dieser Arbeit betreut hat. Als ich die Vorlesungen der Unterrichtseinheit Leistungsmessung bei Herrn Dr. Firuzabadi besuchte, habe ich mich für das Thema Leistungsmessung interessiert. Nach langen Recherchen habe ich mich dazu entschlossen, meine Magisterarbeit über eine Weiterentwicklung des Cloze-Tests nämlich des C-Test zu schreiben, zumal dieses Thema kaum im Fach Didaktik der deutschen Sprache bearbeitet worden ist. Außerdem haben diverse Vorteile des C-Tests als Einstufungstest mich auf die Idee gebracht, den Schwerpunkt meiner Arbeit auf diese Einsatzmöglichkeit des C-Tests an der Islamischen Azad- Universität zu legen. Die größten Schwierigkeiten ergaben sich bei der Durchführung der Tests. Die Besorgung von nötigen Büchern für diese Untersuchung hat mir ebenfalls große Schwierigkeiten bereitet. Ich hoffe, dass die Ergebnisse meiner Arbeit den Dozenten und Studenten nützlich sein werden und als eine Anregung für weitere Untersuchungen in diesem Bereich eingesetzt werden können.

5 Abstract Der C-Test ist einer der am gründlichsten untersuchten Sprachtests und wurde bereits seit 80er Jahren als ein globales Instrument zur Feststellung der allgemeinen sprachlichen Kompetenz eingesetzt. Der C-Test ist eine Weiterentwicklung des Cloze-Tests. Bei dieser Arbeit wurde untersucht, ob der C-Test an der Islamischen Azad-Universität als einen Einstufungstest eingesetzt werden kann. Weiterhin wird der Einfluss von 3er-Tilgung auf den Schwierigkeitsgrad des C-Tests untersucht. Dafür werden ein Cloze-Test und ein C-Test, der aus vier Texten besteht, bei zwei Stichprobengruppen an der Islamischen Azad-Universität durchgeführt. Die erste Stichprobengruppe besteht aus 28 Studenten in der Bachelorstufe. Bei der anderen Stichprobengruppe geht es um 26 Studenten in der Masterstufe. Der durchgeführte Test weist eine sehr hohe Reliabilität auf. Weitere statistische Analysen zeigen, dass der C-Test ein geeignetes Mittel zur Einstufung an der Islamischen Azad-Universität ist. Da der Schwierigkeitsgrad des C-Tests von verschiedenen Faktoren beeinflusst wird, kann man durch die vorliegende statistische Analyse und das Ergebnis der Befragungen keine klare Aussage über den Einfluss von 3er- Tilgung machen.

6 Inhaltsverzeichnis Einleitung Allgemeiner Überblick Cloze Verfahren Der C-Test - ein etabliertes Instrument zur Feststellung des Sprachstandes Zielsetzung Methodisches Vorgehen Einige Schwierigkeiten bei der Untersuchung Theoretische Grundlage Funktion und Stellenwert von Tests und Prüfungen im Fremdsprachenunterricht Zusammenhang zwischen Tests und Prüfungen und Unterricht (Curriculum) Formulierung der Lernziele Informationen über den Sprachstand zu Beginn eines Kurses Bestimmung der Lernschritte Kontrolle des Lernprozesses...16 I

7 2.3 Wichtige Prüfungsarten Einstufungstests Überprüfung des Lernfortschritts Überprüfung des Sprachstandes Gütekriterien Validität(Gültigkeit) Inhaltliche Validität Die Kontrolle äußerer Faktoren Validierung der Bedingungen, unter denen die Testaufgaben gelöst werden sollen Empirische Validität (Kriteriumsvalidität) Reliabilität( Zuverlässigkeit ) Gründe für Messfehler Die Bedeutung von Reliabilitätskoeffizient und Korrelation Interne Konsistenz Objektivität Typologie von Testaufgaben Offene Aufgaben Halboffene Aufgaben Geschlossene Aufgaben Theoretische Grundlage des C-Tests Das kanonische C-Test-Prinzip...44 II

8 Das Prinzip der reduzierten Redundanz Reliabilität, Objektivität und Validität des C-Tests Konstruktion des C-Tests Textauswahl Voruntersuchung Akzeptable Variante und Orthografiefehler Ein Überblick über die aktuellen Beiträge im Bereich des C-Tests Die einzelnen Beiträge aus dem Iran Methodisches Vorgehen Textauswahl Voruntersuchungen mit Muttersprachlern Versuchspersonen Auswertung Interpretation der Ergebnisse Statistische Analyse Analyse von Punktwerten Bestimmung der Cut-Off-Werte Analyse zur Reliabilität Einfluss von 3er-Tilgungen auf die Schwierigkeit des C-Tests...70 III

9 4.5 Zusammenfassung Ausblick...75 Anhang Der Fragebogen Der C-Test Der Cloze-Test Die Umfrage Lösungsschlüssel des C-Tests Lösungsschlüssel des Cloze-Tests...84 Literaturverzeichnis...85 IV

10 Tabellenverzeichnis Tabelle 2.1: Spearman-Rang-Korrelationen (obere Dreiecksmatrix) und Kendalls Taub-b (untere Dreiecksmatrix) zwischen TestDaF- Subtests und C-Test...48 Tabelle 3.1: Die Rohwerte in der Bachelorstufe...60 Tabelle 3.2: Die Rohwerte in der Masterstufe...61 Tabelle 4.1: Mittelwerte und Standardabweichungen der Tests...63 Tabelle 4.2: Ergebnis der Reliabilitätsermittlungen...69 Tabelle 4.3: Prozentuale Punktwerte von Text1 und Text Tabelle 4.4: Prozentuale Mittelwerte der Text1 und Text V

11 Digrammverzeichnis Diagramm 4.1: C-Test-Ergebnisse von allen Testkandidaten nach dem Rang in der jeweiligen Stichprobengruppe...66 Diagramm 4.2: Cloze-Test-Ergebnisse nach dem Rang in der jeweiligen Stichprobengruppe...67 VI

12 Einleitung Der C-Test ist einer der am gründlichsten untersuchten Sprachtests und wurde bereits seit den 80er Jahren als ein globales Instrument zur Feststellung der allgemeinen sprachlichen Kompetenz eingesetzt. Der C-Test ist eigentlich eine Weiterentwicklung des Cloze-Tests, wobei der Test vereinfacht und praktischer geworden ist. Der C-Test empfiehlt sich nicht nur aus Gründen der Objektivität, Reliabilität und Validität, sondern auch wegen seiner Praktikabilität, zudem ist der C-Tests ein relativ ökonomisches Testinstrument, und zwar sowohl hinsichtlich der Testentwicklung als auch der Testdurchführung und -auswertung. Die diversen Vorteile vom C-Test haben mich auf die Idee gebracht, die Einsatzmöglichkeiten dieses Tests an der Islamischen Azad-Universität in der deutschen Abteilung zu untersuchen. Dabei liegt der Schwerpunkt auf der Anwendung des C-Tests als Einstufungstest, denn C-Tests werden bereits als Einstufungstests in vielen Universitäten, Sprachschulen und Studienkollegs eingesetzt. Eine Einsatzmöglichkeit vom C-Test an der Azad-Universität als Einstufungstest wäre bei der Einstufung der aufgenommenen Studenten, die die Aufnahmeprüfung für die Universität in Englisch abgelegt haben und deswegen ein zusätzliches Semester für die Vorbereitung auf die Hauptunterrichtseinheiten besuchen, erwünscht Mit dieser Arbeit wollte ich untersuchen, für welche Stufe sich der C-Test an der Azad-Universität eignet. Daher habe ich einen Test erstellt, der aus einem C-Test mit vier Texten und einem Cloze-Test besteht. Der Test wurde bei einer Gruppe in der Bachelorstufe und einer anderen Gruppe in der 1

13 Masterstufe der Islamischen Azad-Universität durchgeführt. Der Cloze-Test gilt dabei als ein Maß, mit dem man den Schwierigkeitsgrad des Textes und das Niveau der Testkandidaten einschätzen kann. Weiterhin beschäftigte ich mich mit der Frage, ob die 3er-Tilgung bei einem Text statt einer klassischen 2er -Tilgung den C-Test tatsächlich einfacher macht. Dafür habe ich bei dem ersten Text vom durchgeführten C-Test die Lücken nach dem Prinzip der 3er-Tilgung erstellt. In dem ersten Kapitel dieser Arbeit habe ich die wichtigen Begriffe wie Cloze- Test und C-Test erklärt. Außerdem bin ich auf die Zielsetzung der Arbeit näher eingegangen. Am Ende dieses Kapitels habe ich einige Probleme erwähnt, mit denen ich bei dieser Untersuchung konfrontiert worden bin. Das zweite Kapitel befasst sich mit den theoretischen Grundlagen dieser Arbeit. Da das Thema dieser Arbeit sich auf die Leistungsmessung der sprachlichen Kompetenz bezieht, habe ich im zweiten Kapitel zunächst Funktion und Stellenwert der Tests und Prüfungen im Fremdsprachenunterricht erklärt, indem der Zusammenhang zwischen Tests und Prüfungen ausführlich geschildert wird. Im Anschluss habe ich die drei wichtigen Tests und Prüfungsformen mit deren Zielen im Unterricht erwähnt. Weiterhin befasst sich dieses Kapitel ziemlich intensiv mit den drei Gütekriterien Validität, Reliabilität und Objektivität, die nach der klassischen Testtheorie bei jedem Test oder jeder Prüfung erfüllt sein müssen. Zunächst werden verschiedene Aufgabentypen in Tests und Prüfungen hinsichtlich ihrer Offenheit samt einigen typischen Beispielen vorgestellt. Im Anschluss kommt die theoretische Grundlage des C-Tests, gefolgt von der schrittweisen 2

14 Erklärung der Konstruktion des C-Tests. Dabei werden verschiedene Aspekte des C-Tests ebenso wie die Ergebnisse einiger Untersuchungen in diesem Bereich erläutert. Zum Ende des zweiten Kapitels gibt es einen allgemeinen Überblick über die aktuellen Beiträge im Bereich des C-Tests, der von Herrn Dr. Rüdiger Grotjahn verfasst worden ist. Zuletzt werden zwei aktuelle Beiträge im Bereich C-Test aus dem Iran erwähnt. Im dritten Kapitel geht es um das methodische Vorgehen der Untersuchung, wobei der Ablauf vom praktischen Teil dieser Arbeit schrittweise geschildert wird, d. h., wie der durchgeführte Test erstellt und durchgeführt worden ist. Dabei werden folgende Schritte erläutert: Textauswahl, Voruntersuchungen mit den Muttersprachlern, Versuchspersonen, Auswertung und Interpretation der Ergebnisse. In diesem Kapitel befinden sich ebenso zwei Tabellen, die die Rohwerte von den Testkandidaten von beiden Stichgruppen darstellen. Im letzten Kapitel handelt es sich um die statistischen Analysen, wodurch die Testergebnisse interpretiert werden. Zuletzt werden alle Ergebnisse zusammengefasst und einige Vorschläge in Bezug auf das Thema dieser Arbeit für weitere Untersuchungen vorgelegt. 3

15 1 Allgemeiner Überblick 1.1 Cloze Verfahren Das Cloze Verfahren als eine Methode der Messung der Schwierigkeit eines Textes wurde 1953 von Wilson L. Taylor für das Prüfen des Leseverstehens der Muttersprachler vorgestellt. Bei dieser Methode wird in einem Text, der dem Niveau des Lesers entspricht, je nach Schwierigkeit jedes -nte Wort durch eine Lücke ersetzt (-n ist in der Regel zwischen 5 und 9), die von dem Leser ergänzt werden muss. Da diese Methode nicht kompliziert war, gewann sie schnell an Beliebtheit. Es sind schon zahlreiche Studien in L1 (Muttersprache) und L2 (Fremd- oder Zweitsprache) bezüglich des Cloze Verfahrens gemacht worden. Unter anderem wird das Verfahren von Cloze für das Prüfen verschiedener Fertigkeiten verwendet und die Validität dieses Verfahren wurde in Tests geprüft. 4

16 1.2 Der C-Test- ein etabliertes Instrument zur Feststellung des Sprachstandes Der C-Test, der eine Weiterentwicklung des Cloze-Tests ist, ist einer der am gründlichsten untersuchten Sprachtests und wurde bereits seit den 80er Jahren als ein globales Instrument zur Feststellung der allgemeinen sprachlichen Kompetenz eingesetzt. Dieser Test hat sich nicht nur im Bereich Deutsch als Fremdsprache als ein zuverlässiges und praktisches Instrument zur Sprachstandbestimmung etabliert, sondern auch im Bereich Deutsch als Zweitsprache wurden verschiedene Einsatzmöglichkeiten des C-Tests thematisiert, was allerdings nicht in meiner Arbeit relevant ist, da im Iran Deutsch als Fremdsprache an den Universitäten gelernt wird. Daher ist bei meiner Arbeit die Einsatzmöglichkeit des C-Tests im Bereich Deutsch als Fremdsprache berücksichtigt worden, wobei der Fokus auf der Anwendung des C-Tests als Einstufungstest besteht. C-Tests bestehen in der Regel aus vier bis fünf Texten, die in sich geschlossen sind, d. h., die Texte stehen in keinem Zusammenhang miteinander. In diesen Texten werden einzelne Wörter nach einem bestimmten Muster beschädigt. Nach dem klassischen Tilgungsprinzip wird die Hälfte jedes zweiten Wortes in jedem Text gelöscht, der erste Satz bleibt allerdings unverändert. Um die Lücken zu ergänzen und den Text zu rekonstruieren, wird die Sprachkompetenz der Testkandidaten aktiviert. Je größer die sprachliche Kompetenz eines Testkandidaten ist, desto besser werden die Texte rekonstruiert. Das Testergebnis liefert also eine valide Aussage über den allgemeinen Sprachstand des Testkandidaten. Dabei sollte man allerdings nicht die einzelnen Lösungen bestimmter Lücken der Texte für sich betrachten und interpretierten, sondern den Summenwert 5

17 jedes Textes vom C-Test sowie dem Gesamttest. Denn die Lösungen sind innerhalb eines Textes nicht voneinander unabhängig, aber die Ermittlung der Kennwerte der klassischen Testtheorie wie z. B. Reliabilität setzt die Unabhängigkeit der einzelnen Lösungen eines Testkandidaten voraus. Darüber hinaus ist die Interpretation jeder einzelnen Lösung sehr aufwendig. Wenn man korrekte Lösungen eines C-Tests und auch alle möglichen korrekten Lösungsvarianten festlegt, kann man absolute Objektivität bei der Auswertung erreichen. Außerdem haben mehrere Untersuchungen ergeben, dass der C-Test im Allgemeinen sehr reliabel ist. Laut der Ergebnisse aktuellerer Beiträge im Bereich C-Test, die sich hauptsächlich mit der Validität des C-Tests befasst haben, hat sich der C-Test ebenfalls als ein valider Test erwiesen. Der C-Test empfiehlt sich nicht nur aus Gründen der Objektivität, Reliabilität und Validität, sondern auch wegen seiner Praktikabilität, zudem ist der C-Tests ein relativ ökonomisches Testinstrument, und zwar sowohl hinsichtlich der Testentwicklung als auch der Testdurchführung und -auswertung. Für die Erstellung einer ersten Testversion mit vier bis fünf Texten braucht man in der Regel nicht mehr als eine Stunde. Die Testdurchführung nimmt pro Text fünf Minuten in Anspruch, die Auswertung dauert je nach der Auswertungsmethode und Zahl der Items zwischen drei und fünf Minuten pro Test. Das Vortesten von Muttersprachlern und Testkandidaten der Zielgruppe sowie mögliche Änderungen und Adaptationen können allerdings den ganzen Prozess verlängern.. (S.Bauer, Grotjahn & Spettmann, 2000, 1-3) 6

18 1.3 Zielsetzung All die erwähnten Vorteile des C-Tests haben mich auf die Idee gebracht, die Einsatzmöglichkeiten des C-Tests im Bereich Deutsch als Fremdsprache an der Universität zu untersuchen. Einige Untersuchungen wurden bereits an iranischen Universitäten im Bereich C-Test durchgeführt, dabei wurden aber nur C-Tests auf Englisch verwendet, die zur Überprüfung der englischen sprachlichen Kompetenz dienten. Nach meinen Angaben wurde bis jetzt keine Untersuchung im Bereich Deutsch als Fremdsprache durchgeführt. Aber in Deutschland gehört der C-Test zu den am gründlichsten untersuchten Sprachtests und wird in verschiedenen Bereichen sowohl im Schulsystem als auch im akademischen Bildungssystem integriert. Einer der häufigsten Einsatzmöglichkeiten des C-Tests bezieht sich auf die Einstufung und Einteilung der Probanden. In einigen Universitäten ist die Ablegung eines C-Tests für die Aufnahme bei der jeweiligen Universität erforderlich. Die Aufnahmeprüfung für das Fach deutsche Sprache bei der Azad- Universität für die Bachelorstufe wird in Deutsch und Englisch abgelegt, was eine Art Einstufungstest für die Kandidaten verlangt, die die Prüfung in Englisch abgelegt haben. Das führt dazu, dass die Kandidaten ohne sprachliche Vorkenntnisse ein zusätzliches Semester als Vorbereitung auf Hauptunterrichtseinheiten in Deutsch besuchen müssen. Aber manche Kandidaten, die die Aufnahmeprüfung in Englisch abgelegt haben, verfügen über ausreichende Deutschvorkenntnisse, um die Hauptunterrichtseinheiten zu studieren, ohne das Vorbereitungssemester zu besuchen. Es besteht also ein Bedarf an einem Einstufungstest, der im Allgemeinen den Sprachstand eines Kandidaten misst. Aufgrund der zuvor 7

19 erwähnten Eigenschaften und Vorteile des C-Tests scheint dieser Test eine optimale Möglichkeit zur Leistungsmessung zu sein. Wobei sich die Frage stellt, ob der C-Test tatsächlich in diesem Fall ein geeignetes Mittel zur Einstufung ist und zwischen Studenten auf verschiedenem Niveau differenzieren kann. Falls der C-Test sich als geeignet erweist, ist der nächste Schritt die Bestimmung der Cut-off-Werte. Unter einem Cut-off- Wert wird ein festgelegter Testtrennwert verstanden, der die Testkandidaten hinsichtlich des zu testenden Merkmals trennt und somit eine Interpretation des Testergebniswertes ermöglicht. 1.4 Methodisches Vorgehen Bei dieser Arbeit habe ich versucht, die oben gestellte Frage zu beantworten und eine theoretische Grundlage für die Durchführung der weiteren Untersuchungen in diesem Zusammenhang vorzubereiten. Ein C- Test, der aus vier Texten und einem Cloze-Test besteht, wurde von 26 Studenten im dritten Semester der Masterstufe und 28 Studenten im dritten Semester der Bachelorstufe an der Islamische Azad-Universität (Markazi) abgelegt. Der erste Text des Modelltests wurde allerdings nicht nach klassischem Tilgungsprinzip erstellt, sondern jedes dritte Wort des Textes wurde beschädigt. Hierdurch wurde überprüft, ob diese Art der Tilgung einen Einfluss auf den Schwierigkeitsgrad der Aufgabe ausübt. Vor der Durchführung des Tests wurden die Teilnehmer gebeten, Angaben zu Alter, Fachrichtung, Herkunft, zusätzlichen Deutschkenntnissen außerhalb der Universität sowie zur Dauer des bisherigen Deutschunterrichts zu machen. Nach dem Test war eine kleine Umfrage zu 8

20 beantworten, damit die Meinung der Probanden über den Test festgestellt wird. Die Reliabilität und andere statistische Werte des entworfenen C-Tests wurden durch das Programm IBM SPSS (Statistical Package for Social Sciences) Version 19 ermittelt. 1.5 Einige Schwierigkeiten bei der Untersuchung Die erste Schwierigkeit, mit der ich bereits vor dem Beginn dieser Arbeit konfrontiert war, war der Mangel an vorhandenen Quellen. Ich habe schon darauf hingewiesen, dass viele Untersuchungen im Bereich des C-Tests durchgeführt worden sind. Aber das Problem besteht darin, dass man durch Internet die Artikel und Bücher nicht bestellen kann. Außerdem gibt es im Allgemeinen wenige Bücher im Bereich deutsche Didaktik im Iran. Die weiteren Schwierigkeiten sind hauptsächlich bei der Durchführung des Tests vorgekommen. Erstens musste man in der Zeit, wo die Dozenten Unterricht haben den Tests ablegen lassen, da außerhalb des Unterrichts keiner mitmachen würde. Darüber hinaus wird der Test kaum von den Studenten ernst genommen, besonders wenn sie wissen, dass es um eine Untersuchung geht. Die Durchführung solcher Untersuchungen erfordert eine enge Zusammenarbeit zwischen Universität, Dozenten und Studenten. 9