Konzeption für die Entwicklung und Nutzung eines Pools von Abiturprüfungsaufgaben. Arbeitsfassung

Transkript

1 Prof. Dr. Petra Stanat, Institut zur Qualitätsentwicklung im Bildungswesen (IQB) Prof. Dr. Hans Anand Pant, Institut zur Qualitätsentwicklung im Bildungswesen (IQB) Konzeption für die Entwicklung und Nutzung eines Pools von Abiturprüfungsaufgaben Arbeitsfassung 1. Beschlusslage Die Kultusministerkonferenz hat in ihrer 342. Plenarsitzung am einer vom IQB vorgelegten Konzeption für die Entwicklung und Nutzung eines Pools von Abiturprüfungsaufgaben sowie zur Beschreibung allgemeiner Kriterien für die Gestaltung, Korrektur und Bewertung standardbasierter Abiturprüfungsaufgaben im Sinne eines grundsätzlichen Verfahrensbeschlusses zugestimmt. Auf Grundlage eines Beschlusses der 319. Kultusministerkonferenz (17./ ) hat die 339. Kultusministerkonferenz (18./ ) Bildungsstandards für die Allgemeine Hochschulreife für die Fächer Deutsch, Mathematik und fortgeführte Fremdsprache (Englisch/Französisch) verabschiedet. Zur Unterstützung des ab dem Schuljahr 2012/13 einzuleitenden Implementationsprozesses hat die 337. Kultusministerkonferenz am 8./ das Institut zur Qualitätsentwicklung im Bildungswesen (IQB) gebeten, sowohl illustrierende Lernaufgaben als auch Beispielaufgaben für die Abiturprüfung mit einem Erwartungshorizont sowie Bewertungshinweisen zu entwickeln und mit den Bildungsstandards der KMK zur Beschlussfassung vorzulegen. Um die Vergleichbarkeit der Anforderungen zu gewährleisten und die Qualität sowie die Standardbasierung der Aufgaben zu sichern, haben die Länder zudem vereinbart, zur Unterstützung der Arbeit der Aufgabenentwicklungskommissionen und der Implementation der Bildungsstandards dem IQB ab dem Schuljahr 2013/14 eingesetzte schriftliche Abiturprüfungsaufgaben einschließlich der Bewertungsvorgaben in den Fächern, für die Bildungsstandards verabschiedet werden, zu übermitteln. Für geeignet befundene Abiturprüfungsaufgaben soll das IQB in einen Aufgabenpool einstellen, der ab 2013 kontinuierlich aufwachsen und den Ländern als Angebot für den möglichen Einsatz im Abitur ab dem Schuljahr 2016/2017 zur Verfügung gestellt werden soll. Das IQB wurde weiter gebeten, eine Konzeption für die Entwicklung und Nutzung eines Pools von Abiturprüfungsaufgaben für die Fächer, für die Bildungsstandards vorgelegt werden, sowie zur Beschreibung allgemeiner Krite- 1

2 rien für die Gestaltung, Korrektur und Bewertung von standardbasierten Abiturprüfungsaufgaben vorzulegen. Die Verantwortung für die Entwicklung von Abiturprüfungsaufgaben wird weiterhin bei den Ländern liegen. Als wissenschaftliche Einrichtung, die auf die Entwicklung von Testaufgaben spezialisiert ist, kann das IQB Abiturprüfungsaufgaben, wie sie in den Ländern üblich sind, nicht selbst generieren. Die Aktivitäten des IQB werden sich daher auf die Einrichtung und Pflege des Aufgabenpools, die Koordination der Entwicklung von konkretisierten Kriterien für die Bewertung der eingereichten Aufgaben sowie stichprobenbasierte Studien zur Vergleichbarkeit der Bewertung von Schülerleistungen bei standardbasierten Abiturprüfungsaufgaben konzentrieren. Die Grundzüge der Konzeption für die Entwicklung und Nutzung eines Pools von Abituraufgaben werden im Folgenden vorgestellt. 2. Konzeption für die Entwicklung und Nutzung eines Pools von Abiturprüfungsaufgaben Mit der Entwicklung des Pools von Abiturprüfungsaufgaben, der ab dem Schuljahr 2013/2014 kontinuierlich wachsen soll, sind laut Beschluss der KMK vom 8./ drei Ziele verbunden: Gewährleistung der Vergleichbarkeit der Anforderungen, Sicherung der Standardbasierung der Aufgaben sowie Sicherung der Qualität der Aufgaben. Der Beschluss sieht weiterhin vor, dass die Abiturprüfungsaufgaben von den Ländern entwickelt und an das IQB übermittelt werden. Anschließend soll das IQB Aufgaben, die für geeignet befunden wurden, in den Pool einstellen. Dabei ist zu beachten, dass die wichtigste Voraussetzung für die Angemessenheit von Prüfungsaufgaben Lerngelegenheiten sind, die der Unterricht den Schülerinnen und Schülern bietet. Daher ist es zunächst erforderlich, den Unterricht auf die Bildungsstandards auszurichten, um eine Grundlage für die Vergleichbarkeit der Anforderungen in der Abiturprüfung zu schaffen. Bei der Entwicklung von Abiturprüfungsaufgaben ist zu berücksichtigen, dass diese drei Komponenten umfassen, die für die Vergleichbarkeit der Anforderungen relevant sind: (1) Die Aufgabenstellung, (2) der Erwartungshorizont sowie (3) die Praxis der Korrektur und Bewertung von Schülerantworten auf der Grundlage des Erwartungshorizonts. Je nach Fach sind diese Komponenten in unterschiedlichem Maße bedeutsam. Für die Bereitstellung eines Pools von Abiturprüfungsaufgaben müssen auf der Grundlage einer engen Zusammenarbeit der Länder mit dem IQB folgende Voraussetzungen geschaffen werden: 1. Entwicklung einer geeigneten Kooperationsstruktur zwischen IQB und den Ländern für die notwendigen Abstimmungsprozesse 2. Entwicklung von Verfahrensregelungen und Kriterien für die Einreichung von Abiturprüfungsaufgaben durch die Länder 2

3 3. Kriterien zur Bewertung der Qualität der eingereichten Aufgaben und zur Sicherung der Vergleichbarkeit der Korrektur sowie Bewertung von Abiturprüfungsaufgaben 4. Regelungen zur Gestaltung und Nutzung des Aufgabenpools 5. Empirische Fundierung der Abiturprüfungsaufgaben (insb. Korrektur- und Bewertungsverfahren) 2.1 Kooperationsstruktur zwischen IQB und den Ländern Die Praxis der Abiturprüfungen unterscheidet sich zwischen den Ländern derzeit erheblich. Dies betrifft solche Aspekte wie Bearbeitungszeiten, Anzahl der Auswahlmöglichkeiten bei den Aufgaben, verwendete Aufgabenformate, Bevorzugung bestimmter Kombinationen von Aufgabenarten, Vorgabe von bzw. Verzicht auf Lektürelisten, Verwendung von bzw. Verzicht auf bekannte Textvorlagen, unterschiedliche Rolle und Definition von Operatoren, Grad der Offenheit von Arbeitsaufträgen, inhaltliche Schwerpunktsetzungen z.b. in Mathematik auf innermathematische Aufgabenstellungen bzw. Modellierung sowie Formen des Rechnereinsatzes in Mathematik. Daher ist es erforderlich, dass IQB und Länder bei der Entwicklung und Anwendung von Kriterien für die Auswahl von geeigneten Abiturprüfungsaufgaben eng zusammenarbeiten. Es wird vorgeschlagen, hierfür auf zwei Ebenen Arbeitsgruppen einzurichten, deren Aufgabenbereiche im Folgenden skizziert werden AG Abiturkommission Die Arbeitsgruppe auf der ersten Ebene (AG Abiturkommission) setzt sich aus den für die Steuerung des Abiturs zuständigen Vertreterinnen und Vertretern der Länder bzw. den Mitgliedern der KMK-Arbeitsgruppe Gymnasiale Oberstufe, der Leitung des IQB und einer Mitarbeiterin bzw. einem Mitarbeiter des IQB zusammen, die/der für die Gesamtkoordination zuständig sein wird. Diese Arbeitsgruppe, in der auch die Perspektive der beruflichen Gymnasien vertreten sein muss, ist für die zu treffenden Grundsatzentscheidungen zuständig (z.b. Umgang mit Operatorenlisten, Formate der Erwartungshorizonte, Festlegung von Korrekturverfahren, Maßnahmen zur Gewährleistung der Aufgabensicherheit) und bereitet die Umsetzung dieser Entscheidungen in den Ländern vor. Weiterhin erarbeitet die AG Abiturkommission gemeinsam mit dem IQB die konkreteren Kriterien für die Auswahl von Aufgaben AGs Aufgabenbewertung Auf der zweiten Ebene werden Arbeitsgruppen für die einzelnen Fächer (Deutsch, Mathematik, Englisch und Französisch, zu einem späteren Zeitpunkt ggf. auch für die drei naturwissenschaftlichen Fächer) gebildet, die für die fachbezogene Spezifizierung der Kriterien für die Aufgabenauswahl und die Bewertung der Aufgaben zuständig sind (AGs Aufgabenbewertung). In diesen Arbeitsgruppen ist pro Land und Fach möglichst jeweils eine Expertin bzw. ein Experte vertreten, die/der über umfangreiche Erfahrungen mit der Entwicklung von Abiturprüfungsaufgaben verfügt. Weiterhin sollte die Perspektive der beruflichen Gymnasien mit mindestens zwei Personen pro Fach repräsentiert sein. Für das IQB werden in den Gruppen die jeweiligen Fachkoordinatorinnen bzw. Fachkoordinatoren sowie zwei Fachdidaktikerinnen bzw. Fachdidaktiker mitarbeiten. Die AGs Aufgabenbewertung sollen entscheiden, welche Aufgaben in den Pool aufgenommen werden. Ferner werden sie die Auswahl für die Sammlung von Abiturprüfungsaufgaben treffen, die der Orientierung und Implementation dienen werden (s.u.). 3

4 2.2 Verfahrensregelungen und Kriterien für die Einreichung von Abiturprüfungsaufgaben durch die Länder Laut Beschluss der KMK sollen die Länder ab dem Schuljahr 2013/2014 in ihren Abiturprüfungen eingesetzte Aufgaben an das IQB übermitteln, die anschließend im Hinblick auf ihre Kompatibilität mit den Bildungsstandards und auf ihre Qualität beurteilt werden. Dabei kann es sich sowohl um Aufgaben handeln, die in einem Land bereits in der Abiturprüfung eingesetzt worden sind, als auch um Aufgaben, die für den Einsatz in der Abiturprüfung neu entwickelt und noch nicht verwendet wurden. Es ist vorgesehen, dass ab dem Schuljahr 2013/2014 jedes Land (bzw. im Falle von gemeinsam entwickelten Aufgaben auch Ländergruppen) pro Jahr und Fach (Deutsch, Mathematik, Englisch und Französisch) nach Abschluss der Abiturprüfung seine Aufgaben für das grundlegende und für das erweiterte Niveau beim IQB einreicht. Da die Bildungsstandards nach ihrer Verabschiedung zunächst in den Ländern implementiert werden müssen, bevor sie die Grundlage für die Abiturprüfung bilden können, ist damit zu rechnen, dass in den ersten Jahren nicht alle der eingesetzten Abiturprüfungsaufgaben mit den neuen Vorgaben kompatibel sein werden. Ab dem Schuljahr 2016/2017 sollte dieser Anteil dann deutlich ansteigen. Um sicherzustellen, dass der Aufgabenpool möglichst schnell anwächst, ist ferner vorgesehen, dass die Länder auch Aufgaben aus anderen Quellen einreichen können, die sie für geeignet erachten. Dabei kann es sich z.b. um Aufgaben handeln, die in zeitlich weiter zurückliegenden Abiturprüfungen eingesetzt worden sind oder die für eine frühere Abiturprüfung entwickelt wurden, bislang aber nicht eingesetzt werden konnten. Zu jeder Aufgabe werden auch die Erwartungshorizonte sowie eine Reihe von Angaben (z.b. der jeweils angezielte Anforderungsbereich) einzureichen sein. Die Vorgaben hierfür wird das IQB mit der AG Abiturkommission abstimmen. 2.3 Kriterien zur Bewertung der Qualität der eingereichten Aufgaben und zur Sicherung der Vergleichbarkeit der Korrektur und Bewertung von Abiturprüfungsaufgaben Um die im KMK-Beschluss genannten Ziele zu sichern, müssen die eingereichten Aufgaben (einschl. Erwartungshorizonte) im Hinblick auf eine Reihe von Kriterien anhand von Bewertungsrastern beurteilt werden. Da für diesen Zweck bislang kein systematisch geprüftes Verfahren vorliegt, müssen die Raster neu entwickelt und anhand von Erfahrungen mit ihrer Anwendung optimiert werden (vgl. Abschnitt 2.7). Den von der KMK formulierten Zielen entsprechend, sind die folgenden drei Gruppen von Kriterien in den Blick zu nehmen, wobei jeweils die Aspekte Aufgabenstellung, Erwartungshorizont sowie Korrektur und Bewertung zu berücksichtigen sein werden: (1) Standardbezug (2) Angemessenheit des Anforderungsniveaus (3) Qualität der Aufgabe (z.b. Originalität, Aktualität, Anregungsgehalt) Den Kriterienkatalog für die Bewertung der Aufgaben in Bezug auf diese drei Punkte wird das IQB in enger Abstimmung mit Vertreterinnen und Vertretern der Länder entwickeln. Die Vorstrukturierung sowie die Definition fächerübergreifender Kriterien wird gemeinsam mit der 4

5 AG Abiturkommission erfolgen, die Entwicklung fachspezifischer Kriterien mit den AGs Aufgabenbewertung. 2.4 Regelungen zur Gestaltung und Nutzung des Aufgabenpools Die Abiturprüfungsaufgaben, die für den Aufgabenpool ausgewählt worden sind, werden in eine Aufgabendatenbank aufgenommen. Welche weiteren Informationen zu jeder Aufgabe in der Datenbank zu dokumentieren sein werden, wird das IQB mit der AG Abiturkommission abstimmen. Eine Herausforderung wird darin bestehen, die Abstimmungsprozesse unter den Ländern in Bezug auf den Einsatz von Aufgaben aus dem Pool zu koordinieren. Geht man davon aus, dass ab dem Schuljahr 2013/2014 pro Jahr, Fach und Land jeweils eine Abiturprüfungsaufgabe eingereicht wird und dass insgesamt etwa 12 dieser Aufgaben letztlich den Kriterien entsprechen, würden für den Einsatz in der Abiturprüfung im Schuljahr 2016/2017 für jedes Fach maximal 36 Aufgaben zur Auswahl stehen. Da davon auszugehen ist, dass die Nachfrage in Bezug auf die einzelnen Aufgaben unterschiedlich verteilt sein wird, muss gemeinsam mit der AG Abiturkommission ein Verfahren entwickelt werden, das regelt, wie in solchen Fällen vorzugehen ist. 2.5 Ablauf der Auswahl von Aufgaben für den Aufgabenpool In der Umsetzung des beschriebenen Verfahrens würde der Prozess der Entwicklung des Aufgabenpools folgende Schritte umfassen: (1) Entwicklung und fortlaufende Optimierung von Bewertungskriterien für die Auswahl von Aufgaben durch die AG Abiturkommission und Spezifizierung dieser Kriterien für die Fächer durch die AGs Aufgabenbewertung. (2) Einreichung von Aufgaben (einschl. Erwartungshorizonte und weitere, noch zu spezifizierende Informationen) durch die Länder nach einem mit der AG Abiturkommission abzustimmenden Verfahren. (3) Unabhängige Einschätzung der Aufgaben anhand der Kriterien durch die Mitglieder der AGs Aufgabenbewertung. (4) Zusammenstellung der Einschätzungen durch das IQB und Rückmeldung der Ergebnisse an die AGs Aufgabenbewertung. (5) Diskussion der Ergebnisse in den AGs Aufgabenbewertung und endgültige Auswahl von Aufgaben für den Pool. (6) Aufnahme der ausgewählten Aufgaben in den gesicherten Pool. (7) Absprache der Länder nach einem von IQB und AG Abiturkommission zu entwickelnden Verfahren, welche Aufgaben aus dem Pool der Abiturprüfung eines Land bzw. in den Abiturprüfungen mehrerer Länder eingesetzt werden sollen. Flankierend zu diesem Prozess wird das IQB die AGs Abiturkommission und Aufgabenbewertung über die Ergebnisse der im Folgenden beschriebenen empirischen Studien informieren, die dazu beitragen sollen, die Vergleichbarkeit des Anforderungsniveaus der Abiturprüfungen zu optimieren. 5

6 2.6 Auswahl von Aufgaben für die Aufgabensammlung zu Orientierungs- und Implementationszwecken Um die Grundlage für Abiturprüfungen bilden zu können, müssen die Bildungsstandards für die Allgemeine Hochschulreife in den Ländern zunächst implementiert werden. Zur Unterstützung dieses Prozesses sollen Abiturprüfungsaufgaben veröffentlicht werden, die der Orientierung und Implementation dienen und nicht für den Einsatz in der Abiturprüfung vorgesehen sind. Dabei wird es sich ebenfalls um Aufgaben der Länder handeln, die nach dem oben skizzierten Verfahren ausgewählt wurden. Die AGs Aufgabenbewertung werden entscheiden, welche der Aufgaben in besonderer Weise für Orientierungs- und Implementierungszwecke geeignet sind und veröffentlicht werden sollen. Ihre Bereitstellung kann über das Aufgabenportal des IQB erfolgen. 2.7 Empirische Analysen der länderübergreifenden Vergleichbarkeit der Bewertung von Schülerleistungen in den Abiturprüfungsaufgaben Mit der Einrichtung eines Pools von Abiturprüfungsaufgaben verfolgt die KMK nach ihrem Beschluss vom 8./ das Ziel, die Implementation der Bildungsstandards für die Allgemeine Hochschulreife zu unterstützen und die Vergleichbarkeit der Anforderungen von Abiturprüfungen in den Ländern zu erhöhen. Das IQB soll als wissenschaftliche Einrichtung Anhaltspunkte darauf gewinnen, ob diese Ziele eingelöst werden. Hierzu ist es erforderlich, empirische Analysen durchzuführen, mit denen geprüft wird, inwieweit die Bewertungen der Schülerleistungen in den Abiturprüfungsaufgaben innerhalb und zwischen den Ländern vergleichbar sind. Die Ergebnisse dienen dazu, die Angemessenheit und Vergleichbarkeit der Aufgaben in Bezug auf die Standards im Laufe des Prozesses zu optimieren. Bei allen Erhebungen wird das IQB darauf achten, dass die Belastung der Schulen sowie der Schülerinnen und Schüler so gering wie möglich gehalten wird. Nachdem anhand der zu entwickelnden Kriterien ein Satz von Aufgaben identifiziert worden ist, die von den Ländern weitgehend übereinstimmend als geeignet erachtet werden, wird in regelmäßigen Abständen exemplarisch zu prüfen sein, inwieweit es anhand der auf die Bildungsstandards bezogenen Erwartungshorizonte gelingt, die Leistungen in vergleichbarer Weise zu beurteilen. Hierzu soll regelmäßig zu einzelnen Aufgaben, nachdem diese in einer Abiturprüfung eingesetzt worden sind, Zufallsstichproben von anonymisierten Schülerantworten mit den dazugehörigen Korrekturen und Bewertungen an das IQB übermittelt werden. Diese werden anschließend von unabhängigen Expertinnen und Experten anhand der Erwartungshorizonte nochmals bewertet. In den Prozess sollen aus mehreren Ländern Lehrkräfte einbezogen werden, die auch in den regulären Abiturprüfungen für die Bewertung von Schülerantworten zuständig sind. Anhand der Daten soll geprüft werden, inwieweit die Urteile innerhalb und zwischen den Ländern übereinstimmen. Die Ergebnisse werden anschließend an die AGs Abiturkommission und Aufgabenbewertung zurückgemeldet und mit ihnen erörtert, um auf diese Weise eine länderübergreifende Kalibrierung der Bewertungsanforderungen sowie letztlich der Bewertungspraxis von Schülerleistungen in Abiturprüfungen zu erreichen. 6