EVAMAR II Projektbulletin 2006 Evaluation der Maturitätsreform Evaluation de la réforme de la maturité Valutazione della riforma della maturità Evaluation der Maturitätsreform, Phase II Rückblick: EVAMAR Phase I Im Sommer 2001 beschlossen der Bund und die Schweizerische Konferenz der kantonalen Erziehungsdirektoren (EDK) eine gesamtschweizerische Evaluation (E- VAMAR) der durch das MAR 95 (1995) eingeleiteten Reform der Maturitätsbildung. In einer ersten Phase (EVAMAR I) wurden im Wesentlichen die folgenden drei Themen bearbeitet: (1) Die Passung von Wahlfachangebot und Interessen der Schülerinnen und Schüler sowie die Auswirkungen auf den Ausbildungserfolg, insbesondere die subjektiv wahrgenommene Qualität der Vorbereitung auf ein Hochschulstudium; (2) die Umsetzung der fächerübergreifenden pädagogischen Ziele; (3) die Bewältigung der Reformen durch die Schulen. Hauptinstrumente waren Befragungen. Leistungsmessungen wurden nicht eingesetzt. Die Ergebnisse von EVAMAR I liegen seit Ende 2004 vor (abrufbar unter www.evamar.ch). Übergang zu EVAMAR Phase II Im Sommer 2005 beschlossen Bund und EDK den Beginn der zweiten Evaluationsphase. Im Projekt EVAMAR II werden in Ergänzung zu EVAMAR I und ähnlichen Studien weitere Aspekte der Maturitätsbildung untersucht. Das Schwergewicht liegt auf der objektivierten Erfassung des Ausbildungsstandes der Schülerinnen und Schüler am Ende des Gymnasiums. Dabei soll u. a. untersucht werden, ob das bei Maturandinnen und Maturanden vorhandene Wissen und Können den aktuellen Anforderungen der verschiedenen Studienrichtungen an Schweizer Universitäten genügt. Die in EVAMAR II vorgesehenen Untersuchungen wurden aus einem umfassenden, im Jahre 2004 entwickelten, idealen Evaluationskonzept ausgewählt. Dieses Idealkonzept, dessen Kenntnis für das Verständnis der für EVAMAR II ausgewählten Untersuchungen hilfreich ist, wurde bereits im November 2005 in einem Aufsatz im Gymnasium Helveticum zusammenfassend beschrieben (abrufbar unter www.evamar.ch). Überblick über Ziele und Stand der Teilprojekte Die wichtigsten Elemente von EVAMAR II sind aus der Abbildung auf der nächsten Seite ersichtlich. Sie werden nachfolgend näher erläutert. Die Arbeiten zu EVAMAR II, die Ende 2005 aufgenommen wurden, umfassen - in einem ersten Teil die Herleitung der Evaluationskriterien aufgrund der Analyse von Studienmaterialien und einer Dozentenbefragung (Teilprojekte A und B) und - in einem zweiten Teil die auf diesen Kriterien aufbauende Evaluation des Aus-
bildungsstandes der Schülerinnen und Schüler am Ende des Gymnasiums (Teilprojekte C und D). In den vorbereitenden Teilprojekten A und B werden die faktischen Anforderungen der verschiedenen Studienrichtungen an neu eintretende Studierende untersucht. Dazu gehört die zurzeit laufende, vor dem Abschluss stehende Analyse verschiedenster Dokumente, wie Lehr-/Lernmaterialien der ersten Semester und erste Zwischenoder Assessmentstufenprüfungen. Die ausgewählten Lehrmaterialien werden daraufhin untersucht, auf welchem Wissen und Können aus den verschiedenen Maturitätsfächern sie aufbauen. Die Übungen und Prüfungen werden zudem auf ihre Denkanforderungen hin analysiert. Damit wird für die untersuchten Studienfächer erstmals systematisch ermittelt, aus welchen wesentlichen fachlichen Komponenten sich die faktische Studierfähigkeit zusammensetzt. Diese Dokumentenanalyse wird in diesem Herbst durch eine Befragung von Dozierenden an den Universitäten ergänzt. Der Abschluss des ersten Teils von EVA- MAR II ist für Ende 2006 geplant. EVAMAR II, erster Teil: Operationalisierung der Evaluationskriterien (Teilprojekte A und B) Hauptziele (MAR 5) Operationalisierungsmethoden (T-Projekt A) Teile maturitärer Kompetenzen Allgemeine Hochschulreife/Studierfähigkeit/Studierkompetenz: - nicht auf einzelne Studienfächer, sondern auf generellen Zugang ausgerichtet - somit den Voraussetzungen aller Fachstudien genügend Ermittlung von notwendigem Eingangswissen und -können durch: -Dokumentenanalyse Lehre (T-Projekt A1) - Analyse Aufnahmeprüfungen (T-Projekt A2) - Analyse erste Prüfungen (T-Projekt A3) - Befragung Dozierende (T-Projekt A4) an der Universität in diversen Studienfächern vorausgesetztes Eingangswissen und -können, zugeordnet zu verschiedenen Maturitätsfächern und weiteren Bereichen zu erwerbendes Wissen und Können in Maturitäts- Fächern und überfachlich (T-Projekt B) Kompetenztheorien Unterrichtsfach 1 Unterrichtsfach 2 Unterrichtsfach X Überfachliche Kompetenzen Kompetenzgerüste elaborierter Kompetenzmodelle in den verschiedenen Fächern Maturarbeit EVAMAR II, zweiter Teil: Evaluationsverfahren (Teilprojekte C und D) zu erwerbendes Wissen und Können in Maturitäts-Fächern (gemäss T-P B) UF Erstsprache UF Mathematik UF aus Naturwissenschaften UF X Testkonstruktion und Leistungsmessung (T-Projekt C) UF Erstsprache UF Mathematik UF aus Naturwissenschaften Inhaltsanalyse Maturitätsprüfungen (T-Projekt D1) Inhaltsanalyse Maturitätsarbeiten (T-Projekt D2) UF Erstsprache UF Mathematik UF aus Naturwissenschaften fachspezifische und interdisziplinäre Maturaarbeiten UF X Im zweiten Teil der Untersuchungen (Teilprojekte C und D) wird die eigentliche Evaluation durchgeführt. Dazu soll im Jahre 2007 ein Test mit einer landesweiten Stichprobe von Maturandinnen und Maturanden durchgeführt werden. Der Test wird auf der Grundlage des im ersten Teil der Untersuchungen ermittelten Eingangswissen und -könnens entwickelt. Es soll so erhoben werden, in welchem Ausmass Maturandinnen und Maturanden über Teile dieses studienrelevanten Wissens und Könnens verfügen. Als Testfächer wurden Erstsprache, Mathematik und ein noch zu 2
bestimmendes naturwissenschaftliches Fach ausgewählt. Mit den Vorarbeiten für die Testentwicklung wurde in diesem Sommer bereits begonnen. Im Weiteren werden im Rahmen dieses zweiten Projektteils ausgewählte schriftliche Maturitätsprüfungen sowie Maturitätsarbeiten des Schuljahres 2006/07 einer qualitativen Analyse unterzogen. Die Ergebnisse der Untersuchungen werden voraussichtlich Mitte 2008 vorliegen. EVAMAR II und Bildungsstandards Weil oft die Frage gestellt wird, ob die Ergebnisse des ersten Untersuchungsteils allfälligen künftigen Bildungsstandards entsprechen würden, sei an dieser Stelle eine Antwort darauf gegeben. Sie lautet aus zwei Gründen eindeutig nein: Erstens müssten Bildungsstandards weitere Bereiche der Studierfähigkeit und der Allgemeinbildung umfassen. Zweitens müssten sie an der Schnittstelle zwischen Gymnasium und Universität explizit und auch aus einer normativen Perspektive heraus bestimmt werden. EVAMAR II hingegen untersucht nur tatsächlich vorliegende fachliche Anforderungen, wie sie unmittelbar bei Beginn eines bestimmten Fachstudiums den Studierenden begegnen. Gleichzeitig kann der Bereich der vertieften Allgemeinbildung als eigenständigem Bildungsziel des Gymnasiums bei EVAMAR II lediglich in dem Masse berücksichtigt werden, wie er mit dem Ziel der Studierfähigkeit deckungsgleich ist. Die EDK wird die Diskussion über Bildungsstandards am Gymnasium erst nach Vorliegen der Ergebnisse von EVAMAR II vertieft lancieren. Zusammenarbeit mit den Schulen Der Projektleitung von EVAMAR II liegt viel an einer guten Zusammenarbeit mit den Schulen, die für den zweiten Teil der Untersuchungen vorgesehen ist. Die entsprechenden Teilprojekte C und D sind deshalb auf den folgenden Seiten näher beschrieben. Weitere Angaben zum Gesamtprojekt EVAMAR finden Sie unter www.evamar.ch. Für Fragen und Anregungen steht die E-Mail-Adresse evamar@igb.unizh.ch zur Verfügung. Teilprojekt C Fragestellung Im Teilprojekt C werden hochschulrelevante Teile der Ergebnisse der Maturitätsbildung in Erstsprache, Mathematik und einem naturwissenschaftlichen Fach mittels Tests gemessen. Das geprüfte Wissen und Können orientiert sich an den in den Teilprojekten A und B ermittelten Komponenten der Studierfähigkeit. Die Beschränkung auf drei Fächer erfolgt aus Ressourcengründen. Die Wahl fiel deshalb auf Erstsprache und Mathematik, weil diese beiden Fächer in der einschlägigen Literatur zusammen mit Englisch als diejenigen Disziplinen bezeichnet werden, in denen u. a. jene basalen Fähigkeiten erworben werden, die für alle Studienfächer von Bedeutung sind. Der Einbezug eines naturwissenschaftlichen Faches erfolgte deshalb, weil Naturwissenschaften besonders stark im Zentrum der bildungspolitischen Diskussion um das MAR 95 stehen. Der Entscheid für diese Fächerauswahl entspricht deshalb auch einem politischen Konsens der Auftraggeber. Es sei an dieser Stelle explizit festgehalten, dass diese Auswahl keinesfalls einer Wertung nach Wichtigkeit im Hinblick auf die Maturitätsreife entspricht! 3
Vorgehen, Zeitplan, Ergebnisse In einer repräsentativen Stichprobe von Gymnasien sollen die Schülerinnen und Schüler kurz vor oder nach der Maturität die Testaufgaben lösen. Die Stichprobengrösse hängt von den Ergebnissen des Teilprojekts B ab und wird Ende 2006 bestimmt. Anfangs 2007 werden die Gymnasien angeschrieben, die in die Stichprobe einbezogen werden. Die Ergebnisse werden erstmals Einblick in die Passung zwischen Anforderungen der Universitäten und Fachwissens- und Könnensstand der potenziellen Studierenden in den einbezogenen Fächern auf der Grundlage von Leistungsmessungen geben. Die Untersuchung schafft so weitere Datengrundlagen zur Klärung der Schnittstelle Gymnasium- Universität bzw. der Optimierung der Maturitätsreform auf schweizerischer Ebene. Systematische Lücken bei einzelnen gymnasialen Bildungsprofilen zwischen den Ergebnissen der Leistungsmessung und den Anforderungen der untersuchten Studienfächer bei Studienbeginn wären z. B. dazu zu zählen. Es sollen keineswegs Vergleiche zwischen den Gymnasien veröffentlicht werden. Es ist lediglich vorgesehen, den einzelnen Gymnasien nur auf ihren ausdrücklichen Wunsch hin ihre Resultate mitzuteilen. Teilprojekt D Allgemeine Fragestellung Mit Teilprojekt D sollen Aspekte der an den Gymnasien mittels der Maturitätsprüfungen schulintern vorgenommenen Leistungsmessungen untersucht werden. Dabei ist zu beachten, dass die Maturitätsnoten nur Indikatoren des erst letzten Gliedes in der Kette der maturitären Qualifizierung sind und nur eine beschränkte Aussagekraft haben. Sie geben nicht notwendigerweise die effektiven Kompetenzen der Maturandinnen und Maturanden wieder. Zwischen den Zielvorgaben von Art. 5 MAR sowie dem Rahmenlehrplan der EDK und den aus den Noten-Ergebnissen der Maturitätsprüfungen interpretierbaren Qualitäten sind bekanntlich viele Einflussgrössen wirksam, die in entsprechenden Untersuchungen erfasst und zueinander in Beziehung gesetzt werden könnten. Es sind dies z. B. (1) die Umsetzung der Vorgaben des MAR 95 (1995) in den lokalen Stundentafeln und Lehrplänen, (2) die Qualität des Unterrichts und (3) die Qualität der Maturitätsprüfungen und der Maturaarbeit. Die Untersuchungen von EVAMAR II beschränken sich aus Ressourcengründen nur auf den dritten Aspekt. Teilprojekt D1 Fragestellung In diesem Teilprojekt sollen die schriftlichen Maturitätsprüfungen aller Kantone qualitativ untersucht werden im Hinblick darauf, welche kognitiven Anforderungen sie stellen und inwieweit es eine Übereinstimmung gibt mit den in den Teilprojekten A und B ermittelten Komponenten der Studierfähigkeit. Vorgehen, Zeitplan, Ergebnisse Bei der gleichen Stichprobe von Gymnasien wie bei Projekt C wird die Projektleitung nach der Durchführung der Maturitätsprüfungen 2007 um die Zusendung der schriftlichen Aufgabenstellungen dieses Jahres anfragen. Die Auswertung dieser qualitativen Untersuchung erfolgt wieder auf gesamtschweizerischer Ebene, und es werden nur von den Schulen angefragte Ergebnisse auf Schulebene mitgeteilt. 4
Teilprojekt D2 Fragestellung Die Einführung der Maturaarbeit ist eine der wesentlichsten Neuerungen des MAR 95. Im Teilprojekt D2 soll untersucht werden, inwieweit Maturandinnen und Maturanden mittels der Maturitätsarbeiten gelernt haben, wissenschaftlich zu arbeiten. Auch ohne die vorbereitenden Untersuchungen in den Teilprojekten A und B ist dieses Teilziel der Maturitätsbildung evident und unbestritten. Das Teilprojekt D2 besteht selbst wiederum aus drei Teilen: Im ersten Teil geht es darum, Maturaarbeiten anhand von theoretisch begründeten und systematisch abgeleiteten Qualitätskriterien durch Expertenteams zu bewerten und zu evaluieren. Im zweiten Teil von Teilprojekt D2 sollen die an den untersuchten Schulen herrschenden Rahmenbedingungen hinsichtlich des Verfassens von Maturaarbeiten untersucht und vergleichend dargestellt werden. Die Datenerhebung erfolgt einerseits durch Befragung der Schulen, aber auch mittels Inhaltsanalyse von Weisungen, Reglementen usw., welche den Schülerinnen und Schülern zugänglich sind. Im dritten Teil von D2 werden die Maturandinnen und Maturanden kurz nach Abschluss ihrer Maturaarbeit mittels eines standardisierten Fragebogens schriftlich befragt. Mit diesem Fragebogen sollen einerseits individuelle Voraussetzungen der Lernenden und andererseits die konkreten Ausgestaltungen der Betreuung durch die Lehrpersonen erhoben werden. Vorgehen, Zeitplan, Ergebnisse Die Stichprobe für diese Untersuchung wird unabhängig von der Stichprobe für die Teilprojekte C und D1 festgelegt. Sie soll repräsentativ sein für alle Gymnasiasten und Gymnasiastinnen, welche im Schuljahr 2006/07 eine theoretische oder empirische Maturaarbeit abgeben werden. Die entsprechenden Gymnasien werden noch Ende 2006 angeschrieben. Wieder werden nur von den Schulen angefragte Ergebnisse auf Schulebene mitgeteilt. 5
Personen und Kontakte Gesamtleitung und Koordination: Institut für Gymnasial- und Berufspädagogik der Universität Zürich (IGB, vormals Höheres Lehramt Mittelschulen HLM), Beckenhofstrasse 35, 8006 Zürich: Prof. Dr. Franz Eberle (strategische Leitung), Dr. Maren Oepke (operative Leitung), Dr. Nina Barske, Karin Gehrer, Dr. Beat Jaggi, Dr. Johannes Kottonau, Dr. Michael Pflüger und weitere. Projektpartner: Koordination Westschweiz: Institut de Recherche et de Documentation pédagogique (IRDP), Fbg de l'hôpital 43, C.P. 556, 2002 Neuchâtel: Matthis Behrens Koordination Tessin: Ufficio studi e ricerche (USR), Dipartimento dell'educazione, della cultura e dello sport del Canton Ticino, Viale Stefano Franscini 32, 6501 Bellinzona: Emanuele Berger Mitarbeit Teilprojekt C: Kompetenzzentrum für Bildungsevaluation und Leistungsmessung an der Universität Zürich (KBL), Wilfriedstrasse 15, 8032 Zürich: PD Dr. Urs Moser Planung und Durchführung Teilprojekt D2: Fachhochschule Nordwestschweiz, Pädagogische Hochschule, Institut Forschung und Entwicklung, Kasernenstrasse 20, 5000 Aarau: Prof. Dr. Carsten Quesel (strategische Leitung), Christina Huber (operative Leitung) Steuerungsausschuss (Vertretung der Auftraggeber): Ernst Flammer (Staatssekretariat für Bildung und Forschung SBF), Andreas Hirschi (Schweizerische Konferenz der kantonalen Erziehungsdirektoren EDK), Aldo dalla Piazza (Konferenz Schweizerischer Gymnasialrektorinnen und Gymnasialrektoren KSGR), Prof. Dr. Markus Ries (Rektorenkonferenz der Schweizer Universitäten CRUS), Urs Tschopp (Verein Schweizerischer Gymnasiallehrerinnen und -lehrer VSG) Projektbegleitung: Plattform Gymnasium (PGYM, Präsident: Dr. Arthur Straessle) Impressum Steuerungsausschuss 6