Prozessbericht zum internen Projekt

Transkript

1 Prozessbericht zum internen Projekt «Vorprojekt: Begleitevaluation zur Entwicklung des neuen Mathematiklehrmittels Sekundarstufe I» Projektleitung lic. phil. Brigitte Bollmann (Fachbereich Mathematik) Dr. des. Simone Berweger (Fachbereich Entwicklung und Berufsidentität) 6. August 2008

2

3 Inhaltsverzeichnis 1. Ausgangslage Überblick über den Verlauf und die Produkte des Vorprojekts Entwicklung der Evaluationsfragen und Verlauf des Arbeitsprozesses während des Vorprojekts Herausforderungen und Schwierigkeiten, die bei der Konzipierung und Umsetzung einer Lehrmittel-Begleitevaluation auftreten können Stand beim Abschluss des Vorprojekts und Ausblick auf das Testjahr und das Evaluationsjahr Situierung der Fragestellungen der 6 Themenfelder Zeitplan der Begleitevaluation (Testjahr und Evaluationjahr für das 7. Schuljahr, erweiterte Variante) Weiterführende Überlegungen zur Verortung der Begleitevaluation und anstehende Entscheide vor Beginn des Testjahres Fazit aus der Rückschau über den Prozess Literatur Abbildungsverzeichnis Tabellenverzeichnis Abkürzungsverzeichnis Anhang A: Auszug aus den Unterlagen der Autorensitzung Anhang B: Bewertungskriterien für die Festlegung thematischer Bereiche der Begleitevaluation Anhang C: Überarbeitetes Arbeitsdokument 3 «Die 3-5 wichtigsten Autorenfragen zu den 6 zentralen Themenfeldern der Evaluation»... 39

4 1. Ausgangslage Am 12. März 2007 hat der Bildungsrat der Entwicklung eines neuen Mathematiklehrmittels für die Sekundarstufe I zugestimmt. Die mehrjährige Entwicklungsarbeit erfolgt durch ein Autorenteam der Pädagogischen Hochschule Zürich (PHZH), das mit seiner Arbeit drei zentrale Anliegen verfolgt: (1) Das Lehrmittel muss die Durchlässigkeit zwischen den Anforderungsstufen gewährleisten, (2) die Strukturierung und inhaltliche Ausgestaltung des Lehrmittels wird von den Lernprozessen der Jugendlichen aus angegangen, und (3) die Entwicklungsarbeit soll erstmals durch eine Begleitevaluation gestützt werden. Das neue Lehrmittel ersetzt 18 bisherige Bücher (Arithmetik, Algebra und Geometrie auf den Anforderungsstufen I-III) und soll die Durchlässigkeit zwischen den Anforderungsstufen für das 7. und 8. Schuljahr gewährleisten. Der Kern der Aufgaben und Lernangebote wird von der Anforderungsstufe III ausgehend erarbeitet und für die Anforderungsstufen II und I entsprechend ausgeweitet und vertieft. Die Menge der zu entwickelnden Materialien und der Anspruch zur theoretischen Fundierung hat die Autorenschaft dazu bewogen, zusätzlich zur traditionellen Erprobung der Materialen durch interessierte Lehrpersonen im Laufe der Entwicklungsarbeit eine Begleitevaluation einzuplanen. In Anbetracht des Projektumfangs und der fünfjährigen Entwicklungsarbeit für das Lehrmittel stimmte auch der Bildungsrat einer solchen Begleitevaluation zu. Diese soll in erster Linie der Qualitätssicherung des Lehrmittels zu Gute kommen beziehungsweise eine flexible Optimierung der Inhalte im Laufe der Lehrmittelentwicklung ermöglichen. Zusätzlich sollen die gewonnenen Erkenntnisse in die Mathematikdidaktikausbildung an der PHZH einfliessen. Die Konzipierung und Durchführung der Begleitevaluation gliedert sich in drei Phasen: In einer ersten Phase, der Phase des Vorprojekts (August 2007 bis Juli 2008), wird die inhaltliche und zeitliche Planung der Begleitevaluation vorgenommen. Daran schliesst die Phase des Testjahrs (August 2008 bis August 2009) an, innerhalb dessen die bereits entwickelten Lehrmittelbestandteile für das 7. Schuljahr getestet werden 1. In der dritten Phase findet schliesslich die eigentliche Begleitevaluation des Lehrmittels statt. Konkret werden 9 Evaluationsklassen mit einer ersten Version des neuen Lehrmittels während drei Jahren (von August 2009 bis August 2012) unterrichtet. Dabei soll in jedem Schuljahr zu verschiedenen Zeitpunkten der Einsatz und die Arbeit mit den Lehrmittelbestandteilen evaluiert werden. Das Vorprojekt der Begleitevaluation, dessen Verlauf und Ergebnisse im vorliegenden Bericht dokumentiert werden, diente wie bereits angetönt wurde dem Ziel, die Begleitevaluation in enger Zusammenarbeit mit dem Autorenteam zu planen. Im Zentrum stand die Aufgabe, Fragestellungen und spezifische Hypothesen zur Arbeit mit dem neuen Lehrmittel zu formulieren, die in erster Linie die Schülerperspektive fokussieren: Die Überprüfung dieser Fragestellungen im Laufe der Begleitevaluation sollen es ermöglichen, Annahmen und 1 Dazu stehen 18 Lehrpersonen aus 4 verschiedenen Kantonen mit ihren Klasse zu Verfügung, die sich freiwillig an der Erprobung der Lehrmittelmaterialien beteiligen. Seite 4 von 50

5 Forderungen zum Umgang mit den verschiedenen Bestandteilen und Aufgaben des Lehrmittels, die durch das Autorenteam intendierten Wirkungen sowie der Auf-/Ausbau mathematischer Grundkonzepte einer standardisierten Überprüfung zugänglich zu machen. Konkret ging es um den Auftrag, im Rahmen des Vorprojekts zwei Evaluationsszenarien auszuarbeiten: (1) Eine Minimalvariante, die durch PHZH interne Ressourcen getragen wird und die den minimalen Anforderungen der Autorenschaft für eine empirisch abgestützte Anpassung und Überarbeitung ausgewählter Bestandteile und Inhalte des Lehrmittels Rechnung trägt. (2) Eine erweiterte Variante, die eine Aufstockung der personellen Ressourcen im Projektteam voraussetzt und allenfalls durch zusätzliches Einwerben von Drittmitteln (teil-) finanziert wird. Die Ausarbeitung der beiden Szenarien wurde in enger Zusammenarbeit zwischen Evaluationsteam und Autorenteam sowie unter der Prämisse angegangen, dass die Ergebnisse der empirischen Überprüfung der Forschungsfragen in erster Linie der gezielten Anpassung und Überarbeitung des Lehrmittels und damit den Bedürfnissen des Autorenteams bei der Lehrmittelentwicklung Rechnung tragen sollen. Am Ende des Vorprojekts (Phase 1) liegen nun 6 Themenfelder vor, zu denen die Autoren ihre Anliegen bezüglich Begleitevaluation in Form von Fragestellungen formuliert haben. Seitens des Evaluationsteams wurden für diese Fragestellungen mögliche Untersuchungsdesigns skizziert und ein Projektplan ausgearbeitet, welcher der zeitlichen Struktur der Erprobung des Lehrmittels Rechnung trägt (siehe Kapitel 3) und festlegt, wann welche Arbeiten zu bearbeiten sind. Die zeitliche Struktur lässt sich grob betrachtet in ein Testjahr (Phase 2), das der eigentlichen Begleitevaluation vorausgeht, und in die drei nachfolgenden Evaluationsjahre (Phase 3; 7. bis 9. Schuljahr) unterteilen. Das Evaluationsteam ist sich bewusst, dass der erarbeitete Vorschlag für die Evaluation (des 7. Schuljahres) einer erweiterten Variante entspricht, die sich nach den zentralen Fragen und Anliegen der Autoren richtet und die ohne eine Aufstockung der PHZH internen Ressourcen nicht zu realisieren ist. Die für eine solche Variante ursprünglich geplante Eingabe eines DORE- Gesuchs beim Schweizerischen Nationalfonds auf den Herbst 2008 muss bis auf weiteres zurückgestellt werden, da offen ist, ob und in welchem Umfang sich weitere Institutionen (z.b. ETH Zürich, Lehrstuhl von Prof. Stern bzw. von Prof. Kirchgraber) an der Begleitevaluation beteiligen sollen und unter welchen Bedingungen mit einem entsprechenden Interesse zu rechnen ist. Die bei Abschluss des Vorprojekts weiterhin ungeklärte PHZH interne Ressourcenund Personalfrage für das ans Vorprojekt anschliessende Testjahr (August 2008 bis August 2009) führte ausserdem dazu, dass mit den Autoren bis zur Abgabe des vorliegenden Berichts noch nicht besprochen werden konnte, welche Beschränkungen bei der Durchführung einer Minimalvariante für die Evaluation des 7. Schuljahres zwingend vorgenommen werden müssten. Entsprechend war es nicht möglich, ausgehend von der vorliegenden erweiterten Variante, die Seite 5 von 50

6 der gewünschten Variante des Autorenteams entspricht, ein konkretes Vorgehen zur Einschränkung der sechs Themenfelder mit den Autoren auszuhandeln. Des Weiteren sollte im Laufe des Vorprojekts eine PHZH interne Projekteingabe für das Testjahr beziehungsweise für eine Vorstudie zur Begleitevaluation gemacht werden, die die Weiterführung der Vorbereitung der Evaluation im Testjahr sicherstellen und insbesondere der Testung und anschliessenden Optimierung der Evaluationsinstrumente für das 7. Schuljahr dienen sollte. Eine solche Projekteingabe konnte jedoch nicht realisiert werden, da die interne Projektförderung an der PHZH abgeschafft wurde und durch einen Forschungsfonds ersetzt werden soll, dessen Einrichtung bis Ende des Vorprojekts noch nicht abgeschlossen war. Schliesslich wurde der Auftrag erteilt, den ganzen Entwicklungsprozess bei der Konzipierung der Evaluation, der während des Vorprojekts durchlaufen wurde, für die PHZH interne Verwendung insbesondere im Hinblick auf zukünftige Begleitevaluationen bei der Lehrmittelentwicklung zu dokumentieren. Dieser dritte Teilauftrag im Rahmen des Vorprojekts wird durch die hier nun vorliegende Dokumentation erfüllt. Einerseits wird vom Evaluationsteam der Arbeitsprozess insgesamt als auch die dabei angetroffenen Herausforderungen und Schwierigkeiten ausführlich beschrieben (vgl. Kapitel 2), andererseits werden aus den gemachten Erfahrungen rückblickend mögliche Konsequenzen und Empfehlungen für die Planung weiterer Begleitevaluationsprojekte im Zusammenhang mit einer Lehrmittelentwicklung ausgewiesen (vgl. Kapitel 4). Seite 6 von 50

7 2. Überblick über den Verlauf und die Produkte des Vorprojekts Mit der Konzipierung der Begleitevaluation zur Entwicklung des neuen Mathematiklehrmittels auf der Sekundarstufe I wird (an der PHZH) Neuland betreten. Bisherige Lehrmittelentwicklungen fanden ohne Begleitevaluation statt, und entsprechend fehlt es an spezifischem Vorwissen, auf das zurückgegriffen werden könnte. Bei der Planung der notwendigen Arbeitsschritte zur Erreichung des im Rahmen des Vorprojekts anvisierten Hauptziels der Konzipierung einer Begleitevaluation, die Erkenntnisse für allfällige Anpassungen und Überarbeitungen von Lehrmittelbestandteilen liefert stand die Formulierung empirisch zugänglicher Forschungsfragen im Zentrum. Diese Forschungsfragen müssen in Absprache mit dem Autorenteam einerseits möglichst nahe an konkreten Lehrmittelbestandteilen beziehungsweise Aufgaben sein und andererseits insbesondere die Perspektive der Schülerinnen und Schüler fokussieren. Sie dienen dazu, sowohl für ausgewählte Themenfelder als auch themenübergreifend zu überprüfen, inwiefern die durch das Lehrmittel beziehungsweise das Autorenteam intendierten Herangehensweisen und Reflexionsmöglichkeiten angeregt und Lernprozesse ausgelöst werden, die zu einem sinnstiftenden und erfolgreichen Auf- und Ausbau mathematischer Grundkonzepte beitragen. Eine zentrale Rahmenbedingung des Projekts, die aus dem formativen Charakters der Begleitevaluation resultiert, besteht im regelmässigen Austausch mit dem Autorenteam bei der thematischen und inhaltlichen Ausrichtung der Fragestellungen. Tabelle 1 gibt einen Überblick über die insgesamt sechs Austauschtreffen, die mit dem Autorenteam stattgefunden haben und informiert stichwortartig über die Hauptinhalte dieser Treffen. Eine wichtige Besonderheit des Vorprojekts, das dessen Verlauf entscheidend mit beeinflusst hat, bestand darin, dass die Entwicklung der Lehrmittelinhalte parallel zum Vorprojekt lief beziehungsweise an der (inhaltlichen) Planung einer Begleitevaluation gearbeitet wurde, deren Gegenstand (= Inhalte des Lehrmittels) mehrheitlich erst während des Vorprojekts am Entstehen waren und nicht bereits schon fertig vorlagen. Wie aus der Tabelle 1 ersichtlich wird, haben weitere Treffen, Präsentationen und Rücksprachen stattgefunden, durch die ein Austausch von Wissen beziehungsweise eine Reflexion des geplanten Vorgehens in einem erweiterten Kreis von Wissenschaftlerinnen und Wissenschaftlern ermöglicht sowie der Einbezug ausgewiesener Fachexpertinnen und -experten als auch wichtiger Entscheidungsträger innerhalb der PHZH (Departementsleiterin und Prorektorin) sichergestellt werden konnte: Beispielweise wurde die geplante Begleitevaluation zu Beginn des Vorprojekts in der Forschungsgruppe «Schule Lernen - Systeme» 2 sowie im Rahmen eines PHZH-internen Forschungskolloquiums präsentiert. Es fand ein Expertentreffen mit Prof. Dr. Elsbeth Stern und Prof. Dr. Kirchgraber (ETH Zürich) statt und es wurde insbesondere im Hinblick auf die zu 2 Wobei in dieser Forschungsgruppe anschliessend regelmässig über den Stand des Vorprojekts berichtet wurde, da Brigitte Bollmann selbst Mitglied der Forschungsgruppe ist und das Vorprojekt aufgrund seiner thematischen Ausrichtung klar dieser Forschungsgruppe zuzuordnen ist. Seite 7 von 50

8 Tabelle 1 Austausch mit dem Autorenteam sowie weiteren Personen(-gruppen) in- und ausserhalb der PHZH Seite 8 von 50

9 klärende Ressourcenfrage für die Fortsetzung des Vorprojekts ab Herbstsemester 2008 sowohl der Austausch mit der Departementsleiterin als auch der Prorektorin gesucht. Die Ausarbeitung und definitive Festlegung der Forschungsfragen entpuppte sich als vielschichtiger Prozess, dessen Steuerung durch das Evaluationsteam ein hohes Mass an Flexibilität erforderte und in Anschluss an die gemeinsamen Sitzungen mit dem Autorenteam jeweils angepasst, neu ausgerichtet oder «auf Kurs zurückgebracht» werden musste. Im Kapitel 2.1 (S. 9ff.) wird der Verlauf dieses Prozesses entlang seiner zentralen inhaltlichen Phasen dargestellt. Bereits zu Beginn des Vorprojekts wurde relativ schnell eine gewisse Diskrepanz zwischen dem im Evaluationskonzept formulierten Erkenntnisinteressen und den tatsächlich realisierbaren und seitens des Autorenteams im Hinblick auf eine Überarbeitung des Lehrmittels anvisierten Evaluationsfragen offensichtlich. Des weiteren zeigte sich, dass verschiedene Fachbegriffe, die auf theoretische Konzepte der Lehr-Lernforschung rekurrieren, in der Fachdidaktik auf einer stärker anwendungsorientierten Ebene definiert und inhaltlich zu wenig differenziert beschrieben sind und entsprechend keine direkte Operationalisierung vorgenommen werden kann, wie sie in der Forschung für theoretische Konstrukte üblicherweise möglich ist. Diese und andere Herausforderungen und Schwierigkeiten werden im Kapitel 2.2 (S. 16ff.) reflektiert und im Hinblick auf weitere Projekte zur Evaluierung von Lehrmitteln diskutiert. 2.1 Entwicklung der Evaluationsfragen und Verlauf des Arbeitsprozesses während des Vorprojekts Wie bereits als ein zentrales Merkmal des Arbeitsprozesses erwähnt wurde, zeichnete sich das Projektjahr durch eine ausgeprägte enge Verquickung der inhaltlichen Arbeit an den Forschungsfragen mit dem Autorenteam einerseits und der Konzeptarbeit und Prozesssteuerung durch das Evaluationsteam andererseits aus. In der nachfolgenden Schilderung des Prozessverlaufs wird diesem Sachverhalt Rechnung getragen werden, indem der Verlauf entlang inhaltlich relevanter Phasen gegliedert wird und gleichzeitig zu jeder Phase die Steuerungsinterventionen beschrieben werden. Im Laufe des Vorprojekts wurden vom Evaluationsteam verschiedene Instrumente beziehungsweise Dokumente erarbeitet und eingesetzt, die der Information des Autorenteams und der Steuerung der Zusammenarbeit mit dem Autorenteam dienten. Diese Dokumente, die aufgrund ihres Verwendungszwecks als Informationsdokumente beziehungsweise Arbeitsdokumente bezeichnet werden und zu denen auch zwei Plakate zählen, die als Produkte der gemeinsamen Arbeit mit dem Autorenteam entstanden, sind am Ende jeder Phase aufgeführt. Seite 9 von 50

10 Phase 1: Versuch einer ersten Fokussierung auf die Präzisierung von Evaluationsfragen auf der Grundlage einer Sammlung von Fragen aus der Autorenarbeit Ausgangspunkt der Arbeit im Evaluationsteam bildete ein Fragekatalog, den Brigitte Bollmann aufgrund einer spontanen Sammlung interessierender Fragestellungen, die in der Autorenarbeit bis Oktober 2008 geäussert wurden, zusammengestellt hatte. Dieser Fragekatalog wurde vom Evaluationsteam auf seine Übereinstimmung mit dem in der Projekteingabe verschriftlichten Evaluationskonzepts überprüft und um fehlende Themenfelder erweitert. Das so entstandene Arbeitsdokument 1 «Lose Sammlung von Autorenfragen aus der Arbeit am Lehrmittel» wurde mit der Bitte an die Autoren abgegeben, die Fragen zu sichten, zu ergänzen und mit Kommentaren zur Einschätzung der Wichtigkeit für eine Begleitevaluation zu versehen. Die Rückmeldungen der Autorinnen und Autoren wurden anschliessend in das Arbeitsdokument 1 eingearbeitet. Am ersten Autorentreffen wurde auf der Grundlage des erweiterten Arbeitsdokuments 1 eine Präzisierung möglicher Evaluationsfragen angestrebt. Dieses Ziel wurde nicht erreicht, da sich im Laufe der Sitzung zeigte, dass es im Autorenteam keine einheitliche Vorstellung darüber gab, was unter einer formativen Evaluation genau verstanden wird und welches Ziel diese spezifische Form von Evaluation verfolgt. Das Evaluationsteam sah sich im Anschluss an dieses erste Treffen mit der Aufgabe konfrontiert, die Klärung dieser Ungereimtheiten voranzustellen und die Weiterarbeit an den inhaltlichen Fragen etwas hinauszuschieben. Dokumente der Phase 1: Arbeitsdokument 1 «Lose Sammlung von Autorenfragen aus der Arbeit am Lehrmittel» Erweiterung des Arbeitsdokuments 1 «Lose Sammlung von Autorenfragen aus der Arbeit am Lehrmittel» durch die Einarbeitung von Rückmeldungen zur Sammlung seitens der Autoren Phase 2: Klärung der Ziele der Begleitevaluation und der damit verbundenen Zusammenarbeit von Autoren und Evaluationsteam Am zweiten Autorentreffen galt es, die Art sowie ganz grundsätzlich die Notwendigkeit einer (regelmässigen) Zusammenarbeit, die durch den formativen Charakter der geplanten Evaluation vorgezeichnet wird, genauer zu klären. Dabei ging es um das Aufzeigen der strukturellen Besonderheiten einer formativen Evaluation, durch die sich die Ansprüche an die in die Begleitevaluation involvierten Personengruppen ableiten und festlegen lassen. Das Evaluationsteam stützte sich dabei auf die Ausführungen von Wottawa und Thierau (2003) und erläuterte diese beim zweiten Autorentreffen anhand der im Anhang präsentierten Darstellung (vgl. Anhang A, S. 35ff., Abbildung 3 und Abbildung 4). Nach diesem Klärungsprozess waren sich Autorenteam und das Evaluationsteam über folgende vier Punkte einig: Seite 10 von 50

11 (1) Die Evaluation wird formativer Natur sein. Daraus ergibt sich zwangsläufig die Notwendigkeit, dass das Autorenteam für (mehr oder weniger) regelmässige Austauschtreffen zu Verfügung steht, in denen gemeinsam mit dem Evaluationsteam Wünsche, Unklarheiten und problematische Punkte bei der Entwicklung und Umsetzung der Evaluationsfragen diskutiert und geklärt werden können. (2) Die Evaluation dient in erster Linie der Optimierung des Lehrmittels. Die inhaltliche Ausrichtung der Evaluationsfragen soll und muss daher primär aus dem Autorenteam heraus festgelegt werden, insbesondere auch um sicherzustellen, dass die Ergebnisse der Begleitevaluation effektiv für die Überarbeitung des Lehrmittels genutzt werden können und dort ansetzen, wo das Autorenteam Klärungsbedarf sieht. (3) Die Evaluation soll die Sichtweise von Schülerinnen und Schüler fokussieren Die Erhebungen finden im eigentlichen Evaluationsjahr von August 2009 bis August 2010 in den Evaluationsklassen statt. Testinstrumente beziehungsweise Beobachtungsinstrumente hingegen können (und müssen) bereits im Testjahr von August 2008 bis August 2009 in Testklassen und in Absprache mit den Testlehrpersonen und dem Autorenteam erprobt werden. Im Testjahr werden die Rückmeldungen der Testlehrpersonen vorwiegend direkt von den Autorinnen und Autoren gesammelt und ausgewertet. (4) Das Autorenteam verfügt über fachspezifisches Hintergrundwissen bezüglich der Konzipierung von Mathematikaufgaben und zur fachdidaktischen Umsetzung der Inhalte im Unterricht, die dem Evaluationsteam nicht ohne weiteres klar sind. Es ist wichtig, dem Evaluationsteam dieses implizite Wissen je nach Bedarf zu kommunizieren und damit sicherzustellen, dass die Begriffe im Rahmen der Evaluation korrekt beziehungsweise einheitlich verwendet werden. Die Autoren äusserten zudem den Wunsch, vom Evaluationsteam zu einer ausgewählten Fragestellung ein mögliches Untersuchungsdesign vorgestellt zu bekommen, damit sie mit der Arbeitsweise der Evaluatorinnen vertraut würden. Dokumente der Phase 2: Informationsdokument 1a «Verortung der Begleitevaluation als formative Evaluation» (vgl. Anhang A, Abbildung 3, S.35) Informationsdokument 1b «Gegenüberstellung wesentlicher Merkmale formativer und summativer Evaluation» (vgl. Anhang A,, Abbildung 4, S.36) Seite 11 von 50

12 Phase 3: Wiederaufnahme der Arbeit an den Fragestellungen und Eingrenzung der Themengebiete der Begleitevaluation Am dritten Autorentreffen wurde den Autoren vom Evaluationsteam ein mögliches Untersuchungsdesign für eine Fragestellung zum Themenfeld «Sinnstiftender Aufbau von Grundvorstellungen zum Variablenkonzept» vorgestellt. Konkret wurde aufgezeigt, wie eine Fragestellung operationalisiert und empirisch überprüft, Daten erhoben und ausgewertet werden könnten und welche möglichen Konsequenzen die dadurch erzielten Befunde für die Lehrmittelüberarbeitung nach sich ziehen. Die Autoren gewannen durch diese Darlegung Klarheit über die einzelnen Arbeitsschritte, die vom Evaluationsteam einerseits und von den Autoren andererseits geleistet werden müssen. Zur Erläuterung der Arbeitsschritte und ihren strukturellen Rahmenbedingungen wurden den Autoren drei Informationsdokumente ausgehändigt (vgl. Dokumente der Phase 3) Im Anschluss an die Präsentation war das Autorenteam motiviert, den Prozess der Formulierung von Forschungsfragen voranzutreiben. Dazu wurde ein offenes Brainstorming durchgeführt. Die Fragestellungen wurden von Brigitte Bollmann gesammelt und auf Kärtchen notiert. Aufgrund ihrer Doppelrolle (Autorin und Evaluatorin) war sie in der Lage, die angesprochenen Inhalte durch gezielte Rückfragen zu präzisieren oder geäusserte Vorschläge nochmals in den Prozess zurückzugeben, bevor die Formulierung einer möglichen Forschungsfrage schriftlich auf Kärtchen festgehalten wurde. Dieser Prozess verlief ausgesprochen schnell und produktiv. Nach einer kurzen Pause begab sich die ganze Gruppe um einen Tisch, auf dem die Kärtchen thematisch geordnet und anhand von Punkten (farbige runde Kleber) in ihrer Wichtigkeit von den einzelnen Mitgliedern des Autorenteams bewertet wurden. Dieser Aushandlung- und Diskussionsprozess wurde von Simone Berweger geleitet. Sie kommentierte und steuerte den Aushandlungsprozess aus einer Metaperspektive mittels Fragen an das Autorenteam wie beispielsweise «Was ist neuartig am Lehrmittel und bietet sich entsprechend als interessanter Bereich für die Evaluation an?» oder «Ist diese Thematik evaluationswürdig bzw. besteht die Möglichkeit, im Sinne einer formativen Evaluation aufgrund der Befunde dann auch tatsächlich Anpassungen am Lehrmittel vorzunehmen?». Am Ende des Vormittags waren 6 thematische Felder identifiziert, die den inhaltlichen Rahmen für die Evaluation vorgeben. Das Endprodukt des Brainstorming-Prozesses lag zudem in Form eines Plakates physisch vor und blieb dadurch auch für den weiteren Arbeitsprozess jederzeit fassbar. Das Evaluationsteam erhielt den Auftrag, in einem Übersichtspapier die für sie wichtigen Fragestellungen zu den 6 thematischen Feldern zusammenzustellen und über die mögliche Übersetzung dieser Fragen in ein Untersuchungsdesign nachzudenken. Das Autorenteam seinerseits willigte ein, die in der weiteren Entwicklungsarbeit auftauchende Fragestellungen Seite 12 von 50

13 entlang der 6 ausgeschilderten Themenfelder zu notieren und das ausgehändigte Dokument entsprechend laufend zu ergänzen (Arbeitsdokument 2). Dokumente der Phase 3: Informationsdokument 2 «Zusammenspiel zwischen Lehrmittelentwicklung und Begleitevaluation im zeitlichen Verlauf» (vgl. Anhang A, Abbildung 5, S.37) Informationsdokument 3 «Zeitplan über die anfallenden Arbeiten im Rahmen der Begleitevaluation» Informationsdokument 4 «Von der unterrichtsnahen Fragestellung zur empirisch fassbaren Forschungsfrage» (exemplarisches Beispiel) Plakat 1 «Die 6 Themenfelder der Begleitevaluation» (Ergebnis aus dem gemeinsamen Brainstorming) Arbeitsdokument 2 «Die 6 Themenfelder nach Abgleich mit den ursprünglich formulierten Fragestellungen aus dem Autorenteam» Phase 4: Konkretisierung der Fragestellungen und Austausch mit Experten Nachdem das Evaluationsteam das Arbeitsdokument 2 zu den Fragestellungen der 6 Themenfelder erstellt hatte, bot sich die Gelegenheit, im Rahmen des Forschungskolloquiums und in einem daran anschliessenden Gespräch mit Judith Hollenweger die nächsten Arbeitsschritte zu planen und zu diskutieren. Dabei bot sich Judith Hollenweger dazu an, Prof. Elsbeth Stern (ETH Zürich, Institut für Verhaltenswissenschaften) zu kontaktieren, damit das Evaluationsteam die Möglichkeit erhielt, eine weitere Expertenmeinung zu ihrem Vorhaben einzuholen. Zur Vorbereitung des Gesprächs mit Prof. Elsbeth Stern sowie Prof. Urs Kirchgraber (ETH Zürich, Professur für Mathematikdidaktik und Mathematikunterricht), der aus Interesse ebenfalls spontan am Gespräch teilnahm, wurden vom Evaluationsteam für jedes Themenfeld mögliche Szenarien angedacht, um den Austausch mit den Experten möglichst gezielt angehen zu können. Die Sitzung mit den Experten der ETH erwies sich insofern als hilfreich, als im Laufe des Gesprächs klar rückgemeldet wurde, dass die Themen immer noch sehr umfassend seien oder wie es die beiden Professoren ausdrückten mehrere Dissertationen auf den von ihnen als sehr spannend bezeichneten Themen durchgeführt werden könnten. Im Laufe des Gesprächs wurde ebenfalls deutlich, dass die Experten eher an einem summativen Evaluationsvorhaben interessiert wären, mit dem auch ein «grundlegender» Beitrag an den fachdidaktischen Diskurs geleistet werden könnte. Diese Interessen sind allerdings nicht ohne weiteres mit den Interessen und Anliegen bei der Lehrmittelentwicklung vereinbar (vgl. Rost, 2000, S. 131ff.). Die Ergebnisse der Begleitevaluation könnten dabei jedoch im Sinne eines Vorprojekts weiterführender Studien dienen, die in Zusammenarbeit mit der ETH durchgeführt würden und sich stärker an der sogenannten Grundlagenforschung orientieren. Seite 13 von 50

14 Einige konkreten Hinweise der beiden Professoren, insbesondere zur Bedeutung mathematischen Vorwissens und zu möglichen Untersuchungsdesigns, konnten ins Evaluationsvorhaben aufgenommen werden. Zudem erhielt das Evaluationsteam die Zusage, zu einem späteren Zeitpunkt, wenn spezifische Fragestellungen vorliegen und Untersuchungen im Schulfeld konkret geplant werden können, erneut eine Expertenmeinung einholen zu können. Das Evaluationsteam beschloss nicht zuletzt aufgrund der Bedenken der Experten bezüglich des Umfangs des anvisierten Evaluationsprojekts, das Arbeitsdokument 2 zu erweitern und darin die Einschätzungen der Experten, mögliche Untersuchungsszenarien für die Themenfelder sowie auch die Einschätzungen der skizzierten Fragen bezüglich ihrer Eignung für die Begleitforschung durch das Evaluationsteam festzuhalten. Das so erweiterte Arbeitspapier 2 sollte dann mit den Autoren diskutiert werden. Dokumente Phase 4: Arbeitsdokument 2 «Die 6 Themenfelder nach Abgleich mit den ursprünglich formulierten Fragestellungen aus dem Autorenteam» Erweiterung des Arbeitsdokuments 2 «Die 6 Themenfelder nach Abgleich mit den ursprünglich formulierten Fragestellungen aus dem Autorenteam» durch die Einschätzungen der Experten sowie durch die Skizzierung von Ansätzen zur Umsetzung im Test- und Evaluationsjahr aus Sicht des Evaluationsteams Phase 5: Gescheiterter Versuch der Einschränkung auf zwei Themenfelder Das vierte Autorentreffen diente dazu, jedes der sechs Themenfelder nochmals ausführlich und detailliert zu diskutieren. Dazu wurden einerseits die grundsätzlichen Überlegungen des Evaluationsteams zum entsprechenden Themenfeld eingebracht, andererseits wurden auch die Bedenken der Experten zur jeweiligen Thematik geschildert. In der Diskussion mit den Autoren ging es letztlich darum, die Anliegen der Autoren noch präziser zu fassen und an jene Unklarheiten, Unsicherheiten und Uneinigkeiten der Autoren heranzukommen, die sich unmittelbar im Zusammenhang mit der Entwicklung von Lehrmittelaufgaben und -bestandteilen eröffnen. Ebenfalls wurden bei diesem Treffen die Bedenken aufgegriffen, dass die Fragestellungen für die Begleitevaluation und die dafür zu Verfügung stehenden Ressourcen noch viel zu umfassend sind. Insbesondere galt es darzulegen, dass Fragen, die sich im Bereich fachdidaktischer Grundlagenforschung bewegen, alleine schon aufgrund der (nicht vorhandenen) Ressourcen unmöglich bearbeitet werden können. Die Einschätzung des Evaluationsteams, dass aufgrund der ungeklärten Ressourcenfrage für das Folgejahr damit zu rechnen ist, dass eine Einschränkung auf weniger Themenfelder unvermeidbar sein wird, wurde klar kommuniziert. Am Ende des vierten Autorentreffens wurde beschlossen, dass in der kommenden Sitzung eine Einschränkung auf ein bis zwei Themenfelder vorgenommen werden sollte, und dazu vom Seite 14 von 50

15 Evaluationsteam als Hilfestellung ein entsprechendes Handout zur Bewertung der 6 Themenfelder vorbereitet und zur Verfügung gestellt werden sollte. Die Autorensitzung 5 begann wie geplant. In einer ersten Phase wurden anhand von farbigen Punkten diejenigen Themen (die auf farbigen Karten schriftlich vorlagen) markiert, welche in einer Minimalvariante der Begleitevaluation bearbeitet werden sollten. Dieser Prozess der Bewertung und Gewichtung der Bedeutsamkeit der einzelnen Themenfelder löste bei den Autoren jedoch ein ungutes Gefühl aus. Eine angeregte Diskussion um den Sinn einer Einschränkung auf zwei Themenfelder entbrannte. Seitens der Autoren wurde nochmals festgehalten, dass, für den Entwicklungsprozess des Lehrmittels alle 6 Themenfelder von grosser Bedeutung sind. Am Ende dieser Sitzung wurde Folgendes beschlossen: (1) Alle sechs Themenfelder sollen bearbeitet werden. Eine Einschränkung auf 1 bis 2 Themenfelder für die Begleitevaluation ist gegenüber den Evaluationsklassenlehrpersonen und dem Lehrmittelverlag nicht vertretbar: Die neun Evaluationsklassen sollen während 3 Jahren regelmässig besucht werden. (2) Die Evaluation zu unterschiedlichen Themenfeldern hat grundsätzlich einen formativen Charakter und hat primär der Lehrmittelentwicklung zu dienen nur so kann auch seitens des Lehrmittelverlags von einer Begleitevaluation gesprochen werden. Für die Evaluation bedeutet dies, dass schon im Voraus geklärt werden muss, in welchem Rahmen Anpassungen einzelner Lehrmittelbestandteile aufgrund vorliegender Evaluationsbefunde vorgenommen werden können. (3) Eine breite thematische Abstützung hat zur Folge, dass die einzelnen Themenfelder nur punktuell erforscht werden können. Die Evaluationsfragen sollten sich daher möglichst konkret auf bestimmte Aufgaben beziehungsweise den damit verbundenen Lernzielen beziehen. Möglich wäre jedoch auch eine Befragung der Schülerinnen und Schüler zur konkreten Nutzung einzelner insbesondere neuer Lehrmittelbestandteile wie dem Begleitheft oder dynamischer Geometrie-Lerneinheiten. Am Ende der Sitzung wurden die sechs Themenfeldern einzelnen Autoren zugeteilt, mit dem Auftrag, in einem eigens dafür ausgearbeiteten Dokument maximal fünf Fragen zu formulieren, und dabei möglichst den Bezug zu den Aufgaben im Lehrmittel auszuweisen. Dokumente für die Phase 5: Plakat 2 «Eingrenzung der 6 Themenfelder» Arbeitsdokument 3 «Die 3-5 wichtigsten Autorenfragen zu den 6 zentralen Themenfeldern der Evaluation» Seite 15 von 50

16 Phase 6: Abschliessende Beurteilung der Fragestellungen und Skizzierung möglicher Untersuchungsdesigns durch das Evaluationsteam Die entlang den Vorgaben des Handouts ausformulierten Fragen der Autoren wurden im Evaluationsteam gesammelt und ein letztes Mal intensiv diskutiert. Insbesondere wurden einzelne Fragen zu Bereichen zusammengefasst und im Hinblick auf die Eignung für das eigentliche Evaluationsvorhaben geprüft. Für jene Fragestellungen, welche grundlegende Kriterien für eine formative Evaluation erfüllten, wurde ein mögliches Untersuchungsdesign skizziert und Zeitpunkte einer allfälligen Erhebung bestimmt. Sämtliche Beurteilungen des Evaluationsteams und skizzierten Untersuchungsdesigns wurden anschliessend nochmals mit den einzelnen Autoren durchgegangen und bei Bedarf ein letztes Mal angepasst. Dokumente der Phase 6: Erweiterung des Arbeitsdokuments 3 «Die 3-5 wichtigsten Autorenfragen zu den 6 zentralen Themenfeldern der Evaluation» durch eine gezielte Beurteilung derselben im Hinblick auf ihre empirische Umsetzbarkeit seitens des Evaluationsteam sowie durch das Aufzeigen möglicher Untersuchungsdesigns (vgl. Anhang C, Tabelle 3 bis Tabelle 14, S. 39 bis S. 50) Projektpläne für die Arbeiten des Evaluationsteams im Testjahr und im Evaluationsjahr (vgl. Abbildung 1 und Abbildung 2, S ) Fazit Am Ende des Projektjahres liegen somit zu jedem der 6 von den Autoren ausgeschiedenen Themenfelder konkrete Forschungsfragen und mögliche Untersuchungsszenarien vor. Diese werden sowohl von den Autoren im Hinblick auf die mit der Evaluation verbundenen Arbeiten im Zusammenhang mit einer Überarbeitung des Lehrmittels getragen, wie auch seitens des Evaluationsteams als untersuchungswürdig eingestuft. Die inhaltliche Ausrichtung der zu untersuchenden Themen sowie der Projektplan für die anfallenden Arbeiten im Testjahr und im Evaluationsjahr sind im Kapitel 3 (S. 21ff.) detailliert beschrieben. 2.2 Herausforderungen und Schwierigkeiten, die bei der Konzipierung und Umsetzung einer Lehrmittel-Begleitevaluation auftreten können Wie eingangs erwähnt wurde, betrat die PHZH mit dem Auftrag einer Begleitevaluation zur Entwicklung des neuen Mathematiklehrmittels, deren Konzipierung im Rahmen des internen Vorprojekts übernommen wurde, Neuland. Nachfolgend werden die dabei gesammelten Erfahrungen mit verschiedenen Herausforderungen und Schwierigkeiten, wie sie sich im Rahmen eines solchen Auftrags und unter der Voraussetzung fehlender Erfahrungswerte ergeben, dargelegt und reflektiert. Ziel dieser Darstellung ist es, eine Grundlage für einen frühen und bewussten Umgang mit diesen «Hürden» zu schaffen und darzulegen, wie diese bereits im Vorfeld einer Begleitevaluation umgangen oder gezielt angegangen werden können. Seite 16 von 50

17 Im Laufe des Vorprojekts sah sich das Evaluationsteam mit Herausforderungen und Schwierigkeiten konfrontiert, die drei zentrale Rahmenbedingungen, die die Arbeit am Vorprojekt charakterisieren, betreffen: (1) Interdependenz von Lehrmittelentwicklung und Lehrmittelevaluation (2) Interdisziplinäre Zusammenarbeit zwischen Fachdidaktik und psychologischer Lehr-Lern- Forschung (3) Zusammenarbeit zwischen Lehrmittelautoren und Lehrmittelevaluatoren im spezifischen Setting einer formativen Evaluation (1) Interdependenz von Lehrmittelentwicklung und Lehrmittelevaluation Für die Konzipierung einer Lehrmittel-Begleitevaluation muss sowohl ein klarer Bezug zu den konkreten Inhalten des zu evaluierenden Lehrmittels als auch zu den fachdidaktischen und (lern-)theoretischen Annahmen und Prämissen, auf denen das Lehrmittel basiert, hergestellt werden können. Da die Entwicklung der Lehrmittelinhalte und aufgaben (für das 7. Schuljahr) erst wenige Wochen vor Start des Vorprojekts anlief und bis Ende des Vorprojekts dauerte, war zu Beginn des Vorprojekts für die Mehrheit der Themenfelder noch relativ unklar, auf welche konkreten Inhalte und Aufgaben sich die Begleitevaluation stützen kann. Für jene Themenfelder, die gemäss Lehrmittelaufbau erst gegen Ende des siebten Schuljahres vermittelt werden, hat sich diese unklare Situation bezüglich der konkreten Ausgestaltung von Aufgaben über das ganze Vorprojekt hingezogen. Das Fehlen bereits fertig entwickelter Aufgabenstellungen in jenen Themenfeldern, die erst gegen Ende des siebten Schuljahres vermittelt werden, hat die Ausformulierung von Fragestellungen für die Begleitevaluation erschwert, da ein direkter Bezug auf Aufgaben im Lehrmittel nicht möglich war. Aufgrund des engen Zeitplans der Lehrmittelentwicklung, an die der Zeitplan der Begleitevaluation unmittelbar gekoppelt ist (vgl. Anhang A, Abbildung 5, S. 37), lässt sich diese Schwierigkeit nur unter der Voraussetzung umgehen, dass bei einer künftigen Lehrmittelentwicklung mehr Vorlaufzeit für die Aufgabenentwicklung zu Verfügung gestellt werden kann. Die im Lehrmittelkonzept (S. 3 bis 6) ausgewiesene theoretisch-methodische Fundierung des Lehrmittels, als auch mathematikdidaktische Gestaltungsprinzipien, auf die sich das neue Lehrmittel stützt, standen bei der internen Projekteingabe zur Durchführung des Vorprojekts zur Verfügung. Diese theoretischen-methodischen Grundlagen wurden vom Evaluationsteam in der Projektskizze aufgegriffen und bei der Ausformulierung möglicher Fragestellungen der Begleitevaluation berücksichtigt. Diese Grundlagen wurden in der konkreten Lehrmittelentwicklung in Form vom impliziten Hintergrundwissen der Autoren wohl berücksichtigt, eine theoretische Fundierung sämtlicher Konzepte hingegen konnte in der konkreten Ausarbeitung Seite 17 von 50

18 der Lehrmittelbestandteile nicht explizit geleistet werden. Entsprechend läuft die Begleitevaluation Gefahr, sich auf theoretische Grundlagen zu beziehen, die im Lehrmittel weder systematisch umgesetzt noch in ihrer Bedeutung für den konkreten Lehr-Lernprozess spezifiziert wurden. Dass sich eine mehr oder weniger starke Diskrepanz abzeichnet zwischen den einerseits zu konkretisierenden Evaluationsfragen, der dazu erforderlichen inhaltlichen Klarheit bezüglich theoretischer Konzepte und des Erkenntnisinteresses, und andererseits den am Schulfeld orientierten Anliegen der Autorenschaft entlang konkreter Aufgabenstellungen, wurde beim ersten Autorentreffen beziehungsweise beim Versuch, gemeinsam einen möglichen Fragekatalog zu erarbeiten, ersichtlich. Diese Diskrepanz muss auf dem Hintergrund der Rahmenbedingung Interdisziplinäre Zusammenarbeit zwischen Fachdidaktik und psychologischer Lehr-Lern-Forschung betrachtet werden (z.b. Staub, 2006), auf die im folgenden Abschnitt eingegangen wird. (2) Interdisziplinäre Zusammenarbeit zwischen Fachdidaktik und psychologischer Lehr-Lern- Forschung Bei der Zusammenarbeit von Autoren- und Evaluationsteam trafen (etwas überspitzt formuliert) zwei «Welten» aufeinander, die sich bezüglich (disziplinärer) Sozialisation, dem damit einhergehenden Selbstverständnis im Zu- und Umgang mit Erkenntnissen und Forderungen der Fachdidaktik sowie der Lehr-Lehrforschung und einem allgemeinen Forschungsverständnis stark unterscheiden. Für eine fruchtbare Zusammenarbeit erwies sich deshalb ein vertrauensvoller interdisziplinärer Dialog als besonders wichtig, ohne den die Konzipierung der Begleitevaluation mit dem Ziel einer wissenschaftlich gestützten Optimierung des Lehrmittels durch das Autorenteam nicht durchführbar gewesen beziehungsweise bereits an der Entwicklung sinnvoller und nutzbringender Forschungsfragen gescheitert wäre. Für die Konzipierung der Begleitevaluation hat sich insbesondere der unterschiedliche Umgang mit theoretischen Konzepten und Begrifflichkeiten als Herausforderung erwiesen: So rekurriert die Fachdidaktik auf vielfältige theoretische Ansätze und Konstrukte (z.b. «Grundvorstellungen», «Handlungsorientierung», «vollständige Lernprozesse», «sinnstiftender Kontext»), die sowohl ins Lehrmittelkonzept als auch (implizit) in die Entwicklung von Aufgaben Eingang fanden, jedoch aufgrund mangelnder zeitlicher Ressourcen nicht in jener Tiefe definiert und expliziert werden, um die sozialwissenschaftlichen Standards empirischer Forschung zu erfüllen und damit eine «eindeutige» Operationalisierung theoretischer Konstrukte zu ermöglichen, die für eine empirische Prüfbarkeit von Forschungsfragen unverzichtbar ist und auch für die Evaluationsforschung gilt (vgl. Mittag & Hager, 2000, S. 103). Die Diskrepanz zwischen fachdidaktischem Vokabular und «eindeutigen», in operationale Definitionen überführbaren theoretischen Konzepten, erschwerte die Ausarbeitung empirisch zugänglicher Evaluationsfragen, die jenseits eines wissenschaftlichen Erkenntnisinteressens konkrete Ansatzpunkte zu einer gezielten Überarbeitung und Anpassung des Lehrmittels ermöglichen. Dabei gilt es ganz allgemein festzuhalten, dass der Anspruch einer theoretisch- Seite 18 von 50

19 wissenschaftlichen Fundierung von Lehrmitteln nur in jenem Ausmass durch eine formative Begleitevaluation sicherzustellen ist, indem diesem Anspruch bereits bei der Entwicklung des Lehrmittels Rechnung getragen wurde. Aussagen über Erreichen intendierter Lernprozesse oder Wirkungsweisen von Lernangeboten sind nur dort auf sinnvolle Art und Weise möglich, wo die Lehrmittelautoren eine genaue Vorstellung über die von ihnen angenommenen Wirkungen der Lehr- und Lernangebote haben (vgl. Rost, 2000, S. 134, Standard 2). Im Hinblick auf zukünftige Begleitevaluationen von Lehrmitteln wäre zu prüfen, ob nicht bereits bei der Konzipierung des Lehrmittels zusätzlich zur fachdidaktischen Perspektive ein stärker sozialwissenschaftlich, an empirischer Forschung orientierter Blickwinkel einbezogen werden soll. Dadurch könnte sich die Möglichkeit eröffnen, dass bei der theoretischen Fundierung des Lehrmittels Weichen für einen bewussteren Einbezug der theoretischen Ansätze bei der konkreten inhaltlichen Ausgestaltung des Lehrmittels gestellt werden können. Des Weiteren wäre zu überlegen, ob der aktuelle empirische (und nicht nur der theoretischnormative) Forschungsstand zur Lehr-Lernforschung zukünftig nicht stärker als ein zentraler Ausgangspunkt der Lehrmittel-Entwicklung berücksichtigt werden sollte und die Bezüge, die dazu im Lehrmittel implizit sowieso schon gemacht werden, vom Autorenteam stärker ausgeschildert und expliziert werden sollten. Die im Hinblick auf eine Evaluation zentralen impliziten Annahmen, die sich hinter den von den Autoren verwendeten theoretischen Konstrukten verbergen, sollten als Teil der Entwicklungsarbeit geklärt und die Autoren dafür sensibilisiert werden, fortwährend entsprechende Literaturbezüge festzuhalten. Nur so das heisst wenn sie inhaltlich eindeutig definiert sind und intersubjektiv kommunizierbar sind können diese der Evaluation zugänglich gemacht und für eine Anpassung des Lehrmittels genutzt werden. (3) Zusammenarbeit zwischen Lehrmittelautoren und Lehrmittelevaluatoren im spezifischen Setting einer formativen Evaluation Eine (wenn nicht die) zentrale Folgerung aus dem ersten Austauschtreffens mit dem Autorenteam war die Feststellung, dass eine grosse Verunsicherung bezüglich Zuständigkeiten, Verantwortlichkeiten und Rollen der Mitglieder des Autorenteams bei der Konzipierung (und Durchführung) der Begleitevaluation vorlag. Ausserdem schien es für das Autorenteam unklar zu sein, worin die Notwendigkeit und der Nutzen einer Zusammenarbeit zwischen Autoren- und Evaluationsteam liegen. Diese Verunsicherungen und Unklarheiten stellten insofern eine «Schwierigkeit» im Vorprojekt dar, als dass der zentrale Auftrag des Vorprojekts die Ausarbeitung von Forschungsfragen für die Begleitevaluation - zugunsten einer Information über den grundlegenden Charakter einer formativen Evaluation und der daraus resultierenden Notwendigkeit einer regelmässigen Zusammenarbeit mit dem Evaluationsteam vorerst zurückgestellt werden musste. Dabei zeigte sich, dass die Klärung, welche Formen und Abläufe der Zusammenarbeit eine formative Ausrichtung der Begleitevaluation nach sich zieht, nicht mit einer einmaligen Information zu leisten war. Der vom Autorenteam mehrfach geäusserte Seite 19 von 50

20 Wunsch, eine klare Trennung der Zuständigkeiten für das Test- und das Evaluationsjahr vorzunehmen, und ihre zu Beginn des Vorprojekts teilweise grosse Ambivalenz gegenüber ihrer Rolle innerhalb der Begleitevaluation, konnte jedoch unter Verweis auf die ganz zu Beginn erfolgte Information allmählich verringert und schliesslich gänzlich «vom Tisch geräumt» werden. Im Laufe der Arbeit musste gegenüber dem Autorenteam mehrfach klar gestellt werden, dass die Evaluationsfragen nicht top-down durch das Evaluationsteam definiert werden können. Vielmehr geht es darum, dass diejenigen Anliegen der Autoren, die sich aus Unklarheiten, Verunsicherungen und Uneinigkeiten bei der Konzipierung von Aufgaben und Lehrmittelbestandteilen ergeben, aufgegriffen werden können, um idealerweise Klärung zu schaffen, die in entsprechende Anpassungen des Lehrmittels münden. Für zukünftige Begleitevaluationen von Lehrmitteln ist es empfehlenswert, das erste Austauschtreffen zwischen Autoren- und Evaluationsteam stärker im Sinne einer Kick-off- Veranstaltung zu nutzen und dabei grundlegende Rahmenbedingungen einer formativen Evaluation, das heisst Sinn und Zweck der Zusammenarbeit sowie Verantwortlichkeiten und Rollen, zu klären. Dabei ist auch die Klärung der für die Zusammenarbeit vorhandenen Zeitressourcen ein wichtiger Punkt, der zu einem besseren Commitment seitens der Autoren beiträgt und zu verhindern hilft, dass sich die Autoren mit Arbeiten konfrontiert sehen, für die sie sich klar nicht zuständig fühlen. Auf dem Hintergrund der dargelegten Hürden und Schwierigkeiten, die sich entlang der drei zentralen Rahmenbedingungen der Begleitevaluation ergeben, erwies sich rückblickend die Mitarbeit einer Person, die sowohl (a) fundierte fachliche Kenntnisse mitbringt, (b) einen engen Bezug zur Lehrmittelentwicklung hat und (c) gleichzeitig einen starken sozialwissenschaftlichen Forschungshintergrund aufweist, als unverzichtbar. Dieser Person kommt sowohl die Funktion einer «Übersetzerin» als auch einer «Vermittlerin» zwischen Autoren- und Evaluationsteam zu. Seite 20 von 50