Bericht zur Schlussevaluation von IQES online im Kanton Bern

Transkript

1 Institut für Forschung, Entwicklung und Evaluation Fabrikstrasse 2 CH-3012 Bern T F Info-ife@phbern.ch September 2012 Bericht zur Schlussevaluation von IQES online im Kanton Bern (Ohne Anhang)

2 Verfasserinnen: Rita Siegel, Institut für Forschung, Entwicklung und Evaluation IFE (ehemals Zentrum für Bildungsevaluation ZBE) Sara Wyler, Institut für Forschung, Entwicklung und Evaluation IFE (ehemals Zentrum für Bildungsevaluation ZBE) 2

3 Management Summary IQES online ist eine Webplattform für Unterrichtsfeedback, Schulevaluation und Qualitätsentwicklung. Im Rahmen eines Pilotprojekts erhalten ausgewählte Schulen im Kanton Bern die Gelegenheit, mit IQES online kostenlos eine standardisierte, webbasierte Selbstevaluations- und Schulqualitätsplattform zu nutzen. Das Pilotprojekt wurde 2009 lanciert und wird nach vierjähriger Versuchszeit 2012 abgeschlossen. Wie bereits für die Zwischenevaluation im Jahr 2010 hat die Erziehungsdirektion des Kantons Bern (ERZ) das Zentrum für Bildungsevaluation der PHBern 1 (ZBE) mit der Schlussevaluation des Projekts beauftragt. Es soll überprüft werden, ob sich die positiven Ergebnisse der Zwischenevaluation bestätigen lassen 2. Die Evaluationsergebnisse dienen der ERZ als Entscheidungsgrundlage über die Weiterführung des Projekts IQES online. Zusätzlich zur Plattform IQES online wurde das Ergänzungsprojekt Unterrichtszentrierte Qualitätsentwicklung in Pilotschulen (UZQE) evaluiert. Die daran beteiligten fünf Pilotschulen 3 werden zusätzlich zu den üblichen Einführungskursen und workshops zum Instrument IQES online bei der Umsetzung begleitet und erhalten vertiefende, schulinterne Weiterbildungen zur Unterrichtsentwicklung. Im Frühling 2012 wurden die 315 Schulleiterinnen und Schulleiter, die ihre Schule seit 2009 für IQES online angemeldet hatten, per zur Online-Umfrage eingeladen. Der Fragebogen für die fünf Pilotschulen enthielt eine zusätzliche Fragebatterie zu den schulinternen Weiterbildungen. Die Befragung wurde von 195 Schulleiterinnen, Schulleitern und Qualitätsmanagement-Beauftragten ausgefüllt, was einer Rücklaufquote von 62 Prozent entspricht. Ergänzend zur schriftlichen Befragung wurden mündliche Interviews durchgeführt: Drei mit Lehrpersonen und Schulleitungen von IQES-Schulen, drei mit Lehrpersonen und Schulleitungen von Pilotschulen des Projekts UZQE sowie zwei mit dem Projektteam UZQE. Die positiven Ergebnisse der Zwischenevaluation von 2010 können mit der Schlussevaluation bestätigt werden. Nachfolgend werden die wichtigsten Resultate zusammengefasst. Nutzung von IQES online 174 Schulleitungen und QM-Beauftragte (90%) gaben an, IQES online bis zum Zeitpunkt der Befragung in irgendeiner Weise genutzt zu haben. Es wurden sowohl Online-Befragungen wie auch Befragungen in Papierform durchgeführt. Am häufigsten wurden Lehrpersonen befragt, am zweithäufigsten Schülerinnen und Schüler. Es wurden häufiger bestehende Fragebogen abgeändert als neue konzipiert. Aus dem Evaluationscenter luden die Schulleitenden zudem weitere Instrumente herunter, am häufigsten den Unterrichtsbeobachtungsbogen, am zweithäufigsten den Gesprächsleitfaden gefolgt von Instrumenten für die Ratingkonferenz. Dokumente aus der Bibliothek wurden ebenfalls heruntergeladen: Am häufigsten Dokumente für kooperatives Lernen, gefolgt von Beispielen guter Praxis und Grundlagentexten. Wie die Lehrpersonen IQES online bisher genutzt haben, konnte bei der schriftlichen Befragung nur indirekt über die Schulleitungen erfragt werden. Vier Fünftel der Befragten gaben an, dass die Lehrpersonen das Schülerinnen- und Schülerfeedback nutzen, knapp ein Drittel gab an, dass diese Kollegialfeedbacks nutzen. Fast zwei Drittel der Befragten gaben an, dass die Lehrpersonen mit dem Methodenkoffer für die Unterrichtsentwicklung arbeiten. Zudem werde die Plattform von den Lehrpersonen als Anregung für den Unterricht, für diverse Befragungen (Schulanlässe, Elternfeedback etc.), für das Erstellen eigener Feedbackunterlagen und zum Schnuppern genutzt. Nach Angaben von IQES online werden zunehmend Unterlagen aus dem Bereich Methoden und Materialien für den Unterricht aus der Bibliothek heruntergeladen. Zusammen mit den Angaben der Schulleitungen über die Nutzung der Lehrpersonen von Feedbacks und Methodenkoffer kann dies so interpre- 1 Das Zentrum für Bildungsevaluation wurde auf den 1. August 2012 mit dem Zentrum für Forschung und Entwicklung zum neuen Institut für Forschung, Entwicklung und Evaluation IFE zusammengeführt. 2 Vgl. PHBern, Zentrum für Bildungsevaluation (2011): Schlussbericht zur Zwischenevaluation IQES online im Kanton Bern 3 Die Schulen, die am Projekt UZQE teilnehmen werden als Pilotschulen bezeichnet, alle übrigen Schulen, die seit 2009 einen Account für IQES online gelöst haben als IQES-Schulen. Zum Zeitpunkt der Befragung waren es fünf Pilotschulen, inzwischen sind es sechs. 3

4 tiert werden, dass die Lehrpersonen sich um die Weiterentwicklung ihres Unterrichts kümmern und sich die dafür nötigen Unterlagen beschaffen. Fast zwei Drittel der befragten Schulleitungen und QM- Verantwortlichen geben zudem an, dass die Lehrpersonen die Auswertungen ihrer Ergebnisse mit der Schulleitung besprechen. Etwas mehr als ein Viertel der Schulleitenden gaben an, dass die Lehrpersonen IQES online bisher noch nicht genutzt haben, zehn Prozent konnten dazu keine Auskunft geben. Die meisten Schulen planen, auch im neuen Schuljahr 2012/2013 mit IQES online zu arbeiten. Es sind vor allem Befragungen von Schülerinnen und Schülern, Lehrpersonen und Eltern geplant, aber auch die Nutzung der Methodenkoffer und der Einsatz von Beobachtungsbogen für gegenseitige Unterrichtsbesuche sind vorgesehen. Nur 15 Schulen gaben an, dass sie nicht planen, mit IQES online zu arbeiten. Handhabung und Nutzen der Plattform allgemein Die Beurteilung der Plattform IQES online durch die Schulleitungen und QM-Beauftragten fällt insgesamt sehr positiv aus: Zwischen 91 und 98 Prozent der Befragten stimmen den Aussagen zur Handhabung der Plattform jeweils zu oder eher zu. Die Schulleiterinnen und Schulleiter bzw. die QM-Beauftragten finden die Erläuterungen zu den Instrumenten verständlich und hilfreich und den Ergebnisbericht zur Online-Befragung gut lesbar und ebenfalls verständlich. Die auf IQES online zur Verfügung gestellten Instrumente werden als nützlich und aussagekräftig eingeschätzt, die Plattform wird als optisch ansprechend und insgesamt benutzerfreundlich beurteilt. Die Befragten finden das Handling von Papier- und Onlinebefragungen einfach und finden in der Regel innert nützlicher Frist die Informationen und Dokumente, die sie brauchen. Sie haben sich auf der Plattform rasch zurechtgefunden und finden, die Struktur der Plattform erleichtere ihnen deren Gebrauch. Die Beurteilung von IQES online durch die Lehrpersonen konnte nur indirekt über die Schulleitungen bzw. QM-Beauftragten erfragt werden. Auch diese Einschätzungen fallen insgesamt positiv aus: Zwischen 76 und 89 Prozent der Schulleitungen stimmen den Aussagen zu IQES online zu oder eher zu. Die Anteile der stimmt-antworten liegen dabei zwischen 14 und 31 Prozent, die Anteile der stimmt-eher- Antworten zwischen 45 und 72 Prozent. Demnach geben die meisten Befragten an, dass die Lehrpersonen mit den Möglichkeiten der Papierbefragung zufrieden sowie an IQES online interessiert sind und sich auf der Plattform gut zurecht finden. Die Mehrheit der befragten Schulleitungen schätzt, dass die Lehrpersonen IQES online nützlich finden und hat den Eindruck, dass die Lehrpersonen IQES online einen Mehrwert für ihre Unterrichtstätigkeit abgewinnen können. Die Schulleitungen der Pilotschulen schätzen diese Aussage überzufällig positiver ein, als die Schulleitungen der IQES-Schulen. Die Vermutung liegt nahe, dass es den Lehrpersonen der Pilotschulen dank den schulinternen Weiterbildungen im Rahmen des Projekts UZQE gelingt, die Möglichkeiten von IQES online für ihre Unterrichtstätigkeit besonders gewinnbringend zu nutzen. Als Optimierungsvorschlag bezüglich IQES online wurde mehrfach der Wunsch nach einem eigenen Zugang für Lehrpersonen zu Online-Befragungen geäussert. Nutzen der Plattform für das Qualitätsmanagement Der Nutzen von IQES online für das Qualitätsmanagement wurde insgesamt sehr positiv beurteilt: Die Befragten stimmten den Aussagen dazu grossmehrheitlich zu oder eher zu (zwischen 88 und 98%). So finden die Schulleiterinnen und Schulleiter bzw. QM-Beauftragten, dass die Instrumente gut für die Schulentwicklung genutzt werden können, dass sie mit der Plattform in ihren Qualitätsmanagement- Aufgaben unterstützt werden und durch die Plattform bei QM-Prozessen Zeit eingespart werden kann. Die Befragten wissen, wie sie die Instrumente sinnvoll einsetzen können und finden, dass bei der Arbeit mit der Plattform das Verhältnis von Aufwand und Ertrag übereinstimmt. Weiter lassen sich die Instrumente gut mit bisher verwendeten QM-Konzepten bzw. Instrumenten vereinbaren. Nutzung von Ergebnissen der Arbeit mit IQES online für das Controlling Kommunales Controlling 54 Prozent (n=85) der befragten Schulleitungen und QM-Beauftragten stimmen der Aussage zu, dass sie Ergebnisse aus der Arbeit mit IQES online für die Berichterstattung an die Schulkommission genutzt haben. 13 Prozent (n=20) stimmen der Aussage eher zu. 4

5 Kantonales Controlling 59 befragte Personen (31%) haben angegeben, Ergebnisse aus der Arbeit mit IQES online bisher für die Berichterstattung an das Schulinspektorat genutzt zu haben, 138 Personen (72%) haben dies geplant. Für das Controllinggespräch konnten bereits 78 Personen (41%) Ergebnisse nutzen, 140 Personen (71%) haben dies künftig vor. Zudem diente für 64 Schulleitungen und QM-Beauftragte (34%) die Arbeit mit IQES online für das Standortgespräch und 130 Personen (68%) haben vor, diese dafür zu nutzen. Von den Schulen, die IQES online bisher noch nicht für das kantonale Controlling genutzt haben, planen zwischen 59 und 66 Prozent, dies zu tun. Von den Schulen, welche Ergebnisse der Arbeit mit IQES online bereits dafür genutzt haben, planen 83 bis 88 Prozent, dies erneut zu tun. Beurteilung der Weiterbildungen Die Kurs- und Beratungsangebote zur Plattform IQES online wurden insgesamt positiv beurteilt. Die schulinternen Weiterbildungen im Rahmen des Pilotprojekts Unterrichtszentrierte Qualitätsentwicklung UZQE wurden von den Schulleitungen der teilnehmenden Schulen (n=5) ebenfalls sehr positiv beurteilt. Empfohlene Handlungsfelder Aus den Ergebnissen wurden folgende Handlungsfelder abgeleitet: Angebot IQES online weiterführen Wie die Ergebnisse zeigen, wird IQES online von den meisten befragten Schulen in unterschiedlicher Intensität genutzt. Neben den Möglichkeiten, die IQES online im Bereich Unterrichtsentwicklung bietet, kann ein grosser Nutzen der Plattform im Bereich Qualitätsmanagement festgestellt werden. Die Schulleitungen und QM-Beauftragten fühlen sich in ihren Aufgaben unterstützt, können Zeit einsparen und wissen, wie sie die Instrumente sinnvoll einsetzen können. Etliche Schulleiterinnen und Schulleiter konnten die Ergebnisse der Arbeit mit IQES online bisher auch für das kantonale Controlling nutzen. Dass die überwiegende Mehrheit dieser Personen dies auch künftig tun möchte, lässt ebenfalls den Schluss zu, dass IQES online als nützlich wahrgenommen und gebraucht wird. Die meisten Schulen haben bereits geplant, auch im aktuellen Schuljahr 2012/2013 mit IQES online zu arbeiten. Sowohl in den Anmerkungen der schriftlichen Befragung wie auch in den Gesprächen kam zum Ausdruck, dass die Weiterführung des für Schulen kostenlosen Angebots hochwillkommen wäre. Zumal nun allmählich Routine mit dem Instrument gewonnen wird und sich der Nutzen dadurch noch vergrössert. Es wird deshalb empfohlen, die Weiterführung des Angebots für Schulen im Kanton Bern zu prüfen. Zugang für webbasierte Befragungen für Lehrpersonen Der Wunsch, dass die Lehrpersonen einen eigenen Zugang für Online-Befragungen erhalten sollen, wurde sowohl in der Befragung in Form von Optimierungsvorschlägen, wie auch in den Gesprächen mehrmals geäussert. Drei Gründe werden dazu wiederholt genannt: Erstens sei eine Online-Befragung effizienter und zeitsparender, zweitens sollen Schulleitung und QM-Beauftragte keinen unfreiwilligen Einblick in die Ergebnisse einer Lehrperson erhalten (dies wurde von einer Schulleitung geäussert), und drittens können die Papierbefragungen nicht anonym ausgefüllt werden. Es wäre zu prüfen, ob aus technischer und inhaltlicher Sicht ein eigener Zugang für webbasierte Befragungen für Lehrpersonen möglich und sinnvoll erscheint. 5

6 Inhalt 1 Ausgangslage 7 2 Fragestellungen und methodisches Vorgehen Fragestellungen Methodisches Vorgehen Schriftliche Befragung Mündliche Befragung 9 3 Ergebnisse Stichprobe Information und Kommunikation seitens Erziehungsdirektion (ERZ) Kursangebote des Instituts für Weiterbildung (IWB) zu IQES online Besuch/Beanspruchung von Kursangeboten Information/Kommunikation zu den Kursangeboten seitens IWB Beurteilung der Kursangebote IQES online Kommunikation zu IQES online in den Schulen Nutzung von IQES online durch die Schulleitungen/QM-Beauftragten User-Statistik nach Angaben von IQES online Beurteilung der Plattform IQES online durch die Schulleitungen/QM-Beauftragten Nutzung von IQES online durch die Lehrpersonen aus Sicht der Schulleitungen Beurteilung von IQES online durch die Lehrpersonen aus Sicht der Schulleitungen Umgang mit IQES online an den Schulen Nutzen von IQES online für das Qualitätsmanagement Nutzung von IQES online für das kantonale Controlling Künftige Nutzung von IQES online Optimierungsvorschläge und Bemerkungen Ergebnisse zum Projekt Unterrichtszentrierte Qualitätsentwicklung Ergebnisse der schriftlichen Befragung Ergebnisse der Gruppengespräche Ergänzende Informationen von schulentwicklung.ch: Rückmeldungen zu den Kursen 33 4 Zusammenfassung und Handlungsfelder Zusammenfassung entlang der Fragestellungen Handlungsfelder 37 6

7 1 Ausgangslage IQES online ist eine Webplattform für Unterrichtsfeedback, Schulevaluation und Qualitätsentwicklung. Im Rahmen eines Pilotprojekts erhalten ausgewählte Schulen im Kanton Bern die Gelegenheit, mit IQES online kostenlos eine standardisierte, webbasierte Selbstevaluations- und Schulqualitätsplattform zu nutzen. Das Pilotprojekt wurde 2009 lanciert und wird nach vierjähriger Versuchszeit 2012 abgeschlossen. Im Auftrag der Erziehungsdirektion des Kantons Bern (ERZ) hat das Zentrum für Bildungsevaluation der PHBern 4 (ZBE) im Jahr 2010 eine Zwischenevaluation des Pilotprojekts IQES online durchgeführt. Damit sollte eine erste Standortbestimmung vorgenommen sowie Anregungen für Optimierungsmöglichkeiten gewonnen werden. Die Zwischenevaluation 5 fiel positiv aus. Mit der Schlussevaluation im Frühsommer 2012 soll überprüft werden, ob sich die positiven Ergebnisse bestätigen lassen. Sie wurde wiederum im Auftrag der ERZ vom ZBE der PHBern durchgeführt. Ergänzend zum Projekt IQES online finanziert die ERZ das Projekt Unterrichtszentrierte Qualitätsentwicklung in Pilotschulen (UZQE). An diesem Projekt nehmen fünf Pilotschulen während maximal zwei Jahren teil. Zusätzlich zu den üblichen Einführungskursen und workshops zum Instrument IQES online, werden diese Schulen bei der Umsetzung begleitet und erhalten vertiefende, schulinterne Weiterbildungen zur Unterrichtsentwicklung. Ziel des Projekts ist das Sammeln und Auswerten von Erfahrungen mit der Umsetzung von unterrichtszentrierter Qualitätsentwicklung mit IQES online. Dieses Ergänzungsprojekt ist ebenfalls Gegenstand der Evaluation Der vorliegende Bericht enthält die Ergebnisse der Online-Befragung derjenigen Schulleitungen, die ihre Schule seit 2009 für IQES online angemeldet haben. Ergänzt werden diese Ergebnisse mit den Resultaten aus mündlichen Interviews, die mit Schulleitungen und Lehrpersonen geführt wurden. Weiter enthält der Bericht die Auswertungsergebnisse der Zusatzfragen, welche den Pilotschulen zu den schulinternen Weiterbildungen im Rahmen des Projekts Unterrichtszentrierte Qualitätsentwicklung gestellt wurden. Auch hier wurden zur Ergänzung mündliche Interviews mit Lehrpersonen und Schulleitungen geführt, deren Ergebnisse in den Bericht einfliessen. Der Bericht ist wie folgt strukturiert: In Kapitel 2 werden die Fragestellungen der Evaluation umrissen sowie das methodische Vorgehen beschrieben. Kapitel 3 enthält die deskriptiven Ergebnisse der schriftlichen und mündlichen Befragung zum Projekt IQES online sowie zum Pilotprojekt Unterrichtszentrierte Qualitätsentwicklung in Pilotschulen. Ergänzt werden die Befragungsergebnisse durch Angaben zur Userstatistik von IQES online. Das Kapitel 4 beantwortet anhand der zusammengefassten Ergebnisse die Fragestellungen der Schlussevaluation und formuliert die daraus abgeleiteten Handlungsfelder. Im Anhang finden sich ergänzende Tabellen zu den Abbildungen sowie der Fragebogen und der Interviewleitfaden. 4 Das Zentrum für Bildungsevaluation wurde auf den 1. August 2012 mit dem Zentrum für Forschung und Entwicklung zum neuen Institut für Forschung, Entwicklung und Evaluation IFE zusammengeführt. 5 PHBern, Zentrum für Bildungsevaluation (2011): Schlussbericht zur Zwischenevaluation IQES online im Kanton Bern. 6 Das Projekt UZQE wird in Zusammenarbeit von Beraterinnen und Beratern des Instituts für Weiterbildung der PHBern (IWB) und vom Beratungsteam IQES/ schulentwicklung.ch begleitet. 7

8 2 Fragestellungen und methodisches Vorgehen Das folgende Kapitel enthält die Fragen, die mit der Schlussevaluation beantwortet werden sollen. Weiter werden das methodische Vorgehen bei der Durchführung der Befragungen sowie deren Auswertung beschrieben. 2.1 Fragestellungen Mit der Schlussevaluation sollen folgende Fragestellungen beantwortet werden: 1. Wie haben die angemeldeten Schulen IQES online seit der Anmeldung bis zum Zeitpunkt der Schlussevaluation genutzt? 2. Wie schätzen die Schulleitungen die Handhabung und den Nutzen der Plattform ein? 3. Wie schätzen die Lehrpersonen die Handhabung und den Nutzen der Plattform ein? 4. Inwiefern können die Lehrpersonen IQES online für das Schüler- und Kollegialfeedback bzw. für die Unterrichtsentwicklung nutzen? 5. Konnten Ergebnisse der Arbeit mit IQES online für das Controlling genutzt werden? 6. Wie beurteilen die Lehrpersonen und Schulleitungen die inhaltliche und methodische Qualität der Weiterbildungen? 7. Wie gut können Lehrpersonen (Feedback, im Unterricht) und Schulleitungen (bei den Schulleitungsaufgaben) die in den Weiterbildungen erworbenen Kenntnisse und Fähigkeiten in der Praxis einsetzen? 8. Inwieweit trug das Projekt Unterrichtszentrierte Qualitätsentwicklung in Pilotschulen dazu bei, die unterrichtsbezogene Zusammenarbeit zu fördern? 9. Wie wird der Nutzen des Projekts Unterrichtszentrierte Qualitätsentwicklung in Pilotschulen vom Projektteam eingeschätzt? 2.2 Methodisches Vorgehen Schriftliche Befragung Als Grundlage für die schriftliche Befragung wurde derselbe Fragebogen verwendet, der bereits bei der Zwischenevaluation zum Einsatz kam. Die Fragen wurden in Zusammenarbeit mit Florica Marian (Fachstelle Evaluation, ERZ), Peter Hänni (AKVB, ERZ) und Gerold Brägger (IQES online) überprüft, wo nötig aktualisiert und ergänzt. Neu wurden einige Fragen zum Nutzen von IQES online für das kantonale Controlling gestellt. Alle Schulen, die seit 2009 einen Account für IQES online gelöst haben, wurden zur Befragung eingeladen. Sie werden im Bericht als IQES-Schulen bezeichnet. Die fünf Schulen, die am Pilotprojekt Unterrichtszentrierte Qualitätsentwicklung in Pilotschulen teilnehmen, wurden ebenfalls zur Befragung eingeladen. Die fünf Schulen werden im Bericht als Pilotschulen bezeichnet (zur Definition der Pilotschulen s. auch den Abschnitt Vorgehen bei der Auswertung ). Der Fragebogen enthält Fragen zu folgenden Themen: Information, Kommunikation und Anmeldung zu IQES online Kursangebot des Instituts für Weiterbildung (IWB) Nutzung und Beurteilung der Plattform Nutzen von IQES online für das Qualitätsmanagement Nutzen von IQES online für das kantonale Controlling Beurteilung der schulinternen Weiterbildungen im Projekt UZQE (nur Pilotschulen) 7 Da die Befragung im Jahr 2010 durchgeführt wurde, wird im vorliegenden Bericht wird immer die Jahreszahl 2010 angegeben, auch wenn der Zwischenbericht im Jahr 2011 veröffentlicht wurde. 8

9 Vorgehen bei der Auswertung Mit Ausnahme der Fragen zu den schulinternen Weiterbildungen im Rahmen des Projekts UZQE erhielten die IQES-Schulen und die Pilotschulen denselben Online-Fragebogen zum Ausfüllen. Die von beiden Gruppen beantworteten Fragen wurden zusammen ausgewertet. Eine der Pilotschulen ist eine sehr grosse Schule mit mehreren Schulhäusern und demnach mehreren Schulhausleitungen. Die Gesamtschulleitung erhielt den Fragebogen für die Pilotschulen, die einzelnen Schulhausleitungen erhielten den Fragebogen für die IQES-Schulen zugeschickt. Drei der Schulhausleitungen füllten diesen Fragebogen aus. Da diese Schulhäuser ebenfalls am Projekt UZQE beteiligt sind und an den schulinternen Weiterbildungen teilnehmen, haben sie andere Voraussetzungen als die anderen IQES-Schulen. Es wurden deshalb folgende methodischen Entscheidungen getroffen: Die drei Schulhäuser werden ebenfalls als Pilotschulen kategorisiert. Es sind folglich insgesamt acht Pilotschulen (fünf reguläre plus drei Schulhäuser der einen Pilotschule). Für die Darstellung der Ergebnisabbildungen der gemeinsamen Fragen wurden der besseren Lesbarkeit halber die Antworten aller Befragten, also inklusive der Pilotschulen, einbezogen. Die separaten Antworten der Pilotschulen sind wo sinnvoll in den Tabellen im Anhang ersichtlich, welche detailliertere Angaben zu den Abbildungen im Ergebnisteil enthalten. Um zu überprüfen, ob sich die beiden Gruppen IQES-Schulen und Pilotschulen bei den Einschätzungen signifikant unterscheiden, wurden nonparametrische Prüfverfahren 8 angewendet. Im Text werden jeweils nur die signifikanten Unterschiede erwähnt und die statistischen Kennzahlen in einer Fussnote ausgewiesen Mündliche Befragung Gruppengespräche mit Pilotschulen Mit drei der Pilotschulen, die bereits seit 2010 am Projekt UZQE teilnehmen, wurde je ein Gruppengespräch durchgeführt. Die Gespräche fanden vor Ort in den Schulhäusern statt. In den Gruppen waren sowohl Schulleiterinnen und -leiter wie auch Lehrerinnen und Lehrer vertreten. Ziel der mündlichen Befragung war es einerseits, die Lehrpersonen direkt zu Wort kommen und so ihre Erfahrungen mit IQES online und dem Projekt UZQE einfliessen zu lassen. Zum anderen ermöglichte die direkte Begegnung mit den Teilnehmenden vertiefende Fragen. Die wichtigsten Aussagen der Teilnehmenden wurden in Form von Posterprotokollen auf dem Flipchart dokumentiert. Sie bildeten die Informationsgrundlage für die Auswertungen 9. Gruppengespräche mit IQES-Schulen Die mündliche Befragung von drei IQES-Schulen sollte ebenfalls dazu dienen, die Meinung und Erfahrung von Lehrpersonen direkt in die Evaluation einfliessen zu lassen. Bei der Auswahl der Schulen wurde auf Schulleitungen geachtet, welche bei der schriftlichen Befragung angegeben hatten, dass die Lehrpersonen IQES online bereits genutzt haben. Die Bewertung von IQES online durch die Schulleitung spielte bei der Auswahl jedoch keine Rolle. Weiter wurden Schulen unterschiedlicher Grösse und Stufen berücksichtigt. Mit zwei Schulen wurden die Gespräche vor Ort durchgeführt. Bei der dritten Schule stellte sich heraus, dass die Lehrpersonen nur wenig Erfahrung mit IQES online hatten und sich ein Besuch in der Schule deshalb nicht lohnen würde. Mit zwei Lehrpersonen dieser Schule konnten als Alternative telefonische Kurzinterviews durchgeführt werden. Obwohl diese Schule erst über wenige Erfahrungen mit IQES online berichten kann, wurde sie in die Stichprobe einbezogen. Damit soll aufgezeigt werden, wie unterschiedlich IQES online eingesetzt wird. Bei einer Schule wurde ein Posterprotokoll erstellt, bei einer zweiten Schule wurde das Gespräch aufgezeichnet und im Anschluss zusammengefasst, bei der dritten Schule wurden die Aussagen der Lehrpersonen während des telefonischen Interviews notiert. Somit dienten jeweils schriftliche Notizen als Informationsgrundlage für die Auswertung der Interviews. 8 Mann-Whitney-U-Test für den Vergleich von unabhängigen Stichproben (vergleicht Rangreihen). Geeignet für ordinale Daten und kleine Stichproben. 9 Aus Datenschutzgründen werden die Protokolle nicht im Anhang aufgeführt. 9

10 Alle Gespräche fanden im Mai und Juni 2012 statt. Die Ergebnisse aus den Interviews mit den drei IQES-Schulen werden jeweils bei den entsprechenden thematischen Bereichen hinzugefügt. Es ist zu beachten, dass diese Aussagen die Erfahrungen und Ansichten einzelner Schulen wiedergeben und nicht repräsentativ sind. Sie dienen als Ergänzung zu den quantitativen Daten und sollen einen kleinen Einblick in den Umgang dieser Schulen mit IQES online geben. Interviews mit dem Projektteam UZQE Mit dem Projektteam des Pilotprojekts UZQE wurden zwei Interviews durchgeführt, eines mit Beteiligten des IWB und eines mit Beteiligten von schulentwicklung.ch. Die Ergebnisse dieser Interviews werden in einem separaten Bericht zum Projekt UZQE z.hd. des Projektleiters der ERZ, Peter Hänni, zusammengefasst. 10

11 3 Ergebnisse 3.1 Stichprobe Organisation der Befragung Mitte März 2012 wurden die Schulleiterinnen und Schulleiter aller 310 Schulen, die seit 2009 einen Account für IQES online gelöst hatten, per zur Befragung eingeladen. Anfangs und Mitte April wurden ebenfalls per Mail eine erste und zweite Erinnerungseinladung verschickt. In Absprache mit Peter Hänni (ERZ) wurde die Frist für das Ausfüllen der Umfrage bis Ende April verlängert. 186 Personen haben den Fragebogen schliesslich vollständig ausgefüllt. Vier Personen haben nur einige Fragen ausgefüllt, jedoch wurden deren Ergebnisse ebenfalls in die Auswertungen einbezogen. Hinzu kommen die Fragebogen der fünf Pilotschulen, die alle vollständig ausgefüllt wurden. Insgesamt entspricht das Ergebnis einer Rücklaufquote von 62 Prozent. Im Vergleich zur ersten Befragung 2010 ist der Rücklauf damit um sieben Prozent höher (s. Tab. 1). Einzelne Schulen teilten per mit, dass die Umfrage nicht ausgefüllt werden konnte (z.b. wegen Krankheit, weil IQES online bisher noch nicht ausprobiert werden konnte oder weil die Umfrage von einer anderen Schule im Ort ausgefüllt worden war). Für die Datenauswertung wurde jeweils von einer Gesamtstichprobe inkl. der Pilotschulen ausgegangen (N=195). Teilnahme an der Zwischenevaluation 2010 und der Schlussevaluation Personen haben bereits an der ersten Befragung 2010 teilgenommen, 97 Personen nahmen 2012 zum ersten Mal teil und 35 Personen haben diese Frage nicht beantwortet (s. Tab. 1). Tab. 1: Rücklauf Befragungen 2010 und 2012 Jahr Einladungen Rücklauf Teilnahme 2010 ja Teilnahme 2010 nein Teilnahme k. A (55%) * 195* (62%) *Inkl. 5 Pilotschulen Projekt UZQE Funktion der Teilnehmenden Nach ihrer Funktion gefragt, gaben 118 Personen an, als Schulleiterin bzw. Schulleiter und gleichzeitig Qualitätsmanagementbeauftragte/r tätig zu sein, 86 Personen haben eine Anstellung als Lehrerin oder Lehrer, 78 Personen arbeiten als Schulleiterin oder Schulleiter und drei Personen haben die Funktion des/der QM-Beauftragten/r inne. Fünf Personen haben diese Frage nicht beantwortet (s. Tab. 2). Tab. 2: Funktion der Teilnehmenden (n=190) Funktion Nennungen* Schulleitung und QM-Beauftragte/r 118 Lehrperson 86 Schulleitung 78 QM-Beauftragte/r 3 *Mehrere Antworten möglich 11

12 Schulgrösse Die meisten der Befragten arbeiten in Schulen mit 8 und mehr Klassen (n=132), 46 Personen in Schulen mit 4 bis 7 Klassen und sechs Personen in Schulen mit 1 bis 3 Klassen. Von sieben Personen wurde diese Frage nicht beantwortet (s. Tab. 3). Tab. 3: Schulgrösse (n=191) Schulgrösse Nennungen 8 und mehr Klassen Klassen Klassen 6 Keine Antwort 7 Zugangsjahr zu IQES online Etwas mehr als die Hälfte der Schulen hat den Zugang zu IQES online im Jahr 2009 erhalten, gut ein Fünftel im Jahr 2010, knapp ein Viertel im Jahr 2011 und sechs Schulen haben den Account im Jahr 2012 gelöst (s. Abb. 1). Abb. 1: Zugangsjahr zu IQES online 12

13 3.2 Information und Kommunikation seitens Erziehungsdirektion (ERZ) Die folgenden Fragen wurden nur Personen gestellt, die entweder nicht an der Befragung von 2010 teilgenommen oder die Frage zur früheren Teilnahme nicht beantwortet haben (n=132). Die Schulleitungen und QM-Beauftragten wurden gebeten, Aussagen zu Information und Kommunikation seitens Erziehungsdirektion zum Projekt IQES online zu beurteilen. Die Antworten zu den Items liegen überwiegend im positiven Bereich, wie untenstehende Abbildung 2 zeigt. Die beiden Aussagen zur Auskunft seitens ERZ wurden nur von weniger als der Hälfte der Befragten beantwortet. Vermutlich hat sich die andere Hälfte diesbezüglich bisher nicht an die ERZ gewendet und konnte die Aussagen deshalb nicht beurteilen. Alle Einschätzungen sind sehr ähnlich wie bei der Befragung von Prozentanteil der Antworten n 0% 20% 40% 60% 80% 100% Ich fand das Anmeldeverfahren für die Nutzung von IQES online praktisch und effizient 15% 82% 124 Bei Fragen zu IQES online erhalte ich bei der ERZ in der Regel die Auskunft, die ich brauche. 5% 9% 84% 64 Ich wurde durch die Erziehungsdirektion des Kantons Bern (ERZ) zufriedenstellend über IQES online informiert. 3% 15% 81% 126 Bei Fragen zu IQES online erhalte ich bei der ERZ innert nützlicher Frist Antwort. 3% 15% 80% 64 Ich finde die Informationen auf der Homepage der ERZ zu IQES online nützlich und informativ (Text, Kurzpräsentation, Spielregeln, FAQ, Anmeldeformular Einführungskurse und - w orkshops). 24% 73% stimmt nicht stimmt eher nicht stimmt eher stimmt 116 Abb. 2: Beurteilung Information und Kommunikation seitens ERZ 3.3 Kursangebote des Instituts für Weiterbildung (IWB) zu IQES online Besuch/Beanspruchung von Kursangeboten Die befragten Personen konnten angeben, welche Kursangebote des IWB der PHBern zu IQES online sie bisher besucht bzw. beansprucht hatten. Abbildung 3 zeigt eine Übersicht der entsprechenden Kurse mit der Anzahl Nennungen. Es konnten mehrere Antworten angekreuzt werden. Unter Andere wurden ein Refreshingkurs, eine SchulleiterInnenausbildung, ein Workshop des Netzwerkes gesundheitsfördernde Schulen, die Weiterbildung im Rahmen des Projekts UZQE und das Erklären durch einen Kollegen erwähnt. 13

14 Anzahl Nennungen Einführungsworkshop à 3-4 Std.* 58 Integration im Rahmen eines CAS Schulund Qualitätsentwicklung oder Schulen leiten und führen* h-kurs für das Kollegium* Einführungskurs à 1 Tag* 31 Ich habe noch kein Kursangebot besucht/beansprucht. 18 Andere 7 Umsetzungsbegleitung bei der internen Evaluation, 3 x 1/2 Tag. 3 Abb. 3: Besuchte Kursangebote zu IQES online (n=132, mehrere Antworten möglich) Information/Kommunikation zu den Kursangeboten seitens IWB Die Information/Kommunikation zu den Kursangeboten seitens IWB wird wie bereits bei der Befragung 2010 von der Mehrheit der befragten Personen positiv beurteilt, wie Abbildung 4 zeigt (s. auch Tab. T-1 im Anhang). Prozentanteil der Antworten n 0% 20% 40% 60% 80% 100% Mit dem Ablauf der Anmeldung war ich zufrieden. 6% 92% 99 Die Ziele in den Kursausschreibungen sind meiner Ansicht nach klar formuliert. 14% 85% 104 Bei Fragen zu den Kursen erhalte ich beim IWB in der Regel die Auskunft, die ich brauche. 12% 86% 71 Bei Fragen zu den Kursen erhalte ich vom IWB innert nützlicher Frist Antwort. 16% 83% 75 stimmt nicht stimmt eher nicht stimmt eher stimmt Abb. 4: Beurteilung der Information und Kommunikation zu den Kursangeboten seitens IWB Diese Kursangebote werden in Kooperation mit dem Beratungsteam IQES/schulentwicklung.ch durchgeführt. 14

15 3.3.3 Beurteilung der Kursangebote Die Befragten wurden gebeten anzugeben, wie sehr sie den Aussagen zu den Kursangeboten zustimmen. Insgesamt lässt sich eine eher hohe bis hohe Zustimmung zu allen Aussagen feststellen. Durch die Kurse haben die Befragten die Möglichkeiten der Plattform besser kennengelernt oder wurden ermutigt, die Plattform an ihrer Schule zu nutzen. Die meisten Personen stimmen der Aussage zu oder eher zu, wonach ihre Erwartungen aufgrund der Kursausschreibung erfüllt wurde. Auch die in der Ausschreibung formulierten Ziele wurden nach Ansicht der Mehrheit erreicht (s. Abb. 5 unten sowie Tab. T-2 im Anhang). Die Ergebnisse entsprechen in etwa denjenigen der Zwischenevaluation. Prozentanteil der Antworten n 0% 20% 40% 60% 80% 100% Durch den Kurs habe ich die Möglichkeiten der Plattform besser kennengelernt. 3% 19% 77% 104 Meine Erwartungen, die ich aufgrund der Kursausschreibung hatte, wurden erfüllt. 23% 75% 101 Die in der Ausschreibung formulierten Ziele wurden meiner Meinung nach erreicht. 27% 70% 102 Der Kurs hat mich ermutigt, die Plattform an unserer Schule zu nutzen. 7% 23% 69% 104 Durch den Kurs habe ich Sicherheit im Umgang mit der Plattform gewonnen. 8% 42% 48% 104 Der Kurs hat mir viel gebracht. 9% 44% 46% 104 stimmt nicht stimmt eher nicht stimmt eher stimmt Abb. 5: Beurteilung der Kursangebote zu IQES online Ergänzungen aus den Interviews Aus den Interviews mit den drei IQES-Schulen können folgende ergänzenden Informationen berichtet werden. In einer Schule besuchten alle Standortschulleitungen einen Einführungskurs und führten anschliessend mit ihren Kollegien eine Weiterbildung durch. In der zweiten Schule hatte die Schulleitung bereits mit IQES online gearbeitet, bevor das Kollegium eine Weiterbildung zum Thema Feedback sowie eine Einführung in die Methodenkoffer erhielt. Laut einer Lehrperson war der Einführungskurs zu theoretisch aufgebaut und ihr fiel der Einstieg zu IQES online ohne praktische Beispiele aus der Weiterbildung etwas schwer. Sie nahm die Kursleitung als nicht optimal vorbereitet wahr. Die Schulleitung beurteilte die Einführung als ein wenig trocken. In der dritten Schule wurde ein Einführungskurs zu den kooperativen Lernformen durchgeführt, welcher von einer Lehrperson sehr positiv beurteilt wurde. Sie schätzte den Kurs als guten Einstieg und erhielt viele Ideen, wie sie die Methoden für ihren Sprachunterricht einsetzen kann. Sie macht damit sehr gute Erfahrungen und freut sich, dass sie auch als langjährige Lehrerin noch Neues lernen kann, das sie begeistert. 15

16 3.4 IQES online Kommunikation zu IQES online in den Schulen Bis zum Zeitpunkt der Befragung hatten sieben Schulleitungen ihr Kollegium noch nicht über die Anmeldung für IQES online informiert. 98 Personen informierten ihr Team im Rahmen einer Sitzung oder einer Konferenz. 53 Personen informierten an einer schulinternen Fortbildung und 28 Personen hatten einen h-kurs zu IQES online organisiert. Eine Person schrieb, die Lehrpersonen seien anhand einer durchgeführten Umfrage zu IQES online informiert worden Nutzung von IQES online durch die Schulleitungen/QM-Beauftragten 174 der befragten Personen (90%) haben IQES online bisher in irgendeiner Weise genutzt. 17 Personen gaben an, IQES online bisher noch nicht genutzt zu haben. Dazu wurden folgende Gründe aufgezählt (die Anzahl Nennungen ist in Klammern angegeben; es waren mehrere Antworten möglich): Bisher war noch kein Einsatz der Instrumente geplant (10) Aus Zeitgründen (9) Unsere Schule hat andere Prioritäten (7) Wegen Berührungsängsten (1) Andere Gründe (5) Unter Andere Gründe gaben drei Personen an, der Einsatz von IQES online sei geplant, eine Person schrieb, dass andere Instrumente genutzt werden und in einer Schule hatte es dafür wegen dringenderen Umständen zu wenige Ressourcen). Zwei Personen haben die Frage zur Nutzung nicht beantwortet. Danach gefragt, welche anderen Personen(gruppen) (nebst den Schulleitungen und den Lehrpersonen) die Plattform bisher bereits genutzt haben, gaben 25 Befragte an, sie sei von Leitenden der schulischen Tagesbetreuung genutzt worden und 20 Personen kreuzten die Gruppe Schulträger an. Sieben Befragte gaben unter Andere Fachleitung Spezialunterricht, Schulsozialarbeit, Gesamtschulleiter, Schulleitungen, Heilpädagoge und Schulkommission an. 138 Befragte gaben an, dass bisher keine anderen Personen(gruppen) die Plattform genutzt haben. Befragungen und Instrumente Die folgenden Fragen zur konkreten Nutzung wurden nur denjenigen Personen gestellt, welche die Frage nach der bisherigen Nutzung von IQES online mit ja oder gar nicht beantwortet hatten (n=176). In Abbildung 6 wird ersichtlich, wie viele Personen Befragungen durchgeführt und Fragebogen abgeändert oder neu konzipiert haben. Anzahl Nennungen Ich habe Online-Befragungen durchgeführt Ich habe bestehende Fragebogen abgeändert. Ich habe Befragungen in Papierform durchgeführt. Ich habe Fragebogen neu konzipiert Abb. 6: Nutzung von IQES online (n=176, mehrere Antworten möglich) 16

17 Durchgeführte Befragungen Von den Schulleiterinnen und Schulleitern bzw. den QM-Beauftragten wurden bisher sowohl online wie auch in Papierform Befragungen durchgeführt. Tabelle 4 zeigt in der Übersicht, mit welchen Personengruppen welche Art von Befragungen durchgeführt wurde. Am häufigsten sind Lehrpersonen, am zweithäufigsten Schülerinnen und Schüler befragt worden. Tab. 4: Durchgeführte Befragungen* (n=175) Befragte Personen Online Papier Lehrpersonen Schüler/-innen Eltern Schulbehörden 17 7 Total *Mehrere Antworten möglich Andere Instrumente Ausser Befragungen hatten die Schulleitungen auch noch andere Instrumente aus dem Evaluationscenter heruntergeladen. Die Nennungen sind in Abbildung 7 dargestellt. Unter Andere wurde Folgendes aufgezählt: Kompetenzraster, Unterlagen aus dem Methodenkoffer Kooperative Lernformen, SchülerInnenfeedback, Items Tagesschule, Unterrichtsentwicklung, Was ist guter Unterricht. 27 Personen gaben an, sie hätten keine anderen Instrumente heruntergeladen (s. dazu auch Tab. T-3 im Anhang). Anzahl Nennungen Beobachtungsbogen für gegenseitige Unterrichtsbesuche Gesprächsleitfaden Andere Ratingkonferenz Abb. 7: Andere Instrumente (n=175, mehrere Antworten möglich) 17

18 Dokumente aus der Bibliothek Welche Dokumente die Befragten aus der Bibliothek heruntergeladen haben, zeigt untenstehende Abbildung 8 (s. dazu auch Tab. T-4 im Anhang). Anzahl Nennungen Dokumente aus dem Methodenkoffer "Kooperatives Lernen" Beispiele guter Praxis Grundlagentexte Dokumente aus dem Methodenkoffer "Lernen lernen/lernkompetenzen" Fachartikel Handlungsanleitungen Dokumente aus dem Methodenkoffer "Lesekompetenz/kooperatives Lesetraining" Keine Dokumente Lernvideos im Unterricht 3 Abb. 8: Heruntergeladene Dokumente aus der Bibliothek (n=174, mehrere Antworten möglich) User-Statistik nach Angaben von IQES online Wie bereits für die Zwischenevaluation wurde Gerold Brägger von IQES online um eine User-Statistik für die Schulen des Kantons Bern gebeten. Für die Erstellung dieser Statistik nutzt IQES online zwei Datenquellen: Zum einen werden mit dem Statistik-Tool von Google Analytics sämtliche Zugriffe auf die Website erfasst. Zum anderen können die Zugriffe von angemeldeten Benutzerinnen und Benutzern quantitativ ausgewertet werden. Die folgenden Angaben umfassen den Zeitraum vom Januar 2009 bis 30. April Besuche der Website Von Januar 2009 bis Ende April 2012 besuchten eindeutige Besucherinnen und Besucher 10 aus der Region Bern ein- oder mehrmals die Website Durchschnittlich verblieben die Besuchenden acht Minuten auf der Webseite. Am häufigsten wurden Online-Fragebogen aufgerufen, gefolgt vom Evaluationscenter. Die Besuchszahlen schwanken während des Schuljahres stark: Während der Sommer- und Winterferien sind die Werte am tiefsten, die Spitzen finden sich zwischen Oktober und Dezember sowie zwischen März und Mai (s. Abb. 9). Während des erfassten Zeitraums ist die Zahl der eindeutigen Besucherinnen und Besucher insgesamt angestiegen (IQES online 2012, S. 12f.). 10 Für die Ermittlung der eindeutigen Besucherinnen und Besucher wird die Anzahl Personen gezählt, die in einem bestimmten Zeitraum ein- oder mehrmals auf die Seite zugreifen. 18

19 Abb. 9: Zahl der eindeutigen Besucherinnen und Besucher pro Monat im zeitlichen Ablauf (Quelle: IQES online 2012, S. 12) Online-Befragungen Nach Angaben von IQES online wurden von Januar 2009 bis April Online-Befragungen mit Personen durchgeführt. Untenstehende Abbildung zeigt die durchgeführten Befragungen für die Jahre 2010, 2011 und 2012, aufgeschlüsselt nach Evaluationsthemenbereich (Beschriftung links). Die farbigen Balken zeigen die Anzahl Befragungen der verschiedenen Personengruppen im jeweiligen Bereich (s. Abb. 10). Abb. 10: Online-Befragungen der Jahre 2010 bis Quelle: IQES online: Nutzung von IQES online durch die Schulen des Kantons Bern, 2. Bericht vom 30. April 2012, S. 4ff. 19

20 Heruntergeladene Offline-Instrumente Zu den Offline-Instrumenten gehören Unterrichtsbeobachtungsbogen, Gesprächsleitfaden und Beschreibungen von Feedbackmethoden im pdf-format sowie Fragebogen im Excel-Format (mit Tabellen für die Erfassung und Auswertung). Während der drei erfassten Jahre wurden gemäss IQES online insgesamt rund Instrumente heruntergeladen. Am häufigsten wurden leere Fragebogen mit Auswertungstabellen heruntergeladen, am zweithäufigsten Schüler/-innen-Feedbacks zur Unterrichtsqualität für die Klasse. Werden die Downloads nach denselben Themenbereichen aufgeschlüsselt wie bereits in obenstehender Abbildung 10 ersichtlich, so entfällt der weitaus grösste Anteil (78%) der Downloads auf den Bereich Unterricht und Lernen (IQES online 2012, S. 8). Dokumente aus der Bibliothek Die Bibliothek beinhaltet drei Hauptkategorien elektronischer Dokumente: 1) Methoden und Materialien für den Unterricht, 2) Texte zu Schulentwicklung Teamentwicklung Qualitätsmanagement sowie 3) Anleitungen und Hilfsdokumente. Abbildung 11 zeigt den Download von Dokumenten aus den drei Kategorien im zeitlichen Vergleich. Die grosse Zunahme der Dokumente aus dem Bereich Methoden und Materialien für den Unterricht ist gemäss IQES online auf zwei Gründe zurückzuführen: Zum einen wurde dieser Bereich in den letzten beiden Jahren stark weiterentwickelt und so mehr Dokumente zur Verfügung gestellt, zum anderen führen Schulen zunehmend schulinterne Weiterbildungen zur Nutzung von Materialien durch (IQES online 2012, S. 10; s. dazu auch Kapitel 3.6 zum Projekt Unterrichtszentrierte Qualitätsentwicklung). Abb. 11: Downloads von Bibliotheksdokumenten nach drei Kategorien aufgeteilt 12 Aus den Bereichen Methoden und Materialien für den Unterricht und Texte zu Schulentwicklung - Teamentwicklung und QM luden die Schulen des Kantons Bern im untersuchten Zeitraum am häufigsten folgende Dokumente herunter: 12 Quelle: IQES online: Nutzung von IQES online durch die Schulen des Kantons Bern, 2. Bericht vom 30. April 2012, S

21 Tab. 5: Dokumente aus der Bibliothek mit mehr als 300 Downloads 13 Titel Anzahl Das Gruppenrallye 549 Absichtlich Fehler einbauen 498 Kartensatz Lesestrategien 402 Das Partnerpuzzle 400 Das Gruppenpuzzle 358 Einer bleibt, die anderen gehen 357 Effektive Klassenführung 337 Schülerkarten Kooperatives Lernen- Kartensatz 331 Placemat 327 Das Lerntempoduett Beurteilung der Plattform IQES online durch die Schulleitungen/QM-Beauftragten Nachdem in den vorherigen Abschnitten berichtet wurde, wie die befragten Schulleitungen und QM- Beauftragten IQES online bisher genutzt haben, wird nun die Beurteilung der Plattform betrachtet. Die Befragten stimmten den in Abbildung 12 aufgelisteten Aussagen zur Plattform IQES online grossmehrheitlich zu oder eher zu (zwischen 91 und 98%). Die Beurteilung fällt demnach insgesamt sehr positiv aus. Knapp drei Viertel der Schulleiterinnen und Schulleiter bzw. QM-Beauftragten finden die Erläuterungen zu den Instrumenten verständlich und hilfreich und den Ergebnisbericht zur Online-Befragung gut lesbar und verständlich, ein Viertel bzw. knapp ein Viertel findet dies eher. 68 Prozent der Befragten beurteilen die auf IQES online zur Verfügung gestellten Instrumente als nützlich und aussagekräftig, 28 Prozent stimmen dieser Aussage eher zu. Mindestens 60 Prozent finden die Plattform optisch ansprechend, insgesamt benutzerfreundlich und beurteilen das Handling von Papierbefragungen als einfach. Zwischen 33 und 35 Prozent stimmen diesen Aussagen eher zu. 57 Prozent finden das Handling von Online-Befragungen einfach, etwas mehr als ein Drittel stimmen hier eher zu. Um die Hälfte der Befragten finden in der Regel innert nützlicher Frist die Informationen und Dokumente, die sie brauchen, haben sich auf der Plattform rasch zurechtgefunden und finden, die Struktur der Plattform erleichtere ihnen deren Gebrauch. Etwas mehr als 40 Prozent stimmen diesen drei Aussagen eher zu (s. Abb. 12 sowie Tabelle T-5 im Anhang). Gegenüber der ersten Befragung im Rahmen der Zwischenevaluation 14 sind die Prozentanteile der stimmt -Aussagen etwas höher als die der stimmt eher -Aussagen. In der Reihenfolge der Items gibt es kleinere Veränderungen. So stimmen z.b. zwölf Prozent mehr Befragte der Aussage Der Ergebnisbericht zur Online-Befragung ist gut lesbar und verständlich zu (72% gegenüber 60% im Jahr 2010). Auch 13 Quelle: IQES online: Nutzung von IQES online durch die Schulen des Kantons Bern, 2. Bericht vom 30. April 2012, S Vgl. PHBern 2011, S

22 das Handling von Online-Befragungen wird gegenüber 2010 etwas positiver eingeschätzt (57% stimmt - Aussagen gegenüber 46% im Jahr 2010). 15 Mit einem Test wurde geprüft, ob sich die Beurteilungen der beiden Gruppen IQES-Schulen und Pilotschulen (Teilnehmende am Projekt Unterrichtszentrierte Qualitätsentwicklung) statistisch signifikant unterscheiden. Die Gruppe Pilotschulen schätzt die Aussage Die auf IQES online zur Verfügung gestellten Instrumente sind nützlich und aussagekräftig überzufällig positiver ein als die Gruppe der IQES- Schulen. 16 Prozentanteil der Antworten 0% 20% 40% 60% 80% 100% n k.a. Die Erläuterungen zu den Instrumenten sind verständlich und hilfreich. 3% 25% 72% Der Ergebnisbericht zur Online- Befragung ist gut lesbar und verständlich. 4% 23% 72% Die auf IQES online zur Verfügung gestellten Instrumente sind nützlich und aussagekräftig. 4% 28% 68% Die Plattform ist optisch ansprechend gestaltet. 2% 35% 63% Ich finde die Plattform insgesamt benutzerfreundlich. 5% 35% 60% Das Handling von Papier-Befragungen ist einfach. 5% 33% 61% Das Handling von Online-Befragungen ist einfach. 5% 36% 57% In der Regel finde ich auf der Plattform innert nützlicher Frist die Informationen und Dokumente, die ich brauche. 5% 43% 51% Ich habe mich auf der Plattform rasch zurechtgefunden. 8% 42% 50% Die Struktur der Plattform erleichtert mir ihren Gebrauch. 8% 42% 49% stimmt nicht stimmt eher nicht stimmt eher stimmt Abb. 12: Beurteilung der Plattform durch die Schulleitungen (k.a. = keine Antwort) Ergänzungen aus den Interviews In den Interviews mit den drei IQES-Schulen wurde von einer Schulleitung erwähnt, dass der Leitfaden zur Fragebogenerstellung gut sei, das Anpassen eines Excel-Fragebogens sich jedoch als schwierig erwies 17. Der Aufbau der Bibliothek wurde als eher verwirrend beschrieben. Eine Lehrperson meinte, dass sie im Vergleich zur Schulleitung den Methodenkoffer eher angeschaut als wirklich gebraucht habe. Eine Schulleitung schätzt das Instrument für gross angelegte Untersuchungen und würde es als Verlust bezeichnen, wenn es IQES online nicht mehr gäbe. Es sei ein flexibles Instrument und eine Frage der Übung, um das Potential optimal nutzen zu können. Die Auswertungen werden positiv bewertet und die Grafiken hätten an Qualität dazugewonnen. Die Hinweise auf einen vorsichtigen Umgang mit den Daten sowie der Reminder werden von einer Schulleitung geschätzt. Diese bezeichnet die Entwicklung von IQES online als gut. Von einer anderen Schulleitung wird als positiv bezeichnet, dass IQES online sehr 15 Gemäss IQES online wurden aufgrund der Rückmeldungen bei der Zwischenevaluation im Jahr 2010 das Berichtformat und das Handling der Online-Befragungen neu gestaltet und optimiert. 16 Mann-Whitney-U-Test: Z= ; p Nach Auskunft von IQES online wurden die Anpassungsmöglichkeiten von Excel-Fragebogen inzwischen vereinfacht. 22

23 aktuelle und umfassende Forschungsergebnisse beinhalte. Diese Schulleitung sieht beispielsweise auch im Zusammenhang mit der Lehrplanentwicklung eine Zukunft mit IQES online. Aus ihrer Sicht braucht es viel Zeit (Jahre), um sich richtig in das Instrument einzuarbeiten und dieses an einer Schule einzuführen. Diese Schulleitung würde sich eine bessere Vernetzung unter den Schulen wünschen, welche ebenfalls mit IQES online arbeiten, um den Erfahrungsaustausch zu fördern Nutzung von IQES online durch die Lehrpersonen aus Sicht der Schulleitungen In der Online-Befragung wurde die Nutzung von IQES online durch die Lehrpersonen indirekt durch die Schulleitungen bzw. die QM-Verantwortlichen erfragt. 62 Prozent geben an, dass die Lehrpersonen ihrer Schule die Plattform bisher in irgendeiner Weise genutzt haben, etwas mehr als ein Viertel der Antwortenden verneinte dies, zehn Prozent konnten dazu keine Auskunft geben und zwei Personen haben diese Frage nicht beantwortet (s. Abb. 13). Abb. 13: Bisherige Nutzung von IQES online durch die Lehrpersonen (n=191) Die folgenden Fragen wurden nur denjenigen Schulleiterinnen und Schulleitern bzw. QM- Verantwortlichen gestellt, die angegeben hatten, dass die Lehrpersonen ihrer Schule IQES online bisher in irgendeiner Weise genutzt haben (n=119). Auf welche Art und Weise wurde IQES online bisher von den Lehrpersonen genutzt? Die Schulleitungen wurden gebeten, dies aufgrund von ihnen zugetragenen Rückmeldungen zu beantworten (z.b. im Rahmen des Mitarbeitendengesprächs, bei informellen Gesprächen, Konferenzen etc.). Bei einer ersten Frage konnten sie angeben, ob die Lehrpersonen IQES online für Schülerinnen- und Schülerfeedbacks, Kollegialfeedbacks oder die Methodenkoffer für die Unterrichtsentwicklung nutzen. Vier Fünftel der Befragten gaben an, dass die Lehrpersonen die Schülerinnen- und Schülerfeedbacks nutzen, knapp ein Drittel gab an, dass diese Kollegialfeedbacks nutzen. Fast zwei Drittel der befragten Schulleitungen bzw. QM-Verantwortlichen gaben an, dass die Lehrpersonen die Methodenkoffer für die Unterrichtsentwicklung nutzen (s. Abb. 14 sowie Tab. T-6 im Anhang). 23