Evaluation der Initiative SQA Schulqualität Allgemeinbildung

Transkript

1 Evaluation der Initiative SQA Schulqualität Allgemeinbildung Ergebnisse der ersten Befragungen von Schulleitungen, Schulaufsicht sowie SQA-Landeskoordinatorinnen und SQA-Landeskoordinatoren im Schuljahr 2014/2015 Brigitte Skliris

2

3 Evaluation der Initiative SQA Schulqualität Allgemeinbildung Ergebnisse der ersten Befragungen von Schulleitungen, Schulaufsicht sowie SQA-Landeskoordinatorinnen und SQA-Landeskoordinatoren im Schuljahr 2014/2015 Brigitte Skliris

4 Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121 / 5020 Salzburg Ergebnisse der ersten Befragungen von Schulleitungen, Schulaufsicht sowie SQA-Landeskoordinatorinnen und SQA-Landeskoordinatoren im Schuljahr 2014/15. Erich Svecnik (Hrsg.): Graz, Layout und Satz: Hannes Kaschnig-Löbel Lektorat: Martin Schreiner

5 Inhalt 7 1 Zusammenfassung 14 2 Hintergrund und Zielsetzung 15 3 Methodisches Vorgehen Stichprobe Sampling-Design Stichprobenziehung Datenerhebung Datenaufbereitung und Ergebnisdarstellung 19 4 Ergebnisse Kontextinformationen Erfahrung mit SQA Implementationsprozess Informationsquellen und Informationsqualität Informationsstand zu SQA Einschätzung und Akzeptanz von SQA Erwartungen an SQA Kernaussagen zum Implementationsprozess Entwicklungspläne (EP) EP-Erarbeitung Schul-EP Regional-EP Landes-EP Nutzen durch die gemeinsame Arbeit an den EP Einschätzung und Nutzung der EP Kenntnis und Relevanz der EP auf höheren Ebenen Unterstützungsbedarf bei der EP-Erstellung Kernaussagen zu den EP Bilanz- und Zielvereinbarungsgespräche (BZG) Rahmenbedingungen und Inhalte der BZG BZG zwischen Schulleitung und Schulaufsicht BZG zwischen PSI und LSI Vergleich zwischen den Ebenen Kommunikation und Zusammenarbeit Dialogische Führung BZG zwischen Schulleitung und Schulaufsicht BZG zwischen PSI und LSI Vergleich zwischen den Ebenen Unterstützungsbedarf bei den BZG Kernaussagen zu den BZG Unterstützung und andere Akteurinnen und Akteure im System Maßnahmen und Angebote bei der Umsetzung von SQA SQA-Schulkoordinatorinnen und -koordinatoren SQA-Landeskoordinatorinnen und -koordinatoren

6 Wahrgenommene Unterstützung Kernaussagen zu Unterstützung und anderen Akteurinnen und Akteuren im System Folgeprozesse Feedback und Evaluation Fort- und Weiterbildung Kernaussagen zu Folgeprozessen Zusammenführung der Evaluationsbereiche von SQA Globaleinschätzung und Anmerkungen zu SQA 98 5 Empfehlungen Literatur Anhang

7 Abkürzungsverzeichnis AHS APS BEP BMBF BSI BZG EBIS EP HS LEP LSI NMS OECD PH PSI PTS REP SEP SQA SQA-LK SQA-SK VS Allgemeinbildende höhere Schule Allgemeinbildende Pflichtschule Bundesschularten-EP Bundesministerium für Bildung und Frauen (nunmehr Bundesministerium für Bildung [BMB]) Bezirksschulinspektor/in Bilanz- und Zielvereinbarungsgespräch Entwicklungsberatung in Schulen Entwicklungsplan Hauptschule Landes-EP Landesschulinspektor/in Neue Mittelschule Organisation for Economic Co-operation and Development Pädagogische Hochschule Pflichtschulinspektor/in Polytechnische Schule Regional-EP Schul-EP Schulqualität Allgemeinbildung SQA-Landeskoordinator/in SQA-Schulkoordinator/in Volksschule

8

9 Ergebnisse der ersten Befragungen im Schuljahr 2014/ Zusammenfassung SQA Schulqualität Allgemeinbildung ist eine Initiative des Bildungsministeriums beruhend auf 18 Bundes-Schulaufsichtsgesetz und 56 Schulunterrichtsgesetz. Sie verfolgt das Ziel, durch pädagogische Qualitätsentwicklung und Qualitätssicherung in einem koordinierten Zusammenspiel aller Ebenen des Schulsystems zu bestmöglichen Lernbedingungen für Schüler/innen an allgemeinbildenden Schulen beizutragen. Das Bildungsministerium beauftragte das BIFIE mit der Durchführung der formativen Evaluation der Initiative. Das Forschungsinteresse liegt dabei auf den Realisierungsprozessen der Initiative auf verschiedenen Ebenen des Schulsystems, in verschiedenen Schularten und durch verschiedene Maßnahmen. Aufgrund der Komplexität der Initiative SQA ist auch die begleitende Evaluation entsprechend breit angelegt. Sie folgt einem Mixed-Methods-Design, wobei Implementation, Prozesse und Wirkungen von SQA aus unterschiedlichen Perspektiven (Schulleiter/innen, Schulaufsicht etc.) über mehrere Jahre hinweg analysiert werden. Im Schuljahr 2014/15 wurden mittels Online-Umfragen Schulleiter/innen, Landesschulinspektorinnen und Landesschulinspektoren (LSI), Pflichtschulinspektorinnen und Pflichtschulinspektoren (PSI) sowie SQA-Landeskoordinatorinnen und SQA-Landeskoordinatoren (SQA-LK) zur Akzeptanz der Initia tive SQA, zu ihrer Zufriedenheit mit den Informations- und Unterstützungsangeboten, ihren Erfah run gen mit der Erstellung von Entwicklungsplänen (EP) und der Durchführung von Bilanz- und Ziel ver ein barungsgesprächen (BZG) sowie ersten Folgeprozessen und Auswirkungen von SQA im jeweiligen Verantwortungsbereich befragt. Auf Ebene der Schulleiter/innen erfolgte die Datenerhebung anhand einer repräsentativen Stichprobe, für die höheren Ebenen wurden Vollerhebungen durchgeführt. Implementationsprozess: Wesentlich für die Wirksamkeit und Akzeptanz einer Maßnahme ist, dass sie von den beteiligten Personen als zielführend, Erfolg versprechend und sinnvoll erachtet wird. Dies kann durch die Bereitstellung umfassender, gut verständlicher Informationen unterstützt werden. In der Phase der Implementierung von SQA wird versucht, Qualitätsentwicklung und -sicherung an den allgemeinbildenden Schulen zu etablieren, wobei in diesem Zusammenhang Information aus verschiedenen Quellen (z. B. Rundschreiben, Web sites, Schulaufsicht, SQA-Koordinatorinnen und -Koordinatoren etc.) zur Verfügung gestellt wird und Kommunikation über verschiedene Kanäle erfolgt. Im Zuge der Evaluation sollte geklärt wer den, wie die Akteurinnen und Akteure auf allen Ebenen im Schulsystem die Informations- und Kom mu nika tionsstrategien in der Phase der Implementierung bewerten und welche Erwartungen sie in Bezug auf SQA hatten. Die Ergebnisse der Befragungen zeigen, dass die für SQA bereitgestellten Informationsquellen von den Beteiligten auf allen Ebenen des Schulsystems gut angenommen werden. Vor allem Workshops und Rundschreiben des BMBF (nunmehr Bundesministerium für Bildung [BMB]) sowie die Website werden von annähernd allen Akteurinnen und Akteuren als Informationsquellen für SQA genutzt. Am seltensten wird die Website (nunmehr als Informationsquelle genannt, allerdings wird auch diese noch von knapp zwei Drittel der Befragten genutzt. Die Qualität der Informationsquellen wird ebenfalls positiv bewertet. Abgesehen von Briefen des BMBF, denen nur mittlerer Informationsgehalt zugeschrieben wird, werden sämtliche Informationsangebote bezüglich SQA sehr informativ bis informativ beurteilt. Rollenklarheit in Bezug auf SQA sowie Informiertheit über Ziele und Philosophie der Initiative konnten großteils geschaffen werden. Allerdings wird in diesem Zusammenhang deutlich sichtbar, dass zwischen den Ebenen des Schulsystems ein gravierender Informationsverlust stattfindet. Während sich die dem BMBF direkt nachgeordneten SQA-LK sowie Schulaufsichtsorgane sehr gut informiert fühlen, nimmt der Informationsstand über die Schulleiter/innen bis hin zu den Lehrerinnen und Lehrern deut-

10 8 lich ab. Dieses Ergebnis zeigt sich sowohl in der Selbsteinschätzung der Schulleiter/innen als auch in der Fremdeinschätzung durch die Schulaufsicht und SQA-LK. Da die Schulen im Rahmen von SQA eine wesentliche Rolle spielen, ist es unerlässlich, dafür zu sorgen, dass den Schulleiterinnen und Schulleitern als direkt Verantwortlichen jene Informationen zur Verfügung gestellt werden, die sie für die Umsetzung von SQA am Standort brauchen. Gleichzeitig müssen auch die Lehrer/innen so weit über die Ziele der Initiative informiert werden, dass sie bei der Umsetzung von SQA aktiv mitwirken können. Folglich sollte der Informationsfluss vom BMBF über die Schulaufsicht bis hin zu den Schulen und innerhalb der Schulen von der Schulleitung bis zu den involvierten Lehrerinnen und Lehrern analysiert und optimiert werden. Insgesamt haben die Beteiligten auf allen Systemebenen mittel- und langfristig große Erwartungen an SQA. Diese betreffen vor allem eine Intensivierung von Unterrichts- und Schulentwicklungsmaßnahmen an und eine Intensivierung diesbezüglicher Kooperationen zwischen den Schulen, aber auch Unterstützung in der eigenen Funktion bei der Entwicklungsarbeit im jeweiligen Verantwortungsbereich. Gleichzeitig befürchten Schulleiter/innen durch SQA bedingten administrativen Mehraufwand sowie zusätzliche Belastungen im Schulalltag. Gegenüber dem Anspruch von SQA, dass Stärken und Gelingen mehr Beachtung finden sollten als Schwächen und Defizite, haben nur die höheren Ebenen Schulaufsicht und Landeskoordination eine sehr ausgeprägte Erwartungshaltung. Insgesamt haben Vertreter/innen dieser beiden Ebenen höhere Erwartungen an SQA als Schulleiterinnen und Schulleiter. Wesentliche Aspekte von SQA wie Feedback für die Weiterentwicklung des Lernens und Lehrens oder das Prinzip der dialogischen Führung werden auf allen Ebenen als wichtig und sinnvoll erachtet. Schulleiter/innen und Schulaufsicht fühlen sich in großem Maße verantwortlich für die Umsetzung und die Ergebnisqualität von SQA und auch die SQA-LK leisten diesbezüglich einen wichtigen Beitrag. Generell wird SQA langfristig als taugliches Instrument zur Sicherung und Weiterentwicklung der pädagogischen Qualität sowohl an der Einzelschule hier fallen besonders die positiven Einschätzungen von Schulleiterinnen und Schulleitern, die bereits im Schuljahr 2012/13 mit der Arbeit an SQA begonnen haben, auf als auch in der Bildungsregion und im gesamten Bundesland gesehen. Bezüglich der Art und Weise, wie das BMBF versucht, SQA im Schulsystem zu etablieren, gehen die Meinungen stark auseinander. Während die Verantwortlichen auf den höheren Ebenen hinter der Vorgehensweise des BMBF stehen, betrachten Schulleiter/innen diese skeptisch, wobei Schulleiter/innen aus dem SQA-Pilotjahr den Implementationsprozess besser beurteilen als Schulleiter/innen, die erst zu einem späteren Zeitpunkt mit SQA begonnen haben. Eines der Ziele von SQA größere Klarheit bezüglich der Begriffe Individualisierung und Kompetenzorientierung an den Schulen zu schaffen konnte bisher noch nicht erreicht werden. Zusammenfassend kann gesagt werden, dass SQA auf allen Ebenen des Schulsystems breite Akzeptanz genießt und große Erwartungen an die Initiative gestellt werden. Dabei darf aber nicht übersehen werden, dass die Einschätzungen der Schulleiter/innen in fast allen Bereichen etwas geringer ausfallen als die Einschätzungen der Schulaufsicht und der SQA-LK und auf Schulebene teilweise auch Befürchtungen im Zusammenhang mit SQA bestehen. Entwicklungspläne (EP): Entwicklungspläne (EP) werden auf Schul-, Regional-, Landes- und Bundesebene jeweils jährlich für einen Zeitraum von drei Jahren erstellt und bilden ein Kernelement von SQA. Inhaltlich umfassen die EP jeweils zwei Großthemen, wobei das erste Thema an die Rahmenzielvorgabe des BMBF gebunden ist und das zweite innerhalb bestimmter Rahmen frei wählbar ist. EP bilden die inhaltliche Basis für die ebenfalls jährlich stattfindenden Bilanz- und Zielvereinbarungsgespräche (BZG) mit der jeweils nächsthöheren Ebene (z. B. zwischen Schulleitung einer Pflichtschule und PSI). Die Erstellung des EP soll als partizipativer Prozess auf möglichst breiter Basis stattfinden. Die Evaluation der EP zielt maßgeblich darauf ab, diese Entstehungsprozesse und die inhaltlichen Komponenten der EP sowie den Prozess der Umsetzung und Weiterentwicklung der EP zu beschreiben. Daher erfolgt die vertiefte Analyse der EP in

11 Ergebnisse der ersten Befragungen im Schuljahr 2014/15 9 erster Linie durch einen qualitativen Zugang. Im Zuge der vorliegenden Befragungen wurden daher nur Rahmenbedingungen (Beteiligte, Öffentlichkeitsgrad), die allgemeine Einstellung gegenüber dem EP sowie die Kenntnis bzw. Relevanz der EP auf anderen Ebenen erfasst. Die Ergebnisse zeigen, dass an der Erarbeitung des Schul-EP vorwiegend Schulleiter/innen und SQA- SK beteiligt sind, wobei in vielen Fällen auch Lehrer/innen am Standort hinzugezogen werden. Der Öffentlichkeitsgrad dieses EP beschränkt sich in den meisten Fällen auf oben genannte Personen(gruppen), wobei etwas mehr als ein Viertel der EP auch Eltern/Erziehungsberechtigten zugänglich gemacht wird. Allen Schulpartnerinnen und Schulpartnern wird nur an jeder sechsten Schule Zugriff auf den EP gewährt. Insgesamt zeigt sich, dass der EP als schulinternes Dokument behandelt wird und der Zugang schulexternen Personen(gruppen) verwehrt bleibt. Kleinschulen in SQA-Verbünden profitieren großteils von der gemeinsamen Arbeit an einem EP bzw. EP-Thema. Häufig resultieren daraus Impulse für die Entwicklung der eigenen Schule oder für die weitere Zusammenarbeit im Verbund, eventuell auch über SQA hinaus. Auch für Schulen unter einer Leitung bringt die gemeinsame Arbeit an einem EP bzw. EP-Thema in knapp zwei Drittel der Fälle Impulse für die weitere Zusammenarbeit der Schulen. Ungefähr die Hälfte der Regional-EP wird von der/vom jeweils verantwortlichen PSI gemeinsam mit weiteren PSI aus der Region erarbeitet, bei einem Viertel arbeiten (auch) Schulleiterinnen/Schulleiter mit. Die/der SQA-LK ist nur in 15 Prozent der Regional-EP in deren Erarbeitung eingebunden. 36 Prozent der PSI arbeiten den EP allein aus, was bedeutet, dass auf Regionalebene der Forderung, die EP-Erstellung als partizipativen Prozess stattfinden zu lassen, in mehr als einem Drittel der Fälle nicht Rechnung getragen wird. Auf Landesebene wird die/der LSI vorwiegend durch weitere LSI aus dem Bundesland und die/den SQA- LK bei der EP-Erarbeitung unterstützt. Schulleiter/innen an AHS sowie PSI also die der/dem LSI jeweils nachgeordneten Personen(gruppen) sind bei über 20 Prozent der Landes-EP in die Ausarbeitung eingebunden. Gleich häufig und damit doppelt so oft wie im AHS-Bereich ist im Pflichtschulbereich die Fachinspektorin/der Fachinspektor involviert. Von der gemeinsamen Arbeit am EP profitieren vor allem Vertreter/innen der Schulaufsicht im APS- Bereich durch daraus resultierende neue Erfahrungen und Erkenntnisse sowie Impulse für weitere Kooperationen. Auf allen Systemebenen werden Grundstruktur und Leitfragen des EP als sinnvoll und nützlich erachtet und der eigene EP als Arbeitsinstrument für die Weiterentwicklung der Schul- und Unter richtsqualität genutzt. Obwohl Schulaufsicht und SQA-LK von einer Nutzung der Regional- und Landesentwicklungspläne durch die Schulleiter/innen ausgehen, wird aus deren Antworten ersichtlich, dass die EP der höheren Ebenen bei den Schulleiterinnen/Schulleitern relativ unbekannt sind, wobei der Bekanntheitsgrad mit zunehmender Entfernung von der Schulebene abnimmt. Zudem wird deutlich, dass die Relevanz der EP reziprok zu ihrer Position in der EP-Hierarchie beurteilt wird. Dasselbe Bild zeigt sich auch bei PSI, die dem Landes-EP mehr Relevanz zusprechen als dem Bundes-Schularten-EP. Unterstützungsbedarf bezüglich der Erarbeitung des EP wird nur selten genannt, wobei sich dieser hauptsächlich im Wunsch nach Unterstützung durch klare Vorgaben, externer Unterstützung und Beratung sowie qualitativ hochwertigen Fortbildungen zeigt. Bilanz- und Zielvereinbarungsgespräche (BZG): Bilanz- und Zielvereinbarungsgespräche (BZG) stellen ein weiteres zentrales Element von SQA dar. Sie erfolgen idealerweise jährlich zwischen den Führungspersonen zweier benachbarter Ebenen (z. B. zwischen Schulleitung und Schulaufsicht). Basis des BZG bildet der jeweils aktuelle EP der nachgeordneten

12 10 Ebene (z. B. beim BZG zwischen Schulleitung und Schulaufsicht der Schul-EP). BZG sind wichtige Führungsinstrumente, in denen sich das Prinzip der dialogischen Führung besonders deutlich zeigen soll. Sie sollen von einem Klima der Wertschätzung für Persönlichkeit und Expertise des Gegenübers gekennzeichnet sein, wobei ein weitgehender Verzicht auf hierarchische Verhältnisse stattfindet. Ziel ist es, zu einer von beiden Seiten akzeptierten Vereinbarung zu kommen, wobei die Verbindlichkeit durch Verschriftlichung und Unterzeichnung der Vereinbarungen hergestellt wird. Die Evaluation fokussiert sowohl auf den Ablauf als auch den Nutzen der BZG, wobei geklärt werden soll, wie die BZG gestaltet, umgesetzt und organisiert werden und ob sie ihr Ziel, dialogische Führung auf allen Ebenen zu etablieren, erreichen. BZG zwischen Schulleitung und Schulaufsicht finden annähernd gleich häufig an der eigenen Schule bzw. am BSR/LSR statt. Neben der Schulleitung nimmt (fast) immer die/der verantwortliche LSI/PSI am BZG teil, an AHS großteils auch die/der SQA-SK. Deutlich seltener sind Lehrer/innen oder die/ der SQA-LK beteiligt. An BZG zwischen PSI und LSI beteiligen sich neben dem zuständigen LSI meist noch weitere LSI, in mehr als der Hälfte der Fälle auch die/der SQA-LK, deutlich seltener weitere PSI aus der Region. Während rund ein Drittel der BZG zwischen Schulleiter/in und Schulaufsicht eine Stunde oder weniger Zeit einnimmt, können BZG zwischen PSI und LSI kaum in dieser Zeit bewältigt werden. Jedes fünfte BZG innerhalb der Schulaufsicht dauert sogar länger als drei Stunden. Am häufigsten benötigen Gespräche zwischen PSI und LSI eineinhalb oder zwei Stunden, zwischen Schulleiter/in und LSI/PSI eine oder eineinhalb Stunden. Nur rund 19 Prozent der PSI sehen sich in der Lage, alle erforderlichen BZG mit den Schulleitungen innerhalb eines Jahres durchzuführen. Selbst unter Berücksichtigung der Regelung, dass PSI mit einer großen Anzahl an Schulen im Verantwortungsbereich zwei Jahre für die Durchführung aller BZG zugestanden werden, bleiben immer noch 17 Prozent, die diese Vorgabe nach eigener Einschätzung nicht erfüllen können. In den meisten BZG wird der EP thematisiert. Dennoch gibt es einen geringen Anteil an BZG, für die der EP nicht wie vorgesehen die inhaltliche Basis darstellt. Dies betrifft sowohl BZG zwischen Schulleitung und Schulaufsicht als auch BZG innerhalb der Schulaufsicht. Auch die Vorgabe, Vereinbarungen über Konsequenzen, nächste Schritte etc. schriftlich festzuhalten, wird zwar großteils, jedoch bei weitem nicht bei jedem BZG eingehalten. Eine EP-Überarbeitung erfolgt nach mehr als der Hälfte der BZG. Auf Schulebene lassen sich diesbezüglich Unterschiede zwischen Erstgesprächen und Folgegesprächen ausmachen. Sowohl die Verschriftlichung der Vereinbarungen als auch die EP-Überarbeitung nach dem BZG kommen bei Folge-BZG häufiger vor. Auch wenn es das Design der Evaluation derzeit nicht ermöglicht, direkte Veränderungen zu überprüfen, können diese Unterschiede als Indiz dafür gesehen werden, dass die Implementation von SQA nicht von einem Schuljahr zum nächsten abgeschlossen ist, sondern sich gewisse Routinen erst im Prozess einstellen. Partnerschaftlichkeit, Zuhören, Dialog- und Vereinbarungsbereitschaft, Respekt, Wertschätzung, Vertrauen in die Fähigkeiten des Gegenübers, Bereitschaft zur Unterstützung, Klarheit sowie Bereitschaft zur Übernahme von Verantwortung allesamt Aspekte der Gesprächsführung, in denen dialogische Führung sichtbar wird, kommen sowohl bei BZG zwischen Schulleitung und Schulaufsicht als auch bei BZG zwischen PSI und LSI zum Ausdruck. Sowohl für die jeweiligen Gesprächspartner/innen auf allen Systemebenen als auch für die SQA-LK ist das Prinzip der dialogischen Führung bei den BZG gut erkennbar. Folglich gelingt es im Allgemeinen auch gut, die unterschiedlichen Ansprüche der Beteiligten sowie der anderen Ebenen unter einen Hut zu bringen. Diese Vereinbarkeit der Ansprüche wird jedoch von den Schulleiterinnen und Schulleitern besser beurteilt als von der Schulaufsicht, was vermutlich damit zusammenhängt, dass die Schulleiter/innen nur ihre eigenen Ansprüche mit jenen der Schulaufsicht koordinieren müssen, während die Schulaufsicht einerseits die Vorgaben des BMBF und andererseits auch die Bedürfnisse der Schulen mitberücksichtigen muss. Die BZG werden von etwas weniger als der Hälfte der Schulleiter/innen als Unterstützungsinstrument dahingehend gesehen, dass sie einen wich-

13 Ergebnisse der ersten Befragungen im Schuljahr 2014/15 11 tigen Beitrag für die weitere Entwicklungsarbeit an der Schule leisten. Relativ viele sind in diesem Punkt jedoch unentschlossen, vermutlich, weil manche Auswirkungen nicht unmittelbar, sondern erst nach einem gewissen Zeitraum sichtbar werden. PSI sehen den BZG-Beitrag für die Entwicklungsarbeit in ihrer Region wesentlich positiver. Interessant ist im Hinblick auf das Gesprächsklima, das Gelingen der BZG und die positiven Auswirkungen der BZG der Zusammenhang mit der Gesprächsdauer. Dieser macht deutlich, dass eine halbe Stunde für ein erfolgreiches BZG zwischen Schulleitung und Schulaufsicht nicht ausreicht. Zur Erreichung der bestmöglichen Ergebnisse sollten für BZG eineinhalb bis zweieinhalb Stunden vorgesehen werden. Das Klima der Kommunikation und Zusammenarbeit mit der Schulaufsicht betreffend kann die Mehrheit der Schulleiter/innen keine Veränderungen seit Einführung von SQA erkennen. Allerdings berich ten mehr als zwei Drittel der PSI von positiven Veränderungen hinsichtlich Kommunikation und Zu sammen arbeit mit den Schulleitungen. Auf Ebene der Schulaufsicht im Pflichtschulbereich zwischen PSI und LSI zeigt sich ein ähnliches Bild: PSI nehmen überwiegend keine Veränderungen wahr, mehr als die Hälfte der LSI spricht von positiven Veränderungen. Unterstützungsbedarf bezüglich der BZG wurde von Schulleiterinnen und Schulleitern nur selten genannt, wobei sich dieser vorwiegend auf mehr Unterstützung und Klarheit vonseiten der PSI bezieht. Der größte Unterstützungsbedarf besteht aus Sicht der PSI. Sie haben vor allem Probleme mit der großen Anzahl an Schulen im Verantwortungsbereich und fehlenden Ressourcen. Auf allen Ebenen wird der Wunsch nach Schulung und Professionalisierung sowie externer Begleitung und Beratung geäußert. Zusammenfassend kann festgehalten werden, dass die BZG ihr Ziel, dialogische Führung auf allen System ebenen zu etablieren, erreichen und zumindest teilweise als Unterstützungsinstrument an den Schulstandorten erlebt werden. Gleichzeitig darf aber der Einfluss von SQA nicht überschätzt werden. Nur relativ wenige Schulleiter/innen können Veränderungen hinsichtlich Kommunikation und Zu sam menarbeit mit der Schulaufsicht seit Einführung von SQA erkennen. Die bisherigen Erfahrungen zeigen, dass optimale Ergebnisse eher erzielt werden, wenn mindestens eineinhalb Stunden pro BZG zur Ver fü gung stehen. Zugleich muss aber auch die Regelmäßigkeit der BZG sichergestellt werden, die im Pflicht schulbereich aufgrund der großen Anzahl an Schulen im Verantwortungsbereich gefährdet ist. Unterstützung und andere Akteurinnen und Akteure im System: Neben den unmittelbar Verantwortlichen auf den verschiedenen Ebenen des Schulsystems agieren im komplexen System von SQA auch Personen und Institutionen, die einen wesentlichen Beitrag zum Gelingen der Initiative leisten können und sollen. Primär sind hier die SQA-Koordinatorinnen und SQA-Koordinatoren auf Landes- und Schulebene zu nennen, die als Ansprechpersonen und Informationsdrehscheibe auf ihrer jeweiligen Ebene fungieren. Daneben bieten von der Projektleitung initiierte Unterstützungsmaßnahmen (z. B. SQA-Website, Materialien, EBIS etc.) sowie Angebote der Pädagogischen Hochschulen, die sich primär an die Schulebene richten, Hilfe bei der Umsetzung von SQA. Im Zuge der Evaluation wurde den Fragen nachgegangen, ob und wie gut die Unterstützungsmaßnahmen für SQA greifen und welche Rolle/Funktion die SQA-Koordinatorinnen und SQA-Koordinatoren auf den unterschiedlichen Ebenen im Rahmen von SQA übernehmen. Insgesamt wird der Unterstützungsgrad der für SQA zur Verfügung gestellten Angebote und Maßnahmen durchschnittlich bis hoch wahrgenommen. Auf allen Systemebenen wird dabei die SQA-Website www. sqa.at als Angebot mit dem größten Unterstützungsgrad angegeben. Auf Ebene der Schulen sind es darüber hinaus Schulleiterkonferenzen und SQA-Schulleiterworkshops, denen hoher Unterstützungsgrad zugesprochen wird. Angebote, die speziell auf die Schulebene ausgerichtet sind, wie Veranstaltungen, EBIS Entwicklungsberatung in Schulen oder andere Schul- und Unterrichtsberatung, werden nur durchschnittlich bewertet. Hinzu kommt, dass EBIS und andere Schul- und

14 12 Unterrichtsberatung an mehr als der Hälfte der Schulen noch nicht zum Einsatz gekommen sind. Für die Schulaufsicht sind nach der SQA-Website SQA online (Feedbackinstrumente), Materialien zu den EP und BZG sowie die SQA-Workshops (2move) jene Angebote mit dem höchsten Unterstützungsgrad. Obwohl auch Unterstützung durch SQA-Kooperationspartner/innen wahrgenommen wird, ist diese relativ betrachtet am geringsten ausgeprägt. Dieses Angebot wurde von den LSI/PSI auch am seltensten in Anspruch genommen. Aus Sicht der SQA-LK werden vor allem LK-Treffen und LK-Workshops des BMBF sehr positiv beurteilt, gefolgt von SQA online (Feedbackinstrumente) und Materialien zu den EP. Neben EBIS und anderer Schul- und Unterrichtsentwicklung, die nur auf Schulebene zur Verfügung stehen, sind die DVD Individualisierung von Reinhard Kahl, SQA-Kooperationspartner/innen und SQA online (Feedbackinstrumente) jene Angebote, die am seltensten genutzt werden. Aber auch die SQA-Leittexte, die die inhaltliche Basis für die Arbeit an SQA bilden sollen, werden je nach Funktion innerhalb von SQA von fünf bis 19 Prozent der Befragten nicht in Anspruch genommen. Der Vergleich der Systemebenen zeigt wiederum deutlich, dass die Verantwortlichen der höheren Ebenen (Schulaufsicht und SQA-LK) die zur Verfügung gestellten Maßnahmen als unterstützender beurteilen, als dies Schulleiter/innen tun. Gleichzeitig ist bei zahlreichen Maßnahmen der Anteil jener, die die entsprechende Maßnahme nicht nutzen, auf Ebene der Schulen höher als auf den höheren Systemebenen. Die wahrgenommene Unterstützung durch einzelne Personen oder Institutionen, die im Rahmen von SQA ihren Beitrag leisten, variiert sehr stark zwischen den Systemebenen. Gleichzeitig ist klar erkennbar, dass am meisten Unterstützung von den jeweils direkten Ansprechpersonen wahrgenommen wird. Entsprechend fühlen sich SQA-LK am besten von ihrer/ihrem jeweiligen LSI sowie der SQA- Projektleitung im BMBF unterstützt, die Schulaufsicht wiederum fühlt sich durch die/den SQA-LK und den LSR bzw. SSR am besten unterstützt. Auf Schulebene sind es die SQA-SK sowie die Schulaufsicht, von denen am meisten Unterstützung wahrgenommen wird. Die deutlichsten Unterschiede zeigen sich bei der Unterstützung durch die SQA-Projektleitung im BMBF, die von Schulleiterinnen und Schulleitern nicht, von den SQA-LK jedoch sehr stark wahrgenommen wird. Diese Ergebnisse sprechen dafür, dass die Verantwortung auf den einzelnen Systemebenen verankert und nicht zentralistisch beim BMBF gebündelt ist. Einheitlich neutral bis negativ fallen die Beurteilungen der Unterstützung durch die Leadership Academy aus. Diese wurde auch relativ häufig noch nicht genutzt. Zusammenfassend kann festgehalten werden, dass die Unterstützungsmaßnahmen durchaus positiv beurteilt werden, jedoch noch nicht flächendeckend zum Einsatz kommen. Zudem darf nicht übersehen werden, dass sich Schulleiter/innen als primär Verantwortliche auf Schulebene insgesamt schlechter unterstützt fühlen als Verantwortliche auf höheren Ebenen. Bei der wahrgenommenen Unterstützung durch einzelne Personen oder Institutionen zeigt sich ein ähnliches Bild, allerdings finden Schulleiter/ innen bei den SQA-SK durchaus eine Anlaufstelle, von der sie sich (sehr) gut unterstützt fühlen. Auf Landesebene fungieren die SQA-LK hauptsächlich als Anlaufstelle für SQA-SK, sind an der Erstellung des EP beteiligt, übernehmen administrative und organisatorische Aufgaben und dienen an Pflichtschulen auch als Anlaufstelle für PSI. Ein großer Teil der SQA-LK kooperiert bei der Arbeit für SQA mit anderen SQA-LK sowohl aus dem eigenen Bundesland als auch bundesländerübergreifend. Fast alle Schulen nehmen die Möglichkeit, die Themen von SQA mithilfe einer/eines SQA-SK zu bearbeiten, wahr. Ihre/seine Aufgabenbereiche betreffen vorwiegend die Erstellung des EP, administrative und organisatorische Aufgaben, Beratung der Schulleitung sowie inhaltliche Unterstützung der Lehrer/innen. Obwohl ein Großteil der Schulen über die Unterstützung von SQA-SK verfügt, bearbeitet ein Drittel der Kleinschulen, die sich nicht in einem SQA-Verbund befinden, die SQA-Themen ohne Koordinator/ in. Unter Berücksichtigung der Tatsache, dass sich Schulleiter/innen durch SQA-SK besonders gut unterstützt fühlen und zweifellos von dieser Funktion an ihrer Schule profitieren, sollte genauer hinterfragt werden, ob die Rahmenbedingen, innerhalb derer die Funktion einer/eines SQA-SK an Kleinschulen eingerichtet werden kann, der Situation an den jeweiligen Standorten entspricht.

15 Ergebnisse der ersten Befragungen im Schuljahr 2014/15 13 Folgeprozesse: Es ist anzunehmen, dass die Beschäftigung mit Qualitätssicherungsmaßnahmen Veränderungen im gesamten System eines Schulstandorts nach sich zieht (vgl. Altrichter, 2013). Somit wird mit verstärkten Fortbildungs-, Evaluations- und Entwicklungsaktivitäten an den Schulen gerechnet. Im Rahmen der Evaluation sollte geklärt werden, welche Prozesse neben den unmittelbaren Aktivitäten für SQA am Stand ort ausgelöst werden und welche Auswirkungen sich zeigen. Feedback und Evaluation stellen in der Konzeption von SQA entscheidende Elemente dar. Die Ergebnisse zeigen jedoch weder auf Schul- noch auf Schulaufsichtsebene ausgeprägtes Feedbackverhalten. So liegt der Anteil jener, die sich seltener als alle drei Jahre oder gar nie Feedback zu ihrem Führungsverhalten von der nachgeordneten Ebene (LSI von PSI, Schulaufsicht von Schulleitung, Schulleitung von Lehrerinnen/ Lehrern) holen, auf allen Ebenen zwischen 38 und 42 Prozent. Mindestens jährliches Feedback holen sich 27 Prozent der Schulleiter/innen, ein Viertel der LSI/PSI und nur 15 Prozent der LSI (APS). Interessant ist in diesem Zusammenhang das Vorhandensein oder Nichtvorhandensein einer Art Feedbackkultur. Führungskräfte, die sich regelmäßig Feedback von der nachgeordneten Ebene holen, schätzen auch auf dieser Ebene den Anteil jener, die sich wiederum von der nachgeordneten Ebene regelmäßig Feedback holen, höher ein als Führungskräfte, die diese Feedbackkultur nicht leben. Die Feedbackhäufigkeit hat sich auf allen Ebenen seit Einführung von SQA kaum verändert, von einer Zunahme berichten 13 bis 24 Prozent. Unterstützungsbedarf bezüglich Feedback und Evaluation bezieht sich auf allen Ebenen vorwiegend auf Schulungen und Fortbildungen sowie die Verfügbarkeit von geeigneten Instrumenten und Tools. Hinweise auf Folgeprozesse kann die Planung der Fort- und Weiterbildung an den Schulen liefern, wobei im Idealfall eine Abkehr von individuellen Interessen hin zu einer Fort- und Weiterbildungsstrategie am Standort erfolgt. Nach Angaben der Schulleiter/innen enthalten 78 Prozent der aktuellen Schul-EP einen Fortbildungsplan, die Schulaufsicht schätzt den Anteil von Schulen, an denen es Fortbildungspläne gibt, mit 72 Prozent ein. Diese Fortbildungspläne weisen aus Sicht der Schulaufsicht und der SQA-LK weitgehend Bezüge zu den Zielen und Vorhaben in den Schul-EP auf. Die Teilnahme an Fort- und Weiterbildungsveranstaltungen erfolgt in erster Linie durch individuelle Auswahl der Lehrer/innen, gefolgt von Vereinbarung nach gemeinsamer Beratung im Kollegium und Entsendung durch die Schulleitung. Bei letzteren ist seit Einführung von SQA in 44 bzw. 47 Prozent eine Zunahme erkennbar, großteils hat sich aber die Vorgehensweise bei der Teilnahme an Fort- und Weiterbildungsveranstaltungen seit SQA nicht verändert. Teilnehmer/innen an Fort- und Weiterbildungsveranstaltungen werden schulintern und standortübergreifend als Multiplikatorinnen und Multiplikatoren eingesetzt, jedoch nicht in sehr großem Ausmaß. Die Teilnahme an Fort- und Weiterbildungsveranstaltungen erfolgt weitgehend in koordinierter Weise. Die Ergebnisse stellen vorläufig nur den aktuellen Stand betreffend Feedback und Evaluation sowie Fortund Weiterbildung dar. Konkrete Auswirkungen von SQA auf die Standorte können erst nach einer längsschnittlichen Betrachtung aufgezeigt werden. Insgesamt fallen die Ergebnisse auf Ebene der Schulen über alle Evaluationsbereiche hinweg sehr homogen aus. Unterschiede zwischen den Schularten oder in Abhängigkeit vom Schulstandort treten kaum auf. Bei gemeinsamer Betrachtung der Evaluationsbereiche lässt sich festhalten, dass der Informationsstand und die Rollenklarheit bezüglich SQA, die Beurteilung und Nutzung des EP, das Gelingen und der Nutzen des BZG sowie die wahrgenommene Unterstützung sowohl untereinander als auch mit der allgemeinen Akzeptanz gegenüber SQA in Verbindung stehen. Hierbei lassen sich jedoch keine klaren Aussagen darüber treffen, ob eine positive Grundeinstellung vor Implementation von SQA andere positive Aspekte bedingt oder ob die als positiv erlebten Elemente von SQA letztendlich eine insgesamt positive Einstellung gegenüber der gesamten Initiative zur Folge haben.

16 14 2 Hintergrund und Zielsetzung SQA Schulqualität Allgemeinbildung ist eine Initiative des Bildungsministeriums beruhend auf 18 Bundes-Schulaufsichtsgesetz und 56 Schulunterrichtsgesetz. Sie verfolgt das Ziel, durch pädagogische Qualitätsentwicklung und Qualitätssicherung zu bestmöglichen Lernbedingungen für Schüler/innen an allgemeinbildenden Schulen beizutragen. Die Initiative selbst sieht sich dabei sowohl als Grundhaltung als auch als Methode und Werkzeug für die handelnden Personen. In einem koordinierten Zusammenspiel aller Ebenen des Schulsystems sollen Entwicklungsprozesse etabliert werden, die in Form einer Aufwärtsspirale von der Bedürfnisformulierung und Ist-Stand- Analyse (z. B. aufgrund der Ergebnisse der Bildungsstandardsüberprüfung) über Ziel vereinbarun gen, Umsetzungsmaßnahmen und Erfolgsüberprüfungen zu Konsequenzen und weiterführenden Vorhaben führen. Dabei geht es um konkrete, bedarfsorientierte Entwicklungsvorhaben, welche die Schülerinnen und Schüler auch tatsächlich erreichen. (BMBF, 2015, S. 8) Entwicklungspläne (EP) auf allen Ebenen sowie Bilanz- und Zielvereinbarungsgespräche (BZG) zwischen den unterschiedlichen Ebenen des Schulsystems stellen die beiden zentralen Strukturelemente der SQA-Rahmenstrategie dar. SQA wurde seit dem Schuljahr 2012/13 gestaffelt an den allgemeinbildenden Schulen eingeführt und seit dem Schuljahr 2014/15 nun flächendeckend umgesetzt. Das Bildungsministerium beauftragte das BIFIE mit der Erstellung eines umfassenden Evaluationskonzepts zur Initiative SQA sowie der Durchführung der formativen Evaluation. Das Forschungsinteresse liegt dabei auf den Realisierungsprozessen der Initiative auf verschiedenen Ebenen des Schulsystems, in verschiedenen Schularten und durch verschiedene Maßnahmen. Die Evaluation selbst folgt dem nutzungsorientierten Ansatz nach Patton (2008). Demnach steht nicht Kontrolle oder Legitimation der Initiative, sondern deren Verbesserung und Weiterentwicklung im Vordergrund. Damit sich die Datengewinnung an den konkreten Informationsbedürfnissen des BMBF als Entscheidungsträger orientieren kann, wurde und wird im Sinn des dialoggesteuerten Eva luationsansatzes nach Beywl (2006) die SQA-Projektleitung im Ministerium bei der Konzeption bzw. Umsetzung der Evaluation stets involviert. Zudem wurde zur konzeptionellen und fachlichen Beratung ein wissenschaftlicher Beirat (H. Altrichter, N. Maritzen) hinzugezogen. Aufgrund der Komplexität der Initiative SQA ist auch die begleitende Evaluation entsprechend breit angelegt. Sie folgt einem Mixed-Methods-Design, wobei Implementation, Prozesse und Wirkungen von SQA aus unterschiedlichen Perspektiven (Schulleiter/innen, Schulaufsicht etc.) über mehrere Jahre hinweg analysiert werden (siehe Evaluationskonzept von Svecnik & Petrovic, 2014). Im vorliegenden Bericht werden die Ergebnisse des ersten Erhebungszyklus präsentiert, wobei der Fokus auf die Implementationsvariablen gerichtet ist und Auswirkungen der Initiative nur am Rande thematisiert werden. Diese werden zu einem späteren Zeitpunkt nach längsschnittlicher Betrachtung genauer analysiert. Im Schuljahr 2014/15 wurden mittels Online-Umfragen Schulleiter/innen, Landesschulinspektorinnen und Landesschulinspektoren (LSI), Pflichtschulinspektorinnen und Pflichtschulinspektoren (PSI) sowie SQA-Landeskoordinatorinnen und SQA-Landeskoordinatoren (SQA-LK) zur Akzeptanz der Initiative SQA, zu ihrer Zufriedenheit mit den Informations- und Unterstützungsangeboten, ihren Erfahrungen mit der Erstellung von Entwicklungsplänen (EP) und der Durchführung von Bilanz- und Zielvereinbarungsgesprächen (BZG) sowie den Folgeprozessen und Auswirkungen von SQA im jeweiligen Verantwortungsbereich befragt. Die Ergebnisse dieser Befragungen werden gesammelt im vorliegenden Bericht präsentiert.

17 Ergebnisse der ersten Befragungen im Schuljahr 2014/ Methodisches Vorgehen Um SQA aus verschiedenen Perspektiven zu beleuchten, wurden für die Befragungen die drei Zielgruppen 1) Schulleiter/innen allgemeinbildender Schulen als primär Verantwortliche auf Schulebene, 2) die Schulaufsicht als übergeordnete Ebene und primär Verantwortliche auf Regional- und Landesebene sowie 3) SQA-LK, die auf Landesebene unterstützend agieren sollen, definiert. Auf Ebene der Schulaufsicht und der SQA-LK wurden jeweils Vollerhebungen durchgeführt, die Befragung auf Schulebene wurde an hand einer repräsentativen Stichprobe vorgenommen. 3.1 Stichprobe der Schulleiterbefragung Die Zielgruppe der Befragung auf Schulebene bildeten Schulleiter/innen allgemeinbildender Schulen Österreichs. Da sich SQA auf den gesamten allgemeinbildenden Bereich des österreichischen Schulwesens bezieht, mussten die verschiedenen Schularten Volksschule (VS), Neue Mittelschule (NMS) bzw. Hauptschule (HS) und allgemeinbildende höhere Schule (AHS) in die Evaluation einbezogen werden. Aufgrund der föderalen Struktur des Landes sowie der unterschiedlichen Rahmenbedingungen und Unterstützungsmaßnahmen war auch die Berücksichtigung der Verteilung auf die Bundesländer ein wesentlicher Aspekt der Stichprobenplanung. Um Aussagen über das Gesamtsystem bzw. mögliche differenzielle Wirkungen treffen zu können, mussten alle neun Bundesländer entsprechend in der Stichprobe abgebildet werden. Zur Feinsteuerung wurden differenzierte Aussagen über Schularten, Bundesländer und regionale Gliederung (Stadt/Land) angestrebt. Aussagen über Schularten innerhalb der Bundesländer können jedoch aufgrund kleiner Fallzahlen in einzelnen Bundesländern nicht getätigt werden. Ausgangspunkt für die Stichprobenziehung bildete eine vollständige Liste aller allgemeinbildenden Schulen im Schuljahr 2014/15 (N = 4.796). Diese Liste wurde reduziert um Schulen, die in Bezug auf den Lehrplan oder die Schulstruktur vom nationalen Schulsystem abweichen (z. B. Schulen, die die 1. bis 9. Schulstufe umfassen), Schulen, die nicht der Schulart VS, NMS/HS oder AHS zugeordnet werden können. (Selbstständige Polytechnische Schulen sind in der Population zu einem sehr geringen Anteil vertreten, daher werden PTS in der Ergebnisdarstellung nur berücksichtigt, wenn sie als angeschlossene Schulen in der Stichprobe vertreten sind. Sonderschulen konnten aufgrund ihrer zahlreichen unterschiedlichen Spezialisierungen ebenfalls nicht bei der Stichprobenziehung berücksichtigt werden. Die Ergebnisdarstellung für Sonderschulen erfolgt daher auch nur, wenn sie als angeschlossene Schulen in der Stichprobe vertreten sind.) Die Zielpopulation nach Ausschluss dieser Schulen umfasste Schulleiter/innen Sampling-Design Zur Steigerung der Präzision der Ergebnisse und der Effizienz der Stichprobe kam ein mehrstufiges Sampling-Design mit folgenden Stratifizierungsmerkmalen zur Anwendung: 1. Ebene: Bundesland (9 Strata) 2. Ebene: Schulart (3 Strata: VS, NMS/HS, AHS) 3. Ebene: Urbanisierungsgrad 1 (3 Strata: Städte/Urbane Zentren/Städtische Gebiete, Städte und Vororte, ländliches Gebiet) 1 Entspricht der OECD-Klassifikation, die auch bei den PISA-Testungen zur Anwendung kommt. Quelle:

18 Stichprobenziehung Um auch für die sehr kleinen Bundesländer differenzierte Aussagen zu ermöglichen, erfolgte auf Ebene des Bundeslandes eine nichtproportionale Stichprobenziehung (Oversampling). Damit wurde gewährleistet, dass jedes Bundesland in ausreichendem Umfang in der Stichprobe vertreten ist. Auf Ebene der Schulart erfolgte die Stichprobenziehung proportional zur Verteilung im jeweiligen Bundesland, allerdings mit folgender Einschränkung: Der Anteil an AHS wurde abgesehen von Wien mit einem AHS-Anteil von 20 Prozent zu Lasten der VS erhöht, damit die AHS zumindest mit 10 Prozent in der Stichprobe vertreten sind. In Bundesländern, in denen aufgrund geringer Fallzahlen die 10 Prozent nicht erreicht werden konnten, erfolgte eine Vollerhebung. Für die Schularten VS und NMS/HS erfolgte zudem eine Differenzierung nach dem Urbanisierungsgrad des Schulstandorts. Die Verteilung erfolgte proportional zur Verteilung in der Population des jeweiligen Bundeslandes. Für AHS war eine entsprechende Differenzierung aufgrund der niedrigen Fallzahl und der Konzentration dieser Schulart auf städtische Gebiete nicht möglich. Allgemeinbildende Schulen insgesamt (N = 4.796) Ausschluss nach vorab definierten Kriterien Allgemeinbildende Schulen Zielpopulation (N = 4.463) 1. Ebene: Bundesland B K NÖ OÖ S Bundesland ST T V W 2. Ebene: Schulart VS HS/NMS AHS 3. Ebene: Urbanisierungsgrad Städte/ Urbane Zentren Städte und Vororte Ländliches Gebiet Städte/ Urbane Zentren Städte und Vororte Ländliches Gebiet Auswahl der Schulen nach Zufallsprinzip Stichprobe N ~ 500 Abbildung 1: Stichprobenziehung zur Schulleiterbefragung 3.2 Datenerhebung Die Fragebogenentwicklung erfolgte auf Basis der im Evaluationskonzept (Svecnik & Petrovic, 2014) formulierten Leitfragen. Nachdem die Evaluation vorrangig das Ziel verfolgt, Hinweise zur Verbesserung und Weiterentwicklung von SQA zu liefern, wird Bedacht darauf genommen, dass die Projektleitung in die Konzeption und Umsetzung der Evaluation involviert ist. Dementsprechend wurden die Er he bungsinstrumente zur Rückmeldung dem wissenschaftlichen Beirat (H. Altrichter, N. Maritzen) vorgelegt und spezifische Fragestellungen des BMBF (E. Radnitzky) berücksichtigt.

19 Ergebnisse der ersten Befragungen im Schuljahr 2014/15 17 Die Erhebungsinstrumente für die unterschiedlichen Zielgruppen sind weitgehend parallel gehalten, wobei abhängig von der Fragestellung und der Zielgruppe teilweise unterschiedliche Schwerpunktsetzungen vorgenommen wurden. Einen Überblick über die Inhaltsbereiche der Fragebögen liefert Tabelle 1. Schulleiter/innen Schulaufsicht Landeskoordinator/in VS, NMS, AHS PSI LSI APS LSI AHS Kontextinformationen Kontextinformationen Erfahrung mit SQA Erfahrung mit EP/BZG Erfahrung mit EP/BZG Erfahrung mit BZG Implementationsprozess Informationsquellen und Informationsqualität Informationsstand Informationsstand (auch bzgl. Schulen) Informationsstand (auch bzgl. Schulen) Informationsstand (auch bzgl. Schulen) Informationsstand (auch bzgl. Schulen) Einschätzung und Akzeptanz von SQA Erwartungen an SQA Entwicklungspläne (EP) Schul-EP Regional-EP Landes-EP Landes-EP Schul-EP, Landes-EP Bilanz- und Zielvereinbarungsgespräche (BZG) Mit nächsthöherer Ebene (PSI oder LSI AHS) Mit nächsthöherer Ebene (LSI APS) Mit nächstniedrigerer Ebene (SL APS) Mit nächstniedrigerer Ebene (PSI) Mit nächstniedrigerer Ebene (SL AHS) Dialogische Führung Unterstützung und andere Akteurinnen und Akteure im System Maßnahmen und Angebote bei der Umsetzung von SQA Schulkoordinator/in Schulkoordinator/in Schulkoordinator/in Schulkoordinator/in Landeskoordinator/in Landeskoordinator/in Selbsteinschätzung Wahrgenommene Unterstützung Folgeprozesse Feedback und Evaluation Feedback und Evaluation (auch bzgl. Schulen) Feedback und Evaluation (auch bzgl. PSI) Feedback und Evaluation (auch bzgl. Schulen) Feedback und Evaluation (bzgl. Schulen) Fort- und Weiterbildung Fort- und Weiterbildung (auch bzgl. Schulen) Fort- und Weiterbildung (auch bzgl. Schulen/PSI) Fort- und Weiterbildung (auch bzgl. Schulen) Fort- und Weiterbildung (auch bzgl. Schulen) Tabelle 1: Zielgruppen und Inhalte der Befragungen

20 18 Aufgrund der Komplexität von SQA und des damit verbundenen Fragebogenumfangs wurden auf Schulebene zwei einander ergänzende Umfrageversionen (Version A und B) erstellt, wobei einzelne Items als Ankeritems in beiden Versionen enthalten waren. Für jede Umfrageversion erfolgte eine eigene Stichprobenziehung. Einer Stichprobe wurde die Umfrageversion A zur Bearbeitung vorgegeben, der anderen Stichprobe die Umfrageversion B. Die Schulleiter/innen der (503 in Version A; 504 in Version B) ausgewählten Schulen wurden Mitte März 2015 mittels zur Teilnahme an der Umfrage eingeladen. Um zu gewährleisten, dass nur Leiter/innen von in der Stichprobe vertretenen Schulen die Fragebögen bearbeiten konnten, wurde die Datenerhebung in Form einer geschlossenen Online-Umfrage, bei der der Zugriff durch einen Zugangsschlüssel beschränkt wird, durchgeführt. Die Befragung selbst erfolgte im Zeitraum vom 20. März bis 14. April 2015 in LimeSurvey. Insgesamt wurden 556 Fragebögen ausgefüllt (266 Fragebögen der Version A und 290 Fragebögen der Version B). Das entspricht einer Gesamtrücklaufquote von 55 Prozent (53 % bei Version A und 58 % bei Version B). Die Befragung der Landeskoordinatorinnen und Landeskoordinatoren erfolgte von Juni bis Juli 2015, die der Schulaufsicht von Juli bis September 2015, wobei in beiden Fällen Vollerhebungen durchgeführt wurden. Die Vorgehensweise bei der Datenerhebung, die wiederum als geschlossene Online-Umfrage durchgeführt wurde, war identisch mit jener bei der Schulleiterbefragung. Die Rücklaufquoten reichen von 71 Prozent bei den LSI der AHS bis zu 87 Prozent bei den SQA-LK (siehe Tabelle 2). Zielgruppe Erhebungszeitraum Rücklauf PSI 90 von ,9 % Schulaufsicht LSI von APS Juli bis September von 24 79,2 % LSI von AHS 17 von 24 70,8 % SQA-LK Juni bis Juli von 23 87,0 % Schulleiter/innen März bis April von ,2 % Tabelle 2: Zielgruppen der Befragungen und Rücklaufquoten 3.3 Datenaufbereitung und Ergebnisdarstellung Um mögliche Verzerrungen der Ergebnisse durch selektive Ausfälle ausschließen zu können, wurde überprüft, wie gut die Gesamtstichprobe der Schulleiterbefragung (alle zur Teilnahme an der Umfrage eingeladenen Schulleiter/innen) durch die Analysestichprobe abgebildet wird. Dabei zeigt sich, dass hin sichtlich des Rücklaufs keine Unterschiede zwischen den Bundesländern bestehen. Innerhalb der einzelnen Bundes länder entspricht sowohl die Verteilung der Schularten, der Schulgrößen als auch des Urba nisierungsgrads in der Analysestichprobe den Verteilungen in der Gesamtstichprobe. Folglich stellt die Analysestichprobe einen repräsentativen Ausschnitt der Gesamtstichprobe dar. Um für das gesamte allgemeinbildende Schulwesen repräsentative Aussagen zu ermöglichen, wurden vor der Analyse der Schulleiterdaten Gewichtungen entsprechend den Stratifizierungsmerkmalen Bundesland, Schulart und Urbanisierungsgrad vorgenommen. Für jene Items, die in nur jeweils einer Fragebogenversion vertreten waren, wurden aufgrund teilweise sehr geringer Zellbesetzungen die Gewichtungen nur für die Stratifizierungsmerkmale Bundesland und Schulart durchgeführt. Aufgrund der vorgenommenen Gewichtungen entsprechen die im Folgenden dargestellten Ergebnisse einem repräsentativen Querschnitt aller allgemeinbildenden Schulen Österreichs. Für jeden Inhaltsbereich laut Evaluationskonzept erfolgt zunächst die Vorstellung der jeweiligen Forschungsfragen, gefolgt von einer deskriptiven Darstellung der Ergebnisse, bei der eine Gegen über stellung der drei Zielgruppen Schulleiter/innen, Schulaufsicht sowie SQA-LK erfolgt. Zur besseren Über sicht-

21 Ergebnisse der ersten Befragungen im Schuljahr 2014/15 19 lichkeit werden die Ergebnisse der Schulleiter/innen einheitlich in Blau dargestellt, jene der Schul aufsicht in Rot und jene der SQA-LK in Grün. Ergänzend wurde jeweils eine inferenzstatistische Prüfung von Unterschieden innerhalb der einzelnen Zielgruppen (z. B. zwischen verschiedenen Schularten oder zwischen Schulen in Städten und im ländlichen Bereich 2 innerhalb der Zielgruppe Schulleiter/innen) vorgenommen. Nur wenn entsprechende Gruppenunterschiede nachgewiesen werden können, wird explizit darauf hingewiesen. Die Analyse von Gruppenunterschieden erfolgte mittels Varianzanalysen, T-Tests bzw. χ 2 -Tests, wobei die Signifikanzprüfung jeweils zweiseitig auf dem Fünf-Prozent-Niveau durchgeführt wurde. Zur besseren Lesbarkeit befinden sich sämtliche Tabellen im Anhang. Jedes Kapitel wird mit einer Zusammenfassung und Beantwortung der eingangs aufgestellten Forschungsfragen abgeschlossen. 4 Ergebnisse Nach einem allgemeinen Überblick über Kontextinformationen der Befragtengruppen und einer kurzen Darstellung des Status quo hinsichtlich Erfahrung mit SQA erfolgt die eigentliche Darstellung der Ergeb nisse gegliedert nach den Evaluationsbereichen laut Evaluationskonzept: 1) Implementationsprozess, 2) Entwicklungspläne (EP), 3) Bilanz- und Zielvereinbarungsgespräche (BZG), 4) Unterstützung und andere Akteurinnen und Akteure im System sowie 5) Folgeprozesse. Abschließend erfolgt eine Gegenüberstellung dieser Bereiche. 4.1 Kontextinformationen 24 Prozent der Direktorinnen und Direktoren leiten seit höchstens drei Jahren eine Schule, 37 Prozent haben vier bis zehn Jahre Leitungserfahrung und 39 Prozent sind seit mehr als zehn Jahren Schulleiter/ innen (siehe Abbildung 2). 39,1 % 24,0 % 36,9 % drei Jahre oder weniger vier bis zehn Jahre mehr als zehn Jahre Abbildung 2: Leitungserfahrung der Schulleiter/innen Antwortverteilung In den meisten Fällen (61 %) umfasst die Leitungstätigkeit eine Schule mit vier bis zwölf Klassen. Deutlich seltener leiten die Direktorinnen und Direktoren eine Schule mit mehr als zwölf (16 %) oder weniger als vier Klassen (16 %). Nur in acht Prozent der Fälle werden zwei oder mehr Schulen von einer Direktorin/einem Direktor geleitet. Auch hier überwiegen die Schulen mit insgesamt vier bis zwölf Klassen (6 %) gegenüber Schulen mit insgesamt mehr als zwölf (1 %) bzw. weniger als vier Klassen (1 %). Die Antwortverteilungen werden in Abbildung 3 dargestellt. 2 Nachdem Städte/Urbane Zentren/Städtische Gebiete lt. OECD-Klassifikation in drei Bundesländern nicht vertreten sind, werden für regionale Vergleiche die Kategorien Städte/Urbane Zentren/Städtische Gebiete und Städte und Vororte zusammengefasst.