Eignungsfeststellungsverfahren Zusammenfassung der wissenschaftlichen Evaluation

Transkript

1 Eignungsfeststellungsverfahren Zusammenfassung der wissenschaftlichen Evaluation Auszüge aus dem Abschlussbericht der Freien Universität Berlin vom

2 2 3 Das Ergebnis der Qualitätsprüfung Das ist das beste derzeit vorliegende Instrument der Eignungsdiagnostik angehender Schulleiterinnen und Schulleiter. 1. Ziel des Verfahrens Insgesamt gewährleistet das Eignungsfeststellungsverfahren eine kompetenzbasierte Auswahl künftiger Schulleiterinnen und Schulleiter. Die gründliche konzeptionelle Anlage des sichert die Güte des Verfahrens unter Aspekten der Praktikabilität, der Kompetenzdiagnostik und der Akzeptanz unter den Teilnehmenden. Das in Zahlen Anzahl evaluierter Verfahren: 26 Verfahren (2009, 2010) Ergebnisse der Teilnehmerinnen und Teilnehmer Qualität des Verfahrens 50% 45,7% 2. Im Gesamtergebnis belegt die Evaluation des die Zuverlässigkeit, Differenzierungsfähigkeit und die organisatorische Handhabbarkeit des Verfahrens. Es findet aufgrund der Einschätzungen der beteiligten Expertinnen und Experten zur Angemessenheit der Aufgaben für die Überprüfung von Schulleitungskompetenzen, aufgrund der Transparenz des Verfahrens und seiner Passung in den administrativen Kontext der Auswahlentscheidungen sowie aufgrund seiner Objektivität sowohl bei den Kandidatinnen und Kandidaten als auch bei den Beobachterinnen und Beobachtern eine hohe Akzeptanz. 40% 30% 20% 10% 19,3% nicht bestanden Die Leistungen übertreffen die Anforderungen. 35,0% Die Leistungen übertreffen die Anforderungen in besonderem Maße. 3. Leistung des Verfahrens Das Verfahren leistet eine Differenzierung der Kandidatinnen und Kandidaten anhand der ihnen zugeschriebenen Kompetenzen in den Kategorien nicht bestanden, Leistungen übertreffen die Anforderungen und Leistungen übertreffen die Anforderungen in besonderem Maße 1. Die mit dem getroffene Differenzierung ist für die Entscheidungen über die Besetzung von Schulleitungsämtern im Rahmen geltender administrativer Bestimmungen funktional und erweist sich somit für die operativen Zwecke des als valide. Verteilung der Teilnehmerinnen und Teilnehmer auf Schulformen 2 Gesamtschulen 13,7% 23,4% Gymnasien 4. Objektivität des Verfahrens Für die Objektivität des Verfahrens spricht, dass Faktoren, von denen kein Einfluss auf die Beurteilung im erwartet werden kann (Geschlecht; Schulmerkmale; Einstellungen gegenüber dem ), nicht im Zusammenhang mit den Beurteilungen stehen. Realschulen Hauptschulen 17,3% 17,0% Berufskollegs 11,3% 15,7% 1,6% Weiterbildungskollegs Förderschulen 2 Stand: Hervorhebungen durch Schulmanagement NRW 3/2011.

3 4 5 Zusammenfassung der Ergebnisse Mit dem Eignungsfeststellungsverfahren wird ein innovativer Weg der kompetenzbasierten Auswahl zukünftiger Schulleiterinnen und Schulleiter beschritten. Die Evaluation der ersten Anwendungen des basiert auf Beurteilungs daten, die im Verfahren selbst entstanden sind, sowie auf zusätzlich erhobenen Daten zur Einschätzung des durch die Kandidatinnen und Kandidaten sowie durch die Beobachterinnen und Beobachter. Im Gesamtergebnis belegt die Evaluation des die Zuverlässigkeit, Differen zierungsfähigkeit und organisatorische Handhabbarkeit des Verfahrens. Es findet aufgrund der Einschätzungen der beteiligten Expertinnen und Experten zur Angemessenheit der Aufgaben für die Überprüfung von Schulleitungs kom petenzen, aufgrund der Transparenz des Verfahrens und seiner Passung in den administrativen Kontext der Auswahlentscheidungen sowie aufgrund seiner Objektivität sowohl bei den Kandidatinnen und Kandidaten als auch bei den Beobachterinnen und Beobachtern eine hohe Akzeptanz. Das Verfahren leistet eine Differenzierung der Kandidatinnen und Kandidaten anhand der ihnen zugeschriebenen Kompetenzen in die Kategorien nicht be standen, Leistungen übertreffen die Anforderungen und Leistungen übertreffen die Anforderungen in besonderem Maße. Die mit den geleistete Differenzierung ist für Entscheidungen über die Besetzung von Schulleitungsämtern im Rahmen geltender administrativer Bestimmungen funktional und erweist sich somit für die operativen Zwecke des als valide. Für die Objektivität des Verfahrens spricht, dass Faktoren, von denen kein Ein fluss auf die Beurteilung im erwartet werden kann (Geschlecht; Schulmerk male; Einstellungen gegenüber dem ), nicht im Zusammenhang mit den Beurteilungen stehen. Das trifft weitgehend auch für die Zugehörigkeit der Kandidatinnen und Kandidaten zu Schulen einer bestimmten Form zu; eine Ausnahme bildet jedoch die Hauptschule. Personen, die hier tätig sind, haben eine geringere Chance, das zu bestehen, als die Kolleginnen und Kollegen von anderen Schulformen. Eine mögliche Erklärung für diesen Zusammen hang ergibt sich aus der oftmals geringen Größe der Kollegien an Haupt schu len. Die Größe der Schule gemessen an der Anzahl von Lehrerinnen und Lehrern sowie an der Anzahl der Schülerinnen und Schülern steht in einem statistisch be deutsamen Zusammenhang mit der Beurteilung im Verfahren; möglicherweise bieten größere Schulen günstigere Gelegenheit für den Erwerb der im ge prüften Kompetenzen in der Praxis. Ein weiterer statistisch bedeutsamer Zusammenhang ist zwischen der Beurteilung im und dem Alter der Kan didatinnen und Kandidaten nachweisbar. Personen, die das erfolgreich durchlaufen, sind im Durchschnitt jünger als diejenigen, die die Kriterien des nicht erfüllen. Eine mögliche Ursache kann die höhere Aufgeschlossenheit jüngerer Kolleginnen und Kollegen gegenüber neuen Methoden des Schulmanagements und gegenüber Assessment Centern sein. Die Ergebnisse aus der Befragung der Beobachterinnen und Beobachter können als ein gut informiertes und vom Ausgang einzelner en unabhängiges Expertenurteil über die Qualität des gewertet werden. Eindrucksvoll ist dabei insbesondere die von den Beobachterinnen und Beobachtern gegebene Zustimmung zur Relevanz der im gestellten Aufgaben und zur Beobachtbarkeit der Kompetenzen. Auch aus der Perspektive der Beobachterinnen und Beobachter kann die Objek tivität der Beurteilungen bestätigt werden. Zufallskritisch abzusichernde Diffe renzen in den Beurteilungen nach der Herkunft, dem Geschlecht oder der Berufserfahrung sind mit geringfügigen Ausnahmen nicht belegbar. Die Reliabilität eines Erhebungsverfahrens ist eine notwendige Voraussetzung für seine Validität. Die Ergebnisse der Reliabilitätsprüfung des zeigen ein gemischtes, aber erwartbares und letztlich positiv zu beurteilendes Bild. Die Skalen zur Beobachtung der einzelnen Kompetenzkonstrukte weisen in sich hohe Reliabilitätskoeffizienten auf; sie belegen die Übereinstimmung der Beurteilungen unterschiedlicher Beobachter und die Konsistenz der Items, anhand derer die Beurteilung erfolgt. Die hohe Übereinstimmung der Beurteilungen im Rahmen des Vier-Augen-Prinzips ist hervorzuheben. Auch ohne eine vorherige Abstimmung kommen die jeweils pro Kandidatin/Kandidat und Aufgabe eingesetzten zwei Beobachter zu stark übereinstimmenden Beurteilungen. Die Erhöhung der Beurteilerübereinstimmung nach der Abstimmung individueller Beurteilungen weist auf die Konsensbereitschaft und -fähigkeit der Beobachtenden hinsichtlich der Urteilskriterien hin.

4 6 7 Das in Daten und Fakten 3 3 Zusammenfassung durch Schulmanagement NRW, Stichtag Die Multitrait-Multimethod-Matrix des ist zur Überprüfung der Reliabilität des Verfahrens erstellt worden. Sie zeigt Zusammenhangsmuster, die aus der Evaluation von Assessment Centern bekannt sind. Die Beurteilung der Aufgabenbewältigung zeigt eine hohe Übereinstimmung innerhalb der einzelnen Aufgaben und eine geringe Übereinstimmung zwischen Aufgaben, in denen die gleichen Kompetenzen geprüft werden sollen. Dieses Ergebnis spricht dafür, dass das Verhalten der Teilnehmenden und die Beurteilung durch die Beobachtenden stark an der Bewältigung der einzelnen Aufgabe orientiert sind. Da allerdings insgesamt eine hohe Übereinstimmung aller Beurteilungen zu verzeichnen ist, kann dem Zuverlässigkeit bei der Prüfung übergreifender Leitungskompetenz bescheinigt werden. Die Übertragung der Beurteilung aus den einzelnen Aufgaben des in das administrativ gängige Schema (Beurteilung nicht bestanden, übertrifft die Anforderungen, übertrifft die Anforderungen in besonderem Maße) erfolgt auf der Grundlage eines Algorithmus, der praktikabel und sachlich begründet ist. Er bringt allerdings auch kleinere Fehlerrisiken und messtheoretische Pro bleme mit sich. So wird die recht hoch auflösende Information aus der Beurteilung der Kompetenzdimensionen anhand der Einzelitems nur in Teilen für die Ge samt beurteilung genutzt. Bei der Fortführung des sollte ein Verfahren entwickelt werden, in dem die Informationen aus den Einzelitems aggregiert und zu einem kriterial bestimmten Grenzwert in Beziehung gesetzt werden, um die Reliabilität der Niveaustufeneinordnung zu erhöhen. Insgesamt gewährleistet das Eignungsfeststellungsverfahren eine kompetenzbasierte Auswahl zukünftiger Schulleiterinnen und Schulleiter. Die gründliche konzeptionelle Anlage des sichert die Güte des Verfahrens unter Aspekten der Praktikabilität, der Kompetenzdiagnostik und der Akzeptanz unter den Teilnehmenden. Der Bericht weist aber auch auf Entwicklungsbedarf innerhalb des Verfahrens hin. Blick auf ein Im werden vier Schlüsselkompetenzen (Rollenklarheit, Innovation, Mana ge ment, Kommunikation) anhand der Übungsformen Beratungs- oder Konflikt gespräch, Postkorb oder Fallstudie mit Interview, Gruppendiskussion und Präsentation eines Assessment Centers überprüft. Die Ergebnismitteilung sowie eine Beratung zum erzielten Ergebnis finden unmittelbar zum Abschluss des Verfahrens statt. 18 Teilnehmerinnen und Teilnehmer werden von sieben Beobachterinnen und Beobachtern aus der Schulaufsicht, der Schulleitung und durch Vertrete rin nen und Vertreter der Schulträger bewertet. Schulungen und Briefings der Beo bachtergruppe sowie der Rollenspieler werden durch Schulmanagement NRW konzipiert und durchgeführt. Die finden unter Beteiligung der GSB, SBV und Personalvertretungen statt. Blick auf die im Jahr 2011 Im Zeitraum März bis Dezember werden insgesamt 26 Eignungsfeststellungsverfahren durchgeführt. Blick auf alle durchgeführten Bis zum Stichtag haben insgesamt 549 Personen am teilgenommen. Davon haben 80,15 % der Personen das Verfahren bestanden (*2), 19,85 % der Teilnehmerinnen und Teilnehmer haben nicht bestanden (*1). Die Bestbeurteilung (*3) erhielten 34,61 %. Die Verteilung der Endergebnisse auf die verschiedenen Schulformen führt zu folgendem Bild: Das ist das beste derzeit vorliegende Instrument der Eignungsdiagnostik angehender Schulleiterinnen und Schulleiter. Es bietet sehr gute Ausgangs bedingungen für die Verfolgung der aufgezeigten Entwicklungsperspektiven. Schulform Frauen % Männer % gesamt % *1 *2 *3 *1 *2 *3 *1 *2 *3 Gymnasium 13,95 86,05 37,21 23,26 76,74 34,88 20,16 79,84 35,66 Realschule 19,51 80,49 29,27 22,81 77,19 26,32 21,43 78,57 27,55 Gesamtschule 5,88 94,12 55,88 16,67 83,33 30,95 11,84 88,16 42,11 Berufskolleg 6,90 93,10 27,59 20,37 79,63 42,59 15,66 84,34 37,35 Hauptschule 30,43 69,57 26,09 44,44 55,56 33,33 35,62 64,38 28,77 Förderschule 16,82 83,72 46,51 9,09 90,91 36,36 13,16 86,84 42,11 Weiterbildungskolleg 33,33 66, ,86 57,14 14,

5 Impressum Herausgeber Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen Völklinger Straße Düsseldorf Telefon Telefax MSW 07/2011 Redaktion Schulmanagement NRW Landschaftsverband Rheinland LVR-Zentrum für Medien und Bildung Bertha-von-Suttner-Platz Düsseldorf Telefon Diese Druckschrift wird im Rahmen der Öffentlichkeitsarbeit der Landesregierung Nordrhein-Westfalen herausgegeben. Sie darf weder von Parteien noch von Wahlbewerberinnen/Wahlbewerbern oder Wahlhelferinnen/ Wahlhelfern während eines Wahlkampfes zum Zwecke der Wahlwerbung verwendet werden. Dies gilt für Landtags-, Bundestags- und Kommunalwahlen sowie auch für die Wahl der Mitglieder des Europäischen Parlaments. Missbräuchlich ist insbesondere die Verteilung auf Wahlveranstaltungen, an Informationsständen der Parteien sowie das Einlegen, Aufdrucken oder parteipolitischer Informationen oder Werbemittel. Untersagt ist gleichfalls die Weitergabe an Dritte zum Zwecke der Wahlwerbung. Eine Verwendung dieser Druckschrift durch Parteien oder sie unterstüt-zende Organisationen ausschließlich zur Unterrichtung ihrer eigenen Mitglieder bleibt hiervon unberührt. Unabhängig davon, wann, auf welchem Weg und in welcher Anzahl diese Schrift dem Empfänger zugegangen ist, darf sie auch ohne zeitlichen Bezug zu einer bevorstehenden Wahl nicht in einer Weise verwendet werden, die als Parteinahme der Landesregierung zu Gunsten einzelner politischer Gruppen verstanden werden könnte. Schulmanagement NRW ist ein Projekt des LVR-Zentrums für Medien und Bildung im Auftrag des Ministeriums für Schule und Weiterbildung NRW.