KOMPETENZANALYSE PROFIL AC AN SCHULEN

Transkript

1 KOMPETENZANALYSE PROFIL AC AN SCHULEN Das Assessment-Center-Verfahren zur Ermittlung der individuellen überfachlichen Kompetenzen von Jugendlichen Evaluationsbericht 00

2 KOMPETENZANALYSE PROFIL AC AN SCHULEN Das Assessment-Center-Verfahren zur Ermittlung der individuellen überfachlichen Kompetenzen von Jugendlichen Evaluationsbericht 00 Dezember 00 Im Auftrag des Ministeriums für Kultus, Jugend und Sport Baden-Württemberg erstellt durch: MTO Psychologische Forschung und Beratung GmbH Tübingen Brigitte Häcker, Karsten Hammer, Dr. Jürgen Ripper Gesamtprojektleitung: Regierungsdirektor Felix Ebert Projektbüro: Susanne Kugler (Projektleitung), Nikola Steinbach, Yvonne Dorsch, Michael Hauptvogel Bildnachweis: Deckblatt Yuri Arcurs / Fotolia.com; Privat

3 Danksagung Die MTO Psychologische Forschung und Beratung GmbH dankt dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg für die hervorragende Zusammenarbeit im gesamten Projektzeitraum des Projekts KOMPETENZANALYSE PROFIL AC AN SCHULEN. Unser Dank gilt vor allem Herrn Regierungsdirektor Felix Ebert, dem Gesamtleiter des Projekts sowie den Mitarbeiterinnen und Mitarbeitern des Projektbüros Frau Susanne Kugler (Projektbüroleitung), Frau Nikola Steinbach (Ansprechpartnerin für den Bereich Werkrealschule und Hauptschule) sowie Frau Yvonne Dorsch und Herrn Michael Hauptvogel (Ansprechpartner für den Bereich Sonderschule). In besonderem Maße möchten wir uns auch bei unserem Projektpartner, dem CJD Jugenddorf Offenburg, für die intensive und vertrauensvolle Zusammenarbeit bedanken. Insbesondere gilt unser Dank Herrn Jochen Nordau (Jugenddorfleiter CJD Jugenddorf Offenburg) sowie Herrn Samuel Breisacher (CJD-Projektleitung).

4

5 Inhaltsverzeichnis EINLEITUNG.... AUFBAU DES BERICHTS.... BESCHREIBUNG DES VERFAHRENS KOMPETENZANALYSE PROFIL AC AN SCHULEN... INFORMATIONEN ZUM PROJEKT.... INFORMATIONEN ZUR WISSENSCHAFTLICHEN BEGLEITUNG... PROZESSBEGLEITENDE EVALUATION.... KONZEPTION DES EVALUATIONSAUFTRAGS.... METHODIK DES EVALUATIONSAUFTRAGS.... DATENBASIS DER ABSCHLUSSANALYSE.... ZUSAMMENFASSUNG DER HAUPTERGEBNISSE DER ABSCHLUSS-ANALYSE ERGEBNISSE ZU DEN EINZELNEN THEMENBEREICHEN DER ABSCHLUSSANALYSE AKZEPTANZ KOMPETENZFELDER UND MERKMALE..... AUFGABEN INSTRUMENTE..... HANDBUCH SOFTWARE..... SCHULUNG SONSTIGES... WISSENSCHAFTLICHE GÜTEPRÜFUNG.... THEORETISCHER HINTERGRUND.... DATENBASIS DER WISSENSCHAFTLICHEN GÜTEPRÜFUNG (ZYKLUS ).... ZUSAMMENFASSUNG DER HAUPTERGEBNISSE DER WISSENSCHAFTLICHEN GÜTEPRÜFUNG...9. ERGEBNISSE DER WISSENSCHAFTLICHEN GÜTEPRÜFUNG MERKMALE VERTEILUNG DER BEURTEILUNGSWERTE..... VERTEILUNG DER SELBSTEINSCHÄTZUNGSWERTE..... ÜBEREINSTIMMUNG DER BEURTEILER.... BEWERTUNG DER GÜTEKRITERIEN... GESAMTBEWERTUNG... 9 ABBILDUNGSVERZEICHNIS... 0 DAS VERFAHREN KOMPETENZANALYSE PROFIL AC... PROJEKTPARTNER...

6 Einleitung. Aufbau des Berichts Der vorliegende Evaluationsbericht beinhaltet neben Informationen zum Projekt und zur wissenschaftlichen Begleitung die Ergebnisse der prozessbegleitenden Evaluation sowie die Ergebnisse der wissenschaftlichen Güteprüfung zur KOMPETENZANALYSE PROFIL AC AN SCHULEN. Der Bericht schließt mit einer Gesamtbewertung ab. Die Ergebnisse der prozessbegleitenden Evaluation sind in folgende Themenbereiche bzw. Kapitel unterteilt: Akzeptanz Kompetenzfelder und Merkmale Aufgaben Instrumente Handbuch Software Schulung Sonstiges Zu Beginn jedes Kapitels werden die einzelnen Ergebnisse innerhalb der Themenbereiche anhand von Diagrammen dargestellt und im Text beschrieben sowie teilweise durch freie Aussagen der Befragten ergänzt. Bei der Mehrzahl der Diagramme erfolgt die Darstellung der Ergebnisse unterteilt nach Schulart und über den Verlauf der drei Erhebungszyklen des Projektzeitraums hinweg. Werden Häufigkeiten mit Prozentwerten aufgeführt, bezieht sich die Angabe 00% jeweils auf diejenigen Personen, die die betreffende Frage auch beantwortet haben. Qualitative Ergebnisse werden häufig in Aufzählungen dargestellt. Hierbei ist zu beachten, dass dabei nur die häufigsten Aussagen aufgeführt sind. Im Anschluss an die Ergebnisdarstellung werden zu jedem Themenbereich zumeist konkrete Aussagen einzelner Personen aufgeführt, die den Tenor zu einem Themenbereich aus Sicht der Befragten widerspiegeln. Jedes Kapitel wird abgeschlossen durch eine kurze Interpretation der Ergebnisse. Die Ergebnisse der wissenschaftlichen Güteprüfung sind in folgende Themenbereiche bzw. Kapitel unterteilt: Merkmale Verteilung der Beurteilungswerte Verteilung der Selbsteinschätzungswerte Übereinstimmung der Beurteiler Mit Beurteiler sind stets beide Geschlechter gemeint.

7 . Beschreibung des Verfahrens KOMPETENZANALYSE PROFIL AC AN SCHULEN Die KOMPETENZANALYSE PROFIL AC AN SCHULEN ist ein Assessment-Center-Verfahren zur Ermittlung der individuellen überfachlichen Kompetenzen von Schülerinnen und Schülern ab der. Klasse. Mit dem Verfahren wird ein individuelles Kompetenzprofil mit persönlichen Stärken und Entwicklungspotenzialen erstellt. Die Ergebnisse der Kompetenzanalyse dienen als Grundlage für eine individuelle, auf die Bedürfnisse der einzelnen Schülerin bzw. des einzelnen Schülers ausgerichtete Förderung. Ablauf des Verfahrens Die KOMPETENZANALYSE PROFIL AC AN SCHULEN ist ein Verfahren mit einer internetbasierten Software, die die Planung, die Durchführung und die individuelle Profilerstellung unterstützt. Je zwei Lehrkräfte führen mehrere Beobachtungsaufgaben mit Kleingruppen à jeweils acht Schülerinnen und Schülern durch und beurteilen anschließend deren Kompetenzen. Die Beurteilung erfolgt jeweils auf einer -stufigen Skala. Die Schülerinnen und Schüler schätzen ihre Kompetenzen zudem selbst ein. Das Ergebnis des Verfahrens ist ein individuelles Kompetenzprofil der Schülerinnen und Schüler, das die Grundlage eines individuellen Rückmeldegesprächs bildet. Die Durchführung dauert mit einer Gruppe von acht Schülerinnen und Schülern inklusive Rückmeldung zwei Tage. Durch die Teilnahme an den Beobachtungsaufgaben, durch die Fremd- und die Selbsteinschätzung sowie durch das Rückmeldegespräch erkennen die Schülerinnen und Schüler ihre eigenen Fähigkeiten, Interessen und Neigungen. Abbildung : Ablauf der Kompetenzanalyse Komponenten des Verfahrens Beobachtungsaufgaben: Das Verfahren enthält neben einer Aufgabe mit Arbeitsergebnis eine Zusammenstellung von 8 Beobachtungsaufgaben für Werkrealschulen und Hauptschulen sowie eine Zusammenstellung von Beobachtungsaufgaben für Sonderschulen (Kommunikationsaufgaben, Planungsaufgaben, Produktaufgaben, Präsentationsaufgaben, Kulturtechnik und Computerbedienung). Aus dieser Zusammenstellung werden Aufgaben für die konkrete Durchführung ausgewählt. Materialien und Instrumente: Bei der Durchführung des Verfahrens werden Arbeitsmaterialien und Instruktionen zu den Beobachtungsaufgaben, Beobachtungsbögen, Beurteilungsbögen, Selbsteinschätzungsbögen sowie Beobachterkonferenzbögen verwendet. Handbuch für die Durchführenden: Die Anwendung des Verfahrens wird in einem Handbuch mit zahlreichen Schaubildern erläutert. Software zur Durchführung: Das Verfahren beinhaltet eine internetbasierte Software. Die Daten der Teilnehmenden lassen sich damit nach Datenschutzrichtlinien verwalten. Alle Materialien können ausgedruckt werden. Mit der Software können Beobachtungsaufgaben systematisch zusammengestellt werden. Die individuellen Kompetenzprofile werden automatisch erstellt. Schulungen: Die Lehrkräfte werden in dreitägigen Schulungen zur Planung, Durchführung und Auswertung des Verfahrens qualifiziert.

8 Konzeption mit Kompetenzen und Merkmalen: Die theoretische Konzeption beinhaltet soziale, methodische, personale, kulturtechnische sowie berufsspezifische Kompetenzen. Diese sind in Abbildung dargestellt. Abbildung : Merkmalskonzeption. Informationen zum Projekt Das Verfahren KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde innerhalb eines Projekts im Zeitraum von 008 bis 00 durch das CJD Jugenddorf Offenburg und die MTO Psychologische Forschung und Beratung GmbH Tübingen in enger Abstimmung mit dem Auftraggeber, dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg, entwickelt. Das Gesamtprojekt KOMPETENZANALYSE PROFIL AC AN SCHULEN wird durch Mittel des Europäischen Sozialfonds im Rahmen der zentralen Förderung des Ministeriums für Arbeit und Sozialordnung, Familien und Senioren Baden-Württemberg sowie durch Mittel der Regionaldirektion Baden-Württemberg der Bundesagentur für Arbeit gefördert. Das Ziel des Projekts war, neben der eigentlichen Entwicklung des Verfahrens, die flächendeckende Einführung des Verfahrens in den. Klassen der baden-württembergischen Werkrealschulen, Hauptschulen und Sonderschulen bis zum Beginn des Schuljahres 00/0. Die KOMPETENZANALYSE PROFIL AC AN SCHULEN basiert auf der Grundlage des Kompetenzfeststellungsverfahrens PROFIL AC, das seit 00 im Berufseinstiegsjahr (BEJ) in Baden- Württemberg eingesetzt wird. Ebenso wurden Erfahrungen und Erkenntnisse aus dem baden-württembergischen Modellprojekt Evaluation von Schlüsselqualifikationen (ESQ) der Jahre 000 bis 00 bei der Entwicklung berücksichtigt. Während des Entwicklungszeitraums fanden umfangreiche Schulungen für Lehrkräfte an allen Haupt-, Werkreal- und Sonderschulen in Baden-Württemberg statt.

9 . Informationen zur wissenschaftlichen Begleitung Die MTO GmbH Tübingen führte über den Projektzeitraum von 008 bis 00 die prozessbegleitende Evaluation durch. D.h. sie evaluierte den Verlauf des Projektes sowie die Qualität und die Handhabung des Verfahrens KOMPETENZANALYSE PROFIL AC AN SCHULEN. Außerdem führte sie die wissenschaftliche Güteprüfung des Verfahrens durch. Auf Grundlage der Ergebnisse aus prozessbegleitender Evaluation und wissenschaftlicher Güteprüfung wurde das Verfahren im Projektzeitraum im Rahmen mehrerer Projektzyklen kontinuierlich optimiert. Im Rahmen des Projekts wurde zunächst das bisher bestehende Verfahren PROFIL AC evaluiert (Zyklus, Statusanalyse). Die Entwicklung des neuen Verfahrens KOMPETENZANALYSE PROFIL AC AN SCHULEN erfolgte dann in drei weiteren Projektzyklen. Dabei gestaltete sich der zweite Zyklus (erste Prozessanalyse) folgendermaßen: Im Anschluss an die Entwicklung der ersten Version des neuen Verfahrens und die ersten Anwenderschulungen wurde das Verfahren an baden-württembergischen Werkrealschulen / Hauptschulen und Sonderschulen eingesetzt. Ausgehend von der darauf folgenden ersten prozessbegleitenden Evaluation / wissenschaftlichen Güteprüfung wurde das Verfahren modifiziert. Ein weiterer, analog aufgebauter Projektzyklus, folgte (Zyklus, zweite Prozessanalyse). Ein vierter Zyklus (Abschlussanalyse) diente der abschließenden Bewertung der fertiggestellten KOMPETENZANALYSE PROFIL AC AN SCHULEN. Abbildung : Wissenschaftliche Erhebungs- und Modifikationskonzeption mit vier Zyklen Die prozessbegleitende Evaluation und die wissenschaftliche Güteprüfung erfolgten in jedem der vier Zyklen jeweils mehrschrittig: Zunächst wurden in enger Abstimmung mit dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg die Erhebungsinstrumente erstellt bzw. aktualisiert. Anschließend fand die Datenerhebung statt: Schulleitungen, Lehrkräfte und Verfahrensexpertinnen und - experten sowie Schülerinnen und Schüler wurden anhand von Fragebögen bzw. strukturierten Interviews zu ihren Erfahrungen mit dem Verfahren befragt. Außerdem wurde die Durchführung der Kompetenzanalyse an den Schulen durch Wissenschaftler direkt beobachtet und die Software nutzerergonomisch getestet. Für die wissenschaftliche Güteprüfung wurden alle Beurteilungs- und Selbsteinschätzungsdaten der teilnehmenden Schülerinnen und Schüler anonymisiert erfasst.

10 In jedem Zyklus folgte die Auswertung der erhobenen Daten in Form von quantitativen und qualitativen Analysen. Im Zuge der wissenschaftlichen Güteprüfung wurden mehrere Gütewerte ermittelt. Die Ergebnisse wurden jeweils in Form eines wissenschaftlichen Ergebnisberichts rückgemeldet. Dieser diente (mit Ausnahme von Zyklus ) jeweils als Grundlage für die Erstellung von Lastenheften zur Modifikation des Verfahrens und der Software. Abbildung : Wissenschaftliche Erhebungs- und Modifikationskonzeption exemplarisch dargestellt: Zyklus (erste Prozessanalyse) Über den Projektzeitraum hinweg wurde dabei auf eine große Datenbasis zurückgegriffen: In die wissenschaftlichen Analysen gingen die Fragebogendaten von mehr als.00 Werkrealschul-/Hauptschullehrkräften, von über.00 Sonderschullehrkräften, von knapp.000 Werkreal-/Hauptschüler/innen und von über.000 Sonderschüler/innen sowie die Beurteilungs- und Selbsteinschätzungsdaten der Kompetenzanalyse von mehr als.000 Werkrealund Hauptschüler/innen und von über.000 Sonderschüler/innen ein. Es handelte sich um unabhängige Personenstichproben, d.h. in den verschiedenen Projektzyklen wurden die Daten unterschiedlicher Personen erhoben. Ein wesentliches Ziel der wissenschaftlichen Begleitung bestand darin, die Anwenderinnen und Anwender des Verfahrens in die Verfahrensentwicklung einzubeziehen, eine einfache Handhabung des Verfahrens sowie die Entwicklung eines qualitativ hochwertigen Verfahrens zu gewährleisten. Die erreichte Standardisierung sollte nachvollziehbare und faire Beurteilungen der Schülerinnen und Schüler bewirken. Zum Ende des vierten Zyklus liegen die abschließenden Ergebnisse der prozessbegleitenden Evaluation sowie der wissenschaftlichen Güteprüfung nun vor. Sie werden im vorliegenden Ergebnisbericht dargestellt.

11 Prozessbegleitende Evaluation. Konzeption des Evaluationsauftrags Ausgehend vom Kompetenzfeststellungsverfahrens PROFIL AC, das seit 00 im Berufseinstiegsjahr (BEJ) eingesetzt wird, wurde das Verfahren KOMPETENZANALYSE PROFIL AC AN SCHULEN im Zuge eines mehrzyklischen Vorgehens entwickelt. Im Rahmen der Zyklen und (erste und zweite Prozessanalyse) dienten die Ergebnisse der prozessbegleitenden Evaluation jeweils als Grundlage für die Modifikation der KOMPE- TENZANALYSE PROFIL AC AN SCHULEN. Die Ergebnisse lieferten konkrete Hinweise zur Optimierung der einzelnen Verfahrenskomponenten: Die Kompetenz- und Merkmalskonzeption wurde dahingehend modifiziert, dass alle enthaltenen Merkmale möglichst gut beobachtbar sind. Das Aufgabenangebot für Werkrealschulen / Hauptschulen und Sonderschulen wurde verändert, indem einzelne Aufgaben in Bezug auf ihren Schwierigkeitsgrad optimiert wurden, ungeeignete Aufgaben wegfielen und neue Aufgaben hinzukamen. Die Beobachtungs- und Beurteilungsinstrumente wurden dahingehend optimiert, dass Papier eingespart wurde und dass den Lehrkräften sowie den Schülerinnen und Schülern der Umgang mit den Instrumenten möglichst leicht fällt. Die Software zum Verfahren KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde in Hinblick auf nutzerergonomische Aspekte optimiert. Es wurde darauf abgezielt, die Software so anwenderfreundlich wie möglich zu gestalten. Die Abschlussanalyse (Zyklus ) diente der abschließenden Bewertung der fertiggestellten KOMPETENZANALYSE PROFIL AC AN SCHULEN. Danach erfolgte keine weitere Modifikation des Verfahrens.. Methodik des Evaluationsauftrags Bei der prozessbegleitenden Evaluation gab es drei Erhebungszeiträume: Zyklus : Frühling / Sommer 008, Zyklus : Frühling / Sommer 009 und Zyklus : Frühling / Sommer 00. Die prozessbegleitende Evaluation hatte folgende inhaltliche Schwerpunkte: Die Akzeptanz des Verfahrens, die Kompetenzfelder und Merkmale, die Aufgaben, die Beobachtungs- und Beurteilungsinstrumente, das Handbuch, die Software und die Schulung. Die Datenerhebung erfolgte anhand unterschiedlicher Methoden: Lehrkräfte sowie Schülerinnen und Schüler wurden anhand von Fragebögen schriftlich zu ihren Erfahrungen mit der KOMPETENZANALYSE PROFIL AC AN SCHULEN befragt. Dabei sollten sie bestimmte Aspekte des Verfahrens durch Ankreuzen beurteilen. Im Rahmen von offenen Fragen konnten sie zudem zu bestimmten Aspekten frei Stellung nehmen und so beispielsweise konkrete Verbesserungsvorschläge einbringen. Lehrkräfte, Verfahrensexpertinnen und -experten (Lehrkräfte und Vertreter der Schulleitungen) sowie Schülerinnen und Schüler wurden anhand von strukturierten Interviews zu ihren aktuellen Erfahrungen mit dem Verfahren befragt. Anhand der Interviews konnten bestimmte Aspekte der KOMPETENZANALYSE PROFIL AC AN SCHULEN vertiefend analysiert werden.

12 Außerdem wurde die Durchführung des Verfahrens durch Wissenschaftler direkt beobachtet. Dadurch wurden z.b. mögliche Schwierigkeiten bei der Aufgabendurchführung direkt erfasst. Die Software zur KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde zudem nutzerergonomisch getestet. Lehrkräfte wurden anhand von standardisierten Aufgabenstellungen bei der Anwendung der Software beobachtet. So konnten mögliche Schwierigkeiten beim Umgang mit der Software direkt aufgedeckt werden. Im Rahmen von Zyklus fanden zudem Evaluationsgespräche mit den Verfahrensexpertinnen und -experten in Form von freien Rückmeldungen zur Software statt.. Datenbasis der Abschlussanalyse Zur integrativen Analyse der KOMPETENZANALYSE PROFIL AC AN SCHULEN (Zyklus / 00: Abschlussanalyse) kam ein Multimethoden-Design mit quantitativen und qualitativen Erhebungsinstrumenten zum tragen. In die Analyse flossen ausgefüllte Lehrkräfte-Fragebögen sowie 0 ausgefüllte Schüler/innen-Fragebögen ein, die sich wie unten aufgeführt auf die unterschiedlichen Schultypen verteilten. In den vorausgegangenen Erhebungszyklen war die Datenbasis Lehrkräfte-Fragebögen und.80 Schüler/innen-Fragebögen (Zyklus / 008) bzw. 9 Lehrkräfte-Fragebögen und.0 Schüler/innen-Fragebögen (Zyklus / 009). Die Fragebögen wurden von Lehrkräften, die das Verfahren aktuell durchgeführt hatten, sowie von Schüler/innen, die am Verfahren aktuell teilgenommen hatten, ausgefüllt. Lehrkräfte-Fragebögen: 9 Werkrealschule und Hauptschule 8 Sonderschule, davon: Förderschule Schule für Erziehungshilfe 8 Schule für Körperbehinderte Schule für Sehbehinderte Schüler/innen-Fragebögen: 9 Werkrealschule und Hauptschule 88 Sonderschule, davon: 8 Förderschule Schule für Erziehungshilfe Schule für Körperbehinderte 8 Schule für Blinde Außerdem wurden strukturierte Interviews mit 8 Lehrkräften (8 Werkrealschule und Hauptschule, 0 Sonderschule), mit 90 Schüler/innen ( Werkrealschule und Hauptschule, Sonderschule) sowie mit 0 Verfahrensexpertinnen und -experten (Lehrkräften und Vertretern der Schulleitungen: 0 Werkrealschule und Hauptschule, 0 Sonderschule) durchgeführt. Die Durchführung des Verfahrens KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde direkt an den Schulen beobachtet: Im Rahmen von 0 Beobachtungseinheiten an Schulen (0 Werkrealschule und Hauptschule, 0 Sonderschule) kamen strukturierte Beobachtungschecklisten für die Aufgaben und für die Beobachterkonferenzen des Verfahrens zum Einsatz.

13 Ergänzend wurden Evaluationsgespräche zur Software mit den Verfahrensexpertinnen und -experten für den Bereich Werkrealschule und Hauptschule und mit Verfahrensexpertinnen und -experten für den Bereich Sonderschule sowie mit dem Service Center der Schulverwaltung durchgeführt. Die Datenerhebung fand von April bis Juli 00 statt. Mit den erhobenen Daten liegt eine sehr aussagekräftige Datengrundlage vor, die valide Aussagen zu den evaluierten Themenbereichen ermöglicht.. Zusammenfassung der Hauptergebnisse der Abschlussanalyse Im Folgenden werden die Ergebnisse des vorliegenden Berichts zur KOMPETENZANALYSE PROFIL AC AN SCHULEN zusammengefasst dargestellt. Detaillierte Ergebnisdarstellungen erfolgen in den entsprechenden Kapiteln. Akzeptanz (Kap...) Seite 0- Für eine derart grundsätzliche Neuerung, wie die KOMPETENZANALYSE PROFIL AC AN SCHULEN, ist die Akzeptanz durch die Beteiligten sehr wichtig. Die Evaluation brachte im Zusammenhang mit diesem Punkt folgende Ergebnisse. Die Lehrkräfte und die befragten Expertinnen und Experten halten die Kompetenzanalyse zur Ermittlung der individuellen Kompetenzen und auch als Ausgangspunkt zur Förderung der individuellen Kompetenzen der Schüler/innen für geeignet. Insgesamt wird die Kompetenzanalyse von den Lehrkräften und von den Expertinnen und Experten als sinnvolles Verfahren erlebt. Der Zeitbedarf für die Kompetenzanalyse wird von den Lehrkräften jedoch zum Teil auch skeptisch betrachtet, da sie die zeitlichen Ressourcen als nur tendenziell ausreichend wahrnehmen. Die Expertinnen und Experten halten den Zeitbedarf für die Kompetenzanalyse für sinnvoll. Die Schüler/innen beurteilen die Kompetenzanalyse insgesamt als sehr positiv. Positiv auffallend ist das Engagement, mit dem sie an der Kompetenzanalyse teilgenommen haben. Viele Schüler/innen betonen, dass die Beurteilung durch die Lehrkräfte für sie persönlich gewinnbringend sei. Kompetenzfelder und Merkmale (Kap...) Seite -9 Eine wesentliche Komponente des Verfahrens ist die zugrunde liegende Kompetenz- und Merkmalskonzeption mit Merkmalen. Die Beobachtung und die Beuteilung ihrer Schülerinnen und Schüler erweist sich für die Lehrkräfte als Aufgabe mittlerer Schwierigkeit. Die Definitionen der Kompetenzen und Merkmale im Merkmalskatalog empfinden die Lehrkräfte als hilfreich; sie geben an, dass die Verhaltensbeispiele aus dem Merkmalskatalog das jeweilige Merkmal gut veranschaulichen. Aufgaben (Kap...) Seite 0- Die Durchführung standardisierter Beobachtungsaufgaben mit anschließender Beurteilung der Schüler/innen ist für die meisten Lehrkräfte ein ungewohntes Vorgehen. Die Aufgaben werden von den Lehrkräften insgesamt als geeignet für die Kompetenzanalyse eingestuft; keine der Aufgaben wird für ungeeignet gehalten. 8

14 In Bezug auf den Schwierigkeitsgrad werden die Aufgaben mit Ausnahme der Aufgabenkategorie im Sonderschulbereich als angemessen bewertet. Instrumente (Kap...) Seite -0 Die Lehrkräfte halten den Beobachtungsbogen, den Beurteilungsbogen und den Beobachterkonferenzbogen für geeignete Instrumente. Die Instruktion zur Selbsteinschätzung halten sie für geeignet zur Unterstützung der Schüler/innen bei der Selbsteinschätzung. Ebenso wird der Selbsteinschätzungsbogen von den Lehrkräften als geeignet eingestuft. Die Schüler/innen geben an, dass sie es gut fanden, sich selbst einschätzen zu dürfen und dass sie es für eher leicht halten, sich mit dem Selbsteinschätzungsbogen einzuschätzen. Viele Schüler/innen äußern, dass die Aufgaben und die anschließende Selbsteinschätzung gute Möglichkeiten sind, sich selbst besser kennenzulernen. Die Darstellung der Ergebnisse im Kompetenzprofil wird von den Lehrkräften als gut bewertet. Die Lehrkräfte halten das Kompetenzprofil auch für eine gute Grundlage für die Rückmelde- / Fördergespräche und die Vorlage zu den Fördervereinbarungen für geeignet zur Dokumentation von Fördervereinbarungen. Auch ein ergänzender Einsatz der Beobachtungs- und Beurteilungsinstrumente außerhalb der Kompetenzanalyse (z.b. zur Beobachtung oder Beurteilung der Schüler/innen in Fächern / Fächerverbünden) hat in Einzelfällen stattgefunden. Die Erfahrungen mit diesem Einsatz sind insgesamt positiv. Handbuch (Kap...) Seite 0- Das entwickelte Handbuch dient den Lehrkräften als wichtige Hilfestellung zur Durchführung des Verfahrens. Es wird von den Lehrkräften als sehr anwenderfreundlich und verständlich eingestuft. Sie halten es für eine gute Unterstützung bei der Durchführung der Kompetenzanalyse. Software (Kap...) Seite - Eine wesentliche Komponente des Verfahrens ist die Unterstützung durch die Software. Die Expertinnen und Experten halten die Software in hohem Maße für anwenderfreundlich. Von den Lehrkräften wird die Internetseite in Bezug auf ihren Aufbau, die Zusammenstellung der Aufgaben und die Ergebniseingabe über das Internet als in hohem Maße anwenderfreundlich eingestuft. Auch die Intranetseite wird in Bezug auf alle abgefragten Aspekte (Aufbau, Verwaltung der Datensätze der Schüler/innen, Verwaltung der AC Einheiten und Verwaltung der Kompetenzprofile) als sehr anwenderfreundlich eingestuft. Schulung (Kap...) Seite Das Verfahren wird ausschließlich von geschulten Lehrkräften durchgeführt. Die Evaluation zeigt, dass sich die Lehrkräfte durch die dreitägigen Schulungen gut auf die Durchführung der Kompetenzanalyse vorbereitet fühlten. 9

15 Mittelwerte. Ergebnisse zu den einzelnen Themenbereichen der Abschlussanalyse In den folgenden Kapiteln werden die Ergebnisse zu den einzelnen Themenbereichen der Abschlussanalyse anhand von Diagrammen visualisiert und im Text beschrieben. Es werden entweder nur die Ergebnisse der Abschlussanalyse (Zyklus / 00) dargestellt oder, wenn informativ, der Verlauf über die Evaluationsphasen hinweg (Zyklus : Frühjahr/Sommer 008, Zyklus : Frühjahr/Sommer 009 und Zyklus : Frühjahr/Sommer 00). Die befragten Personen hatten in den eingesetzten Fragebögen bzw. in den Interviews auf einer -stufigen Skala anzugeben, in welchem Ausmaß sie einer bestimmten Aussage zustimmen (von = trifft überhaupt nicht zu bis = trifft voll zu ). Im Folgenden sind die entsprechenden Ergebnisse dargestellt. Die betreffenden Aussagen sind jeweils oberhalb der Abbildungen genannt... Akzeptanz Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte und Expertinnen / Experten): Die KOMPETENZANALYSE PROFIL AC AN SCHULEN eignet sich zur Ermittlung der individuellen Kompetenzen. Ermittlung der individuellen Kompetenzen,,0,,,8,9,9,8,9 Werkrealschule / Hauptschule Sonderschule Expertinnen / Experten Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Eignung der Kompetenzanalyse zur Ermittlung der individuellen Kompetenzen ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte halten die Kompetenzanalyse tendenziell für geeignet zur Ermittlung der individuellen Kompetenzen der Schülerinnen und Schüler, wobei die Angaben der Lehrkräfte der Sonderschulen leicht positiver ausfallen als die der Lehrkräfte der Werkrealschulen / Hauptschulen. Die befragten Expertinnen und Experten halten die Kompetenzanalyse für gut geeignet zur Ermittlung der individuellen Kompetenzen. Im Verlauf der Evaluationszyklen zeigen sich nur geringe Veränderungen in Bezug auf die Angaben der Befragten. 0

16 Mittelwerte Mittelwerte Abgefragte Aussage zu Abbildung gilt (befragt: Lehrkräfte und Expertinnen / Experten): Die Kompetenzanalyse eignet sich als Ausgangspunkt zur Förderung der individuellen Kompetenzen. Ausgangspunkt zur Förderung der individuellen Kompetenzen,,9,,8,, Werkrealschule / Hauptschule,,, Sonderschule Expertinnen / Experten Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Eignung der Kompetenzanalyse als Ausgangspunkt zur Förderung der individuellen Kompetenzen ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte halten die Kompetenzanalyse tendenziell für geeignet als Ausgangspunkt zur Förderung der individuellen Kompetenzen. Auch bei dieser Frage sind die Angaben der Lehrkräfte der Sonderschulen etwas positiver als die der Lehrkräfte der Werkrealschulen / Hauptschulen. Die befragten Expertinnen und Experten halten die Kompetenzanalyse für gut geeignet als Ausgangspunkt zur Förderung der individuellen Kompetenzen. Im Verlauf der Evaluationszyklen zeigen sich lediglich geringe Veränderungen in Bezug auf die Angaben der Befragten. Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte und Expertinnen / Experten): Die Schüler/innen haben motiviert an der Kompetenzanalyse teilgenommen. Motivation der Schüler/innen,8,0,9,8,8,, Werkrealschule / Hauptschule Sonderschule Expertinnen / Experten Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Motivation der Schüler/innen bei der Teilnahme an der Kompetenzanalyse ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte und die Expertinnen und Experten geben an, dass die Schüler/innen sehr motiviert an der Kompetenzanalyse teilgenommen haben.

17 Häufigkeiten Mittelwerte Abgefragte Aussagen zu Abbildung 8 (befragt: Schüler/innen): A: Mir hat es gut gefallen, an der Kompetenzanalyse teilzunehmen. B: Ich konnte die Aufgaben gut bearbeiten. C: Ich konnte in den Aufgaben zeigen, was ich kann. D: Die Kompetenzanalyse hilft mir dabei, meine Stärken und Schwächen herauszufinden. Akzeptanz auf Seiten der Schüler/innen,,,,0,08,0,,0,, A B C D Zyklus 008 Zyklus 009 Zyklus 00 Abbildung 8: Mittelwerte der Angaben der befragten Schüler/innen zur Akzeptanz der Kompetenzanalyse (Hauptund Sonderschule) ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Schüler/innen beurteilen die Kompetenzanalyse durchgehend als positiv. Sie geben an, dass es ihnen gut gefallen hat, an der Kompetenzanalyse teilzunehmen. Sie erklären auch, dass sie die Aufgaben gut bearbeiten und ihre Fähigkeiten gut zeigen konnten. Im Verlauf der Evaluationszyklen zeigen sich lediglich geringe Veränderungen in Bezug auf die entsprechenden Angaben. Weiter geben die Schüler/innen an, dass ihnen die Kompetenzanalyse dabei geholfen habe, die eigenen Stärken und Schwächen herauszufinden. Frage zu Abbildung 9 (befragt: Schüler/innen): Würdest Du gerne noch einmal an einer Kompetenzanalyse teilnehmen? Bitte begründe Deine Antwort. 00% 80% Erneute Teilnahme an einer Kompetenzanalyse 8,% 0% 0% 0%,% 0% ja Zyklus 00 nein Abbildung 9: Häufigkeiten der Angaben der befragten Schüler/innen zur erneuten Teilnahme an einer Kompetenzanalyse in Prozent Die meisten der befragten Schüler/innen geben an, gerne noch einmal an einer Kompetenzanalyse teilnehmen zu wollen. Sie begründen dies größtenteils damit, dass die Kompetenzanalyse Spaß gemacht und ihnen persönlich etwas gebracht habe.

18 Mittelwerte Mittelwerte Frage (befragt: Schüler/innen): Hast Du durch die Kompetenzanalyse etwas Neues über Dich erfahren? Häufigste Antworten: Ich kann gut im Team arbeiten. Ich kann mich verbessern. Ich kann mehr, als ich mir zugetraut habe. Ich kann sehr ordentlich arbeiten. Ich kann gut präsentieren. Abgefragte Aussage zu Abbildung 0 (befragt: Lehrkräfte und Expertinnen / Experten): Ich hatte ausreichend zeitliche Ressourcen für die Durchführung der Kompetenzanalyse. Zeitliche Ressourcen für die Durchführung,8,, Werkrealschule / Hauptschule Sonderschule Expertinnen / Experten Zyklus 00 Abbildung 0: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zu den zeitlichen Ressourcen für die Durchführung der Kompetenzanalyse ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte sowie die Expertinnen und Experten halten die zeitlichen Ressourcen für die Durchführung der Kompetenzanalyse nur für tendenziell ausreichend. Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte und Expertinnen / Experten): Den Zeitbedarf für die Kompetenzanalyse halte ich für sinnvoll.,98 Zeitbedarf für die Kompetenzanalyse,,0,,,,0 Werkrealschule / Hauptschule Sonderschule Expertinnen / Experten Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zum Zeitbedarf für die Kompetenzanalyse ( = trifft überhaupt nicht zu, = trifft voll zu)

19 Mittelwerte Der Zeitbedarf für die Kompetenzanalyse wird von den befragten Lehrkräften der Werkrealschulen / Hauptschulen als nur mäßig sinnvoll bewertet. Die befragten Lehrkräfte der Sonderschulen halten den Zeitbedarf für mittelmäßig sinnvoll. Im Vergleich zu den vorangegangenen Evaluationszyklen fallen die Bewertungen zwar tendenziell besser aus; insgesamt liegen die Werte aber weiterhin nicht sehr hoch. Insbesondere bei dieser Frage zum Zeitbedarf gibt es sehr große Unterschiede in der Bewertung durch die einzelnen Lehrkräfte. Die befragten Expertinnen und Experten halten den Zeitbedarf für die Kompetenzanalyse für sinnvoll. Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte und Expertinnen / Experten): Allgemein halte ich die Kompetenzanalyse für sinnvoll. Sinnhaftigkeit der Kompetenzanalyse,8,9,,,,8,0 Werkrealschule / Hauptschule Sonderschule Expertinnen / Experten Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Sinnhaftigkeit der Kompetenzanalyse ( = trifft überhaupt nicht zu, = trifft voll zu) Insgesamt wird die Kompetenzanalyse von den befragten Lehrkräften der Tendenz nach als sinnvoll eingeschätzt. Die befragten Expertinnen und Experten halten die Kompetenzanalyse allgemein für sehr sinnvoll. Einige typische Aussagen zur Akzeptanz Die Kompetenzanalyse muss durch den Eindruck im Unterricht ergänzt werden. (Expertin / Experte) Die Schüler waren alle mit Eifer dabei und waren auch stolz auf ihr Profil. (Lehrkraft) Die Planung erfordert sehr viel Zeit. (Expertin / Experte) Man hat zu wenig Zeit für Fördergespräche, dazu genügt die Kontingenzstunde nicht. (Expertin / Experte) Sprengt den Rahmen der Organisation einer Schule. (Lehrkraft) Individuelles Arbeiten muss Pflicht werden. (Lehrkraft) Die Durchführung hat Spaß gemacht, mich bereichert. Der Zeit- und Materialaufwand ist groß, aber lohnt sich. (Lehrkraft) Die Durchführungsphase war sehr zeitintensiv, die Ergebnisse dafür eine große Bereicherung für mich und meine Schüler. Die Kompetenzprofile sind für die Schüler ein sehr gutes Feedback. (Lehrkraft) Die Kompetenzanalyse war sehr gut, ich würde sie gleich nochmal machen." (Schüler/in)

20 Ich danke euch, dass ich an der Kompetenzanalyse teilnehmen durfte. (Schüler/in) Die Kompetenzanalyse kann mir bei der Berufsfindung helfen. (Schüler/in) Mir hat das so gut getan, da konnte ich sehen was für eine Stärke ich habe und was ich noch verbessern kann. (Schüler/in) Da lernt man was für die Zukunft. (Schüler/in) Ich finde es gut, dass die Lehrer einen Schüler genauer beobachten und sie wirklich mal sehen was wir Schüler können. (Schüler/in) Ich fand die Kompetenzanalyse sehr hilfreich und ich habe viele Sachen dazu gelernt. (Schüler/in) Ich fand es gut, weil ich jetzt weiß, dass ich nicht so schlecht bin, wie ich immer gedacht habe. (Schüler/in) Leider immer noch nicht ganz akzeptiert, Kollegen versperren sich teilweise. (Expertin / Experte) Die Kompetenzanalyse ist eine Bereicherung fürs Schulleben. (Expertin / Experte) Die Planung erfordert sehr viel Zeit. (Expertin / Experte) Das Verfahren müsste abgespeckt schon in Klasse beginnen. Dann wieder in Klasse, 8 und 9., da man sonst keine Überprüfung der Wirksamkeit hat. (Expertin / Experte) Teamarbeit konnte ich davor nicht so gut. Jetzt kann ich es. (Schüler/in) Wir können unsere Fähigkeiten sehen. (Schüler/in) Sehr schön, dass die Schüler die Möglichkeit haben, sich selbst und die Anderen in einem anderen Zusammenhang wahrzunehmen. (Expertin / Experte) Eingefahrene Sichtweisen werden gesprengt. (Expertin / Experte) Die Kompetenzanalyse liefert oft verblüffende Ergebnisse, die man nicht erwartet hat. (Expertin / Experte) Insbesondere in kleinen Schulen kommt es zu einem Ressourcenproblem, wenn die Klassen vertreten werden müssen. (Lehrkraft) Dateninterpretation zum Themenbereich Akzeptanz Die Akzeptanz des Verfahrens ist bei den befragten Expertinnen und Experten sowie bei den Schülerinnen und Schülern gegeben. Bei den Lehrkräften fällt die Akzeptanz tendenziell positiv aus. Der Zeitbedarf für die Kompetenzanalyse wird von den befragten Lehrkräften jedoch zum Teil auch skeptisch betrachtet, da sie die zeitlichen Ressourcen als nur tendenziell ausreichend wahrnehmen. Zum Nutzen des Verfahrens lässt sich sagen, dass es sich gemäß der Angaben der Befragten zur Kompetenzfeststellung der Schüler/innen und als Ausgangspunkt zur Förderung der individuellen Kompetenzen eignet.

21 Mittelwerte Mittelwerte.. Kompetenzfelder und Merkmale Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte): Die Merkmale sind insgesamt leicht zu beobachten. Beobachtbarkeit der Merkmale,0,,0,,, Werkrealschule / Hauptschule Zyklus 008 Zyklus 009 Zyklus 00 Sonderschule Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte halten die Merkmale der Schüler/innen nur für tendenziell leicht beobachtbar. Im Verlauf der Evaluationszyklen zeigen sich lediglich geringe Veränderungen in Bezug auf die entsprechenden Angaben. Frage (befragt: Expertinnen und Experten): Wie schätzen Sie die Beobachtbarkeit der Merkmale ein? Häufigste Antworten: Insgesamt gut / sehr gut Manche Merkmale sind schwer zu beobachten (z.b. Planungsfähigkeit), andere eher leicht (z.b. Teamfähigkeit). Die Aufgaben sind unterschiedlich gut für die Beobachtung der Merkmale geeignet. Durch die Weiterentwicklung des Verfahrens wurde die Beobachtbarkeit verbessert. Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte): Es ist leicht, die Schüler/innen anhand der Merkmale zu beurteilen. Beurteilung anhand der Merkmale,9,,,,,0 Werkrealschule / Hauptschule Zyklus 008 Zyklus 009 Zyklus 00 Sonderschule Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Beurteilung anhand der Merkmale ( = trifft überhaupt nicht zu, = trifft voll zu)

22 Mittelwerte Mittelwerte Die befragten Lehrkräfte halten die Beurteilung der Schüler/innen anhand der Merkmale nur tendenziell für leicht. Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte): Die Merkmale sind im Merkmalskatalog gut definiert. Definition der Merkmale,,,,9,09, Werkrealschule / Hauptschule Zyklus 008 Zyklus 009 Zyklus 00 Sonderschule Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Definition der Merkmale im Merkmalskatalog ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte bewerten die Definitionen der Merkmale im Merkmalskatalog als gut. Diese Bewertung der Lehrkräfte hat sich im Verlauf der drei Evaluationszyklen mit der Optimierung der Definitionen kontinuierlich verbessert. Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte): Die Verhaltensbeispiele aus dem Merkmalskatalog veranschaulichen das jeweilige Merkmal gut. Verhaltensbeispiele,,,0,9,9,9 Werkrealschule / Hauptschule Zyklus 008 Zyklus 009 Zyklus 00 Sonderschule Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zu den Verhaltensbeispielen im Merkmalskatalog ( = trifft überhaupt nicht zu, = trifft voll zu) Die Verhaltensbeispiele aus dem Merkmalskatalog sind nach Ansicht der befragten Lehrkräfte gut geeignet zur Veranschaulichung der jeweiligen Merkmale. Im Verlauf der Evaluationszyklen zeigt sich eine kontinuierliche Verbesserung dieser Einschätzung der Lehrkräfte.

23 Häufigkeiten Abgefragte Aussage zu Abbildung (befragt: Expertinnen / Experten): Anhand der Kompetenz- und Merkmalskonzeption erhält man ein umfassendes Bild der überfachlichen Kompetenzen der Schülerinnen und Schüler. 00% 80% Umfassendes Bild durch die Kompetenz- und Merkmalskonzeption 8,0% 0% 0% 0% 0% ja Zyklus 00,0% nein Abbildung : Häufigkeiten der Angaben der befragten Expertinnen / Experten zum Erhalt eines umfassenden Bildes der überfachlichen Kompetenzen der Schülerinnen und Schüler anhand der Kompetenz- und Merkmalskonzeption, in Prozent 8% der befragten Expertinnen und Experten sind der Ansicht, dass man anhand der Kompetenz- und Merkmalskonzeption ein umfassendes Bild der überfachlichen Kompetenzen der Schüler/innen erhält. Als weitere Kompetenzen / Merkmale, die ebenfalls beurteilt werden könnten, nennen die übrigen % der Expertinnen und Experten beispielsweise Zuverlässigkeit, Motivation und gestalterische Fähigkeiten. Einige typische Aussagen zu den Kompetenzfeldern und Merkmalen Man hat die Möglichkeit, die Schüler anhand bestimmter Kriterien gezielt zu beobachten. (Lehrkraft) Die Präsentationsfähigkeit ist aufgrund der kurzen Zeit nur sehr wenig beobachtbar. (Expertin / Experte) Die Aufgaben ermöglichen die Merkmalsbeobachtung unterschiedlich gut. Manche Merkmale lassen sich gut beobachten, manche kann man in so kurzer Zeit nicht beobachten. (Expertin / Experte) Fraglich, ob man durch die Kompetenzanalyse in der kurzen Zeit wirklich ein echtes Bild erhält oder man das Bild noch durch andere Dinge (z. B. weitere Beobachtungen) ergänzen sollte. (Expertin / Experte) Präsentationsaufgaben sind gut zum Beobachten, Planungsaufgaben sind dagegen eher abstrakt. (Expertin / Experte) Die Präsentationsaufgaben sind super zum Beobachten. (Expertin / Experte) Die Konfliktfähigkeit ist schwierig zu beobachten, da die Aufgaben zu wenig Konfliktpotential bieten. (Expertin / Experte) 8

24 Dateninterpretation zum Themenbereich Kompetenzfelder und Merkmalen Die Beobachtung und die Beurteilung ihrer Schülerinnen und Schüler erweist sich für die Lehrkräfte nach eigenen Angaben als Aufgabe mittlerer Schwierigkeit. Einige Merkmale werden als leichter beobachtbar (z.b. Teamfähigkeit), andere als schwerer beobachtbar (z.b. Planungsfähigkeit) erlebt. Hierbei ist zu bedenken, dass die Beobachtung von bis zu vier Schülerinnen und Schülern während einer Beobachtungsaufgabe sowie die anschließende Beurteilung generell eine anspruchsvolle und für die Lehrkräfte neue Aufgabe ist. Der Merkmalskatalog hat sich mit seinen Merkmalsdefinitionen und Verhaltensbeispielen bewährt. 9

25 Häufigkeiten Häufigkeiten.. Aufgaben In den Abbildungen 8 bis ist dargestellt, wie häufig die einzelnen Aufgaben insgesamt durchgeführt wurden. Häufigkeit Aufgabendurchführung - Werkrealschule / Hauptschule Zyklus 00 Abbildung 8: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Werkrealschule / Hauptschule) Häufigkeit Aufgabendurchführung - Werkrealschule / Hauptschule Zyklus 00 Abbildung 9: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Werkrealschule / Hauptschule) 0

26 Häufigkeiten Häufigkeiten 0 Häufigkeit Aufgabendurchführung - Sonderschule Zyklus 00 Abbildung 0: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Sonderschule) 0 9 Häufigkeit Aufgabendurchführung - Sonderschule Zyklus 00 Abbildung : Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Sonderschule) Die Aufgaben wurden von den Lehrkräften mit sehr unterschiedlicher Häufigkeit für die Durchführung ausgewählt. In den Abbildungen bis sind die Ergebnisse zur Eignung der einzelnen Beobachtungsaufgaben des Verfahrens sowie zur Angemessenheit des Schwierigkeitsgrads der betreffenden Aufgaben dargestellt.

27 Mittelwerte,,00,8,,,8,,0,,,,,,,9,,8,8,0, Mittelwerte,00,8,,,9,9,9,,,,,,0,8,,,0,0,9,8,,8,,0,9,8,0,9,9,,,8 Abgefragte Aussagen zu Abbildung und (befragt: Lehrkräfte der Werkrealschule / Hauptschule): Die folgenden Aufgaben halte ich für die Kompetenzanalyse für geeignet. Den Schwierigkeitsgrad der folgenden Aufgaben halte ich für meine Schüler/innen für angemessen. Aufgaben - Werkrealschule / Hauptschule für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu) Aufgaben - Werkrealschule / Hauptschule für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu) (Hinweis: Die Aufgaben, zu denen weniger als zehn Antworten vorliegen, sind im Diagramm nicht aufgeführt.)

28 Mittelwerte,,9,,9,,,9,,,,,,,00,9,,00,9,,8,8,,0,8,,,99,,00,9 Die befragten Lehrkräfte aus dem Werkreal- und Hauptschulbereich stufen die Aufgaben Dominosteine, L-Box, und Der Ball ist rund als besonders geeignet ein. Als am wenigsten geeignet beurteilen sie die Aufgabe Diskussionsrunde. Keine der Aufgaben wird als ungeeignet eingestuft. Die befragten Lehrkräfte aus dem Werkreal- und Hauptschulbereich stufen den Schwierigkeitsgrad der Aufgaben Streichholzturm, L-Box und Der Ball ist rund als besonders angemessen ein. Als am wenigsten angemessen beurteilen sie den Schwierigkeitsgrad der Aufgaben Budapest, Geduldsspiel und London. Für keine der Aufgaben wird der Schwierigkeitsgrad als unangemessen eingestuft. Abgefragte Aussagen zu Abbildung und (befragt: Lehrkräfte der Sonderschule): Die folgenden Aufgaben halte ich für die Kompetenzanalyse für geeignet. Den Schwierigkeitsgrad der folgenden Aufgaben halte ich für meine Schüler/innen für angemessen. Aufgaben - Sonderschule für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu) (Hinweis: Die Aufgaben, zu denen weniger als zehn Antworten vorliegen, sind im Diagramm nicht aufgeführt.)

29 Mittelwerte,0,0,80,,8,,,,9,0,,0,,8,0,,9,,,,0,,0,,00,,98,0,,,0,0 Aufgaben - Sonderschule für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu) (Hinweis: Die Aufgaben, zu denen weniger als zehn Antworten vorliegen, sind im Diagramm nicht aufgeführt.) Die befragten Lehrkräfte aus dem Sonderschulbereich stufen die Aufgaben Turmbau, L- Box, Pausenbrötchen Zubereitung, Schneidebrett und Lesezeichen als besonders geeignet ein. Als am wenigsten geeignet beurteilen sie die Aufgabe Waldpfad. Keine der Aufgaben wird als ungeeignet eingestuft. Die befragten Lehrkräfte aus dem Sonderschulbereich stufen den Schwierigkeitsgrad der Aufgaben Turmbau, Streichholzturm und Lesezeichen als besonders angemessen ein. Den Schwierigkeitsgrad der Aufgaben Familie Maierhof, Viel zu tun, Schulfest und Tierpark halten sie für eher nicht angemessen und den Schwierigkeitsgrad der Aufgabe Waldpfad für nicht angemessen. Einige typische Aussagen zu den Aufgaben Gruppenarbeiten sind allgemein geeignet, da bei diesen die Zusammenarbeit gut beobachtet werden kann. (Expertin / Experte) Die Präsentationsaufgaben machen den Schülern Spaß. (Expertin / Experte) Es ist gut, dass die Aufgaben nichts mit normalem Unterricht zu tun haben. (Expertin / Experte) Die Kombination aus Einzel- und Gruppenarbeit ist gut. (Expertin / Experte) Praktische Aufgaben sind gut, da hier viel beobachtet werden kann. (Expertin / Experte) Die Aufgaben sind motivierend. Die Schüler machen sie gerne. (Expertin / Experte) Aufgaben mit praktischen Tätigkeiten und Gruppenaufgaben sind besonders geeignet, da diese Fähigkeiten so nicht im Unterricht zu beobachten sind. (Expertin / Experte)

30 Die Aufgaben sind gut strukturiert. (Expertin / Experte) Aufgaben, die dreigeteilt sind in Einzel-, Gruppenarbeit und einen Präsentationsteil sind nicht so geeignet. (Lehrkraft) Einzelaufgaben sind bei einer größeren Gruppe schwierig, da es viel zu schreiben gibt. (Lehrkraft) Die Einzelarbeit bei den Planungsaufgaben ist schwer zu beobachten. (Lehrkraft) Die Aufgaben sind in den Schwierigkeitsgraden nicht gleich. (Lehrkraft) Insgesamt schöne Mischung aus Einzel-, Gruppen- und praktischer Arbeit. (Lehrkraft) Ausreichende Auswahl an Aufgaben aus der man AC erstellen kann. (Lehrkraft) Gruppenarbeiten sind lustig. (Schüler/in) Andere Aufgaben als sonst im Unterricht. (Schüler/in) Besser als Unterricht. Aufgaben machen Spaß. (Schüler/in) Interessant. Habe viel Neues gelernt. (Schüler/in) Gruppenarbeit ist wichtig, aber aus Einzelarbeit lernt man auch sehr viel. (Schüler/in) Bei manchen Aufgaben ist es blöd, dass man keine Hilfe bekommt. (Schüler/in) Nach ein paar Jahren sollten neue Aufgaben erstellt werden, weil die jetzigen dann sicher schon alle bekannt sind. (Expertin / Experte) Tolle Aufgaben und tolles Material. Das werde ich in meinen Unterricht einfließen lassen. (Lehrkraft) Es ist gut, dass es einen Pool an Aufgaben gibt und man leicht ein AC zusammen stellen kann. (Expertin / Experte) Dateninterpretation zum Themenbereich Aufgaben Die Beobachtungsaufgaben werden von den befragten Lehrkräften insgesamt als geeignet für die Kompetenzanalyse eingestuft; wobei es hierbei Unterschiede zwischen den Aufgaben gibt. In Bezug auf den Schwierigkeitsgrad werden die Aufgaben als unterschiedlich angemessen bewertet. Mit Ausnahme der Aufgaben der Aufgabenkategorie im Sonderschulbereich sind die Aufgaben jedoch nicht zu schwierig. Insgesamt können die Aufgaben in der vorliegenden Form beibehalten werden. Lediglich die Aufgaben aus der Aufgabenkategorie sollten für den Sonderschulbereich erneut modifiziert werden, sodass ein angemessener Schwierigkeitsgrad erreicht wird. Insgesamt ist es für ein differenziertes Verfahren adäquat, dass die Aufgaben unterschiedlich schwierig gestaltet sind. Dies ermöglicht den Lehrkräften eine für die jeweiligen Rahmenbedingungen passgenaue Aufgabenauswahl.

31 Mittelwerte Mittelwerte.. Instrumente Abgefragte Aussagen zu Abbildung und (befragt: Lehrkräfte): A: Der Beobachtungsbogen eignet sich gut zur Erfassung des Verhaltens der Schüler/ innen. B: Der Beurteilungsbogen eignet sich gut zur Beurteilung der Schüler/innen. C: Der Beobachterkonferenzbogen eignet sich gut zur Unterstützung bei der gemeinsamen Beurteilung. Beobachtungs-, Beurteilungs- und Beobachterkonferenzbogen - Werkrealschule / Hauptschule,,0,0,,0,,8,, A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Beobachtungsbogen (A), zum Beurteilungsbogen (B), zum Beobachterkonferenzbogen (C) ( = trifft überhaupt nicht zu, = trifft voll zu) Beobachtungs-, Beurteilungs- und Beobachterkonferenzbogen - Sonderschule,8,,9,08,0,,,,8 A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Beobachtungsbogen (A), zum Beurteilungsbogen (B), zum Beobachterkonferenzbogen (C) ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte aus dem Werkreal- / Hauptschul- und aus dem Sonderschulbereich halten die Instrumente des Verfahrens den Beobachtungsbogen, den Beurteilungsbogen, den Beobachterkonferenzbogen für deren jeweiligen Einsatzzweck für geeignet. Die Bewertungen der Lehrkräfte aus dem Werkreal- und Hauptschulbereich liegen für den Beobachtungsbogen tendenziell am niedrigsten, fallen aber noch positiv aus. Im Verlauf der Evaluationszyklen haben sich die Bewertungen auf einem relativ hohen Maß eingependelt.

32 Mittelwerte Mittelwerte Abgefragte Aussage zu Abbildung 8 (befragt: Lehrkräfte): A: Die Instruktion Selbsteinschätzung eignet sich gut zur Unterstützung der Schüler/innen bei der Selbsteinschätzung. Instruktion Selbsteinschätzung,0,,,8 Werkrealschule / Hauptschule Zyklus 009 Zyklus 00 Sonderschule Abbildung 8: Mittelwerte der Angaben der befragten Lehrkräfte zur Instruktion Selbsteinschätzung ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte der Werkrealschulen / Hauptschulen und der Sonderschulen halten die Instruktion zur Selbsteinschätzung für gut geeignet bzw. tendenziell gut geeignet zur Unterstützung der Schüler/innen bei ihrer Selbsteinschätzung. Im Vergleich zum Evaluationszyklus 009 wird die zwischenzeitlich optimierte Instruktion von den Lehrkräften beider Schularten besser bewertet. Abgefragte Aussage zu Abbildung 9 (befragt: Lehrkräfte): Der Selbsteinschätzungsbogen eignet sich gut für die Selbstbeurteilung der Schüler/innen. Selbsteinschätzungsbogen,9,,0,,, Werkrealschule / Hauptschule Zyklus 008 Zyklus 009 Zyklus 00 Sonderschule Abbildung 9: Mittelwerte der Angaben der befragten Lehrkräfte zum Selbsteinschätzungsbogen ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte der Sonderschulen halten den Selbsteinschätzungsbogen für tendenziell geeignet, die Lehrkräfte der Werkreal- und Hauptschulen für gut geeignet für die Selbsteinschätzung der Schülerinnen und Schüler. Im Vergleich zum Evaluationszyklus 008 wird der Selbsteinschätzungsbogen aufgrund der erfolgten Optimierung insbesondere von den Lehrkräften der Sonderschulen deutlich positiver bewertet.

33 Mittelwerte Mittelwerte Abgefragte Aussagen zu Abbildung 0 (befragt: Schüler/innen): A: Ich finde es gut, dass ich mich selbst einschätzen durfte. B: Es fiel mir leicht, mich mit dem Selbsteinschätzungsbogen einzuschätzen. Selbsteinschätzung,,8 A Zyklus 00 B Abbildung 0: Mittelwerte der Angaben der befragten Schüler/innen zur Selbsteinschätzung (Haupt- und Sonderschule) ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Schüler/innen geben an, dass sie es gut fanden, sich selbst einschätzen zu dürfen und dass sie es tendenziell für leicht halten, sich mit dem Selbsteinschätzungsbogen einzuschätzen. Abgefragte Aussagen zu Abbildung und (befragt: Lehrkräfte): A: Die Darstellung der Ergebnisse im Kompetenzprofil ist gut. B: Das Kompetenzprofil eignet sich gut als Grundlage für die Fördergespräche. C: Die Vorlage zu den Fördervereinbarungen eignet sich gut zur Dokumentation der Fördervereinbarungen. Kompetenzprofil und Fördervereinbarung - Werkrealschule / Hauptschule,,,8,8,0,,9,9 A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den Fördervereinbarungen (C) ( = trifft überhaupt nicht zu, = trifft voll zu) 8

34 Häufigkeiten Mittelwerte Kompetenzprofil und Fördervereinbarung - Sonderschule,9,,9,0,,8,0, A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den Fördervereinbarungen (C) ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte aus beiden Schularten bewerten die Darstellung der Ergebnisse im Kompetenzprofil als gut und halten das Kompetenzprofil für eine gute Grundlage für die Fördergespräche. Weiter halten sie die Vorlage zu den Fördervereinbarungen für geeignet zur Dokumentation der Fördervereinbarungen. In Bezug auf die Bewertung der Darstellung der Ergebnisse im Kompetenzprofil zeigt sich über die Evaluationszyklen hinweg ein deutlicher Trend in die positive Richtung, der aus der optimierten Gestaltung des Kompetenzprofilbogens resultiert. Das Verfahren bietet die Möglichkeit, die Beobachtungs- und Beurteilungsinstrumente auch außerhalb der Kompetenzanalyse einzusetzen. In Abbildung ist dargestellt, wie viele Lehrkräfte diese Möglichkeit genutzt haben. 00% Ergänzender Einsatz der Bögen 80% 0% 0% 9,% 9,0% 0% 0%,% 8,0% Werkrealschle / Hauptschule mindestens ergänzender Einsatz Sonderschule kein ergänzender Einsatz Abbildung : Häufigkeiten der Angaben der befragten Lehrkräfte zum Einsatz der Instrumente zusätzlich zur Kompetenzanalyse, in Prozent Ein ergänzender Einsatz der Instrumente des Verfahrens durch die Lehrkräfte (z.b. zur Beobachtung oder Beurteilung der Schüler/innen in Fächern/Fächerverbünden) hat nach Angaben der befragten Lehrkräfte lediglich in Einzelfällen stattgefunden. Die ersten Erfahrungen, die mit dem ergänzenden Einsatz der Bögen gemacht wurden, sind größtenteils positiv. Dies zeigt sich in den Antworten der Lehrkräfte, die diese Möglichkeit nutzten. Diese geben beispielsweise an, die Bögen seien strukturiert und leicht handzuhaben. Der Einsatz des Beobachtungsbogens verhindere zudem das Verlorengehen von Beobachtungen und der Beurteilungsbogen erhöhe die Transparenz für die Schüler/innen. Es werden jedoch auch Schwierigkeiten berichtet. Beispielsweise sei die Übertragung der Beobachtungen aus dem normalen Schulalltag in Beurteilungen nicht ganz einfach. 9

35 Mittelwerte Einige typische Aussagen zu den Instrumenten Die neuen Bögen sind wesentlich besser als die alten. (Expertin / Experte) Es ist schwierig die Beobachtungen neutral zu halten und bewertungsfrei zu formulieren. (Lehrkraft) Bei Zuordnung geht Neutralität relativ verloren. Erfahrungsbereich fließt in Beurteilung zum Teil mit ein. (Lehrkraft) Selbsteinschätzung der Schüler und Einschätzung der Lehrer liegen weit auseinander. (Lehrkraft) Die Selbsteinschätzung sollte sehr zeitnah geschehen. (Lehrkraft) Die Selbsteinschätzung lief gut. Die Klassenlehrer haben vorher mit den Schülern die Kompetenzen durchgesprochen. (Lehrkraft) Dateninterpretation zum Themenbereich Instrumente Die Instrumente des Verfahrens (Beobachtungsbogen, Beurteilungsbogen, Beobachterkonferenzbogen und Selbsteinschätzungsbogen) haben sich insgesamt bewährt. Sie sind für ihren jeweiligen Zweck gut geeignet. Mit dem Kompetenzprofil liegt zudem eine gute Grundlage für die Fördergespräche vor... Handbuch Abgefragte Aussagen zu Abbildung und (befragt: Lehrkräfte): A: Die Darstellung der Inhalte des Handbuchs ist anwenderfreundlich. B: Die Inhalte des Handbuchs sind verständlich. C: Das Handbuch unterstützt mich bei der Durchführung der Kompetenzanalyse. Handbuch - Werkrealschule / Hauptschule,,9,,,8,8,8,8, A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Handbuch ( = trifft überhaupt nicht zu, = trifft voll zu) 0

36 Häufigkeiten Mittelwerte Handbuch - Sonderschule,9,,89,0,,0,8,,88 A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Handbuch ( = trifft überhaupt nicht zu, = trifft voll zu) Das Handbuch wird von den befragten Lehrkräften beider Schularten als in hohem Maße anwenderfreundlich und verständlich eingestuft. Sie halten es für eine gute Unterstützung bei der Durchführung der Kompetenzanalyse. Im Verlauf der Evaluationszyklen zeigen sich lediglich geringe Veränderungen in Bezug auf die entsprechenden Angaben. Dateninterpretation zum Handbuch Das Handbuch wird insgesamt sehr positiv bewertet und stellt eine gute Unterstützung für die Lehrkräfte bei der Durchführung der Kompetenzanalyse dar... Software Fragen zu Abbildung (befragt: Lehrkräfte): A: Haben Sie das Internet selbst genutzt? B: Haben Sie das Intranet selbst genutzt? Nutzung der Software 00% 80% 9,8%,% 0% 0% 90,%,% 0% 0% Internet ja nein Intranet Abbildung : Häufigkeiten der Angaben der befragten Lehrkräfte zur Nutzung der Software in Prozent (Werkrealschule / Haupt- und Sonderschule) Gut 90% der befragten Lehrkräfte haben das Internet und knapp drei Viertel der Lehrkräfte haben das Intranet selbst genutzt.

37 Mittelwerte Mittelwert Abgefragte Aussage zu Abbildung (befragt: Expertinnen und Experten): Die Software der Kompetenzanalyse ist anwenderfreundlich. Bitte begründen Sie Ihre Meinung. Anwenderfreundlichkeit der Software, Expertinnen / Experten Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Expertinnen / Experten zur Anwenderfreundlichkeit der Software ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Expertinnen / Experten halten die Software in hohem Maße für anwenderfreundlich. Bei den freien Antworten zu diesem Thema machen sie folgende Angaben (häufigste Antworten): Die Software ist unkompliziert / leicht verständlich. Es gab keine technischen Probleme. Die Trennung Intranet/Internet ist für die Anwender schwierig; Eine Realisierung ohne den KISS-Rechner des Landes wäre gut. Es ist immer etwas Einarbeitungszeit nötig, da man die Software nur ein Mal im Jahr nutzt. Das Service Center des Kultusministeriums hat gut geholfen. Die Aufgabenpakete des Verfahrens sind in der Software gut abrufbar. Abgefragte Aussagen zu Abbildung 8 und 9 (befragt: Lehrkräfte): A: Der Aufbau der Internetseite ist anwenderfreundlich. B: Die Zusammenstellung der Aufgaben über das Internet ist anwenderfreundlich. C: Die Ergebnisdarstellung über das Internet ist anwenderfreundlich. Internet - Werkrealschule / Hauptschule,,,,,0,8,,, A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung 8: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Anwenderfreundlichkeit des Internets ( = trifft überhaupt nicht zu, = trifft voll zu)

38 Mittelwerte Mittelwerte Internet - Sonderschule,80,9,,0,0,,,, A B C Zyklus 008 Zyklus 009 Zyklus 00 Abbildung 9: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Internets ( = trifft überhaupt nicht zu, = trifft voll zu) Die Internetseite wird von den befragten Lehrkräften beider Schularten in Bezug auf alle abgefragten Aspekte als in hohem Maße anwenderfreundlich eingestuft. Im Verlauf der drei Evaluationszyklen zeigt sich für beide Schularten ein stetiger Anstieg in die positive Richtung. Abgefragte Aussagen zu Abbildung 0 und (befragt: Lehrkräfte): A: Der Aufbau der Intranetseite ist anwenderfreundlich. B: Die Verwaltung der Schüler-Datensätze über das Intranet ist anwenderfreundlich. C: Die Verwaltung der AC-Einheiten über das Intranet ist anwenderfreundlich. D: Die Verwaltung der Kompetenzprofile über das Intranet ist anwenderfreundlich. Intranet - Werkrealschule / Hauptschule,98,,,0,8,99,,0,98,8,,8 A B C D Zyklus 008 Zyklus 009 Zyklus 00 Abbildung 0: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Anwenderfreundlichkeit des Intranets ( = trifft überhaupt nicht zu, = trifft voll zu)

39 Mittelwerte Intranet - Sonderschule,,,,,,,0,9,98,99,, A B C D Zyklus 008 Zyklus 009 Zyklus 00 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Intranets ( = trifft überhaupt nicht zu, = trifft voll zu) Die Intranetseite wird von den befragten Lehrkräften beider Schularten in Bezug auf alle abgefragten Aspekte als anwenderfreundlich eingestuft. Im Verlauf der drei Evaluationszyklen zeigt sich für beide Schularten fast durchgängig ein stetiger Anstieg der Mittelwerte. Einige typische Aussagen zur Software Der Umgang mit der Software ist mir sehr leicht gefallen. (Lehrkraft) Die Software ist selbsterklärend. (Expertin / Experte) Die Software ist gut; allerdings ist der Kiss-Rechner unpraktisch. (Expertin / Experte) Die Trennung von Internet und Intranet ist schwierig. (Expertin / Experte) Dateninterpretation zur Software Die Software wird von den Befragten in Bezug auf alle Komponenten - Aufbau der Internet- und der Intranetseite, Zusammenstellung der Aufgaben, Verwaltung der Datensätze, Ergebnisdarstellung, etc. - als sehr anwenderfreundlich eingestuft. Allerdings wird die landesbezogene Trennung der Inhalte zwischen Internet und Intranet als hinderlich erlebt.

40 Mittelwerte.. Schulung Abgefragte Aussage zu Abbildung (befragt: Lehrkräfte): Ich wurde in der Schulung ausreichend für die Durchführung der Kompetenzanalyse vorbereitet. Schulung,0,,,89,0,9 Werkrealschule / Hauptschule Zyklus 008 Zyklus 009 Zyklus 00 Sonderschule Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Schulung ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Lehrkräfte beider Schularten fühlten sich durch die Schulung gut auf die Durchführung der Kompetenzanalyse vorbereitet. Vor allem im abschließenden Evaluationszeitraum (Zyklus 00) fällt die Bewertung der Schulungen in hohem Maße positiv aus. Dateninterpretation zum Themenbereich Schulung Die Lehrkräfte waren mit den Schulungen im Projektverlauf sehr zufrieden und fühlten sich gut auf die Durchführung der Kompetenzanalyse vorbereitet...8 Sonstiges Frage (befragt: Lehrkräfte, Expertinnen / Experten und Schüler/innen): Was gefällt Ihnen / Dir besonders gut am Verfahren Kompetenzanalyse? Häufigste Antworten: Lehrkräfte: Das Verfahren bietet Gelegenheit, sich Zeit für die Schüler/innen zu nehmen. Die Befassung mit den Kompetenzfeldern und Merkmalen ist gut. Die Kompetenzanalyse ist bereichernd / neuer Blickwinkel auf die Schüler/innen. Abwechslungsreich / interessant Die Teilnahme macht den Schüler/innen Spaß. Klare Struktur des Verfahrens

41 Expertinnen / Experten: Möglichkeit, die Schüler/innen in anderem Licht sehen Wertschätzung der Schüler/innen (werden ernst genommen) Schüler/innen haben Freude / sind motiviert. Die Kompetenzanalyse bietet eine standardisierte Beurteilung überfachlicher Kompetenzen. Bereicherung fürs Schulleben. Klasse ist ein guter Zeitpunkt. Gute Aufgaben Tandemarbeit / Austausch mit Kollegen ist gut. Gute Grundlage für die Individuelle Förderung Schüler/innen: Man lernt seine Stärken und Schwächen kennen. Bastelaufgaben Gruppenarbeit Tolle Aufgaben Es ist eine Abwechslung zum Unterricht. Frage (befragt: Lehrkräfte, Expertinnen / Experten und Schüler/innen): Was gefällt Ihnen / Dir weniger gut am Verfahren Kompetenzanalyse? Häufigste Antworten: Lehrkräfte: Hoher Aufwand (Vorbereitung, Papier, Material, Organisation) Die Kompetenzanalyse ist eine Momentaufnahme und tagesformabhängig. Wunsch nach mehr Materialien und nach Schulung zur individuellen Förderung Wunsch nach Durchführung durch Externe Expertinnen / Experten: Hoher Aufwand (Vorbereitung, Papier, Material, Organisation) Es gibt nicht ausreichend Klarheit bezüglich der Individuellen Förderung (Ablauf). Kollegen versperren sich teilweise (zum Teil fehlende Akzeptanz). Schüler/innen: Manche Aufgaben sind zu schwierig (z.b. Planungsaufgabe, Drahtbiegeaufgabe).

42 Wissenschaftliche Güteprüfung. Theoretischer Hintergrund Die Qualität diagnostischer Verfahren kann anhand wissenschaftlicher Kriterien, den sogenannten Testgütekriterien, beurteilt werden. Hierbei wird zwischen Objektivität, Reliabilität und Validität unterschieden. Diese werden im Folgenden erläutert. Objektivität Das Gütekriterium Objektivität bezieht sich auf die Unabhängigkeit der Ergebnisse eines Verfahrens von der untersuchenden Person sowie von der Durchführungssituation. Die untersuchende Person sowie die Situation sollen nach diesem Kriterium einen möglichst geringen Einfluss auf die Durchführung eines Verfahrens sowie auf die Auswertung und Interpretation der Verfahrensergebnisse haben. Dies soll durch die Standardisierung des Verfahrensablaufs und der Verfahrensinstrumente erreicht werden. Reliabilität Die Reliabilität gibt an, wie stark Ergebniswerte durch Störeinflüsse und Fehler belastet sind. Sie beschreibt also die Zuverlässigkeit von Verfahrensergebnissen. Die Reliabilität lässt sich durch unterschiedliche Methoden abschätzen, beispielsweise durch das Ausmaß der Übereinstimmung der Beurteilungen unterschiedlicher Beobachter. Validität Die Validität beschreibt die Fähigkeit eines Verfahrens, diejenigen Merkmale zu erfassen, die erfasst werden sollen. Sie gibt also die Güte der Zielrichtung eines Verfahrens wieder. Um Aussagen zu den Gütekriterien der KOMPETENZANALYSE PROFIL AC AN SCHULEN treffen zu können, wurden im Rahmen der wissenschaftlichen Güteprüfung (Zyklus / 00) für alle Schüler/innen zu jedem Merkmal folgende Daten erfasst: Die Beurteilung durch Lehrkraft, die Beurteilung durch Lehrkraft und die Selbsteinschätzung durch die Schülerin / den Schüler. Diese Daten wurden anschließend anhand statistischer Methoden analysiert. Zu bestimmten Aspekten der Güte des Verfahrens wurden zudem Lehrkräfte und Expertinnen / Experten befragt. Die Ergebnisse der wissenschaftlichen Güteprüfung werden in den folgenden Unterkapiteln dargestellt.. Datenbasis der wissenschaftlichen Güteprüfung (Zyklus ) Die wissenschaftliche Güteprüfung verlief über drei Phasen: Zyklus : Frühling / Sommer 008, Zyklus : Frühling / Sommer 009 und Zyklus : Frühling / Sommer 00. Das Ziel der Zyklen und war es, das Verfahren gemäß wissenschaftlicher Kriterien zu optimieren. Der Abschlusszyklus (Zyklus / 00) diente der abschließenden wissenschaftlichen Bewertung der fertiggestellten KOMPETENZANALYSE PROFIL AC AN SCHULEN. Im Rahmen der abschließenden wissenschaftlichen Güteprüfung (Zyklus ) wurden für alle Schüler/innen zu jedem Merkmal nachfolgende Daten erfasst und analysiert: Die Beurteilung durch Lehrkraft, die Beurteilung durch Lehrkraft und die Selbsteinschätzung durch die Schülerin / den Schüler. Mit Beobachter sind stets beide Geschlechter gemeint.

43 In die abschließende wissenschaftliche Güteprüfung des Verfahrens (Zyklus ) flossen Daten zu Kompetenzprofilen von 9. Schüler/innen aus. Schulen (.0 / Werkrealschulen / Hauptschulen und Sonderschulen) ein. Dabei gab es folgende Aufteilung:. Werkrealschüler/innen und Hauptschüler/innen und. Sonderschüler/innen.8 Mädchen und.0 Jungen Die Schüler/innen waren zwischen und Jahre alt, im Durchschnitt, Jahre. 8

44 . Zusammenfassung der Hauptergebnisse der wissenschaftlichen Güteprüfung Merkmale (Kap...) Seite 0- Die Lehrkräfte halten die Merkmale Arbeitstempo und Arbeitsgenauigkeit für am leichtesten beobachtbar. Die Merkmale Kritikfähigkeit und Problemlösefähigkeit werden als am wenigsten leicht beobachtbar eingestuft. Die Expertinnen und Experten sind der Ansicht, dass die Kompetenzanalyse es gut ermöglicht, die tatsächliche Merkmalsausprägung der Schüler/innen zu erfassen. Dieses Expertenurteil spricht für die Validität des Verfahrens. Verteilung der Beurteilungswerte (Kap...) Seite - Die Häufigkeitsverteilung der Beurteilungswerte ist sowohl für den Werkreal und Hauptschul- als auch für den Sonderschulbereich eingipflig und gleicht einer Normalverteilung. Alle fünf Skalenstufen wurden genutzt und es treten keine Boden- oder Deckeneffekte auf. Diese Ergebnisse sprechen für eine regelgerechte Anwendung der -stufigen Beurteilungsskala. Diese Skala mit den dazugehörigen Skalenbeschreibungen hat sich bewährt. Verteilung der Selbsteinschätzungswerte (Kap...) Seite - Auch für die Selbsteinschätzung hat sich die fünfstufige Skala als geeignet erwiesen. Alle fünf Skalenstufen wurden genutzt. Die Verteilung der Selbsteinschätzungswerte ist eingipflig. Sie ist allerdings auf der Skala nach rechts verschoben. Das heißt, die Schüler/innen zeigen eine Tendenz zu positiven Werten. Diese Tendenz fällt für beide Geschlechter gleich aus. Dieser Trend ist aber nicht so stark ausgeprägt, dass dies eine Einschränkung der Gültigkeit der Werte darstellen würde. Übereinstimmung der Beurteiler (Kap...) Seite - Sowohl für den Werkreal- und Hauptschul- als auch für den Sonderschulbereich liegt bei etwa der Hälfte der Beurteilungen eine vollständige Übereinstimmung der beiden Beurteiler vor, in ca. 0% weichen die Urteile um einen Skalenpunkt voneinander ab, nur in ca. % liegt die Abweichung darüber. Insgesamt lässt sich sagen, dass es sich um gute Übereinstimmungswerte der Beurteiler handelt. Diese Übereinstimmungswerte spiegeln eine relativ hohe Objektivität bzw. Reliabilität des Verfahrens wieder. Für ein derart komplexes Beobachtungsverfahren, bei dem die Beurteiler aus Gründen der schulischen Rahmenbedingungen die Schülerinnen und Schüler nicht jeweils in genau denselben Situationen beobachten, sind die Übereinstimmungswerte ausgesprochen gut. 9

45 Häufigkeiten 0,8%,8%,%. Ergebnisse der wissenschaftlichen Güteprüfung.. Merkmale Die folgenden Ergebnisse zu den Merkmalen resultieren aus der prozessbegleitenden Evaluation (Zyklus ). Da sie sich jedoch auf die Güte des Verfahrens beziehen, werden sie hier bei den Ergebnissen der wissenschaftlichen Güteprüfung dargestellt. Abgefragte Inhalte zu Abbildung (befragt: Lehrkräfte): Bitte wählen Sie aus den Merkmalen diejenigen 8 Merkmale aus, die Ihrer Meinung nach am leichtesten zu beobachten sind. 00% Beobachtbarkeit der Merkmale 80% 9,% 8,%,0%,%,%,%,9%,% 0%,% 0%,% 0%,% 0% Zyklus 00 Abbildung : Häufigkeiten der Angaben der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale, in Prozent (Werkrealschule / Hauptschule und Sonderschule) Die befragten Lehrkräfte halten die Merkmale Arbeitstempo und Arbeitsgenauigkeit für am leichtesten beobachtbar. Die Merkmale Kritikfähigkeit und Problemlösefähigkeit werden als am wenigsten leicht beobachtbar eingestuft. 0

46 Häufigkeiten Mittelwert Abgefragte Aussage zu Abbildung (befragt: Expertinnen / Experten): Die Kompetenzanalyse ermöglicht es, die tatsächliche Merkmalsausprägung der Schüler/innen zu erfassen. Erfassung der tatsächlichen Merkmalsausprägung,00 Expertinnen / Experten Zyklus 00 Abbildung : Mittelwert der Angaben der befragten Expertinnen / Experten zur Erfassung der tatsächlichen Merkmalsausprägung durch die Kompetenzanalyse ( = trifft überhaupt nicht zu, = trifft voll zu) Die befragten Expertinnen und Experten sind der Ansicht, dass die Kompetenzanalyse es insgesamt gut ermöglicht, die tatsächliche Merkmalsausprägung der Schüler/innen zu erfassen. Nach Angaben der Expertinnen und Experten gelingt dies jedoch nicht für alle Merkmale in gleichem Maße. Dateninterpretation zum Themenbereich Merkmale Die Merkmale des Verfahrens sind unterschiedlich gut zu beobachten. Insgesamt lassen sich nach Expertenmeinung jedoch mit dem Verfahren die tatsächlichen Ausprägungen der Merkmale bei den Schüler/innen erfassen. Dies spricht für die Validität des Verfahrens... Verteilung der Beurteilungswerte In den Abbildungen und ist dargestellt, wie häufig die Lehrkräfte im Rahmen der Beobachterkonferenz zur Beurteilung der Schüler/innen die einzelnen Skalenstufen (von = der / die Schüler/in zeigt das Merkmal in sehr geringer Ausprägung bis = der / die Schüler/in zeigt das Merkmal in sehr hoher Ausprägung ) verwendet haben. Verteilung der Beurteilungswerte - Werkrealschule / Hauptschule 0% 0,% 0% 8,% 0% 0,% 0%,8%,0% 0% 0% Zyklus 00 Abbildung : Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule) Beschreibung der Skala: Der / die Schüler/in zeigt das Merkmal = in sehr geringer Ausprägung, = in geringer Ausprägung, = in mittlerer Ausprägung, = in hoher Ausprägung, = in sehr hoher Ausprägung

47 Prozente Häufigkeiten Verteilung der Beurteilungswerte - Sonderschule 0% 0%,9% 0% 0% 0% 0%,0%,%,%,% Zyklus 00 Abbildung : Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg, in Prozent (Sonderschule) Beschreibung der Skala: Der / die Schüler/in zeigt das Merkmal = in sehr geringer Ausprägung, = in geringer Ausprägung, = in mittlerer Ausprägung, = in hoher Ausprägung, = in sehr hoher Ausprägung Die fünfstufige Skala hat sich als geeignet erwiesen. Die Häufigkeitsverteilung der Beurteilungswerte ist sowohl für den Werkrealschul- und Hauptschulbereich als auch für den Sonderschulbereich eingipflig und gleicht einer Normalverteilung. Alle fünf Skalenstufen wurden genutzt und es treten keine Boden- oder Deckeneffekte auf. Der durchschnittliche Beurteilungswert liegt im Werkreal- und Hauptschulbereich bei, und im Sonderschulbereich bei,00... Verteilung der Selbsteinschätzungswerte Die Abbildungen und 8 zeigen die Häufigkeitsverteilung der Selbsteinschätzungen der Schüler/innen (auf den einzelnen Skalenstufen von = der / die Schüler/in zeigt das Merkmal in sehr geringer Ausprägung bis = der / die Schüler/in zeigt das Merkmal in sehr hoher Ausprägung ). 0% Verteilung der Selbsteinschätzungswerte - Werkrealschule / Hauptschule 0% 0% 0% 0% 0%,8%,0%,% 9,9%,% Zyklus 00 Abbildung : Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule) Beschreibung der Skala: Der / die Schüler/in zeigt das Merkmal = in sehr geringer Ausprägung, = in geringer Ausprägung, = in mittlerer Ausprägung, = in hoher Ausprägung, = in sehr hoher Ausprägung

48 Häufigkeiten Häufigkeiten Prozente 0% Verteilung der Selbsteinschätzungswerte - Sonderschule 0% 0% 0% 0% 0%,8%,8%,% 0,8%,0% Zyklus 00 Abbildung 8: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Sonderschule) Beschreibung der Skala: Der / die Schüler/in zeigt das Merkmal = in sehr geringer Ausprägung, = in geringer Ausprägung, = in mittlerer Ausprägung, = in hoher Ausprägung, = in sehr hoher Ausprägung Auch für die Selbsteinschätzung hat sich die fünfstufige Skala als geeignet erwiesen. Alle fünf Skalenstufen wurden genutzt. Die Häufigkeitsverteilung der Selbsteinschätzungswerte ist eingipflig. Sie ist allerdings auf der Skala nach rechts verschoben. Das heißt, die Schüler/innen zeigen eine Tendenz zu positiven Werten. Der durchschnittliche Selbsteinschätzungswert liegt im Bereich Werkrealschule / Hauptschule bei, und im Bereich Sonderschule bei,8. Dieser Trend ist aber nicht so stark ausgeprägt, dass dies eine Einschränkung der Gültigkeit der Werte darstellen würde. In den Abbildungen 9 und 0 sind die Häufigkeitsverteilungen der Selbsteinschätzungen der Schüler/innen getrennt nach Geschlecht dargestellt. 0% Verteilung der Selbsteinschätzungswerte - Mädchen 0%,%,% 0% 0% 0% 0%,% 0,%,8% Zyklus 00 Abbildung 9: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Mädchen) Beschreibung der Skala: Der / die Schüler/in zeigt das Merkmal = in sehr geringer Ausprägung, = in geringer Ausprägung, = in mittlerer Ausprägung, = in hoher Ausprägung, = in sehr hoher Ausprägung Verteilung der Selbsteinschätzungswerte - Jungen 0% 0% 0% 0% 0% 0%,%,9%,% 9,9%,% Zyklus 00 Abbildung 0: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Jungen) Beschreibung der Skala: Der / die Schüler/in zeigt das Merkmal = in sehr geringer Ausprägung, = in geringer Ausprägung, = in mittlerer Ausprägung, = in hoher Ausprägung, = in sehr hoher Ausprägung

49 Häufigkeiten Auch unter Berücksichtigung des Geschlechts der Schülerinnen und Schüler hat sich die fünfstufige Skala als geeignet erwiesen. Alle fünf Skalenstufen wurden genutzt. Die Häufigkeitsverteilungen der Selbsteinschätzungswerte sind bei beiden Geschlechtern eingipflig und unterscheiden sich nicht bedeutsam voneinander. Bei beiden Geschlechtern zeigt sich die gleichartige Tendenz zu positiven Werten. Der durchschnittliche Selbsteinschätzungswert liegt für die Mädchen bei, und für die Jungen bei,. Dateninterpretation zum Themenbereich Verteilung der Beurteilungs- und der Selbsteinschätzungswerte Die Häufigkeitsverteilungen sowohl der Beurteilungen als auch der Selbsteinschätzungen bestätigen eine regelgerechte Anwendung der -stufigen Beurteilungsskala. Es liegen keine sogenannten Decken- oder Bodeneffekte vor. Da dies nicht der Fall ist, hat sich die Skala mit den dazugehörigen Skalenbeschreibungen bewährt. Denkbar ist allerdings um der Tendenz der Schüler/innen zu positiven Werten zu begegnen, dass diese von ihren Lehrkräften vor der Teilnahme am Verfahren über diese Tendenz aufgeklärt werden. Erfahrungsgemäß hat dies schon einen korrigierenden Effekt... Übereinstimmung der Beurteiler In den Abbildungen und ist die Übereinstimmung der Lehrkräfte in Bezug auf die Beurteilung der einzelnen Merkmale ihrer Schüler/innen dargestellt. 00% Übereinstimmung der Beurteiler - Werkrealschule / Hauptschule 80% 0%,% 0% 8,% 0% 0% 9,%,% 0,% 0 Zyklus 00 Abbildung : Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule)

50 ICC Häufigkeiten 00% Übereinstimmung der Beurteiler - Sonderschule 80% 0% 0,0% 0% 9,% 0% 0% 9,%,% 0,% 0 Zyklus 00 Abbildung : Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg, in Prozent (Sonderschule) Sowohl für den Werkreal- und Hauptschul- als auch für den Sonderschulbereich liegt in etwa der Hälfte der Beurteilungen eine vollständige Übereinstimmung der beiden Beurteiler vor, in ca. 0% weichen die Urteile um einen Skalenpunkt voneinander ab, nur in ca. % liegt die Abweichung darüber. Die durchschnittliche absolute Abweichung der beiden Beurteiler liegt im Werkreal- und Hauptschulbereich bei 0, Skalenpunkten und im Sonderschulbereich bei 0, Skalenpunkten. Insgesamt lässt sich sagen, dass es sich für ein Assessment-Center- Verfahren um gute Übereinstimmungswerte der Beurteiler handelt. In den Abbildungen und ist die Übereinstimmung der Lehrkräfte in Bezug auf die Beurteilung der einzelnen Merkmale ihrer Schüler/innen anhand des Intra-Klassen-Koeffizienten (ICC) dargestellt. Der ICC ist ein statistisches Maß zur Darstellung der Übereinstimmung zweier Beurteiler. Je höher der ICC ausfällt, desto größer ist die Übereinstimmung.,0 Intra-Klassen-Korrelationskoeffizient - Werkrealschule / Hauptschule 0,8 0, 0, 0,9 0,9 0,0 0, 0, 0, 0,9 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,0 Zyklus 00 Abbildung : Intra-Klassen-Korrelationskoeffizient (von 0,0 bis,0) der beiden Beurteiler über alle Merkmale hinweg (Werkrealschule / Hauptschule)

51 ICC Intra-Klassen-Korrelationskoeffizient - Sonderschule,0 0,8 0, 0, 0,9 0,9 0, 0, 0, 0, 0,9 0, 0,9 0, 0, 0, 0, 0, 0, 0, 0, 0,0 Zyklus 00 Abbildung : Intra-Klassen-Korrelationskoeffizient (von 0,0 bis,0) der beiden Beurteiler über alle Merkmale hinweg (Sonderschule) Die Höhe des Intra-Klassen-Korrelationskoeffizienten (ICC) liegt im Werkreal- und Hauptschulbereich zwischen 0,0 (Planungsfähigkeit) und 0, (Umgang mit Schriftsprache). Im Sonderschulbereich liegen die Werte zwischen 0, (Planungsfähigkeit, Feinmotorische Fähigkeit, Umgang mit Schriftsprache) und 0, (Präsentationsfähigkeit). Auch diese Werte zeigen auf, dass für ein Assessment-Center-Verfahren insgesamt gute Übereinstimmungswerte der Beurteiler vorliegen. Dateninterpretation zum Themenbereich Übereinstimung der Beurteiler Die Durchführung der Kompetenzanalyse hat sich im Schulalltag an einer Reihe von Gegebenheiten zu orientieren. Beispielsweise ist es aus ablauftechnischen Gründen in der Schule nur möglich, dass die beiden Lehrkräfte, die einen bestimmten Schüler bzw. eine bestimmte Schülerin beurteilen, diese/n bei unterschiedlichen Aufgaben beobachten. Vor diesem Hintergrund lassen sich die Übereinstimmungswerte der Lehrkräfte bei der Beurteilung der einzelnen Merkmale der Schülerinnen und Schüler als hoch bezeichnen.

52 . Bewertung der Gütekriterien Im Folgenden werden die wissenschaftlichen Hauptgütekriterien, die für ein diagnostisches Verfahren wie die KOMPETENZANALYSE PROFIL AC AN SCHULEN relevant sind Objektivität, Reliabilität und Validität -, beleuchtet. Objektivität Die ermittelte Beurteilerübereinstimmung weist für ein Assessment-Center-Verfahren einen guten Wert auf. Dieses Ergebnis ist ein Beleg dafür, dass die KOMPETENZANALYSE PROFIL AC AN SCHULEN eine hohe Objektivität besitzt. Erzielt wird die hohe Objektivität durch die Standardisierung des Verfahrens. Aufgrund folgender Vorgaben zur Verfahrensdurchführung sind die Ergebnisse der Kompetenzanalyse in gutem Maße unabhängig von der untersuchenden Person sowie von der Durchführungssituation: Festgelegte Kompetenz- und Merkmalskonzeption: Der zugrunde liegende Merkmalskatalog mit seinen Merkmalsdefinitionen und Verhaltensbeispielen bewirkt ein einheitliches Verständnis der Merkmale auf Seiten der Lehrkräfte. Standardisierter Ablauf und standardisierte Aufgabenmaterialien: Es sind Aufgaben nach vorgegebenen Kategorien auszuwählen. Die Aufgaben sind gemäß eines festgelegten Ablaufs durchzuführen. Standardisierte Instrumente: Die eingesetzten Instrumente Beobachtungsbogen, Beurteilungsbogen, Selbsteinschätzungsbogen und Beobachterkonferenzbogen sind standardisiert. Geringe Beobachterbelastung: Ein Beobachter darf während der Aufgabendurchführung maximal vier Schüler/innen beobachten. Trennung von Beobachtung und Beurteilung: Die Beurteilung der Schüler/innen erfolgt erst, nachdem die betreffenden Aufgaben abgeschlossen sind. Situationsvielfalt: Jedes Merkmal der Schüler/innen muss in mindestens zwei Aufgaben beobachtet werden. Beobachtervielfalt / Mehraugenprinzip: Jedes Merkmal muss von zwei Beobachtern beurteilt werden, wobei nach jeder Aufgabe ein Beobachterwechsel stattfindet. Standardisierter Beurteilungsmaßstab: Die Beurteilung erfolgt anhand einer -stufigen, für alle Merkmale identischen Skala. Beurteilerabstimmung: Der endgültige Wert für die Fremdeinschätzung, der im Kompetenzprofil ausgegeben wird, ist von den beiden Beobachtern im Rahmen einer Beobachterkonferenz festzulegen.

53 Reliabilität Die Beurteilerübereinstimmung wird auch als (Inter-Rater-)Reliabilität bezeichnet. Sie spiegelt die Zuverlässigkeit eines diagnostischen Verfahrens wieder. Auch die Reliabilität der KOMPETENZANALYSE PROFIL AC AN SCHULEN kann für ein Assessment-Center-Verfahren als gut bezeichnet werden. Die ermittelten Ergebnisse zeigen auf, dass die Ergebnisse der Kompetenzanalyse nur in relativ geringem Maße durch Störeinflüsse und Fehler belastet sind. Die KOMPETENZANALYSE PROFIL AC AN SCHULEN ist aus Gründen der schulischen Rahmenbedingungen so ausgelegt, dass die zwei beobachtenden Lehrkräfte die Schüler/innen nicht bei genau denselben Aufgaben erleben. Im Rahmen der vorliegenden wissenschaftlichen Güteprüfung wurde demnach die reelle Reliabilität erfasst, d.h. die Reliabilität, die das Verfahren unter den gegebenen Bedingungen erzielt. Eine strengere Handhabung des Mehraugenprinzips durch eine Beobachtung der Beobachter in denselben Situationen würde vermutlich zu noch höheren Reliabilitätswerten führen. Denn die beiden Beobachter würden sich diesem Fall bei der Beurteilung auf genau dieselben Eindrücke beziehen. Dies ist jedoch aufgrund der Rahmenbedingungen an den Schulen nicht praktikabel. Validität Die Validität eines Verfahrens gibt an, inwieweit mit dem Verfahren die beabsichtigten Merkmale erfasst werden können. Die Voraussetzungen für eine hohe Validität der KOMPE- TENZANALYSE PROFIL AC AN SCHULEN nämlich eine hohe Objektivität und eine hohe Reliabilität sind gegeben. Die Ermittlung der Validität ist zumeist nicht in direkter Form möglich. Innerhalb der vorliegenden Güteprüfung wurde sie über die Urteile von Verfahrensexpertinnen und -experten ermittelt. Als Ergebnis zeigte sich, dass die Expertinnen und Experten angeben, dass die tatsächlichen Merkmalsausprägungen der Schülerinnen und Schüler anhand der Kompetenzanalyse gut erfasst werden können. Insofern ist die Validität der Kompetenzanalyse als gut zu bezeichnen. D.h. das Verfahren erfasst, was es zu messen beabsichtigt: die Ausprägung der einzelnen Merkmale der Schülerinnen und Schüler. 8

54 Gesamtbewertung Das Verfahren KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde innerhalb eines Projekts zwischen 008 und 00 in einem mehrzyklischen Vorgehen entwickelt. Ab dem Schuljahr 00/0 wird es flächendeckend in den. Klassen aller baden-württembergischen Werkreal-, Haupt- und Sonderschulen durchgeführt. Die MTO GmbH Tübingen führte über den Projektzeitraum die prozessbegleitende Evaluation sowie die wissenschaftliche Güteprüfung des Verfahrens durch. Auf Grundlage der Ergebnisse aus prozessbegleitender Evaluation und wissenschaftlicher Güteprüfung wurde das Verfahren im Projektzeitraum im Rahmen der Projektzyklen kontinuierlich optimiert. Die Ergebnisse der abschließenden Evaluation und der abschließenden Güteprüfung liegen nun vor (Zyklus / 00). Sie zeigen auf, dass die KOMPETENZANALYSE PROFIL AC AN SCHU- LEN bei den befragten Personengruppen (Lehrkräfte, Verfahrensexpertinnen / -experten und Schüler/innen) eine mittlere bis hohe Akzeptanz hat. Das Verfahren eignet sich zur Kompetenzfeststellung von Schülerinnen und Schülern. Da die zeitlichen Ressourcen als nur tendenziell ausreichend wahrgenommen werden, wird der Zeitbedarf für die Kompetenzanalyse von den Lehrkräften zum Teil auch skeptisch gesehen. Die Kompetenz- und Merkmalskonzeption hat sich bewährt. Die Merkmale der Schülerinnen und Schüler sind zumeist gut beobachtbar. Die Beobachtungsaufgaben sind sowohl in Bezug auf ihre Eignung für die Kompetenzanalyse als auch in Bezug auf ihren Schwierigkeitsgrad adäquat. Einige Aufgaben aus einer bestimmten Aufgabenkategorie erscheinen aber für den Sonderschulbereich als zu schwierig, weswegen hierfür eine Modifikation dieser Aufgaben erfolgen sollte. Die Beobachtungs- und Beurteilungsinstrumente haben sich bewährt. Das Handbuch zum Verfahren wird sehr positiv bewertet und stellt eine gute Unterstützung für die Lehrkräfte bei der Durchführung der Kompetenzanalyse dar. Die Software, auf der das Verfahren basiert, wird von den Befragten als sehr anwenderfreundlich eingestuft; jedoch wird die landesbezogene Trennung von Internet und Intranet als hinderlich erlebt. Durch die Schulungen fühlten sich die befragten Lehrkräfte gut auf die Durchführung der Kompetenzanalyse vorbereitet. Die Ergebnisse der wissenschaftlichen Güteprüfung sind sehr zufriedenstellend. Die Verteilung der Beurteilungswerte zeigt auf, dass sich die fünfstufige Skala bewährt hat und regelgerecht angewendet wird. Für ein Assessment-Center-Verfahren mit Beobachtungsaufgaben weist die KOMPETENZANALYSE PROFIL AC AN SCHULEN zudem eine hohe Beurteilerübereinstimmung auf, wodurch die hohe Objektivität der Anwendung sowie die Reliabilität des Verfahrens belegt werden. Auch die Validität des Verfahrens fällt für ein Assessment-Center-Verfahren gut aus. Zusammenfassend lässt sich feststellen, dass es sich bei der KOMPETENZANALYSE PROFIL AC AN SCHULEN um ein objektives und praktikables Verfahren handelt, das sich gut zur Erfassung der individuellen überfachlichen Kompetenzen der Schülerinnen und Schüler eignet. 9

55 Abbildungsverzeichnis Abbildung : Ablauf der Kompetenzanalyse... Abbildung : Merkmalskonzeption... Abbildung : Wissenschaftliche Erhebungs- und Modifikationskonzeption mit vier Zyklen... Abbildung : Wissenschaftliche Erhebungs- und Modifikationskonzeption exemplarisch dargestellt: Zyklus (erste Prozessanalyse)... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Eignung der Kompetenzanalyse zur Ermittlung der individuellen Kompetenzen... 0 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Eignung der Kompetenzanalyse als Ausgangspunkt zur Förderung der individuellen Kompetenzen... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Motivation der Schüler/innen bei der Teilnahme an der Kompetenzanalyse... Abbildung 8: Mittelwerte der Angaben der befragten Schüler/innen zur Akzeptanz der Kompetenzanalyse (Haupt- und Sonderschule)... Abbildung 9: Häufigkeiten der Angaben der befragten Schüler/innen zur erneuten Teilnahme an einer Kompetenzanalyse in Prozent... Abbildung 0: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zu den zeitlichen Ressourcen für die Durchführung der Kompetenzanalyse... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zum Zeitbedarf für die Kompetenzanalyse... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Sinnhaftigkeit der Kompetenzanalyse... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Beurteilung anhand der Merkmale... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Definition der Merkmale im Merkmalskatalog... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zu den Verhaltensbeispielen im Merkmalskatalog... Abbildung : Häufigkeiten der Angaben der befragten Expertinnen / Experten zum Erhalt eines umfassenden Bildes der überfachlichen Kompetenzen der Schülerinnen und Schüler anhand der Kompetenz- und Merkmalskonzeption, in Prozent... 8 Abbildung 8: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Werkrealschule / Hauptschule)... 0 Abbildung 9: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Werkrealschule / Hauptschule)... 0 Abbildung 0: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Sonderschule)... Abbildung : Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Sonderschule)... 0

56 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu)... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu)... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu)... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 00; = trifft überhaupt nicht zu, = trifft voll zu)... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Beobachtungsbogen (A), zum Beurteilungsbogen (B), zum Beobachterkonferenzbogen (C)... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Beobachtungsbogen (A), zum Beurteilungsbogen (B), zum Beobachterkonferenzbogen (C)... Abbildung 8: Mittelwerte der Angaben der befragten Lehrkräfte zur Instruktion Selbsteinschätzung... Abbildung 9: Mittelwerte der Angaben der befragten Lehrkräfte zum Selbsteinschätzungsbogen... Abbildung 0: Mittelwerte der Angaben der befragten Schüler/innen zur Selbsteinschätzung (Haupt- und Sonderschule)... 8 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den Fördervereinbarungen (C)... 8 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den Fördervereinbarungen (C)... 9 Abbildung : Häufigkeiten der Angaben der befragten Lehrkräfte zum Einsatz der Instrumente zusätzlich zur Kompetenzanalyse, in Prozent... 9 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Handbuch... 0 Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Handbuch... Abbildung : Häufigkeiten der Angaben der befragten Lehrkräfte zur Nutzung der Software in Prozent (Werkrealschule / Haupt- und Sonderschule)... Abbildung : Mittelwerte der Angaben der befragten Expertinnen / Experten zur Anwenderfreundlichkeit der Software... Abbildung 8: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Anwenderfreundlichkeit des Internets... Abbildung 9: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Internets... Abbildung 0: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Anwenderfreundlichkeit des Intranets... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Intranets... Abbildung : Mittelwerte der Angaben der befragten Lehrkräfte zur Schulung... Abbildung : Häufigkeiten der Angaben der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale, in Prozent (Werkrealschule / Hauptschule und Sonderschule)... 0

57 Abbildung : Mittelwert der Angaben der befragten Expertinnen / Experten zur Erfassung der tatsächlichen Merkmalsausprägung durch die Kompetenzanalyse... Abbildung : Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule)... Abbildung : Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg, in Prozent (Sonderschule)... Abbildung : Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule)... Abbildung 8: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Sonderschule)... Abbildung 9: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Mädchen)... Abbildung 0: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Jungen)... Abbildung : Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule)... Abbildung : Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg, in Prozent (Sonderschule)... Abbildung : Intra-Klassen-Korrelationskoeffizient (von 0,0 bis,0) der beiden Beurteiler über alle Merkmale hinweg (Werkrealschule / Hauptschule)... Abbildung : Intra-Klassen-Korrelationskoeffizient (von 0,0 bis,0) der beiden Beurteiler über alle Merkmale hinweg (Sonderschule)...

58 Das Verfahren KOMPETENZANALYSE PROFIL AC Die Diagnostiksysteme zu KOMPETENZANALYSE PROFIL AC sind Assessment-Center- Verfahren zur Ermittlung der überfachlichen und der fachlichen Kompetenzen von Jugendlichen ab der. Klasse sowie von Erwachsenen. Es liegen zwei Hauptversionen des Verfahrens vor: Die KOMPETENZANALYSE PROFIL AC AN SCHULEN sowie als weiterentwickeltes und um mehrere Komponenten erweitertes Verfahren die KOMPE- TENZANALYSE PROFIL AC. Im Folgenden wird dieses erweiterte Verfahren beschrieben. Ablauf des Verfahrens Die Anwenderinnen und Anwender stellen sich je nach Bedarf, Rahmenbedingungen und Teilnehmergruppe aus verschiedenen Beobachtungsaufgaben, onlinebasierten Tests und Fragebögen ein Assessment-Center (AC) zusammen. Daraufhin werden die ausgewählten Aufgaben, Tests und Fragebögen durchgeführt. Zusätzlich schätzen die Teilnehmenden ihre Kompetenzen selbst ein. So entsteht ist ein individuelles Kompetenzprofil, das als Basis für ein Rückmeldegespräch mit Förderempfehlungen und Empfehlungen zu Berufsorientierungsmaßnahmen dient. Das Verfahren ist von geschultem Personal durchzuführen. Komponenten des Verfahrens Die Komponenten des Verfahrens sind Arbeitsmaterialien und Beurteilungsinstrumente, ein Leitfaden sowie Qualifizierungen für die Durchführenden. Die gesamte Planung, Durchführung, Auswertung und Profildarstellung des Verfahrens erfolgt auf Basis einer internetbasierten Software. Folgende Kompetenzen können erfasst werden: Sozialkompetenz Personale Kompetenz Methodenkompetenz Fachliche Basiskompetenz Kognitive Basiskompetenz Schulische Basiskompetenz Berufsfeldbezogene Kompetenz Berufsinteressen