KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS. Evaluationsbericht

Transkript

1 KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS Das Verfahren zur individuellen Diagnostik, Förderung und Berufsorientierung Evaluationsbericht September 2014

3 KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS Das Verfahren zur individuellen Diagnostik, Förderung und Berufsorientierung Evaluationsbericht September 2014 Im Auftrag des Ministeriums für Kultus, Jugend und Sport Baden-Württemberg erstellt durch: MTO Psychologische Forschung und Beratung GmbH Tübingen Corinna Balonier, Nina Feldmann, Brigitte Häcker, Karsten Hammer, Dr. Jürgen Ripper Projektpartner: CJD Jugenddorf Offenburg im Christlichen Jugenddorfwerk Deutschlands e.v. (CJD) Berufsbildungswerk Waiblingen ggmbh (BBW) Gesamtprojektleitung: Ministerium für Kultus, Jugend und Sport Baden-Württemberg Projektbüro: Susanne Kugler, Dr. Ulrike Bopp-Haas, Verena Bürger, Yvonne Dorsch, Bernd Hummel, Sylvia Jäkel, Alexandra Kostek, Axel Kugel, Markus Rapp, Sien-Lie Saleh, Corinna Schulz, Gretel Trefz Die KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS wird gefördert aus Mitteln des Europäischen Sozialfonds im Rahmen der zentralen Förderung des Ministeriums für Arbeit und Sozialordnung, Familie, Frauen und Senioren Baden-Württemberg.

4

5 Danksagung Die MTO Psychologische Forschung und Beratung GmbH dankt dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg für die hervorragende Zusammenarbeit während des gesamten Projektzeitraums im Projekt KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS. Unser Dank gilt vor allem dem Projektbüro sowie den Referaten 44 und 45 im Ministerium für Kultus, Jugend und Sport Baden-Württemberg. In besonderem Maße möchten wir uns auch bei unseren Projektpartnern, dem CJD Jugenddorf Offenburg und dem Berufsbildungswerk Waiblingen, für die intensive und vertrauensvolle Zusammenarbeit bedanken. Insbesondere gilt unser Dank Herrn Jochen Nordau (Jugenddorfleiter CJD Jugenddorf Offenburg), Frau Daniela Meiser (CJD-Abteilungsleitung), Frau Regine Buck (CJD-Projektleitung), Stefan Jäger (CJD-Projektleitung), Herrn Jürgen Tress (Leiter Fachdienst Berufliche Diagnostik BBW), Herrn Herbert Huber (Projektmitarbeiter BBW) und Frau Heike Ackermann (Projektmitarbeiterin BBW).

6

7 Inhaltsverzeichnis 1 EINLEITUNG AUFBAU DES BERICHTS BESCHREIBUNG DES VERFAHRENS KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS INFORMATIONEN ZUM PROJEKT WISSENSCHAFTLICHE EVALUATION UND GÜTEPRÜFUNG INFORMATIONEN ZUR PROZESSBEGLEITENDEN EVALUATION UND GÜTEPRÜFUNG DATENBASIS DER PROZESSBEGLEITENDEN EVALUATION UND GÜTEPRÜFUNG ZUSAMMENFASSUNG DER HAUPTERGEBNISSE DER PROZESSBEGLEITENDEN EVALUATION (KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS) ERGEBNISSE ZU DEN EINZELNEN THEMENBEREICHEN DER PROZESSBEGLEITENDEN EVALUATION (KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS) AKZEPTANZ KOMPETENZFELDER UND MERKMALE BEOBACHTUNGSAUFGABEN UND TESTS BZW. AUFGABEN MIT ARBEITSERGEBNIS INSTRUMENTE UND KOMPETENZPROFIL UNTERSTÜTZUNGSKOMPONENTEN ALLGEMEINES ANALYSE DER BEURTEILUNGS- UND SELBSTEINSCHÄTZUNGSWERTE ZUSAMMENFASSUNG DER HAUPTERGEBNISSE DER PROZESSBEGLEITENDEN EVALUATION (OPTIONALE ANGEBOTE ZUR INDIVIDUELLEN FÖRDERUNG) ERGEBNISSE ZU DEN EINZELNEN THEMENBEREICHEN DER PROZESSBEGLEITENDEN EVALUATION (OPTIONALE ANGEBOTE ZUR INDIVIDUELLEN FÖRDERUNG) FRAGEBOGEN STUDIEN- UND BERUFSINTERESSEN PROFILVERGLEICH INTERNETANWENDUNG ONLINE-SCHABLONEN GESAMTBEWERTUNG ABBILDUNGSVERZEICHNIS PROJEKTPARTNER... 45

8 1 Einleitung 1.1 Aufbau des Berichts Der vorliegende Evaluationsbericht beinhaltet neben Informationen zum Projekt und zur wissenschaftlichen Begleitung die Ergebnisse der prozessbegleitenden Evaluation und der wissenschaftlichen Güteprüfung zur KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS sowie die Ergebnisse der prozessbegleitenden Evaluation zu den optionalen Angeboten zur individuellen Förderung (berufliche Anforderungsprofile). Der Bericht schließt mit einer Gesamtbewertung ab. Die Ergebnisse der prozessbegleitenden Evaluation und wissenschaftlichen Güteprüfung zur KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS sind in folgende Themenbereiche bzw. Kapitel unterteilt: Akzeptanz Kompetenzfelder und Merkmale Beobachtungsaufgaben, Tests und Fragebogen Instrumente und Kompetenzprofil Unterstützungskomponenten (Werkstattbuch, Software, Schulung) Allgemeines Analyse der Beurteilungs- und Selbsteinschätzungswerte (Verteilung der Beurteilungswerte und der Selbsteinschätzungswerte, Übereinstimmung der Beurteiler 1 ) Die Ergebnisse der prozessbegleitenden Evaluation zu den optionalen Angeboten zur individuellen Förderung der KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS sind in folgende Themenbereiche bzw. Kapitel unterteilt: Fragebogen Studien- und Berufsinteressen (Akzeptanz, Instrumente, Unterstützungskomponenten) Profilvergleich (Akzeptanz, Instrumente, Unterstützungskomponenten) Internetanwendung Online-Schablonen (Akzeptanz, Instrumente, Software) Zu Beginn jedes Kapitels werden die einzelnen Ergebnisse innerhalb der Themenbereiche anhand von Diagrammen dargestellt und im Text beschrieben sowie teilweise durch freie Aussagen der Befragten ergänzt. Werden Häufigkeiten mit Prozentwerten aufgeführt, bezieht sich die Angabe 100% jeweils auf diejenigen Personen, die die betreffende Frage auch beantwortet haben. Qualitative Ergebnisse werden häufig in Aufzählungen dargestellt. Hierbei ist zu beachten, dass dabei nur die häufigsten Aussagen aufgeführt sind. Im Anschluss an die Ergebnisdarstellung werden zu jedem Themenbereich zumeist konkrete Aussagen einzelner Personen aufgeführt, die den Tenor zu einem Themenbereich aus Sicht der Befragten widerspiegeln. Jedes Kapitel schließt mit einer kurzen Interpretation der Ergebnisse ab. 1 Mit Beurteiler sind stets beide Geschlechter gemeint. 1

9 1.2 Beschreibung des Verfahrens Kompetenzanalyse Profil AC an Beruflichen Schulen plus Die KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS ist ein erprobtes und bewährtes Kompetenzfeststellungsverfahren zur Ermittlung der individuellen überfachlichen, berufsrelevanten Kompetenzen von Schülerinnen und Schülern der zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen. Mithilfe des Verfahrens wird ein individuelles Kompetenzprofil mit persönlichen Stärken und Entwicklungspotenzialen erstellt. Die Ergebnisse der Kompetenzanalyse dienen als Grundlage für eine individuelle, auf die Bedürfnisse der einzelnen Schülerin bzw. des einzelnen Schülers ausgerichtete Förderung. Ablauf des Verfahrens Die KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS ist ein Verfahren mit einer internetbasierten Software, die die Planung, die Durchführung und die individuelle Profilerstellung unterstützt. Je zwei Lehrkräfte führen mehrere Beobachtungsaufgaben mit Kleingruppen durch und beurteilen anschließend die Kompetenzen der Schülerinnen und Schüler. Eine Kleingruppe besteht dabei pro Beobachter 2 aus maximal vier Schülerinnen und Schülern. Die Beurteilung erfolgt jeweils auf einer fünfstufigen Skala. Die Schülerinnen und Schüler schätzen ihre Kompetenzen zudem selbst ein. Das Ergebnis des Verfahrens ist ein individuelles Kompetenzprofil der Schülerinnen und Schüler, das die Grundlage eines individuellen Rückmeldegesprächs bildet. Durch die Teilnahme an den Beobachtungsaufgaben, durch die Fremd- und die Selbsteinschätzung sowie durch das Rückmeldegespräch erkennen die Schülerinnen und Schüler ihre eigenen Fähigkeiten, Interessen und Neigungen. Abbildung 1: Ablauf der Kompetenzanalyse Es wurden zudem optionale Angebote zur individuellen Förderung der Schülerinnen und Schüler entwickelt, die an die KOMPETENZANALYSE PROFIL AC anschließen. Der Fragebogen Studien- und Berufsinteressen stellt ein von der Kompetenzanalyse unabhängiges Angebot dar, das sowohl vor, während oder auch im Anschluss an diese durchgeführt werden kann. Der Fragebogen dient dabei der Erfassung der individuellen Studien- und Berufsinteressen und soll den Schülerinnen und Schülern dabei helfen, sich gezielt mit verschiedenen Berufsgruppen zu beschäftigen, die ihren Interessen entsprechen. Der Profilvergleich, als ein weiteres optionales Angebot, umfasst den Vergleich der Kompetenzprofile der Schülerinnen und Schüler mit beruflichen Anforderungsprofilen. Die Ergebnisse des Profilvergleichs können als Ausgangspunkt für Beratungsgespräche mit Schülerin- 2 Mit Beobachter sind stets beide Geschlechter gemeint. 2

10 nen und Schülern, in Bezug auf ihre berufliche Orientierung, dienen. Mithilfe des Profilvergleichs erhalten sie einen Überblick über verschiedene Berufsgruppen und lernen, ihre Kompetenzen mit beruflichen Anforderungen zu vergleichen. Zur Besprechung der Ergebnisse des Profilvergleichs stehen Anforderungsprofile verschiedener Berufsgruppen und Berufsbilder als Druck-Schablonen im Internet zur Verfügung, die auf Folie ausgedruckt und im Rückmeldegespräch händisch über das Profil des Schülers bzw. der Schülerin gelegt werden können. Um auch im Anschluss an das Rückmeldegespräch immer wieder selbstständig mit den beruflichen Anforderungsprofilen arbeiten zu können (z. B. im Hinblick auf ein Praktikum), wurde zusätzlich zu den Druck-Schablonen die Internetanwendung Online-Schablonen entwickelt. Sie bietet den Schülerinnen und Schülern die Möglichkeit, die Werte ihres Kompetenzprofils in einer Internetanwendung eigenständig in eine Eingabemaske einzugeben und die Schablonen unterschiedlicher Anforderungsprofile elektronisch am Computer über ihr Profil zu legen. Komponenten des Verfahrens Beobachtungsaufgaben: Das Verfahren enthält acht Beobachtungsaufgaben zur Erfassung der Sozialkompetenz. Davon müssen zwei Aufgaben für die konkrete Durchführung ausgewählt werden. Aufgaben bzw. Tests mit Arbeitsergebnis: Das Verfahren enthält vier Aufgaben mit Arbeitsergebnis. Je nach Bereich der zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen (kaufmännischer Bereich, gewerblich-technischer Bereich, Bereich Ernährung und Gesundheit), eine Aufgabe zur Erfassung der Methodenkompetenz und der Personalen Kompetenz sowie drei optionale Aufgaben zur Erfassung der Kulturtechnischen Kompetenz. Des Weiteren gibt es, je nach Bereich der zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen (kaufmännischer Bereich, gewerblich-technischer Bereich, Bereich Ernährung und Gesundheit), zehn bis dreizehn hamet 2-Tests zur Erfassung der Berufsspezifischen Kompetenz und der Personalen Kompetenz. Computergestützte Tests und Aufgaben: Das Verfahren enthält zwei computergestützte Tests zur Erfassung der Konzentrationsfähigkeit und der Kognitiven Basiskompetenz. Zudem gibt es computergestützte hamet 2-Tests. Zusatzmodule: Zusätzlich gibt es drei optionale Zusatzmodule (Stressfragebogen, Wertefragebogen, Lerntypentest), die während bzw. im Anschluss an die Kompetenzanalyse durchgeführt werden können. Materialien und Instrumente: Bei der Durchführung des Verfahrens werden Arbeitsmaterialien und Instruktionen zu den Beobachtungsaufgaben, Beobachtungsbogen, Beurteilungsbogen, Selbsteinschätzungsbogen sowie Ergebnisbogen verwendet. Handbuch für die Durchführenden: Die Anwendung des Verfahrens wird in einem Handbuch mit zahlreichen Schaubildern erläutert. Software zur Durchführung: Das Verfahren beinhaltet eine anwenderfreundliche internetbasierte Software, die die professionelle Planung und Durchführung des Verfahrens sowie die Auswertung der Ergebnisse unterstützt. Die Daten der teilnehmenden Schülerinnen und Schüler lassen sich damit nach Datenschutzrichtlinien verwalten. Alle Materialien können ausgedruckt werden. Mithilfe der Software werden die Aufgaben je nach Bereich der zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen (kaufmännischer Bereich, gewerblich-technischer Bereich, Bereich Ernährung und Gesundheit), systematisch zusammengestellt. Die individuellen Kompetenzprofile der Schülerinnen und Schüler werden automatisch erstellt. Schulungen: Die teilnehmenden Lehrkräfte erhielten eine viertägige Anwenderschulung. Diese umfasste eine zweitägige Profil AC-Schulung, die von jeweils zwei Trainerinnen bzw. Trainern durchgeführt wurde und die Teilnehmenden zur selbstständigen Planung, 3

11 Durchführung und Auswertung der KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS qualifizierte. Des Weiteren erhielten die Lehrkräfte eine zweitägige Schulung zu den hamet 2-Tests. Bereits im Verfahren KOMPETENZANALYSE PROFIL AC AN BE- RUFLICHEN SCHULEN geschulte Lehrkräfte erhielten verkürzte, zweitägige Schulungen zur Qualifizierung. Versuchsweise wurden auch dreitägige Schulungen für Lehrkräfte der Berufsfachschulen Pädagogische Erprobung (BFPE, Schulversuch) angeboten. Konzeption mit Kompetenzen und Merkmalen: Die theoretische Konzeption beinhaltet folgende Kompetenzen: Sozialkompetenz, Methodenkompetenz, Personale Kompetenz, Kognitive Basiskompetenz, Berufsspezifische Kompetenz sowie Kulturtechnische Kompetenz. Diese sind in Abbildung 2 dargestellt. Sozialkompetenz: Kommunikationsfähigkeit Kritikfähigkeit Teamfähigkeit Methodenkompetenz: Planungsfähigkeit Problemlösefähigkeit Präsentationsfähigkeit* Personale Kompetenz: Durchhaltevermögen Selbstständigkeit Ordentlichkeit Informationstechnische Fähigkeit Konzentrationsfähigkeit Berufsspezifische Kompetenz Routine und Tempo (Faktor A) Werkzeugeinsatz und -steuerung einfach (Faktor B) Wahrnehmung und Symmetrie (Faktor C) Instruktionsverständnis und -umsetzung (Faktor D) Werkzeugeinsatz und -steuerung komplex (Faktor E) Messgenauigkeit und Präzision (Faktor F) Kognitive Basiskompetenz: Merkfähigkeit Schlussfolgerndes Denken Räumliches Vorstellungsvermögen Kulturtechnische Kompetenz Umgang mit Rechenoperationen* Umgang mit englischer Sprache* Umgang mit Schriftsprache* Legende: Beobachtungsaufgaben bzw. Tests/Aufgaben mit Arbeitsergebnis computergestützte Tests und Aufgaben hamet 2, teilweise computergestützt * optional Abbildung 2: Kompetenz- und Merkmalskonzeption 4

12 1.3 Informationen zum Projekt Das Verfahren KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS wurde für die Schülerinnen und Schüler der zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen auf Grundlage der KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHU- LEN für die Schülerinnen und Schüler des Berufseinstiegsjahrs (BEJ) sowie des Vorqualifizierungsjahrs Arbeit / Beruf (VAB) innerhalb eines Projekts im Zeitraum von 2012 bis 2014 gemeinsam mit dem CJD Jugenddorf Offenburg im Christlichen Jugenddorfwerk Deutschlands e. V. (CJD), der Berufsbildungswerk Waiblingen ggmbh und der MTO Psychologische Forschung und Beratung GmbH Tübingen, in enger Abstimmung mit dem Auftraggeber, dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg, entwickelt. Das Gesamtprojekt KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS wurde durch Mittel des Europäischen Sozialfonds im Rahmen der zentralen Förderung des Ministeriums für Arbeit und Sozialordnung, Familie, Frauen und Senioren Baden-Württemberg gefördert. Ziel des Projekts war die Entwicklung und Erprobung des Verfahrens zur Einführung in den zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen Baden- Württemberg. Während des Entwicklungszeitraums fanden sowohl zweitägige Schulungen für bereits im Verfahren KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN geschulte Lehrkräfte sowie viertägige Schulungen für die noch nicht geschulten Lehrkräfte der 39 Pilotschulen statt. 5

13 2 Wissenschaftliche Evaluation und Güteprüfung 2.1 Informationen zur prozessbegleitenden Evaluation und Güteprüfung Die MTO GmbH Tübingen führte über den Projektzeitraum von 2012 bis 2014 die prozessbegleitende Evaluation durch. Das heißt, sie evaluierte den Verlauf des Projektes sowie die Qualität und die Handhabung des Verfahrens KOMPETENZANALYSE PROFIL AC AN BERUFLI- CHEN SCHULEN PLUS. Außerdem führte die MTO GmbH die wissenschaftliche Güteprüfung des Verfahrens durch. Auf Grundlage der Ergebnisse aus prozessbegleitender Evaluation und wissenschaftlicher Güteprüfung wurde das Verfahren im Projektzeitraum optimiert. Die prozessbegleitende Evaluation und die wissenschaftliche Güteprüfung erfolgten innerhalb zweier Zyklen: In einem ersten Zyklus (Prozessanalyse) wurden teilweise neue, auf die drei Bereiche der zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen (kaufmännischer Bereich, gewerblich-technischer Bereich, Bereich Ernährung und Gesundheit), zugeschnittene Aufgaben entwickelt sowie bestehende Aufgaben aus dem Verfahren KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN modifiziert. Zudem wurde, neben den bereits im Verfahren eingebundenen Kompetenzen, die Kognitive Basiskompetenz als weitere, überfachliche Kompetenz eingeführt. In einer Erprobungsphase wurden die neuen Aufgaben mit Schülerinnen und Schülern der zweijährigen zur Prüfung der Fachschulreife führenden Berufsfachschulen getestet, evaluiert und angepasst. Im Anschluss an die Erstellung bzw. die Modifikation der aktuellen Version der KOMPETENZ- ANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS erfolgte die Datenerhebung im Pilotzeitraum (02/ /2014) anhand von Online-Befragungen 3, Interviews und Beobachtungen. Darauf folgte die quantitative und qualitative Analyse der erhobenen Daten (Abschlussanalyse). Diese Ergebnisse dienten der abschließenden Bewertung und Modifikation der KOMPE- TENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS. 11/ / / /2014 Zyklus 1 Prozessanalyse Ziel: Neuerstellung und Modifikation Zyklus 2 Abschlussanalyse Ziel: Modifikation und Verfahrensübergabe Evaluation und Güteprüfung des neuen Profil AC- Verfahrens (inkl. Software) Evaluation und Güteprüfung des modifizierten Profil AC-Verfahrens (inkl. Software) 2BFS 2BFS Abbildung 3: Wissenschaftliche Erhebungs- und Modifikationskonzeption mit zwei Zyklen 3 Die Online-Befragungen wurden mit dem Befragungsmanager ( erstellt und durchgeführt. 6

14 Sowohl die prozessbegleitende Evaluation als auch die wissenschaftliche Güteprüfung erfolgten jeweils in mehreren Schritten: Zunächst wurden in enger Abstimmung mit dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg die Erhebungsinstrumente erstellt bzw. aktualisiert. Zur integrativen Analyse des Verfahrens wurde ein Multimethodendesign mit quantitativen und qualitativen Erhebungsinstrumenten eingesetzt. Die Datenerhebung erfolgte dabei anhand folgender Methoden: Lehrkräfte sowie Schülerinnen und Schüler wurden anhand von Online-Fragebogen schriftlich zu ihren Erfahrungen mit der KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS befragt. Dabei sollten sie auf einer Skala von 1 (trifft überhaupt nicht zu) bis 7 (trifft voll zu) bestimmte Aspekte des Verfahrens beurteilen. In offenen Fragen konnten sie zudem frei Stellung nehmen. Lehrkräfte sowie Schülerinnen und Schüler wurden anhand von strukturierten Interviews zu ihren Erfahrungen mit der KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS befragt. Anhand der Interviews konnten bestimmte Aspekte des Verfahrens weitergehend analysiert werden. Außerdem wurde die Durchführung der Kompetenzanalyse an einer Schule durch Wissenschaftler bzw. Wissenschaftlerinnen mit strukturierten Beobachtungschecklisten direkt beobachtet und die Software nutzerergonomisch getestet. Für die wissenschaftliche Güteprüfung wurden alle Beurteilungs-, Selbsteinschätzungs- und Testdaten der teilnehmenden Schülerinnen und Schüler anonymisiert erfasst. In jedem Zyklus erfolgte die Auswertung der erhobenen Daten in Form von quantitativen und qualitativen Analysen. Im Zuge der wissenschaftlichen Güteprüfung wurden mehrere Gütewerte ermittelt. Vorbereitung Durchführung Auswertung Rückmeldung Maßnahmen Systematische Online-Befragung Quantitative und qualitative Analyse von Lehrkräften und Schüler/innen zum Verfahren der Fragebogen der Lehrkräfte und Schüler/innen Wissenschaftlicher Ergebnisbericht über Projektverlauf und Verfahren Strukturierte Beobachtung und Interviews bei der Durchführung des Verfahrens von Lehrkräften und Schüler/innen Quantitative und qualitative Analyse der Beobachtungsdaten und der Interviews Erstellung bzw. Aktualisierung der Erhebungsinstrumente Modifikations- Lastenheft für das Verfahren Modifikation des Verfahrens Anonymisierte Erfassung der Ergebnisse aller Schüler/innen Berechnung von Gütewerten 7 Abbildung 4: Wissenschaftliche Erhebungs- und Modifikationskonzeption exemplarisch dargestellt: Zyklus 2 (Abschlussanalyse) Ein wesentliches Ziel der wissenschaftlichen Begleitung bestand darin, die Anwenderinnen und Anwender in die Verfahrensentwicklung einzubeziehen und die Entwicklung eines qualitativ hochwertigen Verfahrens sowie eine einfache Handhabung des Verfahrens zu gewährleisten. Die Ergebnisse der prozessbegleitenden Evaluation und der wissenschaftlichen Güteprüfung werden im vorliegenden Ergebnisbericht dargestellt.

15 2.2 Datenbasis der prozessbegleitenden Evaluation und Güteprüfung In die Analyse der prozessbegleitenden Evaluation der KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS flossen Online-Fragebogen von 94 Lehrkräften und 757 Schülerinnen und Schülern (davon 475 Mädchen und 280 Jungen, 2 ohne Angabe) ein. Außerdem wurden die qualitativen Daten aus strukturierten Interviews mit 31 Lehrkräften sowie 32 Schülerinnen bzw. Schülern (davon 23 Mädchen und 9 Jungen) einbezogen. Die strukturierten Beobachtungschecklisten aus der Beobachtung direkt an einer Schule wurden ebenfalls ausgewertet. In die wissenschaftliche Güteprüfung des Verfahrens KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS flossen Kompetenzprofile von 1293 Schülerinnen und Schülern (796 Mädchen, 497 Jungen) aus 39 Pilotschulen ein. Die Schülerinnen und Schüler waren zwischen 15 und 25 Jahre alt. Das durchschnittliche Alter lag bei 16,7 Jahren. Die Datenbasis für die prozessbegleitende Evaluation der optionalen Angebote zur individuellen Förderung setzte sich wie folgt zusammen: Fragebogen Studien- und Berufsinteressen : In die Analyse flossen Online-Fragebogen von 26 Lehrkräften und 231 Schülerinnen und Schülern (davon 146 Mädchen und 84 Jungen, 1 ohne Angabe) ein. Profilvergleich : In die Analyse flossen Online-Fragebogen von 7 Lehrkräften und 32 Schülerinnen und Schülern (davon 28 Mädchen und 4 Jungen) ein. Internetanwendung Online-Schablonen : In die Analyse flossen Online-Fragebogen von 7 Lehrkräften und 32 Schülerinnen und Schülern (davon 28 Mädchen und 4 Jungen) ein. Außerdem wurden strukturierte Interviews mit 7 Lehrkräften sowie 23 Schülerinnen bzw. Schülern (davon 13 Mädchen und 10 Jungen) durchgeführt. Der Einsatz der Internetanwendung Online-Schablonen wurde zudem direkt an Schulen beobachtet: Im Rahmen von 5 Beobachtungseinheiten an Schulen kamen strukturierte Beobachtungschecklisten zum Einsatz. 8

16 2.3 Zusammenfassung der Hauptergebnisse der prozessbegleitenden Evaluation (KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS) Im Folgenden werden die Ergebnisse des vorliegenden Berichts zur KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS zusammengefasst dargestellt. Detaillierte Ergebnisdarstellungen erfolgen in den entsprechenden Kapiteln. Akzeptanz (Kap ) Seite Die Einführung der KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS stellt eine Neuerung dar, für die die Akzeptanz der an der Durchführung Beteiligten von grundlegender Bedeutung ist. Die Evaluationsergebnisse zeigen, dass die Lehrkräfte die Kompetenzanalyse für die Ermittlung der individuellen Kompetenzen sowie als Ausgangspunkt zur Förderung der individuellen Kompetenzen der Schülerinnen und Schüler für tendenziell geeignet halten. Die Akzeptanz des Verfahrens liegt auf Seiten der Lehrkräfte und der Schülerinnen und Schüler im mittleren Bereich. Sowohl der Zeitbedarf als auch der Organisationsaufwand werden von den Lehrkräften skeptisch bewertet. Kompetenzfelder und Merkmale (Kap ) Seite Alle sechs im Verfahren enthaltenen Kompetenzfelder (Sozialkompetenz, Methodenkompetenz, Personale Kompetenz, Kognitive Basiskompetenz, Berufsspezifische Kompetenz und Kulturtechnische Kompetenz) werden von den Lehrkräften als sinnvoll für die Kompetenzanalyse eingeschätzt. Die systematische Beobachtung und Beurteilung der Schülerinnen und Schüler stellt für die Lehrkräfte eine Aufgabe mittlerer Schwierigkeit dar. Die interviewten Lehrkräfte berichten jedoch schnelle Übungseffekte bei wiederholter Durchführung. Beobachtungsaufgaben, Tests und Fragebogen (Kap ) Seite Die meisten Gruppenaufgaben sowie alle Tests und Aufgaben mit Arbeitsergebnis werden von den befragten Lehrkräften als gut geeignet eingestuft. Die Schwierigkeit der Aufgaben wird insgesamt als angemessen beurteilt. Bei der Durchführung der Aufgaben ohne Computer werden kaum Schwierigkeiten berichtet. Bei den computergestützten Tests und Aufgaben kam es jedoch teilweise zu erschwerten Durchführungen mit Testabbrüchen, die auf technische Probleme (z. B. schlechte Internetverbindungen, veraltete Hardware sowie Serverprobleme) zurückzuführen sind. Instrumente und Kompetenzprofil (Kap ) Seite Die Lehrkräfte halten die im Rahmen der Kompetenzanalyse eingesetzten Instrumente (Beobachtungsbogen, Beurteilungsbogen, Ergebnisbogen, Selbsteinschätzungsbogen) für übersichtlich und kommen mit deren Einsatz relativ gut zurecht. Die befragten Schülerinnen und Schüler finden es tendenziell gut, sich selbst einschätzen zu dürfen. Dennoch bereitet ihnen die Selbsteinschätzung mithilfe des Selbsteinschätzungsbogens teilweise Schwierigkeiten. Die Ergebnisdarstellung im Kompetenzprofil wird positiv bewertet, ebenso die Eignung des Kompetenzprofils als Grundlage für die Fördergespräche. 9

17 Unterstützungskomponenten (Kap ) Seite Die einzelnen Unterstützungskomponenten der Kompetenzanalyse (Werkstattbuch, Software und Schulung) spielen eine zentrale Rolle bei der Einführung des Verfahrens und werden von den Lehrkräften durchweg positiv bewertet: Das Werkstattbuch wird von den durchführenden Lehrkräften als wichtige Hilfestellung zur Durchführung des Verfahrens wahrgenommen. Die Software zur Kompetenzanalyse (Internet- und Intranetportal) wird als sehr verständlich und anwenderfreundlich bewertet. Die Lehrkräfte äußern jedoch den Wunsch nach weiteren Optionen in der Datenverwaltung (z. B. Zurücksetzen von Einmal-Passwörtern durch die Lehrkräfte selbst). Die Evaluation zeigt, dass sich die Lehrkräfte durch die Anwenderschulungen tendenziell gut auf die Durchführung der Kompetenzanalyse vorbereitet fühlten. Analyse der Beurteilungs- und Selbsteinschätzungswerte (Kap ) Seite Im Rahmen der Beurteilung bei den Beobachtungsaufgaben ergab die statistische Auswertung eine sehr hohe Übereinstimmung zwischen den beiden Beurteilerinnen bzw. Beurteilern pro Merkmal über alle zu beurteilenden Merkmale hinweg. Beide Häufigkeitsverteilungen (Beurteilungswerte und Selbsteinschätzungswerte) zeigen eine regelgerechte Anwendung der fünfstufigen Beurteilungsskala. Beide Verteilungen weisen eine leichte Tendenz zu positiven Werten auf. Dieser Effekt ist jedoch nicht so stark ausgeprägt, sodass von keiner Einschränkung der Gültigkeit der Werte auszugehen ist. 10

18 Mittelwerte 2.4 Ergebnisse zu den einzelnen Themenbereichen der prozessbegleitenden Evaluation (KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN PLUS) Die befragten Lehrkräfte und Schülerinnen und Schüler sollten in den eingesetzten Online- Fragebogen auf einer siebenstufigen Skala angeben, in welchem Ausmaß sie einer bestimmten Aussage zustimmen (von 1 = trifft überhaupt nicht zu bis 7 = trifft voll zu ). Im Folgenden sind die entsprechenden Ergebnisse dargestellt. Die betreffenden Aussagen sind jeweils oberhalb der Abbildungen genannt Akzeptanz Abgefragte Aussagen zu Abbildung 5 (befragt: Lehrkräfte): A: Die Kompetenzanalyse eignet sich zur Ermittlung der individuellen überfachlichen Kompetenzen. B: Die Kompetenzanalyse eignet sich als Ausgangspunkt zur Förderung der individuellen überfachlichen Kompetenzen. C: Die Schüler/innen haben motiviert an der Kompetenzanalyse teilgenommen Akzeptanz 4,51 4,55 4,62 A B C Abbildung 5: Mittelwerte der Angaben der befragten Lehrkräfte zur Eignung der Kompetenzanalyse zur Ermittlung und Förderung der individuellen Kompetenzen sowie zur Motivation der Schüler/innen bei der Teilnahme (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Die befragten Lehrkräfte halten die Kompetenzanalyse tendenziell für geeignet zur Ermittlung der individuellen Kompetenzen der Schülerinnen und Schüler. Auch als Ausgangspunkt zur Förderung der individuellen überfachlichen Kompetenzen wird sie tendenziell als geeignet eingestuft. Die Lehrkräfte geben zudem eine mittlere Motivation seitens der Schülerinnen und Schüler an. 11

19 Mittelwerte Mittelwerte Abgefragte Aussagen zu Abbildung 6 (befragt: Lehrkräfte): A: Den Zeitbedarf für die Kompetenzanalyse halte ich für angemessen. B: Allgemein halte ich die Kompetenzanalyse für sinnvoll. 7 6 Akzeptanz ,91 A 4,04 B Abbildung 6: Mittelwerte der Angaben der befragten Lehrkräfte zur Eignung der Kompetenzanalyse als Ausgangspunkt zur Förderung der individuellen Kompetenzen (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Der Zeitbedarf für die Kompetenzanalyse wird von den Lehrkräften skeptisch beurteilt. Das Verfahren selbst wird von den Lehrkräften als teilweise sinnvoll bewertet. Abgefragte Aussagen zu Abbildung 7 (befragt: Schülerinnen und Schüler) A: Mir hat es gut gefallen, an der Kompetenzanalyse teilzunehmen. B: Ich konnte die Beobachtungsaufgaben (z. B. Diskussionsrunde, CD entwerfen, Turmbau usw.) gut bearbeiten. C: Ich konnte die Tests (z. B. Kognitiver Test, Konzentrationstest) gut bearbeiten. D: Ich konnte die Schulleistungsaufgaben (Deutsch, Mathematik, Englisch) gut bearbeiten. Akzeptanz auf Seiten der Schüler/innen ,68 4,14 4,34 4,23 A B C D Abbildung 7: Mittelwerte der Angaben der befragten Schülerinnen und Schüler zur Akzeptanz der Kompetenzanalyse (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Den befragten Schülerinnen und Schülern gefällt die Teilnahme an der Kompetenzanalyse tendenziell gut. Sie geben zudem an, die Beobachtungsaufgaben, Tests und Schulleistungsaufgaben tendenziell gut bearbeiten zu können. 12

20 Mittelwerte Abgefragte Aussagen zu Abbildung 8 (befragt: Schülerinnen und Schüler): A: Ich konnte in den Beobachtungsaufgaben zeigen, was ich kann. B: Ich konnte in den Tests zeigen, was ich kann. C: Ich konnte in den Schulleistungsaufgaben zeigen, was ich kann. D: Die Beobachtungsaufgaben haben mir Spaß gemacht. E: Die Tests haben mir Spaß gemacht. F: Die Schulleistungsaufgaben haben mir Spaß gemacht. Akzeptanz auf Seiten der Schüler/innen ,44 4,29 4,07 4,26 3,86 3,34 A B C D E F Abbildung 8: Mittelwerte der Angaben der befragten Schülerinnen und Schüler zur Akzeptanz der Kompetenzanalyse (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Die Schülerinnen und Schüler bewerten die Kompetenzanalyse als tendenziell geeignet, um ihre Fähigkeiten zeigen zu können. Die Durchführung der Beobachtungsaufgaben hat den Schülerinnen und Schülern tendenziell am meisten Spaß gemacht. Die Bearbeitung der Tests und Schulleistungsaufgaben hat ihnen hingegen weniger Spaß bereitet. 84,4 Prozent der interviewten Schülerinnen und Schüler geben an, dass sie gerne noch einmal an einer Kompetenzanalyse teilnehmen würden. Als Gründe hierfür nennen sie neben der Aufdeckung ihrer Stärken und ihrer Entwicklungspotenziale, den Spaß bei der Durchführung sowie die Unterstützung bei der Berufsorientierung. Einige typische Aussagen zur Akzeptanz Die Schüler sind ganz gespannt auf die Ergebnisse und fordern diese auch ein. Ich war positiv überrascht, einige Schüler ganz anders als im Unterricht zu sehen. (Lehrkraft) Die Kompetenzanalyse an sich ist sinnvoll und bietet einen guten Ausgangspunkt für die individuelle Förderung. Jedoch ist der organisatorische Aufwand für unsere Schulart enorm. (Lehrkraft) Es erscheint sinnvoll, die Kompetenzanalyse kompakt in einer Woche und zu Beginn des Schuljahrs durchzuführen, um die Schüler besser einordnen zu können. (Lehrkraft) Ich fand die Beobachtungsaufgaben sehr interessant, da wir alle in Gruppen unsere Stärken zeigen konnten. Unter anderem hat es mir persönlich Spaß gemacht und ich konnte meine Fähigkeiten zeigen. (Schülerin bzw. Schüler) 13

21 Dateninterpretation zum Themenbereich Akzeptanz Die Akzeptanz des Verfahrens liegt auf Seiten der Lehrkräfte und der Schülerinnen und Schüler im mittleren Bereich. Die Lehrkräfte halten die Kompetenzanalyse als tendenziell geeignet, um die individuellen Kompetenzen ihrer Schülerinnen und Schüler zu ermitteln. Der Zeitbedarf für die Durchführung der Kompetenzanalyse wird von den befragten Lehrkräften jedoch skeptisch beurteilt. Die Lehrkräfte geben zudem an, dass ihnen Informationen zu konkreten Vorgehensweisen im Anschluss an die Kompetenzanalyse, auch hinsichtlich der individuellen Förderung, fehlen. 14

22 Mittelwerte Mittelwerte Kompetenzfelder und Merkmale Abgefragte Aussagen zu Abbildung 9 (befragt: Lehrkräfte): Ich halte die Erfassung der innerhalb der Kompetenzanalyse für sinnvoll. A: Sozialkompetenz B: Methodenkompetenz C: Personalen Kompetenz D: Kognitiven Basiskompetenz E: Berufsspezifischen Kompetenz F: Kulturtechnischen Kompetenz Kompetenzfelder 4,71 4,57 4,69 4,74 4,54 4,42 A B C D E F Abbildung 9: Mittelwerte der Angaben der befragten Lehrkräfte zur Erfassung der einzelnen Kompetenzfelder innerhalb der Kompetenzanalyse (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Die Lehrkräfte halten die Erfassung aller im Verfahren berücksichtigten Kompetenzfelder für tendenziell sinnvoll. Am sinnvollsten wird die Erfassung der Sozialkompetenz und der Kognitiven Basiskompetenz eingeschätzt. Die Erfassung der optionalen Kulturtechnischen Kompetenz wird vergleichsweise als am wenigsten sinnvoll betrachtet. Abgefragte Aussagen zu Abbildung 10 (befragt: Lehrkräfte): A: Die Merkmale sind insgesamt leicht zu beobachten. B: Es ist leicht, die Schüler/innen anhand der Merkmale zu beurteilen. C: Die Merkmale sind im Merkmalskatalog gut definiert. D: Die Verhaltensbeispiele aus dem Merkmalskatalog veranschaulichen das jeweilige Merkmal gut Beobachtung und Beurteilung 4,24 3,90 4,55 4,51 A B C D Abbildung 10: Mittelwerte der Angaben der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale und zur Beurteilung anhand der Merkmale (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Sowohl die Beobachtung als auch die Beurteilung anhand der Merkmale bereiten den Lehrkräften teilweise Schwierigkeiten. Die interviewten Lehrkräfte nennen dabei als Gründe vor

23 allem die situationsübergreifende Beobachtung bei den hamet 2-Tests sowie das gleichzeitige Beobachten von drei bis vier Schülerinnen und Schülern. Sie geben jedoch an, dass sich schnell ein Übungseffekt einstelle. Einige Merkmale werden als schwer beobachtbar eingestuft. Darunter fallen vor allem die Kritikfähigkeit und die Selbstständigkeit. Nach Meinung der befragten Lehrkräfte sind die Merkmale Teamfähigkeit, Kommunikationsfähigkeit und Durchhaltevermögen am leichtesten zu beobachten. Die Definitionen im Merkmalskatalog sowie die darin aufgeführten Verhaltensbeispiele werden tendenziell gut bewertet. Einige typische Aussagen zu den Kompetenzfeldern und Merkmalen Zunächst war die Beobachtung von vier Schülerinnen und Schülern schwierig, bei der zweiten Aufgabe war es dann schon einfacher. (Lehrkraft) Weil es am Ende des Schuljahres war, ist es schwer nur objektiv zu beurteilen, da ich schon ein Bild im Kopf hatte. Nur zu beobachten ohne zu bewerten ist zudem sehr schwer. (Lehrkraft) Die Beurteilung der Merkmale ging gut. Es ist aber schwierig den Alltag auszublenden. (Lehrkraft) Wenn man sich an die Richtlinien aus der Beobachterschulung hält, dann gibt es eine hohe Beobachterübereinstimmung. (Lehrkraft) Die Kritikfähigkeit war schwer zuzuordnen, es gab zu wenig Ansatzpunkte. (Lehrkraft) Dateninterpretation zum Themenbereich Kompetenzfelder und Merkmalen Alle im Verfahren enthaltenen Kompetenzfelder werden von den Lehrkräften als sinnvoll für die Kompetenzanalyse eingestuft. Der Merkmalskatalog hat sich mit seinen Merkmalsdefinitionen und Verhaltensbeispielen bewährt. Einige Merkmale werden als leichter zu beobachten (z. B. Teamfähigkeit, Kommunikationsfähigkeit), andere als schwerer zu beobachten (z. B. Kritikfähigkeit, Selbstständigkeit) beurteilt. Die Beobachtung und anschließende Beurteilung der Merkmale bereitet den Lehrkräften teilweise Schwierigkeiten. Vor allem die Beobachtung von bis zu vier Schülerinnen und Schülern gleichzeitig sowie die situationsübergreifende Beobachtung bei den hamet 2-Tests werden von den Lehrkräften als anspruchsvolle Aufgaben wahrgenommen. Sie geben jedoch schnelle Übungseffekte bei wiederholter Durchführung an. Die interviewten Lehrkräfte betonen zudem häufig die Wichtigkeit und Notwendigkeit der Beobachterschulung. 16

24 2.4.3 Beobachtungsaufgaben und Tests bzw. Aufgaben mit Arbeitsergebnis Mit 73,4 Prozent hat sich die Mehrheit der befragten Lehrkräfte für die Durchführung der Beobachtungsaufgaben ohne Präsentationsfähigkeit (CD entwerfen, Dreiecke, Wohngemeinschaft, Z-Box) entschieden. Etwa drei Viertel dieser Mehrheit (71,4 Prozent) befinden den vorhandenen Aufgabenpool als genau richtig. Für die Durchführung der Beobachtungsaufgaben mit Präsentationsfähigkeit haben sich hingegen nur 26,6 Prozent der Lehrkräfte entschieden. Wiederum 80 Prozent dieser Lehrkräfte stufen den Aufgabenpool der Aufgaben mit Präsentationsfähigkeit (Diskussionsrunde, Werbung, Wir präsentieren heute) als genau richtig ein. Bei den Beobachtungsaufgaben geben knapp 80 Prozent der befragten Lehrkräfte keine Schwierigkeiten bei der Durchführung an. Die Schulleistungsaufgaben (Deutsch, Mathematik, Englisch) wurden von 78,7 Prozent der befragten Lehrkräfte durchgeführt. Auch bei den Schulleistungsaufgaben berichten nur 28,4 Prozent der Lehrkräfte Schwierigkeiten. Die meisten Schwierigkeiten werden dabei im Zusammenhang mit der computergestützten Aufgabe Deutsch berichtet. Die häufigsten Nennungen sind technische Probleme (z. B. Internetverbindung) sowie der Zeit- und Organisationsaufwand. Inhaltliche Probleme mit der Aufgabe Deutsch werden nicht berichtet. Bei den computergestützten Tests bzw. Aufgaben (Kognitiver Test, Konzentrationstest, Eins nach dem anderen, Aufgabe Deutsch) gibt über die Hälfte der befragten Lehrkräfte (62,8 Prozent) an, Schwierigkeiten gehabt zu haben. Dabei werden ebenfalls technische Probleme am häufigsten genannt. Im Folgenden sind die am häufigsten genannten Schwierigkeiten pro Test bzw. Aufgaben mit Arbeitsergebnis aufgeführt: Kognitiver Test: Schülerinnen und Schüler benutzen Tasten anstatt mit der Maus zu navigieren (Test bricht ab); Aufgaben (z. B. Räumliches Vorstellungsvermögen) sind zu schwierig Konzentrationstest: Verständnisprobleme bei der Instruktion Eins nach dem anderen: Verständnisprobleme bei der Instruktion Schulleistungsaufgaben (Deutsch): Schülerinnen und Schüler benutzen Tasten anstatt mit der Maus zu navigieren (Test bricht ab); Zeit- und Organisationsaufwand zu hoch (z. B. Computerräume) 17

25 Mittelwerte Mittelwerte Abgefragte Aussagen zu Abbildung 11 und 12 (befragt: Lehrkräfte): A: Folgende Aufgaben halte ich für die Kompetenzanalyse für geeignet. B: Den Schwierigkeitsgrad der folgenden Aufgaben halte ich für meine Schüler/innen für angemessen ,0 5,3 5,0 5,8 Gruppenaufgaben 5,8 5,6 6,0 5,9 5,4 5,3 4,7 5,4 5,4 4,5 3,8 5,0 Abbildung 11: Mittelwerte der Angaben der befragten Lehrkräfte zur Eignung der Gruppenaufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Gruppenaufgaben (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Eignung Schwierigkeit Tests bzw. Aufgaben mit Arbeitsergebnis ,05,1 5,1 5,3 4,9 5,1 5,2 5,4 4,9 4,9 4,9 5,1 Abbildung 12: Mittelwerte der Angaben der befragten Lehrkräfte zur Eignung der Tests bzw. Aufgaben mit Arbeitsergebnis für die Kompetenzanalyse und zum Schwierigkeitsgrad der Tests bzw. Aufgaben mit Arbeitsergebnis (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Eignung Schwierigkeit Die Gruppenaufgaben Turmbau, Wohngemeinschaft, CD entwerfen und Werbung werden von den Lehrkräften als am besten geeignet bewertet. Als am wenigsten geeignet werden die Gruppenaufgaben Z-Box und Diskussionsrunde eingestuft. Es zeigt sich eine Diskrepanz zwischen den Eignungs- und Schwierigkeitsmittelwerten. Wohingegen der Schwierigkeitsgrad durchweg als angemessen eingestuft wird, fällt die Einschätzung der Eignung bei allen Aufgaben geringer aus. Als Gründe für die geringere Eignung werden häufig der Zeitaufwand sowie die wiederholte Durchführung der Aufgaben seitens der Schülerinnen und Schüler genannt, die diese bereits im Verfahren KOMPETENZANALYSE PROFIL AC AN BERUFLICHEN SCHULEN (BEJ / VAB) durchgeführt haben. Die Lehrkräfte halten alle computergestützten Tests bzw. Aufgaben für geeignet. Die Mittelwerte (Eignung und Schwierigkeit) liegen bei allen Tests bzw. Aufgaben dicht beieinander. Wird der Schwierigkeitsgrad eines Tests bzw. einer Aufgabe für angemessen eingestuft, so wird auch deren bzw. dessen Eignung als gegeben bewertet. 18

26 Offene Frage (befragt: Schülerinnen und Schüler) Welche Beobachtungsaufgabe, welchen Test bzw. welche Aufgabe mit Arbeitsergebnis fanden Sie besonders interessant? Bitte nennen Sie eine Aufgabe und begründen Sie Ihre Antwort. Häufigste Antworten und Begründungen: Turmbau (wegen des Arbeitens im Team; hat Spaß gemacht) Wohngemeinschaft (wegen des Arbeitens im Team; hat Spaß gemacht) CD entwerfen (wegen des Arbeitens im Team; hat Spaß gemacht; war interessant) Aufgabe Deutsch (war interessant) Den Schülerinnen und Schülern gefallen die Gruppenaufgaben besser als die computergestützten Tests und Aufgaben. Als Grund wird hauptsächlich das Arbeiten im Team genannt. Die Gruppenaufgaben Turmbau, Wohngemeinschaft und CD entwerfen werden als besonders interessant bewertet. Bei den Schulleistungsaufgaben wird die Aufgabe Deutsch häufiger als Mathematik und Englisch genannt. Computergestützte Tests und Aufgaben werden von den Schülerinnen und Schülern eher selten genannt. Offene Frage (befragt: Schülerinnen und Schüler) Welche Beobachtungsaufgabe, welchen Test bzw. welche Aufgabe mit Arbeitsergebnis fanden Sie am wenigsten interessant? Bitte nennen Sie eine Aufgabe und begründen Sie Ihre Antwort. Häufigste Antworten und Begründungen: Aufgabe Mathematik (war uninteressant; zu lang) Kognitiver Test (Räumliches Vorstellungsvermögen zu schwierig; anstrengend; technische Probleme) Konzentrationstest (schwierig; anstrengend) Bei den computergestützten Tests und Aufgaben finden die Schülerinnen und Schüler den Kognitiven Test am wenigsten interessant. Als Gründe nennen sie neben der hohen Schwierigkeit auch die häufig auftretenden technischen Probleme. Auch der Konzentrationstest wird von einigen als zu schwierig empfunden. Bei den Schulleistungsaufgaben wird überwiegend eine generelle Abneigung bezüglich des entsprechenden Schulfachs als Grund angegeben. Mathematik wird bei dieser Frage am häufigsten bei den Schulleistungsaufgaben genannt. Die Gruppenaufgaben wurden nur vereinzelt als am wenigsten interessante Aufgaben genannt. Einige typische Aussagen zu den Beobachtungsaufgaben und Tests Ich fand die Beobachtungsaufgabe Turmbau sehr interessant, weil man da zeigen konnte, dass man im Team arbeiten kann und dass man auch kommunizieren kann. (Schülerin bzw. Schüler) Ich fand die Aufgabe mit der WG am besten, da ich mit meinen Mitschülern zusammen etwas erarbeiten konnte. Ich plane und organisiere auch gerne, daher war das die beste Aufgabe! (Schülerin bzw. Schüler) Eins nach dem anderen die Bewerbung schreiben fand ich besonders interessant, weil ich dort meine PC-Kenntnisse zeigen konnte, wie ich z. B. mit Word umgehe. (Schülerin bzw. Schüler) 19

27 Rechenoperationen war am wenigsten interessant, weil mir Mathe einfach nicht liegt. (Schülerin bzw. Schüler) Ich fand den Kognitiven Test am wenigsten interessant, weil es anstrengend war, sich so lange zu konzentrieren. (Schülerin bzw. Schüler) Es ist sehr gut und hilfreich bei der Mathe- und Deutschaufgabe einen Überblick über Teilbereiche zu haben. (Lehrkraft) Die Aufgaben des Konzentrationstests waren für einige Schülerinnen und Schüler zu schwierig. Außerdem gab es viele technische Probleme. (Lehrkraft) Die Instruktionen waren häufig zu lang. Die Schülerinnen und Schüler lesen sich dann nicht alles durch. (Lehrkraft) Die Gruppenaufgaben waren besonders aufschlussreich. Man bekommt einen anderen Blick auf die Schülerinnen und Schüler, denn sie präsentieren sich häufig anders als im Unterricht. (Lehrkraft) Dateninterpretation zum Themenbereich Beobachtungsaufgaben und Tests bzw. Aufgaben mit Arbeitsergebnis Von der Mehrheit der Lehrkräfte wird der Aufgabenpool sowohl bei den Beobachtungsaufgaben mit Präsentationsfähigkeit als auch bei den Aufgaben ohne Präsentationsfähigkeit als genau richtig eingestuft. Die Aufgaben mit Präsentationsfähigkeit wurden nur von einem Drittel der Befragten ausgewählt. Die meisten Gruppenaufgaben sowie alle Tests bzw. Aufgaben mit Arbeitsergebnis werden als gut geeignet eingestuft. Die Schwierigkeit der Aufgaben wird insgesamt als angemessen beurteilt. Bei der Durchführung der Aufgaben ohne PC werden kaum Schwierigkeiten berichtet. Die Lehrkräfte geben jedoch bei den computergestützten Tests bzw. Aufgaben sehr häufig an, technische Probleme gehabt zu haben. Auch die räumlichen Ressourcen (z. B. PC-Raum zu klein) werden mehrfach genannt. Häufige Nennungen bei den technischen Problemen sind schlechte Internetverbindungen, veraltete Hardware sowie Serverprobleme, die, nach Angaben der Lehrkräfte, zu einer erschwerten Durchführung mit Testabbrüchen führten. 20

28 Mittelwerte Mittelwerte Instrumente und Kompetenzprofil Abgefragte Aussagen zu Abbildung 13 (befragt: Lehrkräfte): A: Der Beobachtungsbogen eignet sich gut zur Erfassung des Verhaltens der Schüler/innen. B: Der Beobachtungsbogen situationsübergreifend eignet sich gut zur Erfassung des Verhaltens der Schüler/innen. C: Der Beurteilungsbogen eignet sich gut zur Beurteilung der Schüler/innen. D: Der Ergebnisbogen eignet sich gut zur Unterstützung bei der gemeinsamen Beurteilung Instrumente 4,73 4,54 4,55 4, A B C D Abbildung 13: Mittelwerte der Angaben der befragten Lehrkräfte zu den Beobachtungsbogen, zum Beurteilungsbogen und zum Ergebnisbogen (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Die Lehrkräfte stufen die beiden Beobachtungsbogen, den Beurteilungsbogen sowie den Ergebnisbogen als tendenziell geeignet ein. Als Anmerkungen und Verbesserungsvorschläge werden vor allem der Wunsch nach einem großen Beobachtungsbogen (DIN A3) für alle zu beobachtenden Schülerinnen und Schüler genannt sowie das Einsparen von Papier. Abgefragte Aussagen zu Abbildung 14 (befragt: Lehrkräfte): A: Die Instruktion Selbsteinschätzung eignet sich gut zur Unterstützung der Schüler/innen bei der Selbsteinschätzung. B: Der Selbsteinschätzungsbogen eignet sich gut für die Selbstbeurteilung der Schüler/innen. C: Die Darstellung der Ergebnisse im Kompetenzprofil ist gut. D: Das Kompetenzprofil eignet sich gut als Grundlage für die Fördergespräche. E: Die Vorlage zu den Ziel- und Lernvereinbarungen eignet sich gut zur Dokumentation der Ziel- und Lernvereinbarungen Instrumente und Kompetenzprofil 4,64 4,63 4,96 5,18 4,89 A B C D E Abbildung 14: Mittelwerte der Angaben der befragten Lehrkräfte zum Selbsteinschätzungsbogen, zum Kompetenzprofil und zum Dokument Zielund Lernvereinbarungen (1 = trifft überhaupt nicht zu, 7 = trifft voll zu)

29 Mittelwerte Die Instruktion zur Selbsteinschätzung sowie der Selbsteinschätzungsbogen selbst werden als tendenziell geeignet bewertet. Als Schwierigkeit für die Schülerinnen und Schüler nennen die Lehrkräfte vor allem die Einschätzung bezüglich der hamet 2-Faktoren A bis F. Dabei falle es den Schülerinnen und Schülern vor allem schwer, eine Mittelung zwischen den sehr verschiedenen hamet 2-Tests pro Faktor vorzunehmen. Die Darstellung des Kompetenzprofils sowie dessen Nutzung als Ausgangspunkt für die individuelle Förderung werden positiv eingestuft. Die Vorlage zu den Ziel- und Lernvereinbarungen wird von den Lehrkräften als tendenziell geeignet bewertet. Abgefragte Aussagen zu Abbildung 15 (befragt: Schülerinnen und Schüler): A: Ich finde es gut, dass ich mich selbst einschätzen durfte. B: Es fiel mir leicht, mich mit dem Selbsteinschätzungsbogen einzuschätzen. C: Die Kompetenzanalyse hilft mir dabei, meine Stärken herauszufinden ,71 Selbsteinschätzung 4,22 4,12 A B C Abbildung 15: Mittelwerte der Angaben der befragten Schülerinnen und Schüler zur Selbsteinschätzung und zum Selbsteinschätzungsbogen (1 = trifft überhaupt nicht zu, 7 = trifft voll zu) Die befragten Schülerinnen und Schüler empfinden es als tendenziell gut, sich selbst einschätzen zu dürfen. Die Einschätzung mithilfe des Selbsteinschätzungsbogens bereitet ihnen jedoch teilweise Schwierigkeiten. Die Schülerinnen und Schüler geben an, dass ihnen die Kompetenzanalyse etwas dabei hilft, ihre Stärken herauszufinden. Als häufigsten Grund für eine erneute Teilnahme an einer Kompetenzanalyse nennen die interviewten Schülerinnen und Schüler das Herausfinden ihrer Stärken und ihrer Entwicklungspotenziale. Die Durchführung der Selbsteinschätzung wurde bei 28,8 Prozent der befragten Schülerinnen und Schülern auf dem Papier durchgeführt. 34,7 Prozent geben an, diese nur am Computer gemacht zu haben. Die restlichen 36,6 Prozent der befragten Schülerinnen und Schüler haben die Selbsteinschätzung zuerst auf dem Papier gemacht und dann am Computer in den Bogen übertragen. Alle drei angebotenen Möglichkeiten wurden relativ gleich häufig genutzt. Die Durchführung der Selbsteinschätzung ist demnach flexibel und individuell einsetzbar. Die Frage, ob ihnen im Gespräch mit einer Lehrkraft das Kompetenzprofil erklärt wurde, bejahen 72,8 Prozent der befragten Schülerinnen und Schüler. Diese Schülerinnen und Schüler geben wiederum in fast allen Fällen (93 Prozent) an, das Profil auch verstanden zu haben. Unter den Schülerinnen und Schülern, denen das Kompetenzprofil nicht erklärt wurde, geben hingegen nur ca. 35 Prozent an, das Profil verstanden zu haben. Das heißt, dass 65 Prozent dieser Schülerinnen und Schüler nach eigenen Angaben das Profil nicht verstanden haben. Dieses Ergebnis macht die Notwendigkeit einer detaillierten Rückmeldung deutlich. Da die Evaluation jedoch bereits vor dem Ende des Pilotzeitraums abgeschlossen wurde, könnte eine mögliche Erklärung für die verminderte Anzahl an Rückmeldegesprächen auch darauf zurückzuführen sein, dass die Lehrkräfte diese erst nach der Evaluation geführt haben. 22