Abschlussbericht KOMPETENZANALYSE PROFIL AC AN REALSCHULEN

Transkript

1 Abschlussbericht KOMPETENZANALYSE PROFIL AC AN REALSCHULEN 2014

2

3 Abschlussbericht KOMPETENZANALYSE PROFIL AC AN REALSCHULEN 2014 Im Auftrag des Ministeriums für Kultus, Jugend und Sport Baden-Württemberg erstellt durch MTO Psychologische Forschung und Beratung GmbH Bereich Bildung Schweickhardtstraße 5 D Tübingen Tel.: +49(0) Fax: +49(0) bildung@mto.de Ansprechpartner: Brigitte Häcker Dipl. Psychologin Senior Projektleiterin b.haecker@mto.de Karsten Hammer Dipl. Psychologe Bereichsleiter Bildung k.hammer@mto.de Christine Lenz Dipl. Psychologin Projektleiterin c.lenz@mto.de Dr. Jürgen Ripper Dipl. Psychologe Geschäftsführer j.ripper@mto.de Projektbüro: Susanne Kugler (Projektleitung), Dr. Ulrike Bopp-Haas, Verena Bürger, Yvonne Dorsch, Michael Henkel, Sylvia Jäkel, Alexandra Kostek, Axel Kugel, Markus Rapp, Sien-Lie Saleh, Corinna Schulz und Gretel Trefz Das Projekt KOMPETENZANALYSE PROFIL AC AN REALSCHULEN wurde aus Mitteln der Regionaldirektion Baden-Württemberg der Bundesagentur für Arbeit sowie aus Mitteln des Bundesministeriums für Bildung und Forschung gefördert.

4

5 Danksagung Die MTO Psychologische Forschung und Beratung GmbH dankt dem Ministerium für Kultus, Jugend und Sport Baden- Württemberg für die hervorragende Zusammenarbeit im gesamten Projektzeitraum des Projekts KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. Unser Dank gilt vor allem den Mitarbeiterinnen und Mitarbeitern des Projektbüros Susanne Kugler (Projektleitung), Dr. Ulrike Bopp-Haas, Verena Bürger, Yvonne Dorsch, Michael Henkel, Sylvia Jäkel, Alexandra Kostek, Axel Kugel, Markus Rapp, Sien-Lie Saleh, Corinna Schulz und Gretel Trefz sowie dem Referat 34 im Ministerium für Kultus, Jugend und Sport Baden- Württemberg. In besonderem Maße möchten wir uns auch bei unserem Projektpartner, dem CJD Jugenddorf Offenburg, für die intensive und vertrauensvolle Zusammenarbeit bedanken. Insbesondere gilt unser Dank Herrn Jochen Nordau (Jugenddorfleiter CJD Jugenddorf Offenburg) sowie Frau Daniela Meiser (Abteilungsleiterin Profil AC).

6

7 Inhalt 1 Einleitung Aufbau des Berichts Verfahrensimplementierung Darstellung des Verfahrens Kompetenzmodell Kompetenzfelder und Merkmale Ablauf des Verfahrens Komponenten des Verfahrens Beobachtungsaufgaben Computergestützte Tests und Fragebogen Selbsteinschätzung Kompetenzprofil und Rückmeldegespräch Materialien, Instrumente und Vorlagen Software zur Durchführung Schulungen Qualitätsstandards Individuelle Förderung im Anschluss an die Kompetenzanalyse Profilvergleich Wissenschaftliche Begleitung Ziele der wissenschaftlichen Begleitung Methodisches Vorgehen der wissenschaftlichen Begleitung Datenbasis der wissenschaftlichen Begleitung Datenbasis der prozessbegleitenden Evaluation Datenbasis der wissenschaftlichen Güteprüfung Ergebnisse der prozessbegleitenden Evaluation Akzeptanz Kompetenzfelder und Merkmale Beobachtungsaufgaben, Tests und Fragebogen Instrumente Unterstützungskomponenten (Schulung, Handbuch und Software) 48

8 5.5 Theoretischer Hintergrund zur wissenschaftlichen Güteprüfung Ergebnisse der wissenschaftlichen Güteprüfung Verteilung der Beurteilungswerte Verteilung der Selbsteinschätzungswerte Verteilung der Testergebnisse und Ergebnisse zum Fragebogen Studien- und Berufsinteressen Übereinstimmung der Beurteiler Bewertung der Gütekriterien Erkenntnisse Abbildungen Tabellen MTO Psychologische Forschung und Beratung GmbH Das Christliche Jugenddorfwerk Deutschlands e.v. vertreten durch das CJD Jugenddorf Offenburg Anhang... 68

9 1 Einleitung Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN ist ein Verfahren zur Ermittlung von überfachlichen, berufsbezogenen Kompetenzen der Schülerinnen und Schüler und dient als Grundlage für eine an den individuellen Stärken und Entwicklungspotenzialen ausgerichtete individuelle Förderung. Durch die Kompetenzanalyse und die Einleitung von Maßnahmen zur individuellen Förderung werden die Schülerinnen und Schüler gezielt bei ihrer Berufsorientierung bzw. der Berufswegeplanung unterstützt. Im Schuljahr 2011/2012 wurde die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN an öffentlichen und privaten Realschulen und öffentlichen und privaten Sonderschulen mit dem Bildungsgang Realschule eingeführt. Seit dem Schuljahr 2013/2014 wird das Verfahren an Realschulen und Sonderschulen mit dem Bildungsgang Realschule flächendeckend umgesetzt. Die Kompetenzanalyse wird nun verbindlich in Klassenstufe 8 durchgeführt, wofür die Stundentafel für Realschulen zum Schuljahr 2013/2014 im 8. Schuljahr um zwei Stunden erweitert wurde. Zielsetzung der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN ist es, die überfachlichen, berufsrelevanten Kompetenzen der Schülerinnen und Schüler festzustellen; die individuellen Stärken einer Schülerin bzw. eines Schülers zu erkennen; mögliche Ansatzpunkte zur Gestaltung individueller Fördermaßnahmen auszumachen; die Berufs- und Bildungswegeplanung der Schülerinnen und Schüler zu unterstützen; die Schülerinnen und Schüler selbst sowie deren Eltern als wichtige Partner in den Lehr- und Lernprozess einzubeziehen. Das Projekt KOMPETENZANALYSE PROFIL AC AN REALSCHULEN wurde bis einschließlich Dezember 2013 gefördert aus Mitteln der Regionaldirektion Baden-Württemberg der Bundesagentur für Arbeit sowie aus Mitteln des Bundesministeriums für Bildung und Forschung. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 1

10 2 Aufbau des Berichts Der vorliegende Evaluationsbericht beinhaltet neben Informationen zur Verfahrensimplementierung eine detaillierte Beschreibung des Ablaufs sowie der Komponenten und der Qualitätsstandards der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. Außerdem werden die Ziele und das methodische Vorgehen der wissenschaftlichen Begleitung sowie die Ergebnisse der prozessbegleitenden Evaluation und der wissenschaftlichen Güteprüfung dargestellt. Die Ergebnisse der prozessbegleitenden Evaluation sind in folgende Themenbereiche bzw. Kapitel unterteilt: Akzeptanz Kompetenzfelder und Merkmale Aufgaben Instrumente Unterstützungskomponenten (Schulung, Handbuch und Software) Im Anschluss an die Ergebnisdarstellung werden zu jedem Themenbereich zumeist konkrete Aussagen einzelner Personen aufgeführt, die den Tenor zu einem Themenbereich aus Sicht der Befragten widerspiegeln. Jedes Kapitel wird durch eine Darstellung der zentralen Erkenntnisse abgeschlossen. Die Ergebnisse der wissenschaftlichen Güteprüfung werden im Anschluss an eine kurze Erläuterung der Gütekriterien Objektivität, Reliabilität und Validität dargestellt und sind in folgende Themenbereiche bzw. Kapitel unterteilt: Verteilung der Beurteilungswerte Verteilung der Selbsteinschätzungswerte Verteilung der Testergebnisse und Ergebnisse zum Fragebogen Studien- und Berufsinteressen Übereinstimmung der Beurteiler Im Anschluss an die Ergebnisdarstellung erfolgt eine Bewertung der Gütekriterien Objektivität, Reliabilität und Validität der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. 2 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

11 3 Verfahrensimplementierung Das Verfahren KOMPETENZANALYSE PROFIL AC AN REALSCHULEN wurde innerhalb eines Projekts durch das CJD Jugenddorf Offenburg und die MTO Psychologische Forschung und Beratung GmbH Tübingen in enger Abstimmung mit dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg innerhalb von drei Entwicklungszyklen erstellt. Die Verfahrensentwicklung und -implementierung wurden zudem durch die MTO GmbH wissenschaftlich begleitet. Die MTO GmbH führte über den Projektzeitraum eine prozessbegleitende Evaluation durch. D. h. sie evaluierte den Verlauf des Projekts sowie die Qualität und die Handhabung des Verfahrens KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. Außerdem führte MTO eine wissenschaftliche Güteprüfung des Verfahrens durch. Im Zuge der prozessbegleitenden Evaluation wurden Lehrkräfte und Verfahrensexpertinnen und Verfahrensexperten 1 sowie Schülerinnen und Schüler anhand von Fragebögen bzw. Interviews zu ihren Erfahrungen mit dem Verfahren befragt. Außerdem wurde die Durchführung der Kompetenzanalyse an den Schulen durch Wissenschaftler direkt beobachtet. Übergeordnetes Ziel der wissenschaftlichen Begleitung war es, die Akzeptanz des Verfahrens zu sichern, eine einfache Handhabung sowie eine qualitativ hochwertige Kompetenzfeststellung der Schülerinnen und Schüler zu gewährleisten. Durch die erreichte Standardisierung sollen die Beurteilungen der Schülerinnen und Schüler nachvollziehbar und fair sein. Auf Grundlage der Ergebnisse aus prozessbegleitender Evaluation und wissenschaftlicher Güteprüfung wurde das Verfahren im Projektzeitraum kontinuierlich optimiert. Zur erfolgreichen Implementierung der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN und zur Qualitätssicherung fanden während der Projektlaufzeit folgende Eckpunkte Berücksichtigung: Während des Projektzeitraumes fanden dreitägige Schulungen für Lehrkräfte durch erfahrene Referentinnen und Referenten des CJD Jugenddorf Offenburg und der MTO GmbH statt. Diese Schulungen dienten der Befähigung der Teilnehmerinnen und Teilnehmer zur eigenständigen Durchführung des Verfahrens an ihren Schulen. Insgesamt wurden bis Dezember 2013 über Lehrkräfte geschult. Die das Verfahren durchführenden Lehrkräfte wurden während der ersten beiden Projektzyklen durch je eine Anrechnungsstunde entlastet. 1 Im Folgenden Expertinnen und Experten MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 3

12 Den beteiligten Schulen stehen alle Unterlagen des Verfahrens über die Verfahrenssoftware kostenlos zur Verfügung. Während der Projektlaufzeit stand jeder teilnehmenden Klasse ein Sachbudget zur Anschaffung von für die Durchführung benötigten Materialien zur Verfügung. Die Realschulen werden seit dem Schuljahr 2012/2013 durch regionale Expertinnen und Experten unterstützt. Die durchführenden Lehrkräfte erhalten bei Schwierigkeiten im Umgang mit der Verfahrenssoftware auch über den Projektzeitraum hinaus technischen Support durch das Service Center der Schulverwaltung. Das im Kultusministerium eingerichtete Projektbüro Kompetenzanalyse führte die zentrale Steuerung des Projekts durch. Erste Fortbildungsangebote und Materialien zur individuellen Förderung auf der Grundlage der Ergebnisse der Kompetenzanalyse wurden bereits im Schuljahr 2012/2013 angeboten. Seit dem Schuljahr 2013/2014 wird die KOMPETENZANALYSE PROFIL AC an den Realschulen und Sonderschulen mit dem Bildungsgang Realschule flächendeckend umgesetzt. Sie ist verbindlich für alle Schülerinnen und Schüler der Klassenstufe 8 und fest in der Stundentafel verankert. 4 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

13 4 Darstellung des Verfahrens Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN ist ein Assessment-Center-Verfahren zur Ermittlung der individuellen überfachlichen Kompetenzen von Schülerinnen und Schülern der 8. Klasse an Realschulen. Als Ergebnis erhalten die Schülerinnen und Schüler ein individuelles Kompetenzprofil mit ihren persönlichen Stärken und Entwicklungspotenzialen. Dieses Profil dient als Grundlage für eine individuelle, auf die Bedürfnisse der einzelnen Schülerin bzw. des einzelnen Schülers ausgerichtete Förderung. Im Folgenden ist der Ablauf des Verfahrens dargestellt, die einzelnen Komponenten des Verfahrens werden näher beschrieben und weitere, neu entwickelte Module werden vorgestellt. 4.1 Kompetenzmodell Kompetenzfelder und Merkmale Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN geht von einem Kompetenzmodell aus, das fünf verschiedene überfachliche Kompetenzfelder umfasst. Zu jedem Kompetenzfeld gehören definierte Kompetenzmerkmale (vgl. Abb. 1). ABBILDUNG 1: Kompetenzfelder und ihre Merkmale MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 5

14 Im Folgenden sind die Kompetenzfelder und die ihnen zugeordneten Merkmale mit den jeweiligen Definitionen dargestellt. Sozialkompetenz Sozialkompetenz ist die Fähigkeit, soziale Beziehungen zu gestalten. Der Sozialkompetenz sind die Merkmale Kommunikationsfähigkeit, Kritikfähigkeit und Teamfähigkeit zugeordnet. Kommunikationsfähigkeit Kommunikationsfähigkeit ist die Fähigkeit, mit Menschen sowohl verbal als auch nonverbal situationsangemessen Kontakt aufzunehmen und diesen Kontakt aufrecht zu erhalten. Kritikfähigkeit Kritikfähigkeit ist die Fähigkeit, anderen konstruktiv Rückmeldung zu geben und Rückmeldung von anderen anzunehmen, auszuhalten und mit ihr umzugehen sowie Auseinandersetzungen zu bewältigen. Teamfähigkeit Teamfähigkeit ist die Fähigkeit, gemeinsam mit anderen auf ein Ziel hinzuarbeiten. Methodenkompetenz Methodenkompetenz ist die Fähigkeit, Wege zu finden, um Tätigkeiten und Aufgaben angemessen zu gestalten und zu lösen. Der Methodenkompetenz sind die Merkmale Planungsfähigkeit, Problemlösefähigkeit, Präsentationsfähigkeit (optional) und Informationstechnische Fähigkeit zugeordnet. Planungsfähigkeit Planungsfähigkeit ist die Fähigkeit, bei der Bearbeitung einer Aufgabe die Vorgaben zu berücksichtigen sowie zeitlich und inhaltlich zu strukturieren. Problemlösefähigkeit Problemlösefähigkeit ist die Fähigkeit, Probleme zu erkennen und zu deren Lösung geeignete Strategien oder Hilfsmittel anzuwenden. Präsentationsfähigkeit (optional) Präsentationsfähigkeit ist die Fähigkeit, anderen Personen Informationen verständlich und anschaulich zu vermitteln. Informationstechnische Fähigkeit Informationstechnische Fähigkeit ist die Fähigkeit, den Computer zur Informationsbeschaffung zu nutzen und mit gängigen Computeranwendungen zu arbeiten. 6 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

15 Personale Kompetenz Personale Kompetenz ist die Fähigkeit, sich mit der eigenen Person auseinanderzusetzen. Dazu gehört, sich selbst zu kennen, anzunehmen und weiterzuentwickeln. Der Personalen Kompetenz sind die Merkmale Durchhaltevermögen, Selbstständigkeit, Ordentlichkeit und Verantwortungsfähigkeit zugeordnet. Durchhaltevermögen Durchhaltevermögen ist die Fähigkeit, auch bei auftretenden Schwierigkeiten ausdauernd auf ein Ziel hinzuarbeiten. Selbstständigkeit Selbstständigkeit ist die Fähigkeit, ohne fremde Hilfe in einem vorgegebenen Rahmen zu handeln. Ordentlichkeit Ordentlichkeit ist die Fähigkeit, mit Arbeitsmaterial und Werkzeug sorgsam und gewissenhaft umzugehen sowie den Arbeitsplatz in Ordnung zu halten. Verantwortungsfähigkeit Verantwortungsfähigkeit ist die Fähigkeit, sich an Vorgaben und getroffene Vereinbarungen zu halten sowie die Konsequenzen des eigenen Verhaltens zu tragen. Kognitive Basiskompetenz Kognitive Basiskompetenz ist die Fähigkeit, Zusammenhänge und Systematiken zu erkennen und herauszustellen sowie implizites Erfahrungswissen anzuwenden. Der Kognitiven Basiskompetenz sind die Merkmale Konzentrationsfähigkeit, Räumliches Vorstellungsvermögen, Merkfähigkeit und Schlussfolgerndes Denken zugeordnet. Konzentrationsfähigkeit Konzentrationsfähigkeit ist die Fähigkeit, die Aufmerksamkeit kontinuierlich auf eine Aufgabe zu richten und diese korrekt und schnell auszuführen. Räumliches Vorstellungsvermögen Räumliches Vorstellungsvermögen ist die Fähigkeit, Objekte in der Ebene und im Raum zu erfassen. Merkfähigkeit Merkfähigkeit ist die Fähigkeit, Sachverhalte im Gedächtnis zu behalten und zu einem späteren Zeitpunkt abrufen zu können. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 7

16 Schlussfolgerndes Denken Schlussfolgerndes Denken ist die Fähigkeit, aus Informationen Schlussfolgerungen ableiten zu können sowie Zusammenhänge und Regeln zu erkennen. Berufsfeldbezogene Kompetenz Berufsfeldbezogene Kompetenz umfasst die für bestimmte Berufsfelder spezifischen Fähigkeiten und Fertigkeiten. Der Berufsfeldbezogenen Kompetenz sind die Merkmale Handwerklich-technische Fähigkeit, Untersuchend-forschende Fähigkeit, Kreativ-sprachliche Fähigkeit, Pädagogisch-helfende Fähigkeit, Führend-verkaufende Fähigkeit, Kaufmännisch-verwaltende Fähigkeit zugeordnet. Handwerklich-technische Fähigkeit Handwerklich-technische Fähigkeit umfasst v. a. technisches Verständnis sowie die Fähigkeit, praxisnahe Lösungen für tätigkeitsbezogene Problemstellungen zu finden. Untersuchend-forschende Fähigkeit Untersuchend-forschende Fähigkeit umfasst v. a. kognitive Fähigkeiten sowie den Umgang mit wissenschaftlichen Inhalten und Fragestellungen. Kreativ-sprachliche Fähigkeit Kreativ-sprachliche Fähigkeit umfasst v. a. sprachliche, künstlerische oder musikalische Ausdrucksfähigkeit sowie Kreativität und Sinn für ästhetisches Gestalten. Pädagogisch-helfende Fähigkeit Pädagogisch-helfende Fähigkeit umfasst v. a. soziale Fähigkeiten sowie didaktisches Geschick. Führend-verkaufende Fähigkeit Führend-verkaufende Fähigkeit umfasst v. a. ein sicheres Auftreten sowie Organisationsund Führungstalent. Kaufmännisch-verwaltende Fähigkeit Kaufmännisch-verwaltende Fähigkeit umfasst v. a. wirtschaftliches Verständnis sowie Sicherheit im Umgang mit Daten und Fakten und bei der Korrespondenz. 4.2 Ablauf des Verfahrens Dieses Kapitel liefert einen Überblick über den Ablauf der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN (vgl. Abb. 2). Zur Vorbereitung auf die Durchführung wählt die verantwortliche Lehrkraft aus einem Aufgabenpool vier Aufgaben, die für die Schülerschaft der Schule und 8 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

17 für deren Ausstattung angemessen sind, nach einer vorgegebenen Systematik (vgl. Kapitel 4.3.1). Diese Aufgaben müssen vor der Durchführung vorbereitet werden, indem benötigtes Material besorgt wird, ausreichend Kopien bereitgestellt und Räume in der Schule reserviert werden. Außerdem werden die Lehrkräfte, die für die Beobachtung zuständig sein werden, eingeteilt. Für die computergestützten Tests und Fragebogen muss die Verfügbarkeit von Computerarbeitsplätzen sichergestellt und die Erfüllung der technischen Voraussetzungen geprüft werden. Vor der Durchführung selbst erhalten die Schülerinnen und Schüler eine Schulung durch die Lehrkraft, in der ihnen schülergerecht der Zweck und die Ziele des Verfahrens sowie die Bedeutung der Kompetenzmerkmale erklärt werden. Nach diesen Vorbereitungen werden die Schülerinnen und Schüler in Kleingruppen von maximal vier Teilnehmerinnen bzw. Teilnehmern in verschiedenen Beobachtungsaufgaben von zwei Lehrkräften beobachtet. Hierbei ist es wichtig, das Vorgehen in drei Schritte zu untergliedern: Beobachten, Zuordnen und Beurteilen. Die Trennung von Beobachten und Beurteilen ist besonders wichtig, damit wertfreie Beobachtungen, die sich nur auf das konkrete Verhalten beziehen, festgehalten werden können und damit die Kapazität der Beobachter nicht überlastet wird. Die Beobachtung durch zwei Lehrkräfte, die die Schülerin bzw. den Schüler in unterschiedlichen Aufgaben beobachten, erhöht die Objektivität und hilft, mehr Informationen über die Schülerin bzw. den Schüler zu sammeln. Erst im Anschluss an die Beobachtung wird die Zuordnung der beobachteten Verhaltensweisen zu den Merkmalen, die in einem Merkmalskatalog beschrieben werden, vorgenommen. Im dritten Schritt wird dann die Beurteilung der Merkmale anhand der zugeordneten Beobachtungen vorgenommen. Die Beurteilung erfolgt über eine fünfstufige Skala, wobei 1 geringe Ausprägung und 5 sehr hohe Ausprägung bedeutet. Der mittlere Wert 3 ist dann zu vergeben, wenn die Schülerin bzw. der Schüler das Merkmal entsprechend den Erwartungen an die Klassenstufe aufweist. Die Beurteilung wird zunächst von jeder Lehrkraft alleine auf dem Beurteilungsbogen der Schülerin bzw. des Schülers eingetragen. Erst dann gehen die beiden Lehrkräfte, die dieselben Schülerinnen und Schüler beobachtet haben, in die Beobachterkonferenz, tauschen sich über ihre Einzelbeurteilungen aus und kommen bei unterschiedlichen Bewertungen zu einer Einigung. Stark abweichende Bewertungen oder auffällige Beobachtungen können in einem dafür vorgesehenen Protokollblatt vermerkt werden. Diese Ergebnisse der Beobachterkonferenz werden von einer Lehrkraft mithilfe der internetbasierten Software, die der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN zugrunde liegt, online in den Beobachterkonferenzbogen eingegeben (vgl. Kapitel 4.3.6). Zusätzlich zu den Beobachtungsaufgaben bearbeiten die Schülerinnen und Schüler computergestützte MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 9

18 Tests und Fragebogen, die direkt von der Software ausgewertet werden. Nach der Durchführung der Beobachtungsaufgaben, Tests und Fragebogen schätzen sich die Schülerinnen und Schüler zu allen Kompetenzmerkmalen selbst ein. Alle Ergebnisse aus der Kompetenzanalyse werden von der Software automatisiert in einem individuellen Kompetenzprofil zusammengeführt, wobei die Fremdeinschätzung bzw. das Testergebnis und die jeweilige Selbsteinschätzung nebeneinandergestellt werden. In einem anschließenden, individuellen Rückmeldegespräch zwischen Lehrkraft und Schülerin bzw. Schüler wird das Kompetenzprofil besprochen und auf dessen Grundlage Maßnahmen zur individuellen Förderung gemeinsam mit der Schülerin bzw. dem Schüler entwickelt und schriftlich festgehalten. ABBILDUNG 2: Ablauf der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN 4.3 Komponenten des Verfahrens Im Folgenden werden die KOMPONENTEN DER KOMPETENZANALYSE PROFIL AC AN REALSCHULEN beschrieben: Beobachtungsaufgaben, computergestützte Tests und Fragebogen, Selbsteinschätzung, Kompetenzprofil und Rückmeldegespräch, Materialien, Instrumente und Vorlagen, Software sowie Schulung. In Abbildung 3 sind die Beobachtungsaufgaben, die computergestützten Tests und Fragebogen sowie die Selbsteinschätzung mit den zugehörigen Merkmalen aufgeführt. Der Abbildung kann zudem der jeweils für die Durchführung erforderliche Zeitaufwand entnommen werden. 10 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

19 ABBILDUNG 3: Übersicht Aufgaben, Tests und Fragebogen MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 11

20 4.3.1 Beobachtungsaufgaben Bei der Auswahl der Beobachtungsaufgaben stehen zwei Aufgabenkategorien je acht Aufgaben à 45 Minuten zur Verfügung (vgl. Abb. 3): Die Aufgabenkategorie 1 (AK I) umfasst die Gruppenaufgaben, in Aufgabenkategorie 2 (AK II) finden sich die Einzelaufgaben. Alle Beobachtungsaufgaben setzen sich aus Beschreibungen für Lehrkräfte und aus Beschreibungen für Schülerinnen und Schüler mit genauen Vorgaben und Arbeitsanweisungen zusammen. Bei einigen werden für die Durchführung notwendige Vorlagen bereitgestellt. Für eine korrekte Durchführung des Verfahrens müssen zwei Aufgaben aus AK I und zwei Aufgaben aus AK II gewählt werden, in denen die Schülerinnen und Schüler beobachtet werden, damit Beobachtervielfalt und Situationsvielfalt gewährleistet sind (vgl. Kapitel 4.4). Bei den Gruppenaufgaben beobachtet eine Lehrkraft bis zu vier Schülerinnen und Schüler bei der gemeinsamen Bearbeitung einer Aufgabe. Bei den Einzelaufgaben werden diese vier Schülerinnen und Schüler ebenfalls von einer Lehrkraft beobachtet, allerdings arbeitet jede bzw. jeder für sich. Bei den Einzelaufgaben hat die Lehrkraft bei der Zusammenstellung der Aufgaben die Möglichkeit, zwischen unterschiedlichen Schwierigkeitsgraden zu wählen. In jeder Aufgabenkategorie liegt der Fokus der Beobachtung auf anderen Kompetenzen. Bei den Gruppenaufgaben werden alle Merkmale der Sozialkompetenz sowie Planungsfähigkeit und Verantwortungsfähigkeit beobachtet. Bei den Einzelaufgaben liegt der Beobachtungsschwerpunkt auf Problemlösefähigkeit, Durchhaltevermögen, Selbständigkeit und Ordentlichkeit. Bei den Einzelaufgaben gibt es darüber hinaus die Möglichkeit, optional Aufgaben zur Präsentationsfähigkeit durchzuführen Computergestützte Tests und Fragebogen Im Verfahren KOMPETENZANALYSE PROFIL AC AN REALSCHULEN werden vier standardisierte Testverfahren der IT-Test, der Kognitive Test, der Konzentrationstest und der Test Berufsfeldbezogene Kompetenz sowie der Fragebogen Studien- und Berufsinteressen eingesetzt. Die Tests und Fragebogen sind so entwickelt worden, dass sie den im Rahmen der Berufsorientierung üblicherweise verwendeten Verfahren - Intelligenztests, Arbeitsproben, Fragebogen und Beobachtungen - entsprechen. Sie beinhalten die Kompetenzen bzw. Merkmale, die durch Beobachtung weniger gut erfasst werden können. Die computergestützten Elemente können im Klassenverband durchgeführt werden und 12 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

21 dauern, mit Ausnahme des Konzentrationstests und des Fragebogens Studien- und Berufsinteressen, 45 Minuten. IT-Test Der IT-Test wird zur Erfassung der Informationstechnischen Fähigkeit als Testverfahren in Anlehnung an simulative Arbeitsproben eingesetzt. Er besteht aus vier Bereichen, die Kenntnisse und Fähigkeiten erfassen, die für eine Reihe von Berufen von Bedeutung sind. Die Schülerinnen und Schüler beschäftigen sich in diesem Test mit Textverarbeitung, Tabellenkalkulation, der Erstellung von Bildschirmpräsentationen und der internetbezogenen Informationsrecherche. Im Gegensatz zu den anderen, im Folgenden beschriebenen computergestützten Tests und Fragebogen, erfolgt beim IT-Test die Auswertung durch die Lehrkraft, indem sie die Punkte auszählt und in die Software eingibt. Die weiteren Tests und Fragebogen werden alle automatisch durch die Software ausgewertet. Kognitiver Test Zur Erfassung der Kognitiven Basiskompetenz (Merkfähigkeit, Schlussfolgerndes Denken und Räumliches Vorstellungsvermögen) wird der Kognitive Test als Testverfahren in Anlehnung an Intelligenztests eingesetzt. Dabei wird die Gedächtnisfähigkeit über Merkaufgaben zu Figurenpaaren und Begriffen geprüft, das Schlussfolgernde Denken über das Fortsetzen logischer Reihen und das Räumliche Vorstellungsvermögen über Musterwürfel, die zur Lösung der Aufgabe mental rotiert werden müssen, erfasst. Diese Fähigkeiten lassen sich als über die Zeit relativ stabile Eigenschaften beschreiben und können als gute Prädiktoren für berufsbezogenes Lernen angesehen werden. Konzentrationstest Ebenso wie der Kognitive Test wird auch der Konzentrationstest, der die Konzentrationsfähigkeit misst, in Anlehnung an Intelligenztests eingesetzt. Er ist als Speedtest angelegt und nimmt inklusive Instruktion nur zehn Minuten Zeit in Anspruch, die reine Testzeit beträgt drei Minuten. In dieser Zeit sollen die Schülerinnen und Schüler möglichst viele Figuren mit einer Vorlage abgleichen und als identisch bzw. unterschiedlich erkennen. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 13

22 Test Berufsfeldbezogene Kompetenz Der Test Berufsfeldbezogene Kompetenz (Teil 1 und Teil 2) wurde in Anlehnung an die Berufswahltheorie von Dr. John L. Holland (1959, 1997) 2 zur Erfassung der bestehenden Berufsfeldbezogenen Kompetenzen konzipiert. Ausgehend von Holland werden anhand von zwölf Aufgabengruppen sechs Merkmale erfasst. Die Schülerinnen und Schüler bearbeiten verschiedene Aufgaben am Computer und erhalten als Ergebnis für jedes der folgenden sechs Merkmale einen Wert auf der fünfstufigen Skala: Handwerklich-technische Fähigkeit Untersuchend-forschende Fähigkeit Kreativ-sprachliche Fähigkeit Pädagogisch-helfende Fähigkeit Führend-verkaufende Fähigkeit Kaufmännisch-verwaltende Fähigkeit Fragebogen Studien- und Berufsinteressen Der Fragebogen Studien- und Berufsinteressen soll den Schülerinnen und Schülern helfen, sich gezielt mit den für sie geeigneten Berufsgruppen zu beschäftigen. Bei der Bearbeitung des Fragebogens sollen die Schülerinnen und Schüler angeben, inwiefern verschiedene Aussagen auf sie zutreffen. Die Aussagen beantworten die Schülerinnen und Schüler dabei nach Tätigkeiten, die ihnen Spaß bereiten, Arbeitsorte, an denen sie gerne tätig sein möchten, Arbeitsgegenstände/ -mittel, mit denen sie gerne arbeiten möchten, Personengruppen, mit denen sie gerne arbeiten möchten und Nachteile bzw. Gegebenheiten, die sie für den zukünftigen Beruf in Kauf nehmen würden. Im Kompetenzprofil wird anschließend automatisch eine Rangreihe von bis zu fünf Berufsgruppen ausgegeben, für die die Schülerin bzw. der Schüler das größte Interesse hat. Außerdem befindet sich im Anhang des Kompetenzprofils die komplette Liste der 16 Berufsgruppen, in Anlehnung an die Systematik der Bundesagentur für Arbeit. Zu jeder Berufsgruppe gibt es in diesem Anhang eine kurze Beschreibung mit der Nennung typischer zugehöriger Berufe. 2 HOLLAND, J. L. (1959): A theory of vocational choice. Journal of Counseling Psychology, 6, HOLLAND, J. L. (1997): Making Vocational Choices: A theory of vocational personalities and work environments (3rd ed.). Odessa, FL: Psychological Assessment Resources. 14 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

23 Im Rückmeldegespräch lässt sich dieser Fragebogen, der die Studien- und Berufsinteressen erfasst, gut mit dem Test Berufsfeldbezogene Kompetenz verknüpfen. So lässt sich feststellen, inwieweit sich Interessen und Kompetenzen decken bzw. unterscheiden. Hieraus können sich gegebenenfalls Fördermaßnahmen ableiten lassen oder Ideen für Praktikumsplätze ergeben, wenn zum Beispiel hohes Interesse für einen Bereich besteht, eine der dafür benötigten Kompetenzen jedoch noch ausgebaut werden sollte Selbsteinschätzung Nach Durchführung der Aufgaben und Tests schätzen sich die Schülerinnen und Schüler zu allen Merkmalen, mit Ausnahme der Berufsfeldbezogenen Kompetenz, selbst ein. Dies geschieht unter Anleitung und Aufsicht der Lehrkraft. Die Werte können entweder direkt von den Schülerinnen und Schülern in die Software eingegeben werden (vgl. Kapitel 4.3.6), oder erst auf Papier ausgefüllt und dann in die Software übertragen werden. In jedem Fall ist entscheidend, dass eine ausführliche, schülergerechte Erläuterung der Merkmale, der Bedeutung der Skala und des Bezugs zu den Aufgaben erfolgt. Unterstützung liefern dabei die Materialien Schulung der Merkmale, die bereits vor Beginn der Kompetenzanalyse eingesetzt wird, und Instruktion zur Selbsteinschätzung, die während der Selbsteinschätzung von der Lehrkraft verwendet wird. Beide Unterlagen stehen im Internet zum Download zur Verfügung Kompetenzprofil und Rückmeldegespräch Das Kompetenzprofil ist das Ergebnis der Kompetenzanalyse und beinhaltet alle durch Beobachtung und Tests erfasste Merkmale, ebenso wie die Selbsteinschätzung (vgl. Abb. 4). Außerdem werden das Ergebnis des Fragebogens Studien- und Berufsinteressen sowie die Übersicht über die Berufsgruppen ausgegeben. Das Kompetenzprofil wird von der Verfahrenssoftware automatisch erzeugt (vgl. Kapitel 4.3.6) und für das Rückmeldegespräch mit der Schülerin bzw. dem Schüler als Gesprächsgrundlage ausgedruckt. Das Rückmeldegespräch bildet vor der individuellen Förderung den Abschluss des Verfahrens. Dieses ca. 20-minütige individuelle Rückmeldegespräch findet nur zwischen der zuständigen Lehrkraft und der Schülerin bzw. dem Schüler statt. Bei der Besprechung des Kompetenzprofils werden die Fremdeinschätzung und die Testergebnisse im Vergleich mit der Selbsteinschätzung betrachtet. Wichtige Prinzipien dieses Gesprächs sind die Orientierung an den Stärken der Schülerin bzw. des Schülers sowie eine wertschätzenden Haltung der Lehrkraft gegenüber der Schülerin bzw. dem Schüler, die z. B. das Ermutigen MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 15

24 zurückhaltender Schülerinnen und Schüler und das aktive Einbeziehen der Schülerinnen und Schüler in die Entwicklung von Förderideen umfasst. Eine situationsbezogene Sachlichkeit, bei der es darum geht, konkrete Beobachtungen klar und verständlich zurückzumelden sowie die Schaffung einer offenen, freundlichen Atmosphäre, sind weitere wichtige Prinzipien. 16 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

25 ABBILDUNG 4: Muster-Kompetenzprofil (Beobachtungsaufgaben und Tests) MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 17

26 4.3.5 Materialien, Instrumente und Vorlagen Alle Aufgabenbeschreibungen, Instrumente und Vorlagen, die für die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN benötigt werden, können im passwortgeschützten Internetportal der Verfahrenssoftware (vgl. Kapitel 4.3.6) angesehen, heruntergeladen, ausgedruckt und zum Teil auch bearbeitet werden. Zu den Instrumenten gehört der Merkmalskatalog, der alle Merkmale beschreibt und die zu beobachtenden Merkmale anhand von Beispielen veranschaulicht. Auf dem Beobachtungsbogen hält die Lehrkraft ihre Beobachtungen während der Beobachtungsaufgaben zu jeder Schülerin bzw. jedem Schüler fest und ordnet diese anschließend den entsprechenden Merkmalen zu. In den Beurteilungsbogen wird anhand dieser Beobachtungen die jeweilige Ausprägung der Merkmale der Schülerin bzw. des Schülers auf einer fünfstufigen Skala eingetragen. Jeder dieser Werte wird in der Beobachterkonferenz von den beiden Lehrkräften, die die gleiche Schülerin bzw. den gleichen Schüler beobachtet haben, zusammengetragen und zu einer gemeinsamen Beurteilung in den Beobachterkonferenzbogen zusammengeführt, Besonderheiten können auf dem Protokollblatt zur Beobachterkonferenz festgehalten werden. Weitere Instrumente sind der Ergebnisbogen zur Informationstechnischen Fähigkeit, in den die Ergebnisse aus dem IT-Test von der Lehrkraft eingegeben werden, die Instruktion zur Selbsteinschätzung für die Schülerinnen und Schüler, der Selbsteinschätzungsbogen sowie das Dokument Ziel- und Lernvereinbarungen, in dem im Rückmeldegespräch vereinbarte Maßnahmen zur individuellen Förderung festgehalten werden. Alle Instrumente, die per Hand ausgefüllt werden können, haben auch Formularfunktionen, das heißt, sie müssen nicht ausgedruckt werden, sondern können direkt am Computer ausgefüllt und abgespeichert werden. Die Vorlagen, die ebenfalls im Internet zur Verfügung stehen, dienen der Unterstützung bei der Organisation der Kompetenzanalyse. Hier finden sich ein Blanko-Stundenplan, Checklisten zum Materialbedarf, zur Strukturierung von Fördergesprächen und zur Vorbereitung und Durchführung, die Vorlage für einen Elternbrief, FAQ-Listen, das Handbuch, in dem alle Inhalte der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN beschrieben sind, beispielhafte Organisationsmodelle für die Durchführung an der Schule, das Material Schulung der Merkmale, das den Schülerinnen und Schülern vor der Kompetenzanalyse vorgestellt wird sowie spezielle Hinweise zur Durchführung der Kompetenzanalyse mit Schülerinnen und Schülern mit Behinderungen, wie Autismus oder körperlichen Beeinträchtigungen. 18 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

27 Darüber hinaus stehen Präsentationen zur Vorstellung des Verfahrens z. B. auf Lehrerkonferenzen oder Elternabenden für Lehrkräfte, Schülerinnen und Schüler und Eltern zum Download auf der Internetplattform bereit Software zur Durchführung Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN ist ein Verfahren mit einer internetbasierten, passwortgeschützten Software, die die Planung, die Durchführung und die individuelle Profilerstellung unterstützt. Da die Software internetbasiert ist, ist keine Installation erforderlich. Lediglich ein Rechner mit Internetzugang wird benötigt. Die Software beinhaltet zwei voneinander getrennte Plattformen: Die Internetplattform, in der sich alle Vorlagen, Instrumente und Aufgabenbeschreibungen zum Download sowie Vorschauen auf die computergestützten Tests und Fragebogen befinden (vgl. Kapitel 4.3.2). Der zweite Teil, die Intranetplattform, ist aus datenschutzrechtlichen Gründen nur über das Schulverwaltungsnetz (den KISS-Rechner) der Schule zugänglich, da dort persönliche Daten der Schülerinnen und Schüler und deren Ergebnisse aus der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN liegen. Den Zugang zu beiden Plattformen erhalten die für die Durchführung an der Schule zuständigen und im Verfahren geschulten Lehrkräfte (vgl. Kapitel 5.4.5) von ihrer Schulleitung, die für die Verwaltung der Zugänge der Lehrkräfte verantwortlich ist. Im Intranet werden die Datensätze der Schülerinnen und Schüler verwaltet und sogenannte AC Einheiten angelegt. In den AC Einheiten wird festgelegt, welche Aufgaben von welchen Schülerinnen und Schülern bearbeitet werden. In diesen AC Einheiten werden auch die für die Durchführung der computergestützten Tests und Fragebogen, die für die Ergebniseingabe des Beobachterkonferenzbogens und die für die Selbsteinschätzung benötigten Einmal-Passwörter für jede Schülerin bzw. jeden Schüler vom System erzeugt. Nach dem Verwenden der Einmal-Passwörter können im Intranet die individuellen Kompetenzprofile der Schülerinnen und Schüler angesehen, heruntergeladen und ausgedruckt werden. Für die Durchführenden gibt es ein Handbuch zur Software. Zusätzlich unterstützt auch das Service Center der Schulverwaltung die Lehrkräfte bei technischen Fragen zur KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. Die Mitarbeiter des Service Centers können telefonisch und per bei Schwierigkeiten mit und Fragen zur Verfahrenssoftware persönlich kontaktiert werden. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 19

28 4.3.7 Schulungen Alle Lehrkräfte, die die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN durchführen, werden im Vorfeld durch dreitägige Schulungen zur Planung, Durchführung und Auswertung des Verfahrens qualifiziert und erhalten ein entsprechendes Zertifikat. Nur Lehrkräfte mit diesem Zertifikat sind befähigt, die Kompetenzanalyse an der Schule durchzuführen. Die Schulung beinhaltet den kompletten Ablauf des Verfahrens, von den notwendigen Vorbereitungen, über die Organisation, bis hin zum Rückmeldegespräch, und vertieft die theoretischen Inhalte mit praktischen Übungen. Ein Schwerpunkt der Schulung ist die Bedeutung der Trennung von Beobachten und Beurteilen und das Bewusstmachen möglicher Beobachtungs- und Beurteilungsfehler. Außerdem werden die Lehrkräfte ausführlich auf die Arbeit mit der Verfahrenssoftware vorbereitet, die sie im Rahmen der Schulung unter Anleitung anwenden. 4.4 Qualitätsstandards Bei der Entwicklung der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN wurde neben der Umsetzbarkeit im schulischen Umfeld und der Handhabbarkeit für die Lehrkräfte insbesondere auf die Erfüllung von Qualitätsstandards Wert gelegt (vgl. die Qualitätsstandards zur Durchführung von Potenzialanalysen in Programmen zur Berufsorientierung des Bundesministeriums für Bildung und Forschung (BMBF) 3 ). Die Rahmenbedingungen des Verfahrens sind Folgende: Um ein möglichst umfassendes Bild der Schülerin bzw. des Schülers zu erhalten, werden unter anderem die Personal-, die Sozial- und die Methodenkompetenz erfasst. Alle im Verfahren beobachteten Kompetenzen (mit Ausnahme der Berufsfeldbezogenen Kompetenz) werden sowohl durch Fremdeinschätzung (Beobachtung bzw. Testung) als auch durch Selbsteinschätzung erfasst, nebeneinandergestellt und in einem individuellen Rückmeldegespräch im Hinblick auf Fördermaßnahmen besprochen. Das Verfahren ist strikt handlungsorientiert, d. h. es werden keine Interpretationen vorgenommen und die Beurteilung erfolgt ausschließlich anhand der während der Aufgabendurchführung notierten Beobachtungen. Die notwendigen Datenschutzbestimmungen werden durch Vorgaben zur Verwahrung der Dokumente und durch Speicherung der personenbezogenen Daten im Schulverwaltungsnetz eingehalten. 3 siehe 20 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

29 Darüber hinaus orientiert sich die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN an folgenden pädagogischen Prinzipien: Subjektorientierung / individuelle Kompetenzen: Bei der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN wird besonderer Wert auf die persönliche Rückmeldung individueller Kompetenzen gelegt, für die individuelle Fördermaßnahmen abgeleitet werden. Ein Vergleich zwischen den Schülerinnen und Schülern ist nicht Ziel des Verfahrens, sondern die Schülerin bzw. der Schüler steht als Individuum mit seinen individuell ausgeprägten Kompetenzen im Mittelpunkt (vgl. Kapitel 4.3.4). Verschiedenartigkeit der Schülerinnen und Schüler: In dem Verfahren können Aufgaben mit unterschiedlichen Schwierigkeitsgraden gewählt werden. Außerdem erfordern einige Aufgaben höhere kognitive Kompetenzen, andere sind eher praktisch angelegt (vgl. Kapitel 4.3.1). Darüber hinaus stehen spezifische Hinweise für die Durchführung des Verfahrens mit Schülerinnen und Schülern mit Behinderungen oder Beeinträchtigungen (z. B. Sehbehinderung oder Autismusspektrumstörung) zur Verfügung (vgl. Kapitel 4.3.5). Lebenswelt der Schülerinnen und Schüler: Die Aufgaben sind als Ergebnis einer mehrzyklischen Evaluation und Modifikation altersgerecht gestaltet und entsprechen den Interessen und dem Entwicklungsstand der Schülerinnen und Schüler (vgl. Kapitel 5.4.3). Kompetenzansatz / Ressourcenorientierung: Zu den wichtigsten Prinzipien des Verfahrens gehört die Stärkenorientierung. Die Stärken der Schülerinnen und Schüler stehen im Fokus und sollen bei der individuellen Förderung im Sinne einer individuellen Berufsorientierung besondere Beachtung finden. Transparenzprinzip: Den Schülerinnen und Schülern werden zu Beginn die Ziele und Merkmale des Verfahrens von der Lehrkraft erklärt. Sie sollen außerdem über den Ablauf und die Organisation Bescheid wissen (vgl. Kapitel 4.2). Gemäß diesem Prinzip und zur Erhöhung der Akzeptanz ist es erforderlich, das Kollegium und die Eltern rechtzeitig über Inhalte, Ziele und den zeitlichen Rahmen des Verfahrens zu informieren. Als Hilfestellung stehen auf der Verfahrensplattform im Internet Präsentationen für das Lehrerkollegium und für die Eltern, die z. B. im Rahmen von Elternabenden gezeigt werden können, zur Verfügung (vgl. Kapitel 4.3.5) Feedback: Das individuelle Rückmeldegespräch zwischen der Lehrkraft und der Schülerin bzw. dem Schüler ist für die vollständige Durchführung des Verfahrens erforderlich (vgl. Kapitel 4.3.4). MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 21

30 Schriftliche Ergebnisdokumentation: Das durch die Verfahrenssoftware generierte individuelle Kompetenzprofil enthält alle Ergebnisse aus der Kompetenzanalyse inklusive der Selbsteinschätzungswerte (vgl. Kapitel 4.3.4). Qualitätssicherung und -prüfung: Innerhalb von drei Zyklen wurde die Verfahrensentwicklung wissenschaftlich begleitet. Das Verfahren wurde aufgrund der Evaluationsergebnisse sowie der Ergebnisse aus der wissenschaftlichen Güteprüfung mehrfach modifiziert (vgl. Kapitel 5.2). Geschultes Personal: Nur Lehrkräfte, die die dreitägige Schulung besucht haben, sind berechtigt, das Verfahren durchzuführen (vgl. Kapitel 4.3.7). Wie in Kapitel 4.2 beschrieben, beruht das Verfahren auf einer systematischen Beurteilung, die sich durch die folgenden Kriterien auszeichnet: Verhaltensorientierung: Die Beurteilung erfolgt ausschließlich anhand des beobachteten Verhaltens während der Aufgabendurchführung, es erfolgen keine Interpretationen oder Bewertungen während der Beobachtung. Kriterien geleitet: Der Merkmalskatalog mit den Merkmalsdefinitionen ist die verbindliche Grundlage für das Verständnis der Merkmale. Trennung von Beobachtung und Beurteilung: Um die Kapazität der Beobachter nicht zu überlasten und um die Objektivität zu erhöhen, ist eine Trennung von Beobachtung und Beurteilung unbedingt einzuhalten (vgl. Kapitel 4.2). Personalschlüssel 4:1: Eine Lehrkraft beobachtet eine Gruppe bestehend aus maximal vier Schülerinnen und Schülern (vgl. Kapitel 4.3.1). Beobachterwechsel: Zur Verminderung subjektiver Eindrücke werden die Schülerinnen und Schüler bzgl. jedes Merkmals von zwei unterschiedlichen Beobachtern in jeweils unterschiedlichen Aufgaben beobachtet (vgl. Kapitel 4.3.1). 22 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

31 4.5 Individuelle Förderung im Anschluss an die Kompetenzanalyse Profilvergleich Zur Vertiefung der Berufsorientierung kann nach der Durchführung der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN ein Vergleich der Kompetenzprofile der Schülerinnen und Schüler mit Anforderungen von 28 Ausbildungsberufsgruppen und/oder 27 Studienberufsgruppen durchgeführt werden. Die Kategorien dieser beruflichen Anforderungsprofile basieren auf der Systematik der Bundesagentur für Arbeit. Es gibt drei verschiedene Möglichkeiten des Vergleichs: Der Profilvergleich zwischen allen beruflichen Anforderungsprofilen und dem Kompetenzprofil der Schülerin bzw. des Schülers läuft automatisiert über die Verfahrenssoftware im Intranet ab. Die bis zu fünf Berufsgruppen mit der besten Passung werden getrennt nach Ausbildungs- und Studienberufsgruppen in einer Ergebnisausgabe aufgeführt. Dieser Vergleich eignet sich besonders für Beratungsgespräche mit den Schülerinnen und Schülern. Darüber hinaus sind für einen detaillierteren Abgleich der Anforderungen von Berufsgruppen mit den Kompetenzen der Schülerin bzw. des Schülers Folien-Schablonen mit den Anforderungsprofilen der verschiedenen Berufsgruppen als PDF-Dokumente zum Ausdruck auf der Online-Plattform bereitgestellt. Diese Schablonen können die Schülerinnen und Schüler über ihr individuelles Kompetenzprofil legen und so ihr Kompetenzprofil mit interessierenden Berufsgruppen vergleichen. Neben den Folien-Schablonen, die händisch über das Profil der Schülerin bzw. des Schülers gelegt werden, kann die Durchführung eines Vergleichs mit den beruflichen Anforderungsprofilen auch online erfolgen. Hierbei können die Schülerinnen und Schüler selbst Online-Schablonen elektronisch über ihr Kompetenzprofil legen, um es mit Anforderungsprofilen von interessierenden Berufsgruppen abzugleichen. Die Internetanwendung der Online-Schablonen bietet den Schülerinnen und Schülern die Möglichkeit, eigenständig mit den Schablonen zu arbeiten und kann flexibel sowohl in der Schule als auch zu Hause bei der Schülerin bzw. dem Schüler erfolgen, da der Zugriff passwortgeschützt über jeden internetfähigen Rechner möglich ist. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 23

32 5 Wissenschaftliche Begleitung 5.1 Ziele der wissenschaftlichen Begleitung Die Entwicklung und Implementierung der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN in Baden-Württemberg wurde während des gesamten Projektverlaufs von der MTO GmbH wissenschaftlich begleitet. Diese wissenschaftliche Begleitung umfasste sowohl eine prozessbegleitende Evaluation als auch eine wissenschaftliche Güteprüfung und diente der Entwicklung eines qualitativ hochwertigen Verfahrens im Projektzeitraum. Ein wesentliches Ziel der wissenschaftlichen Begleitung bestand darin, die Anwenderinnen und Anwender des Verfahrens in die Verfahrensentwicklung einzubeziehen und auch die Eindrücke und Erfahrungen der Schülerinnen und Schüler zu berücksichtigen. So sollten die Ergebnisse der wissenschaftlichen Evaluation Aufschluss über die Akzeptanz des Verfahrens auf Seiten der Lehrkräfte und der Schülerinnen und Schüler geben. Die Evaluationsdaten dienten außerdem dazu, eine ausreichende Anzahl geeigneter Beobachtungsaufgaben bereit zu stellen und die bestmögliche Handhabbarkeit des Verfahrens für die durchführenden Lehrkräfte unter Berücksichtigung wissenschaftlicher Kriterien zu erzielen. Diesbezüglich sind geeignete Beobachtungs- und Beurteilungsinstrumente, eine anwenderfreundliche Software sowie ein umfassendes und verständliches Handbuch als zentrale Elemente zu nennen. Die Qualität der auf die Durchführung vorbereitenden Qualifizierungen der Lehrkräfte wurde während des Projektzeitraums ebenfalls kontinuierlich überprüft. Die wissenschaftliche Güteprüfung diente der Erfassung und Optimierung der wissenschaftlichen Gütewerte Objektivität, Reliabilität und Validität. Dazu wurden die Verteilungen der Beurteilungs- und Selbsteinschätzungswerte sowie der Testergebnisse analysiert. Auch die Ergebnisse des Fragebogens Studien- und Berufsinteressen sowie die Höhe der Beurteilerübereinstimmung waren Untersuchungsgegenstand der wissenschaftlichen Güteprüfung. 24 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

33 5.2 Methodisches Vorgehen der wissenschaftlichen Begleitung Die Entwicklung des Verfahrens KOMPETENZANALYSE PROFIL AC AN REALSCHULEN sowie die wissenschaftliche Begleitung erfolgten innerhalb von drei Projektzyklen, welche in Abbildung 5 veranschaulicht werden. Dabei gestaltete sich der erste Zyklus (erste Prozessanalyse) folgendermaßen: Im Anschluss an die Entwicklung der ersten Version des Verfahrens und die ersten Anwenderschulungen wurde das Verfahren an baden-württembergischen Realschulen eingesetzt. Ausgehend von der darauf folgenden ersten prozessbegleitenden Evaluation / wissenschaftlichen Güteprüfung wurde das Verfahren modifiziert. Ein weiterer, analog aufgebauter Projektzyklus folgte (Zyklus 2, zweite Prozessanalyse). Ein dritter Zyklus (Abschlussanalyse) diente der abschließenden Bewertung der fertiggestellten KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. ABBILDUNG 5: Wissenschaftliche Erhebungs- und Modifikationskonzeption mit drei Zyklen Die prozessbegleitende Evaluation und die wissenschaftliche Güteprüfung erfolgten in jedem der drei Zyklen jeweils in mehreren Schritten, die in den folgenden Abschnitten näher erläutert werden. Zur integrativen Analyse der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN kam ein Multimethoden-Design mit quantitativen und qualitativen Erhebungsinstrumenten zum Tragen. Zur Vorbereitung der Datenerhebung wurden zunächst in enger Abstimmung mit dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg folgende Erhebungsinstrumente erstellt bzw. aktualisiert: MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 25

34 1. In einem ersten Schritt wurden Online-Fragebögen 4 für Lehrkräfte sowie für Schülerinnen und Schüler entwickelt: Hierbei wurde insbesondere darauf geachtet, alle zu evaluierenden Themenbereiche detailliert abzufragen und dabei die für das Ausfüllen benötigte Zeit möglichst gering zu halten. Dies gelang unter anderem durch das Einbauen zahlreicher Sprungfragen, die den Befragten das Überspringen von Abschnitten ermöglichten, zu denen keine Aussage getroffen werden konnte. Ebenso wurde die Anzahl der offenen im Verhältnis zu geschlossenen Fragen eher gering gehalten. 2. In einem zweiten Schritt wurden ausgehend von den zuvor konzipierten Fragebögen Interviewleitfäden für Expertinnen und Experten, für Lehrkräfte sowie für Schülerinnen und Schüler erstellt. Hierbei wurde darauf geachtet, die zu evaluierenden Themenbereiche vertiefend abzufragen, um eine anschließende Integration der erhobenen Daten zu ermöglichen. Um die Breite des Antwortspektrums nicht einzuschränken, wurden vorwiegend offene Frageformate gewählt. 3. In einem dritten Schritt wurden Beobachtungschecklisten für Beobachtungsaufgaben sowie für computergestützte Tests und Fragebogen entwickelt, die von den Evaluatoren im Rahmen von Vor-Ort-Beobachtungen zum Einsatz kamen. Hierbei wurde darauf geachtet, alle relevanten Aspekte einer Vor-Ort-Beobachtung systematisch und objektiv zu erfassen. Dazu zählen beispielsweise die Dauer der Durchführung einer Beobachtungsaufgabe, möglicherweise auftretende Schwierigkeiten sowie von den Schülerinnen und Schülern über die Instruktion zur Aufgabe hinaus gestellte Fragen. ABBILDUNG 6: Entwicklung der Erhebungsinstrumente 4 Die Befragungen wurden mit dem Befragungsmanager ( durchgeführt. 26 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

35 Anschließend fand die Datenerhebung statt: Lehrkräfte sowie Schülerinnen und Schüler wurden im Rahmen von Online-Befragungen zu ihren Erfahrungen mit der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN befragt. Dabei sollten sie bestimmte Aspekte des Verfahrens durch Anklicken vorgegebener Antwortmöglichkeiten beurteilen. Im Rahmen von offenen Fragen konnten sie zudem zu bestimmten Aspekten frei Stellung nehmen und so beispielsweise konkrete Verbesserungsvorschläge einbringen. Lehrkräfte, Expertinnen und Experten sowie Schülerinnen und Schüler wurden im Rahmen von strukturierten Interviews zu ihren aktuellen Erfahrungen mit dem Verfahren befragt. Diese Interviews dienten der vertiefenden Analyse bestimmter Aspekte der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. Die Interviews mit den Expertinnen und Experten sowie mit den Lehrkräften wurden telefonisch geführt. Die Interviews mit den Schülerinnen und Schülern wurden hingegen persönlich ( face-to-face ) geführt, um die Hemmschwelle der Teilnahme möglichst gering zu halten. Außerdem wurde die Durchführung der Kompetenzanalyse an den Schulen in allen drei Zyklen stichprobenartig durch Evaluatoren direkt beobachtet, um beispielsweise mögliche Schwierigkeiten bei der Aufgabendurchführung direkt erfassen zu können. Eine umfassende nutzerergonomische Testung durch Softwareexperten fand ebenfalls statt. Für die wissenschaftliche Güteprüfung wurden jeweils alle Ergebnisse der Kompetenzanalayse (Beurteilungs- und Selbsteinschätzungswerte sowie Test- und Fragebogenergebnisse) der teilnehmenden Schülerinnen und Schüler anonymisiert erfasst, um unterschiedliche Gütewerte zu ermitteln. Die Ergebnisse wurden jeweils in schriftlicher Form wissenschaftlich aufbereitet. Im Rahmen der Zyklen 1 und 2 (erste und zweite Prozessanalyse) dienten die Ergebnisse der prozessbegleitenden Evaluation und der wissenschaftlichen Güteprüfung jeweils als Grundlage für die Modifikation der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. Die Ergebnisse lieferten konkrete Hinweise zur Optimierung der einzelnen Verfahrenskomponenten. Die Abschlussanalyse (Zyklus 3) diente der abschließenden Bewertung der fertiggestellten KOMPETENZANALYSE PROFIL AC AN REALSCHULEN. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 27

36 ABBILDUNG 7: Wissenschaftliche Erhebungs- und Modifikationskonzeption exemplarisch dargestellt: Zyklus 1 (erste Prozessanalyse) 5.3 Datenbasis der wissenschaftlichen Begleitung Datenbasis der prozessbegleitenden Evaluation Über den Projektzeitraum hinweg wurde im Rahmen der wissenschaftlichen Begleitung auf eine große Datenbasis zurückgegriffen, welche in Tabelle 1 dargestellt ist. Zyklus 1 Zyklus 2 Zyklus 3 Summe Online-Fragebogen Lehrkräfte Online-Fragebogen Schüler/innen Strukturierte Interviews Expertinnen/Experten Strukturierte Interviews Lehrkräfte Strukturierte Interviews Schüler/innen Vor-Ort-Beobachtungen TABELLE 1: Datenbasis der prozessbegleitenden Evaluation (Zyklus 1 bis 3) 28 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

37 Es wurden in den drei Erhebungszyklen jeweils alle bereits geschulten Lehrkräfte sowie alle an der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN teilnehmenden Schülerinnen und Schüler zur Teilnahme an den Online-Befragungen eingeladen. Gegen Ende des Befragungszeitraumes wurde jeweils schriftlich nachgefasst und an die Befragung erinnert, um einen möglichst hohen Datenrücklauf zu erzielen. Trotz des systematischen Nachfassens, unter anderem über die Staatlichen Schulämter, fiel der Datenrücklauf der Online-Befragung der Lehrkräfte in Zyklus 3 gering aus. Als Hauptgrund hierfür wird die Tatsache vermutet, dass der dritte Evaluationszyklus einer abschließenden Analyse des Verfahrens diente, auf die keine weitere Verfahrensmodifikation folgte. Mit den erhobenen Daten aus den beiden Prozessanalysen (Zyklus 1 und 2) lag eine sehr aussagekräftige Datengrundlage vor, die valide Aussagen zu den evaluierten Themenbereichen und damit jeweils passgenaue Verfahrensmodifikationen ermöglichte. Die strukturierten Interviews wurden jeweils mit einer Stichprobe von Expertinnen und Experten, Lehrkräften sowie Schülerinnen und Schülern durchgeführt. Die Teilnahme an den Interviews und den Vor-Ort-Beobachtungen erfolgte auf freiwilliger Basis und wurde über die Expertinnen und Experten koordiniert. Hierbei wurde darauf geachtet, Realschulen unterschiedlicher Größe und unterschiedlicher regionaler Lage (städtisch vs. ländlich) gleichermaßen zu berücksichtigen Datenbasis der wissenschaftlichen Güteprüfung In die wissenschaftliche Güteprüfung des Verfahrens flossen in den drei Projektzyklen jeweils die Beurteilungs- und Selbsteinschätzungswerte sowie Test- und Fragebogenergebnisse aller teilnehmenden Schülerinnen und Schüler in anonymisierter Form ein. Auf diese Weise konnte über den Projektzeitraum hinweg auf eine sehr große Datenbasis zurückgegriffen werden, welche in Tabelle 2 dargestellt ist. Zyklus 1 Zyklus 2 Zyklus 3 Summe Mädchen Jungen Keine Angabe zum Geschlecht Summe TABELLE 2: Datenbasis der wissenschaftlichen Güteprüfung (Zyklus 1 bis 3) MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 29

38 Die Schülerinnen und Schüler waren jeweils zwischen 12 und 17 Jahre alt, im Durchschnitt 14,2 Jahre (Zyklus 1) bzw. 14,1 Jahre (Zyklus 2 und Zyklus 3). 5.4 Ergebnisse der prozessbegleitenden Evaluation Zum Ende des dritten Zyklus liegen die abschließenden Ergebnisse der prozessbegleitenden Evaluation sowie der wissenschaftlichen Güteprüfung nun vor. Sie werden in den folgenden Unterkapiteln dargestellt. Die befragten Personen hatten in den eingesetzten Fragebögen bzw. in den Interviews auf einer 7-stufigen Skala anzugeben, in welchem Ausmaß sie einer bestimmten Aussage zustimmen (von 1 = trifft überhaupt nicht zu bis 7 = trifft voll zu ). Im Folgenden sind die entsprechenden Ergebnisse dargestellt. Die betreffenden Aussagen sind jeweils oberhalb der Abbildungen genannt. Im Anhang sind die Ergebnisse der prozessbegleitenden Evaluation (Abschlussanalyse, Zyklus 3) nochmals in tabellarischer Form abgebildet Akzeptanz Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN wird seit dem Schuljahr 2013/2014 an allen baden-württembergischen Realschulen in Klasse 8 zur Erfassung von überfachlichen, berufsbezogenen Kompetenzen sowie von Studien- und Berufsinteressen eingesetzt. Die Verfahrensimplementierung stellt neue Herausforderungen an die durchführenden Lehrkräfte und erfordert eine veränderte Wahrnehmung der Lehrerrolle als systematische Beobachter des Verhaltens von Schülerinnen und Schülern in Kleingruppen. Von der Organisation der Durchführung des Verfahrens ist die gesamte Schule betroffen (personelle Ressourcen, Vertretungspläne, Raumaufteilung, etc.). Und auch für die Schülerinnen und Schüler stellt die Teilnahme an der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN eine neue Art schulischer Aktivitäten dar, die stark vom regulären Unterricht abweicht und mit einer neuen Form der Beurteilung einhergeht. Die Akzeptanz des Verfahrens auf Seiten der durchführenden Lehrkräfte sowie auf Seiten der Schülerschaft stellt demnach einen zentralen Aspekt für eine erfolgreiche und nachhaltige Implementierung an den Schulen dar. Die im Rahmen der Abschlussanalyse erhobenen Evaluationsdaten zeigen auf Seiten der Lehrkräfte eine geringere Akzeptanz auf als in den beiden vorangegangenen Evaluationszyklen. Diese Ergebnisse sind jedoch vor dem Hintergrund des geringen Datenrücklaufs (vgl. Kapitel 5.3.1) zu betrachten und legen die Vermutung nahe, dass insbesondere diejenigen Lehrkräfte an der Befragung teilgenommen haben, bei denen die 30 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

39 Akzeptanz für das Verfahren insgesamt weniger hoch ausfällt. Denn betrachtet man die Ergebnisse für die einzelnen Verfahrenskomponenten im Speziellen (vgl. Kapitel bis 5.4.5), so zeigen sich positive und tendenziell positive Ergebnisse. Die Ergebnisse der Abschlussanalyse zeigen eine mittlere Akzeptanz des Verfahrens auf Seiten der Lehrkräfte und eine insgesamt hohe Akzeptanz auf Seiten der Expertinnen und Experten auf. Während die befragten Lehrkräfte die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN tendenziell für geeignet zur Ermittlung und teilweise für geeignet zur Förderung der individuellen Kompetenzen der Schülerinnen und Schüler halten, bewerten die Expertinnen und Experten beide Aspekte positiv. Die Motivation zur Teilnahme auf Seiten der Schülerinnen und Schüler wird von den befragten Lehrkräften tendenziell hoch und von den befragten Expertinnen und Experten als sehr hoch eingeschätzt. Skeptisch wird von den Lehrkräften insbesondere der Zeitbedarf für die Kompetenzanalyse bewertet, wohingegen die Kompetenzanalyse allgemein als teilweise sinnvoll erachtet wird. Die Expertinnen und Experten bewerten den Zeitbedarf ebenfalls skeptisch, halten die Kompetenzanalyse jedoch insgesamt für sehr sinnvoll. Insgesamt zeigen sich insbesondere bei der Beurteilung des Zeitbedarfs sehr große Unterschiede in der Bewertung durch die einzelnen Lehrkräfte. Die befragten Schülerinnen und Schüler geben an, dass es ihnen tendenziell gut gefallen habe, an der Kompetenzanalyse teilzunehmen. Sie erklären auch, dass sie die Beobachtungsaufgaben, Tests und den Fragebogen tendenziell gut bearbeiten und ihre Fähigkeiten dabei eher gut zeigen konnten. Auch habe ihnen die Bearbeitung der Beobachtungsaufgaben, der Tests und des Fragebogens tendenziell Spaß bereitet. Der Großteil der interviewten Schülerinnen und Schüler (79 Prozent) würde gerne nochmals an einer Kompetenzanalyse teilnehmen. Als Hauptgrund hierfür nennen sie Spaß an den Gruppen- und den Einzelaufgaben. Bei der Frage nach dem Nutzen der Kompetenzanalyse wird am häufigsten genannt, dass sie dadurch die eigenen Stärken und Schwächen besser kennenlernen. Darüber hinaus empfinden die Schülerinnen und Schüler es als nützlich, durch die Kompetenzanalyse ihre Selbsteinschätzung verbessern zu können und Unterstützung bei der Berufswahl zu erhalten. Bei den Beobachtungen vor Ort zeigten sich die Schülerinnen und Schüler bis auf wenige Ausnahmen sehr motiviert und ehrgeizig bei der Bearbeitung der Aufgaben. Lediglich wenn Schülerinnen oder Schüler vereinzelt vorzeitig die Aufgabe fertiggestellt hatten, begann sich ein Teil von ihnen zu langweilen. Andere Schülerinnen und Schüler wiederum beschäftigten sich kreativ weiter mit der Aufgabe, bauten z. B. eine Einzelaufgabe mit nicht geforderten Elementen weiter aus oder überprüften die Erfüllung der Aufgabenstellung bei Gruppenaufgaben. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 31

40 Mittelwert KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 8: Akzeptanz (Lehrkräfte / Expertinnen bzw. Experten) A: Die Kompetenzanalyse eignet sich zur Ermittlung der individuellen überfachlichen Kompetenzen. B: Die Kompetenzanalyse eignet sich als Ausgangspunkt zur Förderung der individuellen überfachlichen Kompetenzen. C: Die Schüler/innen haben motiviert an der Kompetenzanalyse teilgenommen. D: Den Zeitbedarf für die Kompetenzanalyse halte ich für angemessen. E: Allgemein halte ich die Kompetenzanalyse für sinnvoll ,3 5,5 4,1 5,3 4,7 6,5 3,7 4,0 6,3 3 2,9 2 1 A B C D E Lehrkräfte Expertinnen/Experten ABBILDUNG 8: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen und Experten zum Themenbereich Akzeptanz (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) 32 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

41 Mittelwert KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 9: Akzeptanz (Schülerinnen und Schüler) A: Mir hat es gut gefallen, an der Kompetenzanalyse teilzunehmen. B: Ich konnte die Beobachtungsaufgaben gut bearbeiten. C: Ich konnte die Tests gut bearbeiten. D: Ich konnte den Fragebogen Studien- und Berufsinteressen gut bearbeiten. E: Ich konnte in den Beobachtungsaufgaben zeigen, was ich kann. F: Ich konnte in den Tests zeigen, was ich kann. G: Ich konnte in dem Fragebogen Studien- und Berufsinteressen zeigen, was ich kann. H: Mir haben die Beobachtungsaufgaben Spaß gemacht. I: Mir haben die Tests Spaß gemacht. J: Mir hat der Fragebogen Studien- und Berufsinteressen Spaß gemacht ,3 4,7 4,6 4,8 4,5 4,4 4,5 4,4 4,1 4, A B C D E F G H I J ABBILDUNG 9: Mittelwerte der Angaben der befragten Schülerinnen und Schüler zum Themenbereich Akzeptanz (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) Einige typische Aussagen zur Akzeptanz Eine Person aus der Schulleitung sollte am Verfahren teilnehmen, denn Probleme entstehen vor allem dort, wo der Schulleiter nicht involviert ist. Das sollte verpflichtend sein. (Expertin bzw. Experte) Highlight für Schüler, aber Belastungs-Highlight für Lehrkräfte. (Expertin bzw. Experte) Man lernt, die Erfahrung ist wichtig. (Expertin bzw. Experte) Das Verfahren ist toll ausgearbeitet, aber die Förderung danach kommt zu kurz. (Expertin bzw. Experte) Über fachlichen Tellerrand heraus schauen. (Expertin bzw. Experte) Sehr hoher Materialaufwand. Grundsätzlich sinnvoll. (Lehrkraft) MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 33

42 Ich fand die Kompetenzanalyse sehr gut, denn es hat sehr Spaß gemacht und ich konnte sehen wo meine Stärken und Schwächen waren. (Schülerin bzw. Schüler) Ich finde es gut, dass es die Kompetenzanalyse gibt, da man herausfinden kann, welches Berufsbild zu einem passt. (Schülerin bzw. Schüler) Erkenntnisse zum Themenbereich Akzeptanz Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN eignet sich zur Kompetenzfeststellung von Schülerinnen und Schülern. Das Verfahren erfährt bei den befragten Personengruppen (Lehrkräfte, Expertinnen und Experten sowie Schülerinnen und Schüler) eine mittlere bis hohe Akzeptanz. Da die zeitlichen Ressourcen als nur tendenziell ausreichend wahrgenommen werden, wird der Zeitbedarf für die Kompetenzanalyse von Lehrkräften sowie von Expertinnen und Experten skeptisch gesehen. Bei wiederholter Durchführung des Verfahrens an einer Schule steigt die Akzeptanz auf Seiten der Lehrkräfte aufgrund von positiven Erfahrungen, unerwarteten Erkenntnissen und einer sich rasch einstellenden Routine bezüglich der Organisation und Durchführung. Für den erfolgreichen Einsatz des Verfahrens an den Schulen ist die Haltung der Schulleitung von zentraler Bedeutung. Die prozesshafte, mehrzyklische Entwicklung und Implementierung des Verfahrens unter Einbindung der durchführenden Lehrkräfte sowie der teilnehmenden Schülerinnen und Schüler hat sich positiv auf die Akzeptanz ausgewirkt. Die Lehrkräfte wünschen sich noch Unterstützung zur Umsetzung der individuellen Förderung im Anschluss an die Kompetenzanalyse Kompetenzfelder und Merkmale Die der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN zu Grunde liegende Kompetenz- und Merkmalskonzeption wurde bereits in Kapitel 4.1 dargestellt. Um die Qualität der Verfahrensdurchführung und der resultierenden Ergebnisse zu sichern, ist der Merkmalskatalog von zentraler Bedeutung. Dieser umfasst eine Definition jedes Merkmals sowie jeweils zwei Verhaltensbeispiele zur Veranschaulichung. Es ist erforderlich, dass die Merkmalsdefinitionen allen durchführenden Lehrkräften sowie allen teilnehmenden Schülerinnen und Schülern bekannt sind. Ebenso stellt die Beobachtbarkeit der Merkmale einen wesentlichen Faktor dar. Im Rahmen der mehrzyklischen Verfahrensentwicklung wurde die Kompetenz- und Merkmalskonzeption dahingehend modifiziert, dass alle enthaltenen Merkmale möglichst gut beobachtbar sind. Hierbei ist zu bedenken, dass die Beobachtung von bis zu vier Schülerinnen und Schülern während einer Beobachtungsaufgabe sowie die anschließende Beurteilung eine anspruchsvolle und für die 34 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

43 Lehrkräfte in dieser Form neue Aufgabe darstellt. Zudem erfolgte anhand der prozessbegleitenden Evaluation eine Überprüfung der durch die Befragten wahrgenommenen Sinnhaftigkeit der Erfassung der im Verfahren enthaltenen Kompetenzfelder. Die Ergebnisse der Abschlussanalyse zeigen auf, dass die befragten Lehrkräfte die Erfassung aller fünf Kompetenzfelder (Sozialkompetenz, Methodenkompetenz, Personale Kompetenz, Kognitive Basiskompetenz und Berufsfeldbezogene Kompetenz) sowie der Studien- und Berufsinteressen innerhalb der Kompetenzanalyse für tendenziell sinnvoll halten. Die Erfassung der Kognitiven Basiskompetenz wird dabei als am meisten und die Erfassung der Methodenkompetenz als am vergleichsweise wenigsten sinnvoll eingeschätzt. Anhand der Evaluationsdaten ist erkennbar, dass sich die Beobachtung und die Beurteilung ihrer Schülerinnen und Schüler für die Lehrkräfte nach eigenen Angaben als Aufgabe mittlerer Schwierigkeit erweist. Die Merkmale Kritikfähigkeit und Verantwortungsfähigkeit werden von den Lehrkräften als schwer zu beobachten eingestuft. Die Definitionen der Merkmale sowie deren Veranschaulichung anhand der Verhaltensbeispiele im Merkmalskatalog werden von den befragten Lehrkräften tendenziell positiv bewertet. In den Vor-Ort-Beobachtungen zeigte sich, dass den Lehrkräften die Handhabung der Beobachtungsbögen keine Probleme bereitete. Die Beobachtungen notierten sie recht mühelos und routiniert. Dieses Ergebnis deckt sich auch mit den Aussagen in den Interviews, in denen die Lehrkräfte angaben, dass die Beobachtung von vier Schülerinnen und Schülern gleichzeitig zunächst sehr anstrengend gewesen sei, aber sich rasch ein Übungseffekt eingestellt habe. Ihre neue Rolle als Beobachter wurde von den Lehrkräften überwiegend sehr ernst genommen, wie die Vor-Ort-Beobachtungen zeigten: Die Lehrkräfte hielten sich zumeist an die Instruktionen und nahmen sich während der Bearbeitung der Aufgaben zurück, indem sie keine Hinweise und Hilfestellungen gaben. Unterbrechungen der konzentrierten Beobachtung wie laute Musik, wegen der das Fenster geschlossen wurde oder eine andere Lehrkraft, die hereinkam, waren Ausnahmefälle und lassen sich im normalen Unterrichtsalltag in der Schule trotz genauer Planung nicht vollständig vermeiden. Insgesamt waren der Ablauf und die Organisation der Aufgabendurchführung in den Schulen routiniert. Zur Beobachterkonferenz melden die interviewten Lehrkräfte zurück, dass diese überwiegend problemlos verlaufe und übereinstimmend mit den Ergebnissen aus der wissenschaftlichen Güteprüfung (vgl. Kapitel 5.6.4) sie mit ihrer Kollegin bzw. ihrem Kollegen meistens einer Meinung seien. In den Fällen, in denen sich die Beurteilungen MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 35

44 Mittelwert KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 unterschieden, konnte nach Angabe der Lehrkräfte fast immer schnell eine Einigung erreicht werden. Die Expertinnen und Experten schätzen die Beobachtbarkeit der Merkmale insgesamt als gut ein. Außerdem sind über 90 Prozent der befragten Expertinnen und Experten der Ansicht, dass man anhand der Kompetenz- und Merkmalskonzeption ein umfassendes Bild der überfachlichen Kompetenzen der Schülerinnen und Schüler erhält. ABBILDUNG 10: Kompetenzfelder und Merkmale (Lehrkräfte) Ich halte die Erfassung innerhalb der Kompetenzanalyse für sinnvoll. A: der Sozialkompetenz B: der Methodenkompetenz C: der Personalen Kompetenz D: der Kognitiven Basiskompetenz E: der Berufsfeldbezogenen Kompetenz F: der Studien- und Berufsinteressen ,8 4,5 4,8 4,9 4,8 4, A B C D E F ABBILDUNG 10: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Kompetenzfelder und Merkmale (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) 36 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

45 Mittelwert KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 11: Kompetenzfelder und Merkmale (Lehrkräfte) A: Die Merkmale sind insgesamt leicht zu beobachten. B: Es ist leicht, die Schüler/innen anhand der Merkmale zu beurteilen. C: Die Merkmale sind im Merkmalskatalog gut definiert. D: Die Verhaltensbeispiele aus dem Merkmalskatalog veranschaulichen das jeweilige Merkmal gut ,0 3,8 4,7 4, A B C D ABBILDUNG 11: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Kompetenzfelder und Merkmale (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) Erkenntnisse zum Themenbereich Kompetenzfelder und Merkmale Die in der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN enthaltenen Kompetenzfelder sind für die Kompetenzanalyse sinnvoll. Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN liefert ein umfassendes Bild der überfachlichen, berufsbezogenen Kompetenzen der Schülerinnen und Schüler. Die Kompetenz- und Merkmalskonzeption hat sich bewährt. Ebenso der Merkmalskatalog mit seinen Merkmalsdefinitionen und Verhaltensbeispielen. Die Beobachtung und Beurteilung der Schülerinnen und Schüler bereiten den Lehrkräften teilweise Schwierigkeiten. Es stellt sich jedoch bei wiederholter Durchführung rasch ein Übungseffekt ein. Das Verfahren ist nur von geschulten Beobachtern durchzuführen. Eine umfassende Beobachterschulung, einschließlich eines Schulungsblocks zu Beobachtungs- und Beurteilungsfehlern, stellt eine wesentliche Grundvoraussetzung für eine qualitativ hochwertige Verfahrensdurchführung dar. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 37

46 5.4.3 Beobachtungsaufgaben, Tests und Fragebogen Die Anzahl, die Eignung sowie der Schwierigkeitsgrad der zur Verfügung stehenden Aufgaben, Tests und Fragebogen stellen ein wesentliches Qualitätsmerkmal der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN dar. Den durchführenden Lehrkräften steht ein Aufgabenpool, bestehend aus acht Gruppenaufgaben (Aufgabenkategorie I) sowie acht Einzelaufgaben mit jeweils zwei oder drei unterschiedlichen Schwierigkeitsgraden (Aufgabenkategorie II), zur Verfügung (vgl. Kapitel 4.3.1). Die Präsentationsfähigkeit kann als optionales Merkmal ausgehend von den gewählten Einzelaufgaben im Rahmen von zwei zusätzlichen Aufgaben erfasst werden. Die insgesamt fünf computergestützten Tests und Fragebogen sind verpflichtend durchzuführen, hier stehen keine Wahlmöglichkeiten zur Verfügung. Bei der Entwicklung der Beobachtungsaufgaben standen die Beobachtbarkeit der jeweils zu erfassenden Merkmale, die Verständlichkeit der Instruktionen sowie die zeitliche Ausrichtung auf eine Schulstunde im Vordergrund. Darüber hinaus wurde u. a. auf den Lebensweltbezug für Schülerinnen und Schüler der Realschule, auf die große Heterogenität der Schülerinnen und Schüler der Realschule, auf den Einsatz unterschiedlicher Materialien sowie auf eine möglichst abwechslungsreiche thematische Ausrichtung geachtet. Das Aufgabenangebot wurde im Rahmen der mehrzyklischen Verfahrensentwicklung verändert, indem unterschiedliche Schwierigkeitsgrade für die Aufgabenkategorie II eingeführt wurden, einzelne Aufgaben (z. B. bezüglich ihrer Instruktion oder ihrer Textlastigkeit) optimiert wurden, ungeeignete Aufgaben wegfielen und neue Aufgaben hinzukamen. Bei der Entwicklung der computergestützten Tests und Fragebogen wurde ebenfalls auf verständliche Instruktionen sowie auf eine leichte Bedienbarkeit durch die Schülerinnen und Schüler geachtet. Es wurde eine Zusammenstellung von leichten, mittelschwierigen und schwierigen Items entwickelt, damit die Tests gut zwischen den unterschiedlichen Kompetenzausprägungen der Schülerinnen und Schülern differenzieren. Die Ergebnisse der Abschlussanalyse zeigen auf, dass der Aufgabenpool beider Aufgabenkategorien von der überwiegenden Mehrheit der befragten Lehrkräfte als genau richtig eingestuft wird. Bei der Durchführung der Beobachtungsaufgaben sind nur in einzelnen Fällen Schwierigkeiten aufgetreten. Die optionalen Präsentationsaufgaben zur Erfassung der Präsentationsfähigkeit wurden nur von knapp fünf Prozent der befragten Lehrkräfte durchgeführt. Hierbei werden ebenfalls keine auffälligen Probleme berichtet. Bei der Durchführung der computergestützten Tests und Fragebogen traten bei über der Hälfte der befragten Lehrkräfte Schwierigkeiten auf; diese beziehen sich in erster Linie auf die 38 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

47 Verwendung der Einmal-Passwörter sowie auf technische Probleme bei der Datenübertragung. Anhand der Ergebnisse der Abschlussanalyse ist erkennbar, dass die einzelnen Beobachtungsaufgaben von den Lehrkräften mit sehr unterschiedlicher Häufigkeit für die Durchführung ausgewählt wurden. Am häufigsten wurden die Aufgabe Lenas Ausbildungsplatz aus Aufgabenkategorie I und die Aufgabe 3D-Karte aus Aufgabenkategorie II durchgeführt. Am seltensten wurden die Aufgabe Auslandspraktikum aus Aufgabenkategorie I und die Aufgabe Flugzeug aus Aufgabenkategorie II durchgeführt. Die Lehrkräfte wurden im Rahmen der Evaluation zur Eignung sowie zur Angemessenheit des Schwierigkeitsgrads der einzelnen Beobachtungsaufgaben, Tests und Fragebogen des Verfahrens befragt. Die Befragungsergebnisse zeigen insgesamt auf, dass die befragten Lehrkräfte den Schwierigkeitsgrad der Aufgaben als angemessen und die Aufgaben als geeignet für die Kompetenzanalyse bewerten. Die Aufgabe Lenas Ausbildungsplatz aus Aufgabenkategorie I und die Aufgabe Haus (mittel) aus Aufgabenkategorie II werden als besonders geeignet eingestuft. Von den computergestützten Tests und Fragebogen halten sie den Konzentrationstest für am geeignetsten. Als vergleichsweise am wenigsten geeignet beurteilen die Lehrkräfte die Aufgabe Kindertagesstätte aus Aufgabenkategorie I und die Aufgabe Musical (leicht) aus Aufgabenkategorie II. Von den computergestützten Tests und Fragebogen halten sie den IT- Test für vergleichsweise am wenigsten geeignet. Keine der Beobachtungsaufgaben sowie kein Test bzw. Fragebogen wird als ungeeignet eingestuft. Die befragten Lehrkräfte stufen den Schwierigkeitsgrad der Aufgaben Lenas Ausbildungsplatz und Werbeskizze aus Aufgabenkategorie I und der Aufgaben 3D-Karte (leicht), Flugzeug (leicht bzw. mittel) und Kleiderbügel (mittel) aus Aufgabenkategorie II als besonders angemessen ein. Von den computergestützten Tests und Fragebogen halten sie den Schwierigkeitsgrad des Konzentrationstests für am meisten angemessen. Als vergleichsweise am wenigsten angemessen beurteilen sie den Schwierigkeitsgrad der Aufgabe Kindertagesstätte aus Aufgabenkategorie I und der Aufgaben Auto (leicht) und Musical (mittel) aus Aufgabenkategorie II. Die Einschätzung der Schwierigkeitsgrade der einzelnen computergestützten Tests unterscheidet sich kaum. Für keine der Beobachtungsaufgaben sowie für keinen Test wird der Schwierigkeitsgrad als unangemessen eingestuft. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 39

48 Häufigkeiten KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 Den befragten Schülerinnen und Schülern gefallen die Gruppenaufgaben besser als die Einzelaufgaben. Als Gründe hierfür nennen sie vor allem die Zusammenarbeit in der Gruppe. Bei den Gruppenaufgaben gefällt den Schülerinnen und Schülern die Aufgabe Drei Kartenhäuser am besten, bei den Einzelaufgaben die Aufgabe Haus. Bei den Tests und Fragebogen schneidet der Fragebogen Studien- und Berufsinteressen am besten ab. Am wenigsten gut gefällt den Schülerinnen und Schülern bei den Gruppenaufgaben die Aufgabe Lenas Ausbildungsplatz, bei den Einzelaufgaben die Aufgabe 3D-Karte. Bei den Tests und Fragebogen schneidet der Kognitive Test verhältnismäßig am schlechtesten ab. Die interviewten Expertinnen und Experten bewerten, in Übereinstimmung mit den Lehrkräften, überwiegend die Gruppenaufgabe Lenas Ausbildungsplatz als besonders geeignet, da die Merkmale hier besonders gut beobachtbar sind. Auch bei den Vor-Ort- Beobachtungen bestätigte sich diese Einschätzung. Als weniger geeignet werden von den Expertinnen und Experten nur vereinzelt Gruppenaufgaben genannt. Bei den Einzelaufgaben wird von einigen interviewten Expertinnen und Experten die Aufgabe Auto als zu schwer eingestuft. Bei der Aufgabe Haus besteht Uneinigkeit, einige empfinden diese Aufgabe als zu einfach, andere wiederum schätzen diese Aufgabe als sehr geeignet ein, da die zu beobachtenden Merkmale besonders gut zu sehen seien. ABBILDUNG 12: Beobachtungsaufgaben (Häufigkeit der Durchführung der einzelnen Beobachtungsaufgaben) ABBILDUNG 12: Absolute Häufigkeit der Durchführung der einzelnen Beobachtungsaufgaben 40 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

49 Mittelwert 4,8 5,2 5,0 4,6 5,3 5,7 6,0 5,5 5,6 5,6 5,4 5,7 6,1 5,4 5,7 6,1 KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 13: Beobachtungsaufgaben Aufgabenkategorie I (Lehrkräfte) A: Folgende Aufgaben aus AK I halte ich für die Kompetenzanalyse für geeignet. B: Den Schwierigkeitsgrad der folgenden Aufgaben aus AK I halte ich für meine Schüler/innen für angemessen für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen ABBILDUNG 13: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Beobachtungsaufgaben, Tests und Fragebogen (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 41

50 Mittelwert 3,7 4,4 4,0 4,4 4,3 4,3 4,8 5,2 5,1 5,4 4,8 5,1 5,0 5,2 4,6 4,8 4,9 5,0 5,2 5,5 5,6 5,2 5,5 4,9 5,2 5,5 5,8 5,5 5,7 5,8 5,8 5,7 5,7 5,7 5,8 5,7 KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 14: Beobachtungsaufgaben Aufgabenkategorie II (Lehrkräfte) A: Folgende Aufgaben aus AK II halte ich für die Kompetenzanalyse für geeignet. B: Den Schwierigkeitsgrad der folgenden Aufgaben aus AK II halte ich für meine Schüler/innen für angemessen für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen ABBILDUNG 14: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Beobachtungsaufgaben, Tests und Fragebogen (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) (Schwierigkeitsgrade: = leicht, = mittel, = schwer) 42 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

51 Mittelwert 5,1 5,4 5,4 5,3 5,4 5,2 5,5 5,8 5,7 KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 15: Tests und Fragebogen (Lehrkräfte) A: Folgende computergestützte Tests und Fragebogen halte ich für die Kompetenzanalyse für geeignet. B: Den Schwierigkeitsgrad der folgenden computergestützten Tests halte ich für meine Schüler/innen für angemessen für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen ABBILDUNG 15: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Beobachtungsaufgaben, Tests und Fragebogen (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) Einige typische Aussagen zu den Beobachtungsaufgaben, Tests und Fragebogen Die Vielfalt der Aufgaben ist positiv, man kann variieren und die Aufgaben sind jetzt am Ende der Entwicklung auch gut. (Expertin bzw. Experte) Es gibt nicht nur Beobachtungsaufgaben, sondern auch Tests und Fragebögen, das ergibt ein umfassendes Bild des Schülers. (Expertin bzw. Experte) Am interessantesten fand ich die Bobbahn zu bauen, weil man es nur als Team schaffte und man seine Teamfähigkeit und andere Kompetenzen infrage stellen musste. Es war, cool die Bahn zu bauen. (Schülerin bzw. Schüler) Besonders gefallen hat mir die Aufgabe mit den Kartenhäusern, weil man da rätseln musste und mit logischem Denken vorgehen musste. (Schülerin bzw. Schüler) Die Matheaufgaben haben mir leider gar keinen Spaß gemacht, da man sehr unter Zeitdruck stand und auch kein Notizblatt oder Ähnliches benutzen durfte. (Schülerin bzw. Schüler) MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 43

52 Erkenntnisse zum Themenbereich Beobachtungsaufgaben, Tests und Fragebogen Die im Rahmen der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN eingesetzten Beobachtungsaufgaben sind insgesamt sowohl in Bezug auf ihre Eignung für die Kompetenzanalyse als auch in Bezug auf ihren Schwierigkeitsgrad adäquat. Die Größe des zur Verfügung stehenden Aufgabenpools ist angemessen. Das Angebot der Beobachtungsaufgaben der Aufgabenkategorie II in unterschiedlichen Schwierigkeitsgraden ist sinnvoll. Die Präsentationsfähigkeit wird nur selten erfasst. Daher ist es angemessen, dass die Durchführung der Präsentationsaufgaben optional ist. Die zur Verfügung stehenden Aufgaben ermöglichen den durchführenden Lehrkräften eine für ihre Schülerinnen und Schüler passgenaue Aufgabenauswahl. Hierbei ist eine unterschiedliche Aufgabenzusammenstellung für verschiedene Schülergruppen möglich Instrumente Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN wird unter Verwendung standardisierter Beobachtungs- und Beurteilungsinstrumente (im Folgenden Instrumente genannt) durchgeführt (vgl. Kapitel 4.3.5). Diese Instrumente zu denen auch das Kompetenzprofil zählt dienen einerseits der Unterstützung der Lehrkräfte bei der Durchführung des Verfahrens durch die systematische Dokumentation der Beobachtungen und Beurteilungen sowie der Selbsteinschätzungen der Schülerinnen und Schüler. Andererseits ermöglicht der standardisierte Einsatz der Instrumente die Durchführung des Verfahrens unter Einhaltung von Qualitätskriterien (z. B. Trennung von Beobachtung und Beurteilung, vgl. Kapitel 4.2). Bei der Entwicklung der Instrumente wurde besonderes Augenmerk auf deren Anwenderfreundlichkeit gerichtet, indem folgende Aspekte Berücksichtigung fanden: Einheitliches Layout sowie einheitlicher Aufbau (u. a. Anordnung der Kompetenzfelder und Merkmale), platzsparende Gestaltung zur Reduktion der auszudruckenden bzw. zu kopierenden Seiten sowie Bereitstellen von Formularfunktionen, die ein Ausfüllen direkt am Computer ermöglichen. Die im Rahmen der Abschlussanalyse erhobenen Evaluationsdaten zeigen auf, dass die befragten Lehrkräfte den Beobachtungsbogen, den Beurteilungsbogen sowie den Beobachterkonferenzbogen für deren jeweiligen Einsatzzweck für tendenziell geeignet halten. Als Veränderungswunsch wird häufig die Integration des Beurteilungsbogens in den Beobachtungsbogen genannt, was jedoch nicht mit dem zu Grunde liegenden Qualitätskriterium der Trennung von Beobachtung und Beurteilung vereinbar wäre. Die 44 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

53 direkte Eingabe der Beobachterkonferenzwerte in die Software dient dem Einsparen von Papier und wird deshalb von zahlreichen Lehrkräften befürwortet. Die Eignung der Instruktion zur Selbsteinschätzung sowie den Selbsteinschätzungsbogen halten die befragten Lehrkräfte ebenfalls für tendenziell gut. Die Darstellung der Ergebnisse im Kompetenzprofil wird als gut bewertet. Ebenso sehen die befragten Lehrkräfte im Kompetenzprofil eine gute Grundlage für die Fördergespräche. Lediglich die Eignung der Vorlage zu den Ziel- und Lernvereinbarungen wird nur im mittleren Bereich eingestuft. Dies kann in erster Linie durch die generelle Unsicherheit bezüglich der an die Kompetenzanalyse anschließenden individuellen Förderung auf Seiten der Lehrkräfte erklärt werden. Die Expertinnen und Experten halten die Instrumente der Kompetenzanalyse zur Beobachtung und Beurteilung der Merkmale insgesamt für geeignet. Die Formularfunktionen der Instrumente wurden insgesamt nur selten genutzt. Das Formular des Beobachtungsbogens kam dabei mit knapp 20 Prozent bezogen auf diejenigen Lehrkräfte, die die Formularfunktion genutzt haben am häufigsten zum Einsatz. Die Interviews und Vor-Ort-Gespräche mit den Lehrkräften haben gezeigt, dass diese Funktion häufig nicht bekannt ist. Nach der Erläuterung der Funktion wird sie von den meisten wegen des Einsparens von Papier als sinnvoll erachtet. Allerdings halten einige Lehrkräfte das Ausfüllen am Computer für zu aufwendig und ungewohnt und bevorzugen demnach weiterhin das Ausfüllen in Papierform. Die Ergebnisse der Abschlussanalyse zeigen auf, dass die Selbsteinschätzung von den befragten Schülerinnen und Schüler gewünscht wird, ihnen die Selbsteinschätzung mit dem Selbsteinschätzungsbogen jedoch nur tendenziell leicht fällt. In den Interviews betonen die Lehrkräfte, dass die Instruktion der Schülerinnen und Schüler bei der Selbsteinschätzung und das schrittweise Vorgehen pro Merkmal einschließlich Aufgabenbezug und Merkmalsdefinition von zentraler Bedeutung sind, damit die Schülerinnen und Schüler die Merkmale gemäß ihrer Definition verwenden und ihre Einschätzung auf die Aufgaben und nicht auf den Alltag beziehen. In den meisten Fällen (über 75 Prozent) wurde die Selbsteinschätzung direkt am Computer durchgeführt, was dem Einsparen von Kopien dient und den Übertrag der Werte vom Papierbogen in die Software entfallen lässt. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 45

54 Mittelwert KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 16: Instrumente (Lehrkräfte) A: Der Beobachtungsbogen eignet sich gut zur Erfassung des Verhaltens der Schüler/innen. B: Der Beurteilungsbogen eignet sich gut zur Beurteilung der Schüler/innen. C: Der Beobachterkonferenzbogen eignet sich gut zur Unterstützung bei der gemeinsamen Beurteilung. D: Die Instruktion Selbsteinschätzung eignet sich gut zur Unterstützung der Schüler/innen bei der Selbsteinschätzung. E: Der Selbsteinschätzungsbogen eignet sich gut für die Selbstbeurteilung der Schüler/innen. F: Die Darstellung der Ergebnisse im Kompetenzprofil ist gut. G: Das Kompetenzprofil eignet sich gut als Grundlage für die Fördergespräche. H: Die Vorlage zu den Ziel- und Lernvereinbarungen eignet sich gut zur Dokumentation der Ziel- und Lernvereinbarungen ,8 4,5 4,7 4,8 4,9 5,0 5,0 4, A B C D E F G H ABBILDUNG 16: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Instrumente (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) 46 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

55 Mittelwert KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 17: Instrumente (Schülerinnen und Schüler) A: Ich finde es gut, dass ich mich selbst einschätzen durfte. B: Es fiel mir leicht, mich mit dem Selbsteinschätzungsbogen einzuschätzen ,9 4, A B ABBILDUNG 17: Mittelwerte der Angaben der befragten Schülerinnen und Schüler zum Themenbereich Instrumente (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) Einige typische Aussagen zu den Instrumenten Die Instrumente sind stimmig und ergänzen sich gut. Die Instrumente sind logisch aufgebaut. (Expertin bzw. Experte) Der Selbsteinschätzungsbogen wurde direkt am PC ausgefüllt. Ohne Probleme für die Schülerinnen und Schüler machbar, wenn die Kompetenzen ordentlich erklärt werden. (Expertin bzw. Experte) Zu viel Papier. Ist es nicht möglich Beobachtungsbogen und Beurteilungsbogen zu kombinieren?" (Lehrkraft) Manchmal lag ich ziemlich falsch in der Selbsteinschätzung, da war ich überrascht. (Schülerin bzw. Schüler) Die Selbsteinschätzung mit der Einschätzung anderer zu vergleichen war interessant. (Schülerin bzw. Schüler) Erkenntnisse zum Themenbereich Instrumente Die Beobachtungs- und Beurteilungsinstrumente des Verfahrens haben sich insgesamt bewährt. Die Trennung von Beobachtung und Beurteilung stellt ein zentrales Qualitätskriterium des Verfahrens dar, dessen Einhaltung durch die Verwendung von separaten Beobachtungs- und Beurteilungsbögen gesichert wird. Die Selbsteinschätzung stärkt die Fähigkeit der Schülerinnen und Schüler zur Reflexion ihres Verhaltens sowie ihrer Kompetenzen und stellt demnach einen wertvollen Verfahrensbestandteil dar. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 47

56 Die Selbsteinschätzung gelingt den Schülerinnen und Schülerin in der Regel gut. Hierfür ist allerdings eine detaillierte Anweisung durch die Lehrkraft unbedingt erforderlich. Das Kompetenzprofil ist übersichtlich und dient als gute Grundlage für die Fördergespräche. Die direkte Gegenüberstellung von Fremdeinschätzungs- bzw. Testergebnissen und den Selbsteinschätzungen der Schülerinnen und Schüler im Kompetenzprofil ist sinnvoll und unterstützt die Schülerinnen und Schüler bei der Selbstreflexion Unterstützungskomponenten (Schulung, Handbuch und Software) Den Lehrkräften stehen zur KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Unterstützungskomponenten in Form einer dreitätigen Anwenderschulung vor der ersten Durchführung, in Form eines Handbuches sowie in Form einer internetbasierten Verfahrenssoftware zur Verfügung (vgl. Kapitel 4.3.6). Die Schulungen befähigen die Lehrkräfte zur eigenständigen Durchführung des Verfahrens unter Einhaltung der Qualitätskriterien und unter kontrollierter Subjektivität. Zentrale Eigenschaften der Schulungen sind u. a. eine angemessene Dauer, die Durchführung durch erfahrene Trainertandems, der Wechsel zwischen Input- und Übungsphasen, ausreichender Raum für Rückfragen sowie das Abdecken aller für die Durchführung des Verfahrens bedeutsamen Bereiche. Das Handbuch dient den Lehrkräften vor und während der Durchführung der Kompetenzanalyse sowie für die anschließenden Rückmelde- und Fördergespräche als Nachschlagewerk. Beim Verfassen des Handbuchs wurde darauf geachtet, alle Bereiche anwenderfreundlich, ausführlich und verständlich aufzubereiten, um die Lehrkräfte auch nach den Schulungen bestmöglich zu unterstützen. Auch bei der internetbasierten Verfahrenssoftware wurde auf eine größtmögliche Anwenderfreundlichkeit geachtet. Während der Projektlaufzeit wurde die Software kontinuierlich optimiert. Die aufgrund von Datenschutzrichtlinien erforderliche Trennung von Internet und Intranet (vgl. Kapitel 4.3.6) und die schlechte Verfügbarkeit des Intranets (KISS-Rechner) an den Schulen schränken die Anwenderfreundlichkeit der Software ein. Es wurde jedoch bei der Softwareentwicklung darauf geachtet, diese Einschränkungen auf ein Minimum zu reduzieren. Hilfestellung bei Schwierigkeiten mit der Software erhielten die Lehrkräfte während der gesamten Projektlaufzeit durch das Service Center der Schulverwaltung, das auch über den Projektzeitraum hinaus für den Support zuständig ist. 48 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

57 Die Schulungen wurden während der gesamten Projektlaufzeit kontinuierlich anhand von Rückmeldebögen evaluiert, die direkt im Anschluss an die Schulung von den Teilnehmerinnen und Teilnehmern ausgefüllt wurden. Hierbei zeigt sich insgesamt eine hohe bis sehr hohe Zufriedenheit. Auch im Rahmen der prozessbegleitenden Evaluation wurden die Lehrkräfte zur Schulung befragt. Die Ergebnisse der Abschlussanalyse zeigen auf, dass sich die Lehrkräfte durch die Schulung insgesamt gut auf die Durchführung der Kompetenzanalyse vorbereitet gefühlt haben. Das Handbuch wird von den befragten Lehrkräften als anwenderfreundlich und verständlich eingestuft. Sie halten es für eine gute Unterstützung bei der Durchführung der Kompetenzanalyse. Von den befragten Lehrkräften haben knapp 90 Prozent das Internet und über 60 Prozent das Intranet selbst genutzt. Die Ergebnisse der Abschlussanalyse zeigen auf, dass die Software zum Verfahren KOMPETENZANALYSE PROFIL AC AN REALSCHULEN insgesamt positiv bewertet wird. Die befragten Lehrkräfte stufen den Aufbau der Internetseite, die Zusammenstellung der Beobachtungsaufgaben, Tests und Fragebogen über das Internet sowie die Durchführung der computergestützten Tests und Fragebogen über das Internet als anwenderfreundlich ein. Die Ergebniseingabe über das Internet wird als tendenziell anwenderfreundlich bewertet. Dies lässt sich in erster Linie durch die Vielzahl der notwendigen Einmal-Passwörter und die jeweils erforderliche Eingabe eines Sicherheitscodes (CAPTCHA) erklären. Aufgrund von Datenschutz- und Sicherheitsrichtlinien muss jedoch an diesen Softwarestrukturen festgehalten werden. Die Intranetseite wird von den befragten Lehrkräften insgesamt als anwenderfreundlich bewertet. Die Verwaltung der Schüler Datensätze, der AC Einheiten und der Kompetenzprofile über das Intranet halten sie für tendenziell anwenderfreundlich. Als Hauptschwierigkeiten bei der Anwendung des Intranets sind die schlechte Verfügbarkeit des Intranets (KISS-Rechner) und die erforderlichen, stündlich erfolgenden Synchronisationen zwischen Internet und Intranet zu nennen. Außerdem ist zu bedenken, dass die Software meist nur einmal pro Schuljahr genutzt wird, was dann jeweils wieder eine gewisse Einarbeitungszeit erforderlich macht. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 49

58 Mittelwert Mittelwert KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 18: Handbuch (Lehrkräfte) A: Die Darstellung der Inhalte des Handbuchs ist anwenderfreundlich. B: Die Inhalte des Handbuchs sind verständlich. C: Das Handbuch unterstützt mich bei der Durchführung der Kompetenzanalyse ,0 5,3 5, A B C ABBILDUNG 18: Mittelwerte der Angaben der befragten Lehrkräfte zum Handbuch (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) ABBILDUNG 19: Software Internet und Intranet (Lehrkräfte) A: Der Aufbau der Internetseite ist anwenderfreundlich. B: Die Zusammenstellung der Beobachtungsaufgaben, Tests und Fragebogen über das Internet ist anwenderfreundlich. C: Die Ergebniseingabe über das Internet ist anwenderfreundlich. D: Die Durchführung der computergestützten Tests und Fragebogen über das Internet ist anwenderfreundlich. E: Der Aufbau der Intranetseite ist anwenderfreundlich. F: Die Verwaltung der Schüler Datensätze über das Intranet ist anwenderfreundlich. G: Die Verwaltung der AC Einheiten über das Intranet ist anwenderfreundlich. H: Die Verwaltung der Kompetenzprofile über das Intranet ist anwenderfreundlich ,0 5,2 4,8 5,1 5,2 4,7 4,9 4, A B C D E F G H ABBILDUNG 19: Mittelwerte der Angaben der befragten Lehrkräfte zur Software (1 = trifft überhaupt nicht zu, 7 = trifft voll zu ) 50 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

59 Einige typische Aussagen zu den Unterstützungskomponenten Die Rückmeldung hat sehr viel gebracht, angeregte Dinge wurden umgesetzt, z. B. die Einteilung in Klassen in der Software. (Expertin bzw. Experte) Bei einer Schülerin gab es Probleme mit dem Passwort, ansonsten lief alles reibungslos." (Lehrkraft) Erkenntnisse zum Themenbereich Unterstützungskomponenten In den dreitägigen Anwenderschulungen werden zentrale Themen wie Beobachtungsund Beurteilungsfehler, der richtige Umgang mit den Beobachtungs- und Beurteilungsinstrumenten und der Verfahrenssoftware behandelt. Um eine hohe Durchführungsqualität zu erzielen, ist die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN nur von geschulten Lehrkräften durchzuführen. Die Schulungen haben die Lehrkräfte während des gesamten Projektverlaufs gut auf die Durchführung der Kompetenzanalyse vorbereitet. Das Handbuch wird positiv bewertet und stellt eine anwenderfreundliche, ausführliche und verständliche Unterstützungskomponente für die durchführenden Lehrkräfte dar. Die Software wird insgesamt als anwenderfreundlich eingestuft. Allerdings wird die aufgrund von Datenschutzrichtlinien erforderliche Trennung der Inhalte zwischen Internet und Intranet als hinderlich erlebt. Der durch das Service Center der Schulverwaltung während der gesamten Projektlaufzeit angebotene Support bei Schwierigkeiten mit der Software stellte eine bedeutsame Hilfestellung für die durchführenden Lehrkräfte dar. 5.5 Theoretischer Hintergrund zur wissenschaftlichen Güteprüfung Die Qualität diagnostischer Verfahren kann anhand wissenschaftlicher Kriterien, den sogenannten Testgütekriterien, beurteilt werden. Hierbei wird zwischen Objektivität, Reliabilität und Validität unterschieden. Diese werden im Folgenden erläutert. Objektivität Das Gütekriterium Objektivität bezieht sich auf die Unabhängigkeit der Ergebnisse eines Verfahrens von der untersuchenden Person sowie von der Durchführungssituation. Die untersuchende Person sowie die Situation sollen nach diesem Kriterium einen möglichst geringen Einfluss auf die Durchführung eines Verfahrens sowie auf die Auswertung und Interpretation der Verfahrensergebnisse haben. Dies soll durch die Standardisierung des Verfahrensablaufs und der Verfahrensinstrumente erreicht werden. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 51

60 Reliabilität Die Reliabilität gibt an, wie stark Ergebniswerte durch Störeinflüsse und Fehler belastet sind. Sie beschreibt also die Zuverlässigkeit von Verfahrensergebnissen. Die Reliabilität lässt sich durch unterschiedliche Methoden abschätzen, beispielsweise durch das Ausmaß der Übereinstimmung der Beurteilungen unterschiedlicher Beobachter. Validität Die Validität beschreibt die Fähigkeit eines Verfahrens, diejenigen Merkmale zu erfassen, die erfasst werden sollen. Sie gibt also die Güte der Zielrichtung eines Verfahrens wieder. Um Aussagen zu den Gütekriterien der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN treffen zu können, wurden im Rahmen der abschließenden wissenschaftlichen Güteprüfung für alle Schülerinnen und Schüler zu den einzelnen Merkmalen folgende Daten anonymisiert erfasst: Die Beurteilung durch Lehrkraft 1, die Beurteilung durch Lehrkraft 2, der Beobachterkonferenzwert, das Test- bzw. Fragebogenergebnis und die Selbsteinschätzung durch die Schülerin bzw. den Schüler. Diese Daten wurden anschließend anhand statistischer Methoden analysiert. Zu bestimmten Aspekten der Güte des Verfahrens wurden die Expertinnen und Experten befragt. Die Ergebnisse der wissenschaftlichen Güteprüfung (Abschlussanalyse, Zyklus 3) werden in den folgenden Unterkapiteln dargestellt. Im Anhang sind die Ergebnisse der wissenschaftlichen Güteprüfung zudem in tabellarischer Form abgebildet. 5.6 Ergebnisse der wissenschaftlichen Güteprüfung Verteilung der Beurteilungswerte Im Rahmen der abschließenden wissenschaftlichen Güteprüfung wurde ermittelt, wie häufig die Lehrkräfte im Rahmen der Beobachterkonferenz zur Beurteilung der Schülerinnen und Schüler die einzelnen Skalenstufen (von 1 = die Schülerin / der Schüler zeigt das Merkmal in sehr geringer Ausprägung bis 5 = die Schülerin / der Schüler zeigt das Merkmal in sehr hoher Ausprägung ) verwendet haben. Dabei erweist sich die bereits erprobte fünfstufige Skala weiterhin als geeignet. Die Häufigkeitsverteilung der Beurteilungswerte ist für beide Geschlechter eingipflig und gleicht einer Normalverteilung. Alle fünf Skalenstufen wurden genutzt, wobei sich eine leichte Tendenz zu positiven Werten zeigt. Diese Tendenz ist bei den Mädchen stärker ausgeprägt als bei den Jungen. Der durchschnittliche Beurteilungswert liegt für die Mädchen bei 3,47 und für die Jungen bei 3, MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

61 Prozent Prozent Prozent Prozent KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 20: Verteilung der Beurteilungswerte (Mädchen und Jungen) 100% Mädchen 100% Jungen 80% 80% 60% 60% 40% 39,6% 38,4% 40% 42,8% 32,6% 20% 1,4% 9,9% 10,7% 0% % 2,2% 14,2% 8,2% 0% ABBILDUNG 20: Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg in Prozent, getrennt nach Geschlecht Verteilung der Selbsteinschätzungswerte Im Rahmen der Abschlussanalyse wurde auch ermittelt, wie häufig die Schülerinnen und Schüler bei der Selbsteinschätzung die einzelnen Skalenstufen verwendet haben. Auch für die Selbsteinschätzung erweist sich die fünfstufige Skala als geeignet. Es wurden ebenfalls alle fünf Skalenstufen genutzt. Die Häufigkeitsverteilung der Selbsteinschätzungswerte ist für beide Geschlechter eingipflig, jedoch etwas weiter nach rechts verschoben als die Häufigkeitsverteilung der Beurteilungswerte. Das heißt, die Schülerinnen und Schüler insbesondere die Jungen zeigen eine stärkere Tendenz zu positiven Werten. Der durchschnittliche Selbsteinschätzungswert liegt für die Mädchen bei 3,46 und für die Jungen bei 3,59. Dieser Trend ist aber nicht so stark ausgeprägt, dass dies eine Einschränkung der Gültigkeit der Werte darstellen würde. ABBILDUNG 21: Verteilung der Selbsteinschätzungswerte (Mädchen und Jungen) 100% Mädchen 100% Jungen 80% 80% 60% 60% 40% 37,7% 36,6% 40% 35,2% 40,5% 20% 2,0% 11,2% 12,5% 0% % 1,2% 8,5% 14,6% 0% ABBILDUNG 21: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg in Prozent, getrennt nach Geschlecht MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 53

62 5.6.3 Verteilung der Testergebnisse und Ergebnisse zum Fragebogen Studienund Berufsinteressen Die Verteilungen der Merkmalsausprägungen, die anhand von computergestützten Tests erfasst werden, waren ebenfalls Untersuchungsgenstand der abschließenden wissenschaftlichen Güteprüfung. Die Testentwicklung hatte diesbezüglich das Ziel, jeweils eine annähernde Normalverteilung sowie einen mittleren Testwert mit größtmöglicher Nähe zur Skalenmitte (3,0) zu erreichen. Dies ist insgesamt gut gelungen, wie die folgenden Unterkapitel aufzeigen. Die Verteilungen der Testergebnisse ähneln insgesamt stark einer Normalverteilung, bei einzelnen Merkmalen zeigen sich eine leichte Verschiebung der Werte in die positive oder negative Richtung oder mehrgipflige Verteilungen. Diese Effekte wurden durch korrigierende Modifikationen der Transformationsalgorithmen (Überführen der Rohpunkte in die Skalenwerte von 1 bis 5) ausgeglichen, sodass bei allen Merkmalen eine annähernde Normalverteilung der Skalenwerte erreicht wurde. IT-Test Anhand des IT-Tests wird die Informationstechnische Fähigkeit erfasst. Die Verteilung der Ergebnisse ähnelt stark einer Normalverteilung. Sie ist eingipflig und alle fünf Skalenstufen wurden ausgegeben. Das mittlere Testergebnis beträgt 2,85 Skalenpunkte. Kognitiver Test Anhand des Kognitiven Tests werden folgende Merkmale erfasst: Merkfähigkeit, Räumliches Vorstellungsvermögen und Schlussfolgerndes Denken. Es wurden bei den drei Merkmalen jeweils alle fünf Skalenstufen ausgegeben. Die Verteilung des Merkmals Merkfähigkeit zeigt eine leichte Tendenz zu negativen Werten auf. Das mittlere Testergebnis beträgt 2,35 Skalenpunkte. Die Verteilung des Merkmals Räumliches Vorstellungsvermögen ähnelt stark einer Normalverteilung. Das mittlere Testergebnis beträgt 2,80 Skalenpunkte. Die Verteilung des Merkmals Schlussfolgerndes Denken ist mehrgipflig, die Skalenstufen 1 und 5 werden dabei etwas zu häufig ausgegeben. Das mittlere Testergebnis beträgt 3,09 Skalenpunkte. Konzentrationstest Die Konzentrationsfähigkeit wird anhand des Konzentrationstests erfasst. Die Verteilung der Ergebnisse ähnelt stark einer Normalverteilung. Sie ist eingipflig und alle fünf Skalenstufen wurden ausgegeben. Das mittlere Testergebnis beträgt 2,84 Skalenpunkte. Test Berufsfeldbezogene Kompetenz Anhand des Tests Berufsfeldbezogene Kompetenz werden folgende Merkmale erfasst: Handwerklich-technische Fähigkeit, Untersuchend-forschende Fähigkeit, Kreativ-sprachliche Fähigkeit, Pädagogisch-helfende Fähigkeit, Führend-verkaufende Fähigkeit und 54 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

63 Häufigkeiten 17,7% 26,6% 19,1% 15,8% 26,1% 20,1% 26,6% 41,9% 38,9% 34,3% 41,6% 30,4% 31,1% 35,0% 31,0% 51,7% KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 Kaufmännisch-verwaltende Fähigkeit. Die Verteilung der Ergebnisse ist für alle sechs Merkmale eingipflig; jeweils wurden alle fünf Skalenstufen ausgegeben. Die Verteilungen der Merkmale Handwerklich-technische Fähigkeit, Untersuchend-forschende Fähigkeit, Kreativ-sprachliche Fähigkeit und Pädagogisch-helfende Fähigkeit ähneln stark einer Normalverteilung. Die mittleren Testergebnisse liegen zwischen 2,87 und 3,05 Skalenpunkten. Die Verteilungen der Merkmale Führend-verkaufende Fähigkeit und Kaufmännisch-verwaltende Fähigkeit zeigen eine leichte Tendenz zu negativen Werten auf. Das mittlere Testergebnis liegt jeweils bei 2,59 Skalenpunkten. Fragebogen Studien- und Berufsinteressen In Bezug auf den Fragebogen Studien- und Berufsinteressen wurde ermittelt, mit welcher Häufigkeit eine Ausgabe der einzelnen Berufsgruppen erfolgte. Die Ergebnisse der Abschlussanalyse zeigen auf, dass alle Berufsgruppen ausgegeben wurden. Die Berufsgruppe Bau, Architektur, Vermessung wurde dabei mit 51,7 Prozent am häufigsten, die Berufsgruppe Naturwissenschaften mit 15,8 Prozent am seltensten ausgegeben. ABBILDUNG 22: Ausgabe der Berufsgruppen 100% 80% 60% 40% 20% 0% ABBILDUNG 22: Häufigkeit der Ausgabe der einzelnen Berufsgruppen in Prozent MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 55

64 Häufigkeiten KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht Übereinstimmung der Beurteiler Im Rahmen der wissenschaftlichen Güteprüfung wurde auch die Übereinstimmung der Lehrkräfte in Bezug auf die Beurteilung der einzelnen Merkmale ihrer Schülerinnen und Schüler ermittelt. Die Abschlussanalyse zeigt auf, dass insgesamt bei gut der Hälfte der beurteilten Merkmale eine vollständige Übereinstimmung der beiden beurteilenden Lehrkräfte vorliegt. In knapp 40 Prozent der Fälle weichen die Urteile um einen Skalenpunkt voneinander ab und in nur knapp 10 Prozent liegt die Abweichung darüber. Die durchschnittliche absolute Abweichung der beiden Beurteiler liegt bei 0,58 Skalenpunkten. Insgesamt lässt sich sagen, dass es sich für ein Assessment-Center-Verfahren um gute Übereinstimmungswerte der Beurteiler handelt. Neben der absoluten Übereinstimmung wurde auch die Übereinstimmung der Lehrkräfte in Bezug auf die Beurteilung der einzelnen Merkmale ihrer Schülerinnen und Schüler anhand des Intra-Klassen-Korrelationskoeffizienten (ICC) ermittelt. Der ICC ist ein statistisches Maß zur Darstellung der Übereinstimmung zweier Beurteiler. Je höher der ICC ausfällt, desto größer ist die Übereinstimmung. Die Höhe des Intra-Klassen-Korrelationskoeffizienten (ICC) liegt zwischen 0,44 (Problemlösefähigkeit) und 0,72 (Präsentationsfähigkeit). Auch diese Werte zeigen auf, dass für ein Assessment-Center-Verfahren insgesamt gute Übereinstimmungswerte der Beurteiler vorliegen. ABBILDUNG 23: Übereinstimmung der Beurteiler absolute Abweichung 100% 80% 60% 53,4% 40% 36,9% 20% 0% 8,6% 1,0% 0,1% ABBILDUNG 23: Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg in Prozent 56 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

65 ICC KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abschlussbericht 2014 ABBILDUNG 24: Übereinstimmung der Beurteiler Intra-Klassen- Korrelationskoeffizient 1,0 0,8 0,72 0,6 0,60 0,54 0,56 0,52 0,44 0,49 0,52 0,46 0,57 0,4 0,2 0,0 ABBILDUNG 24: Intra-Klassen-Korrelationskoeffizient (von 0,0 bis 1,0) der beiden Beurteiler pro Merkmal Bewertung der Gütekriterien Im Folgenden werden die wissenschaftlichen Hauptgütekriterien, die für ein diagnostisches Verfahren wie die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN relevant sind Objektivität, Reliabilität und Validität, beleuchtet. Objektivität Die ermittelte Beurteilerübereinstimmung weist für ein Assessment-Center-Verfahren einen guten Wert auf. Dieses Ergebnis ist ein Beleg dafür, dass die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN eine hohe Objektivität besitzt. Erzielt wird die hohe Objektivität durch die Standardisierung des Verfahrens. Aufgrund folgender Vorgaben zur Verfahrensdurchführung sind die Ergebnisse der Kompetenzanalyse in gutem Maße unabhängig von der untersuchenden Person sowie von der Durchführungssituation: Festgelegte Kompetenz- und Merkmalskonzeption: Der zugrunde liegende Merkmalskatalog mit seinen Merkmalsdefinitionen und Verhaltensbeispielen bewirkt ein einheitliches Verständnis der Merkmale auf Seiten der Lehrkräfte. Standardisierte, computergestützte Tests und Fragebogen: Die Tests und Fragebogen sind computerbasiert und enthalten standardisierte Instruktionen sowie teilweise vor dem Beginn korrekt zu lösende Probeaufgaben. Sie werden webbasiert durchgeführt und automatisiert ausgewertet. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 57

66 Standardisierter Ablauf und standardisierte Aufgabenmaterialien: Es sind Aufgaben nach vorgegebenen Kategorien auszuwählen. Die Aufgaben sind gemäß eines festgelegten Ablaufs durchzuführen. Standardisierte Instrumente: Die eingesetzten Instrumente Beobachtungsbogen, Beurteilungsbogen, Selbsteinschätzungsbogen und Beobachterkonferenzbogen sind standardisiert. Geringe Beobachterbelastung: Ein Beobachter darf während der Aufgabendurchführung maximal vier Schülerinnen und Schüler beobachten. Trennung von Beobachtung und Beurteilung: Die Beurteilung der Schülerinnen und Schüler erfolgt erst, nachdem die betreffenden Aufgaben abgeschlossen sind. Situationsvielfalt: Jedes Merkmal der Schülerinnen und Schüler muss in mindestens zwei Aufgaben beobachtet werden. Beobachtervielfalt / Mehraugenprinzip: Jedes Merkmal muss von zwei Beobachtern beurteilt werden, wobei nach jeder Aufgabe ein Beobachterwechsel stattfindet. Standardisierter Beurteilungsmaßstab: Die Beurteilung erfolgt anhand einer 5- stufigen, für alle Merkmale identischen Skala. Beurteilerabstimmung: Der endgültige Wert für die Fremdeinschätzung, der im Kompetenzprofil ausgegeben wird, ist von den beiden Beobachtern im Rahmen einer Beobachterkonferenz festzulegen. Reliabilität Die Beurteilerübereinstimmung wird auch als (Inter-Rater-)Reliabilität bezeichnet. Sie spiegelt die Zuverlässigkeit eines diagnostischen Verfahrens wider. Auch die Reliabilität der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN kann für ein Assessment-Center-Verfahren als gut bezeichnet werden. Die ermittelten Ergebnisse zeigen auf, dass die Ergebnisse der Kompetenzanalyse nur in relativ geringem Maße durch Störeinflüsse und Fehler belastet sind. Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN ist aus Gründen der schulischen Rahmenbedingungen so ausgelegt, dass die zwei beobachtenden Lehrkräfte die Schülerinnen und Schüler nicht bei genau denselben Aufgaben erleben. Im Rahmen der vorliegenden wissenschaftlichen Güteprüfung wurde demnach die reelle Reliabilität erfasst, d. h. die Reliabilität, die das Verfahren unter den gegebenen Bedingungen erzielt. Eine strengere Handhabung des Mehraugenprinzips durch eine Beobachtung der Beobachter in denselben Situationen würde vermutlich zu noch höheren Reliabilitätswerten 58 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

67 führen. Denn die beiden Beobachter würden sich in diesem Fall bei der Beurteilung auf genau dieselben Eindrücke beziehen. Dies ist jedoch aufgrund der Rahmenbedingungen an den Schulen nicht praktikabel. Validität Die Validität eines Verfahrens gibt an, inwieweit mit dem Verfahren die beabsichtigten Merkmale erfasst werden können. Die Voraussetzungen für eine hohe Validität der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN nämlich eine hohe Objektivität und eine hohe Reliabilität sind gegeben. Die Ermittlung der Validität ist zumeist nicht in direkter Form möglich. Innerhalb der vorliegenden Güteprüfung wurde sie über die Urteile von Expertinnen und Experten ermittelt. Als Ergebnis zeigte sich, dass die Expertinnen und Experten angeben, dass die tatsächlichen Merkmalsausprägungen der Schülerinnen und Schüler anhand der Kompetenzanalyse gut erfasst werden können. Insofern ist die Validität der Kompetenzanalyse als gut zu bezeichnen. D. h. das Verfahren erfasst, was es zu messen beabsichtigt: die Ausprägung der einzelnen Merkmale der Schülerinnen und Schüler. Insgesamt sind die Ergebnisse der wissenschaftlichen Güteprüfung sehr zufriedenstellend. Bei der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN handelt es sich um ein wissenschaftlich abgesichertes und praktikables Verfahren, das sich gut zur Erfassung der individuellen überfachlichen, berufsbezogenen Kompetenzen der Schülerinnen und Schüler eignet. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 59

68 6 Erkenntnisse Akzeptanz Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN eignet sich zur Kompetenzfeststellung von Schülerinnen und Schülern. Das Verfahren erfährt bei den befragten Personengruppen (Lehrkräfte, Expertinnen und Experten sowie Schülerinnen und Schüler) eine mittlere bis hohe Akzeptanz. Da die zeitlichen Ressourcen als nur tendenziell ausreichend wahrgenommen werden, wird der Zeitbedarf für die Kompetenzanalyse von Lehrkräften sowie von Expertinnen und Experten skeptisch gesehen. Bei wiederholter Durchführung des Verfahrens an einer Schule steigt die Akzeptanz auf Seiten der Lehrkräfte aufgrund von positiven Erfahrungen, unerwarteten Erkenntnissen und einer sich rasch einstellenden Routine bezüglich der Organisation und Durchführung. Für den erfolgreichen Einsatz des Verfahrens an den Schulen ist die Haltung der Schulleitung von zentraler Bedeutung. Die prozesshafte, mehrzyklische Entwicklung und Implementierung des Verfahrens unter Einbindung der durchführenden Lehrkräfte sowie der teilnehmenden Schülerinnen und Schüler hat sich positiv auf die Akzeptanz ausgewirkt. Die Lehrkräfte wünschen sich noch Unterstützung zur Umsetzung der individuellen Förderung im Anschluss an die Kompetenzanalyse. Kompetenzfelder und Merkmale Die in der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN enthaltenen Kompetenzfelder sind für die Kompetenzanalyse sinnvoll. Die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN liefert ein umfassendes Bild der überfachlichen, berufsbezogenen Kompetenzen der Schülerinnen und Schüler. Die Kompetenz- und Merkmalskonzeption hat sich bewährt. Ebenso der Merkmalskatalog mit seinen Merkmalsdefinitionen und Verhaltensbeispielen. Die Beobachtung und Beurteilung der Schülerinnen und Schüler bereiten den Lehrkräften teilweise Schwierigkeiten. Es stellt sich jedoch bei wiederholter Durchführung rasch ein Übungseffekt ein. Das Verfahren ist nur von geschulten Beobachtern durchzuführen. Eine umfassende Beobachterschulung, einschließlich eines Schulungsblocks zu Beobachtungs- und Beurteilungsfehlern, stellt eine wesentliche Grundvoraussetzung für eine qualitativ hochwertige Verfahrensdurchführung dar. 60 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

69 Beobachtungsaufgaben, Tests und Fragebogen Die im Rahmen der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN eingesetzten Beobachtungsaufgaben sind insgesamt sowohl in Bezug auf ihre Eignung für die Kompetenzanalyse als auch in Bezug auf ihren Schwierigkeitsgrad adäquat. Die Größe des zur Verfügung stehenden Aufgabenpools ist angemessen. Das Angebot der Beobachtungsaufgaben der Aufgabenkategorie II in unterschiedlichen Schwierigkeitsgraden ist sinnvoll. Die Präsentationsfähigkeit wird nur selten erfasst. Daher ist es angemessen, dass die Durchführung der Präsentationsaufgaben optional ist. Die zur Verfügung stehenden Aufgaben ermöglichen den durchführenden Lehrkräften eine für ihre Schülerinnen und Schüler passgenaue Aufgabenauswahl. Hierbei ist eine unterschiedliche Aufgabenzusammenstellung für verschiedene Schülergruppen möglich. Instrumente Die Beobachtungs- und Beurteilungsinstrumente des Verfahrens haben sich insgesamt bewährt. Die Trennung von Beobachtung und Beurteilung stellt ein zentrales Qualitätskriterium des Verfahrens dar, dessen Einhaltung durch die Verwendung von separaten Beobachtungs- und Beurteilungsbögen gesichert wird. Die Selbsteinschätzung stärkt die Fähigkeit der Schülerinnen und Schüler zur Reflexion ihres Verhaltens sowie ihrer Kompetenzen und stellt demnach einen wertvollen Verfahrensbestandteil dar. Die Selbsteinschätzung gelingt den Schülerinnen und Schülerin in der Regel gut. Hierfür ist allerdings eine detaillierte Anweisung durch die Lehrkraft unbedingt erforderlich. Das Kompetenzprofil ist übersichtlich und dient als gute Grundlage für die Fördergespräche. Die direkte Gegenüberstellung von Fremdeinschätzungs- bzw. Testergebnissen und den Selbsteinschätzungen der Schülerinnen und Schüler im Kompetenzprofil ist sinnvoll und unterstützt die Schülerinnen und Schüler bei der Selbstreflexion. Unterstützungskomponenten (Schulung, Handbuch, Software) In den dreitägigen Anwenderschulungen werden zentrale Themen wie Beobachtungsund Beurteilungsfehler, der richtige Umgang mit den Beobachtungs- und Beurteilungsinstrumenten und der Verfahrenssoftware behandelt. Um eine hohe Durchführungsqualität zu erzielen, ist die KOMPETENZANALYSE PROFIL AC AN REALSCHULEN nur von geschulten Lehrkräften durchzuführen. Die Schulungen haben die Lehrkräfte während des gesamten Projektverlaufs gut auf die Durchführung der Kompetenzanalyse vorbereitet. MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 61

70 Das Handbuch wird positiv bewertet und stellt eine anwenderfreundliche, ausführliche und verständliche Unterstützungskomponente für die durchführenden Lehrkräfte dar. Die Software wird insgesamt als anwenderfreundlich eingestuft. Allerdings wird die aufgrund von Datenschutzrichtlinien erforderliche Trennung der Inhalte zwischen Internet und Intranet als hinderlich erlebt. Der durch das Service Center der Schulverwaltung während der gesamten Projektlaufzeit angebotene Support bei Schwierigkeiten mit der Software stellte eine bedeutsame Hilfestellung für die durchführenden Lehrkräfte dar. 62 MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

71 Abbildungen Abbildung 1: Kompetenzfelder und ihre Merkmale...5 Abbildung 2: Ablauf der KOMPETENZANALYSE PROFIL AC AN REALSCHULEN Abbildung 3: Übersicht Aufgaben, Tests und Fragebogen Abbildung 4: Muster-Kompetenzprofil (Beobachtungsaufgaben und Tests) Abbildung 5: Wissenschaftliche Erhebungs- und Modifikationskonzeption mit drei Zyklen Abbildung 6: Entwicklung der Erhebungsinstrumente Abbildung 7: Abbildung 8: Abbildung 9: Wissenschaftliche Erhebungs- und Modifikationskonzeption exemplarisch dargestellt: Zyklus 1 (erste Prozessanalyse) Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen und Experten zum Themenbereich Akzeptanz Mittelwerte der Angaben der befragten Schülerinnen und Schüler zum Themenbereich Akzeptanz Abbildung 10: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Kompetenzfelder und Merkmale Abbildung 11: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Kompetenzfelder und Merkmale Abbildung 12: Absolute Häufigkeit der Durchführung der einzelnen Beobachtungsaufgaben Abbildung 13: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Beobachtungsaufgaben, Tests und Fragebogen Abbildung 14: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Beobachtungsaufgaben, Tests und Fragebogen Abbildung 15: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Beobachtungsaufgaben, Tests und Fragebogen Abbildung 16: Mittelwerte der Angaben der befragten Lehrkräfte zum Themenbereich Instrumente Abbildung 17: Mittelwerte der Angaben der befragten Schülerinnen und Schüler zum Themenbereich Instrumente Abbildung 18: Mittelwerte der Angaben der befragten Lehrkräfte zum Handbuch Abbildung 19: Mittelwerte der Angaben der befragten Lehrkräfte zur Software Abbildung 20: Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg in Prozent, getrennt nach Geschlecht MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 63

72 Abbildung 21: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg in Prozent, getrennt nach Geschlecht Abbildung 22: Häufigkeit der Ausgabe der einzelnen Berufsgruppen in Prozent Abbildung 23: Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg in Prozent Abbildung 24: Intra-Klassen-Korrelationskoeffizient (von 0,0 bis 1,0) der beiden Beurteiler pro Merkmal Tabellen Tabelle 1: Datenbasis der prozessbegleitenden Evaluation (Zyklus 1 bis 3) Tabelle 2: Datenbasis der wissenschaftlichen Güteprüfung (Zyklus 1 bis 3) MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg

73 MTO Psychologische Forschung und Beratung GmbH Die MTO Psychologische Forschung und Beratung GmbH Tübingen ist ein unabhängiges, wissenschaftlich arbeitendes Forschungs- und Beratungsunternehmen. Seit 1994 berät die MTO GmbH Großunternehmen, mittelständische Unternehmen sowie öffentliche Institutionen und Stiftungen in Deutschland und Europa. Bis heute wurden mehr als 800 Beratungs- und Evaluationsprojekte erfolgreich realisiert. Die über 80 Mitarbeiterinnen und Mitarbeiter kommen aus unterschiedlichen Disziplinen wie Psychologie, Pädagogik, Informatik und Wirtschaftswissenschaft. MTO war und ist in einer Reihe von Projekten der öffentlichen Hand bzw. von Unternehmen wissenschaftliche Begleitung mit Evaluationsauftrag für die entsprechenden Projekte. MTO ist seit Jahren für das Ministerium für Kultus, Jugend und Sport Baden-Württemberg, für das Niedersächsische Kultusministerium und für das Sächsische Staatsministerium für Kultus sowie für mehrere bildungsnahe Stiftungen als wissenschaftliche Begleitung mit Evaluationsauftrag bei der Umsetzung von Bildungsprojekten tätig. Die betriebliche und die schulische Bildung stellen Hauptschwerpunkte der Tätigkeiten von MTO dar. Dabei stehen insbesondere die Themenbereiche Berufsorientierung, Kompetenzfeststellung sowie Schulentwicklung und Qualitätsmanagement im Vordergrund. Innerhalb dieser Themenbereiche führt MTO die wissenschaftliche Begleitung sowie die Evaluation zahlreicher Bildungsprojekte durch. MTO verfügt demnach über umfangreiche Erfahrungen, Kenntnisse und Kompetenzen im evaluativen Bereich, wobei quantitative und qualitative Befragungen und Analysen den Kern der Arbeit bilden. Ansprechpartner: Karsten Hammer Dipl. Psychologe Bereichsleiter Bildung Schweickhardtstraße Tübingen Tel.: (0)7071 / MTO GmbH Ministerium für Kultus, Jugend und Sport Baden-Württemberg 65