(Zwischen-) Ergebnisse aus der Evaluation des Berufsorientierungsprogramms

Transkript

1 (Zwischen-) Ergebnisse aus der Evaluation des Berufsorientierungsprogramms Evaluation des BMBF-Programms zur Förderung der Berufsorientierung in überbetrieblichen und vergleichbaren Berufsbildungsstätten im Auftrag des Bundesinstituts für Berufsbildung (BIBB) 5. Jahrestagung des Berufsorientierungsprogramms Praxis erfahren! Berlin, 30. November 2015 Jörn Sommer Günter Ratschinski Christoph Eckhardt Philipp Struck Folie 1

2 Agenda I Stand der Evaluation II III Theoretischer Hintergrund, Zielvariablen Datenbasis Zwischenergebnisse aus der Befragung in Abgangsklassen Folie 2

3 Agenda I Stand der Evaluation II III Theoretischer Hintergrund, Zielvariablen Datenbasis Zwischenergebnisse aus der Befragung in Abgangsklassen Folie 3

4 Stand der Evaluation Auftrag zur Evaluation Ø Evaluationsteam: INTERVAL GmbH, IfBE Univ. Hannover, qualinetz GmbH Ø Laufzeit: 2013 bis 2017 Die Evaluation auf den Fachtagungen des BOP Ø 2013: Design, Angaben der Träger zur Umsetzung und Schulen zu Wirkungen Ø 2014: Beobachtung zur Umsetzung, Entwicklung von 167 Schülern/-innen Ø 2015: Befragung von 2170 Schüler/-innen aus Abgangsklassen Ø 2016 (geplant): Befragung von 2000 Schüler/-innen im Panel (Klasse 7 bis 9) Veröffentlichungen unter Ø Zwischenbericht 1: Methodischer Hintergrund, Berufswahlkompetenz in Klasse 7 Ø Zwischenbericht 2: Beobachtung BOP, qualitative Entwicklungen 167 SuS bis Klasse 8 Ø Zwischenbericht 3: qualitative Entwicklung SuS bis Klasse 9, Befragung Abgangsklassen (demnächst) Ø Zwei Sonderberichte zu Befragungen von Trägern und Lehrkräften Folie 4

5 Agenda I Stand der Evaluation II III Theoretischer Hintergrund, Zielvariablen Datenbasis Zwischenergebnisse aus der Befragung in Abgangsklassen Folie 5

6 Zielsystem Berufswahlkompetenz Identität Resilienz berufsbezog. Entscheidungssicherheit Realismus Allgemeine Resilienz Berufswahlbezogene Selbstwirksamkeit Eigenaktivität vs. Eltern Bindung an best. Berufe Selbstwertgefühl Berufsbezogene Selbstwirksamkeit Adaptabilität Concern (Beruf als pers. Anliegen) Curiosity (Explorieren) Control (Selbstverantwortung) Confidence (Aufgabenbewältigung) Öffnung des Berufswahlspektrums Wissen zum Wunschberuf Schulische Motivation Einschätzung Relevanz Freude am Lernen Schulisches Bemühen Übergänge in Ausbildung Übergangsquoten Wunschberuf Folie 6

7 Datenbasis Befragung in Abgangsklassen Rücklauf davon: BOP KG unsicher Ø 2170 Schülerinnen und Schüler Ø 97 Lehrkräfte Zuordnung zur Interventions- und Kontrollgruppe durch Angaben von 2 Seiten Ø Schüler/-innen: 2 Wochen lang (oder länger) in den Werkstätten einer Berufsbildungsstätte verschiedene Berufe ausprobiert Ø Lehrkräfte: Werkstatttage, im Sinn von praktischen Berufserkundungen bei Bildungsträgern mit einer Dauer von... Tagen bei Träger... Mögliche Gründe für widersprüchliche Zuordnungen Ø Schüler/-in hat vergessen, vor Jahren daran teilgenommen zu haben Ø Abweichend von Klasse haben einzelne Schüler/-innen nicht teilgenommen Ø Lehrkraft macht Angabe irrtümlich zur Parallelklasse oder anderer Kohorte Ø Schüler/-in hat außerhalb von BOP Angebot einer Berufsbildungsstätte genutzt Folie 7

8 Prätestäquivalenz von Interventions- und Kontrollgruppe Prätestäquivalenz wurde nicht gemessen, aber es gibt gute Gründe, Prätestäquivalenz gewichteter Stichprobe anzunehmen. Ø Abgangsklassen überwiegend aus Schulen, in denen parallel auch 7. und 8. Klassen befragt wurden Ø In diesen 7. und 8. Klassen war Prätestäquivalenz gegeben, nachdem Randverteilung soziostruktureller Merkmale* in der Kontrollgruppe durch Gewichtung angeglichen Ø Annahme, dass innerhalb einer Schule Berufswahlkompetenz nah beieinander liegender Kohorten von Schüler/-innen in 7. Klassen relativ konstant sein müsste * Alter, Bildungshintergrund, Migrationshintergrund, Geschlecht, Schulform, Siedlungsstruktur Folie 8

9 Agenda I Stand der Evaluation II III Theoretischer Hintergrund, Zielvariablen Datenbasis Zwischenergebnisse aus der Befragung in Abgangsklassen Folie 9

10 Adaptabilität der Interventionsgruppe n = 854 Mittelwert = 3,91 Standardabweichung = 0,56 1 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 4 4,1 4,2 4,3 4,4 4,5 4,6 4,7 4,8 4,9 5 5,1 5,2 5,3 5,4 5,5 5,6 5,7 5,8 5,9 6 Folie 10

11 Adaptabilität der Interventionsgruppe IG n = 854 Mittelwert = 3,91 Standardabweichung = 0,56 1 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 4 4,1 4,2 4,3 4,4 4,5 4,6 4,7 4,8 4,9 5 5,1 5,2 5,3 5,4 5,5 5,6 5,7 5,8 5,9 6 Folie 11

12 Adaptabilität der Interventions- und Kontrollgruppe gew IG n = 854 Mittelwert = 3,91 Standardabweichung = 0,56 KG n = 458 Mittelwert = 3,80 Standardabweichung = 0,59 Signifikanz = 0,001 Signifikante Verschiebung der Kontrollgruppe nach links 1 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 4 4,1 4,2 4,3 4,4 4,5 4,6 4,7 4,8 4,9 5 5,1 5,2 5,3 5,4 5,5 5,6 5,7 5,8 5,9 6 Folie 12

13 Vergleich der Berufswahlkompetenz IG und KG gew Adaptabilität Concern ØΔ =0,12 p=0,002 Control ØΔ =0,08 p=0,035 Curiosity ØΔ =0,09 p=0,021 Confidence ØΔ =0,08 p=0,049 Berufswahlbezogene Resilienz Allgemeine Resilienz ØΔ =0,06 p=0,028 Selbstwertgefühl ØΔ =0,02 p=0,556 Berufswahlbezogene Selbstwirksamkeit ØΔ =0,10 p=0,002 Berufsbezogene Selbstwirksamkeit ØΔ =0,08 p=0,006 Berufliche Identität Entscheidungssicherheit ØΔ =0,06 p=0,135 Realismus ØΔ =-0,05 p=0,091 Eigenaktivität vs. Elternabhängigkeit ØΔ =-0,06 p=0,045 Bindung an best. Berufe ØΔ =-0,05 p=0,196 Folie 13

14 Vergleich Wissen und schulische Motivation IG und KG gew berufsbezogenes Wissen Wissen über Ausbildung, Berufsbezogenes Tätigkeiten, Anforderungen, Wissen Beschäftigungsaussichten, Möglichkeiten zur Spezialisierung und Aufstieg im Wunschberuf ØΔ =0,16 p=0,000 Schulische Motivation Relevanz der Schule für Berufswahl Freude am schulischen Lernen Schulisches Bemühen ØΔ =0,034 p=0,338 ØΔ =0,029 p=0,481 ØΔ =0,088 p=0,016 Folie 14

15 Übergänge in Ausbildung Wird erwartet, nach diesem Schuljahr eine Ausbildung zu beginnen? Ø Interventionsgruppe: 40,2 % Ø Kontrollgruppe gew : 39,5 % (Differenz nicht signifikant) Ist Berufs, in dem die Ausbildung wahrscheinlich begonnen wird, der Wunschberuf? Interventionsgruppe 2,9 1,4 8,2 22,3 28,3 3,2 Kontrollgruppe gew 1,9 39,4 14,0 24,0 17,5 Angaben in % 36,8 trifft nicht zu trifft kaum zu weiß nicht trifft eher zu trifft genau zu k.a. Quelle: Befragung Schülerinnen und Schüler 2015, n IG = 999, n KG = 521 Folie 15

16 Öffnung des Berufswahlspektrums Weißt du schon, in welchem Beruf du wahrscheinlich deine Ausbildung beginnen wirst? Nennung von einem der Nennung bundesweit einer dieser 20 häufigst Berufe gewählten Berufe* 39,6 Interventionsgruppe 48,0 Angaben in % aller SuS mit Nennungen Kontrollgruppe Nennung Nennung von einem dieser dieser oder zehn oder 64,7 weiterer von häufig zehn genannter weiteren Berufe/ in der 67,6 Befragung häufig Berufsfelder* genannten Berufe / Berufsfelder** 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% * Beicht, BWP 6/2012: Kaufmann/-frau im Einzelhandel, Kraftfahrzeugmechatroniker/-in, Elektroniker/-in, Medizinische/-r Fachangestellte/-r, Industriemechaniker/-in, Fachkraft für Lagerlogistik (inkl. Fachlagerist), Büroberufe (Bürokaufmann/-frau, Kaufmann/-frau für Bürokommunikation), Maler/-in und Lackierer/-in, Friseur/-in, Koch/Köchin, Verkäufer/-in, Bankkaufmann/-frau, Industriekaufmann/-frau, Zahnmedizinische/-r Fachangestellte/-r, Kaufmann/-frau im Groß- und Außenhandel, Hotelfachmann/-frau, Fachinformatiker/-in, Anlagenmechaniker/-in Sanitär-, Heizungs-, und Klimatechnik, Fachverkäufer/-in im Lebensmittelhandwerk ** Befragung 2015: Erzieher/-in, Altenpfleger/-in, (Kinder-)Krankenschwester, Sozialassistent, irgendwas mit Pferden/Tieren, Landwirt, Chemielaborant, Tischler, Verwaltungsfachangestellte, Mechatroniker Folie 16

17 BOP nicht einzige Unterscheidung der Interventionsgruppe Schülerinnen und Schüler der Interventionsgruppe haben z. B. auch... Ø Längere Praktika in einem Betrieb gemacht, (IG 88,5 %, KG 80,3 %) Ø mit schulischen Akteuren über passende Berufe gesprochen, (IG 71,6 %, KG 65,8 %) Ø oder das BIZ besucht u.a. (IG 81,3 %, KG 73,4 %) Vergleich Interventions-/Kontrollgruppe liefert nicht unmittelbar Effekt des BOP, sondern den einer insgesamt intensiveren Berufsorientierung Genutzte Angebote werden jedoch in Interventionsgruppe fast durchweg positiver bewertet, z. B. längeres Praktikum Angaben in % jener, die dieses Angebot nutzten Langes Praktikum in einem Betrieb (mindestens 2 Wochen) IG 11,5 35,6 52,9 KG 21,3 33,9 44,8 n IG = 884, n KG = 418 nicht geholfen etwas geholfen sehr geholfen BOP wirkt als Multiplikator für andere Angebote der Berufsorientierung Folie 17

18 Differenzierungen Gender und Migrationshintergrund Ø Niveau: Für Ziele und Aspekte der Berufswahlkompetenz je Geschlecht oder Migrationshintergrund signifikante (teils positive, teils negative) Unterschiede Ø Effekte des BOP/der BO-Angebote i.d.r. für Gender-/Migrationsgruppen gleich. Nur bei einzelnen Aspekten (teils positive, teils negative) Unterschiede Bildungshintergrund Ø Niveau: Mit höherem Bildungshintergrund signifikant höhere Werte für Curiosity, Bindung, Selbstwertgefühl, Freude am schulischen Lernen Ø Effekte: In der Gruppe mit schwachem Bildungshintergrund zeigt sich nur für eine der Zielvariablen (berufswahlbezogenes Wissen) ein signifikanter Vorsprung der Interventions- vor der Kontrollgruppe. Deutlich ist, dass die Intervention des BOP und der anderen BO-Angebote bei jenen mit schwachem Bildungsintergrund weniger (!) bewirken Folie 18

19 Methodische Vertiefung und Ausblick Fällen, deren Zuordnung zur Interventions-/Kontrollgruppe (IG/KG) nicht eindeutig war Ø In Vergleichen IG/KG wurde i. d. R. ohne diese Fälle gerechnet Ø Berufswahlkompetenz dieser Fälle entspricht eher der Kontrollgruppe Ø Falls diese Fälle doch am BOP teilgenommen hätten: Überschätzung der Wirkung Ø Sicherheitsanalyse für unwahrscheinlichen Fall durchgeführt, dass alle dieser Fälle am BOP teilgenommen hätten ( Worst Case Szenario für das BOP) Ergebnis des Worst Case Szenarios Ø Auch in diesem Szenario ein Vorsprung der Interventionsgruppe in vielen Zielvariablen Ø Insgesamt fällt Vorsprung dann geringer aus, ist bei weniger Zielvariablen signifikant Für genaue Abschätzung der Wirkung ist relevant, ob diese Fälle teilnahmen, dies lässt sich durch Design der Befragung nicht rekonstruieren Dies methodische Problem besteht in laufender Panelbefragung nicht. So sind wir gespannt, inwieweit die Ergebnisse Panelbefragung 2016 die Ergebnisse der Abgangsbefragung 2015 bestätigen. Folie 19

20 Ansprechpartner Vielen Dank für Ihre Aufmerksamkeit! Dr. Jörn Sommer INTERVAL GmbH Habersaathstraße Berlin Tel Fax Prof. Dr. Günter Ratschinski Philipp Struck Leibniz Univ. Hannover Institut für Berufspädagogik und Erwachsenenbildung Schloßwender Straße Hannover Christoph Eckhardt eckhardt@qualinetz.de qualinetz GmbH Ludgeristraße Duisburg Folie 20