Beratungs- und Evaluationstool zur Erfassung der individuellen Wirkung von beruflicher Beratung bei Jugendlichen

Transkript

1 ELGPN-Seminar: Wirkungen, Nutzen und Evidenzbasierung lebensbegleitender Beratung nfb, Berlin, Beratungs- und Evaluationstool zur Erfassung der individuellen Wirkung von beruflicher Beratung bei Jugendlichen Matthias Rübner (HdBA) Auftraggeber Bundesagentur für Arbeit, Fachbereich Produktentwicklung Berufsberatung (AV 21; Dorothea Engelmann) U25-Forschungsgruppe Prof. Dr. Stefan Höft Prof. Dr. Matthias Rübner Stephanie Sauer Michael Bösinger-Schmidt Johanna Siegk

2 Projektauftrag der Bundesagentur für Arbeit (2013) Wirkung von Beratung für die Organisation und auf der Einzelfallebene im Handlungsfeld der Berufsberatung sichtbar machen Ein mehrdimensionales Messverfahren entwickeln, um Veränderungsprozesse der Berufswahlbereitschaft von jungen Menschen erfassen zu können Impulse für die Qualitätsverbesserung beruflicher Beratung geben Hintergrund Beratung als Zukunftsthema der Organisation weiter stärken Qualitätsbewusstsein in der Organisation weiter ausbauen Seite 2

3 Das Projekt Beratungs- und Evaluationstool U25 (BET-U25) Ziele: 1. Wirkungsmessung beruflicher Beratung mit Fokus Berufswahlbereitschaft 2. Identifikation wirksamer Gestaltungselemente in der Beratung 3. Qualitätsverbesserung durch Einsatz des Tools in der Beratung Studien 1. Wirkungsmessung: Prä-Post-Post-Messung, 12 Agenturen für Arbeit a) 229 Jugendliche füllten den Fragebogen 3 Tage vor der Beratung (Prä), 5 Tage nach der Beratung (Post) und 3 Wochen nach der Beratung (Post 2) aus; b) Jugendliche werden telefonisch vor und nach der Beratung befragt 2. Inhaltsanalyse von 60 Beratungsgesprächen (Prozess, Struktur, Wirkung) 3. Erprobung von Einsatzmöglichkeiten des BET in der Beratung in 10 AA Einsatz des Tools durch Beratungsfachkräfte vor bzw. während der Beratung Seite 3

4 Das Modell der Berufswahlbereitschaft der BA-Beratungskonzeption (2010) Realisierungsaktivitäten Freunde Arbeitsmarkt Betrieb Berufliche Entscheidungsfindung Schule Medien Berufliche Selbsteinschätzung Beruflicher Informationsstand Familie Problembewusstsein und Einsatzbereitschaft Rübner & Sprengard, 2010; ähnliche Modelle: Egloff & Jungo, 2012; Peterson, Sampson, Lenz & Reardon, 2002 Seite 4

5 Das Beratungs- und Evaluations-Tool BET-U25 Kurzfassung (16 Items) und Langfassung (50 Items) Orientiert an fünf Dimensionen, die auch als Bezugsanker in der BA-Beratungskonzeption dienen: Problembewusstsein und Einsatzbereitschaft (PB) Solange ich noch in die Schule gehe, ist das Thema Berufswahl für mich absolut zweitrangig. (N) Berufliche Selbsteinschätzung (BS) Ich bin mir nicht sicher, wo meine Stärken und Schwächen liegen. (N) Beruflicher Informationsstand (BI) Ich bin über Berufe, die mich interessieren, gut informiert. Entscheidungsverhalten (EV) Meine berufliche Entscheidung ist nahezu abgeschlossen und stabil. Realisierungsaktivitäten (RA) Ich kenne die wichtigsten Schritte bei einer Bewerbung. Für Einsatz im Beratungsprozess normbasiert für Haupt- und Realschüler Seite 5

6 Fragestellungen Schwerpunkt: Wirkungsmessung beruflicher Beratung 1. Ausreichende Stabilität des Konstrukts der Berufswahlbereitschaft oder kurzfristige Veränderungseffekte? 2. Interventionseffekte durch Praktikum? (Treatmentvariation) 3. Interventionseffekte durch berufliche Beratung? 4. Messeffekte durch wiederholtes Ausfüllen des Fragebogens? 5. Ausreichende Konvergenz der Selbst- und Fremdurteile? 6. Stabilität der Veränderungseffekte im Anschluss an berufliche Beratung? Seite 6

7 Untersuchungsdesgin und -gruppen G1 G2 G3 G4 Seite 7

8 Mittelwerte Ausreichende Stabilität des Konstrukts der Berufswahlbereitschaft? Schüler/innen aus 10 verschiedenen Haupt- und Realschulen; 9. und 10. Klasse Zwei Messzeitpunkte: 3. Quartal 2013, t2 ca. 4 Wochen nach t1 Ja, gegeben, keine signifikante Veränderung binnen 4 Wochen 4,44 4,41 4,39 4,46 4,46 4,22 3,93 4,01 4,14 4,11 4,24 4,27 t1 t2 Sechsstufige Likert-Skala N = 303 PB BS BI EV RA Gesamt Seite 8

9 Mittelwerte Interventionseffekte durch Praktikum? Schüler/innen aus einer Realschule, 9. Klasse; Betriebspraktikum eine Woche Zwei Messzeitpunkte: 1. Quartal 2015, t2 ca. 2 Wochen nach Praktikum In der vorliegenden Stichprobe sehr begrenzte Effekte 4,28 4,24 4,33 4,40 4,48 4,57 4,25 4,27 4,17 4,24 * 3,50 3,72 Vor dem Praktikum Nach dem Praktikum Gesamt PB BS BI EV RA Berufswahlreife n = 80 / * p < 0,05 Seite 9

10 Mittelwerte Interventionseffekte durch berufliche Beratung? (1a) Wie kommen Ratsuchende in die Beratung? Ratsuchende (M=17 Jahre) aus 7 Agenturen für Arbeit Ausgangslage: 2. Quartal 2014, vor dem Beratungsgespräch 4,50 Differenzierte Selbsteinschätzung der RS vor Beratung 4,31 4,08 3,98 4,06 prä-werte 3,30 PB BS BI EV RA gesamt n = 229 / ** p < 0,01 Seite 10

11 Mittelwerte Interventionseffekte durch berufliche Beratung? (1b) Gesamtbetrachtung Ratsuchende (M=17 Jahre) aus 7 Agenturen für Arbeit Zwei Messzeitpunkte: 2. Quartal 2014, post1 ca. 3 Tage nach Beratungsgespräch 4,50 Mehrdimensionale Beratungseffekte erkennbar ** ** 4,53 4,36 4,38 4,31 4,08 ** 4,34 3,98 4,06 ** 4,28 prä-werte post1-werte 3,72 3,30 PB BS BI EV RA gesamt Cohens d:,04,27,08,37,40,30 n = 229 / ** p < 0,01 Seite 11

12 Mittelwerte Interventionseffekte durch berufliche Beratung? (2) hier: Ratsuchende mit niedrigem Problembewusstsein Ratsuchende aus sieben Agenturen für Arbeit Zwei Messzeitpunkte: 2. Quartal 2014, post1 ca. 3 Tage nach Beratungsgespräch Verstärkte Beratungseffekte bei RS mit niedrigem PB 3,96 ** 4,13 * ** *** 3,96 3,93 4,09 4,00 *** 3,92 prä-werte 3,70 *** 3,57 3,62 post1-werte 3,36 2,82 PB BS BI EV RA Gesamt Cohens d:,26,24,20,56,51,49 n = 130 * = p< 0,05; ** = p< 0,01; *** = p< 0,001 Seite 12

13 Mittelwerte Messeffekte durch wiederholtes Ausfüllen? Ratsuchende aus zwölf Agenturen für Arbeit; zwei Gruppen: G2: Prä/Post; G3: nur Post 2. Quartal 2014, hier Post-Werte ca. 3 Tage nach Beratungsgespräch G2: Prä-Post Keine Messeffekte erkennbar G3: Post 4,53 4,57 4,36 4,41 4,38 4,42 4,34 4,43 4,28 4,32 3,72 3,68 PB BS BI EV RA Gesamt n=600 Seite 13

14 Ausreichende Konvergenz der Selbst- und Fremdurteile? (1a) Beraterurteil Berater schätzt den initialen Stand der Berufswahlbereitschaft des Ratsuchenden direkt im Anschluss an die Beratung ein Selbsteinschätzung vor der Beratung Selbsteinschätzung einige Tage vor der Beratung im Internet oder direkt vor der Beratung in der Agentur mittels Tablet oder Fragebogen. Beobachterurteil Ein bei der Beratung hospitierender unabhängiger Beobachter bewertet die gezeigte initiale Berufswahlbereitschaft direkt im Anschluss an die Beratung Seite 14

15 Ausreichende Konvergenz der Selbst- und Fremdurteile? (1b) Ja, gegeben es bestehen signifikante Zusammenhänge in ausreichender Höhe Beraterurteil.42** Selbsteinschätzung vor der Beratung.65**.43** Beobachterurteil n=87 ** signifikant auf dem 1% -Niveau Seite 15

16 Mittelwerte Stabilität der Veränderungseffekte? Ratsuchende aus sieben Agenturen für Arbeit Drei Messzeitpunkte: 2. Quartal 2014, post1: 3 Tage, post2: 3 Monate nach Beratungsgespräch 4,5 Ja, gegeben + zusätzliche Reifungseffekte erkennbar 4,0 ** prä-werte post1-werte post2-werte 3,5 3,0 PB BS BI EV RA Gesamt N=119 / ** = p< 0.01 Seite 16

17 Fazit Die bisherigen Ergebnisse der BET-U25-Studie sprechen für eine positive Wirkung von Berufsberatung auf den beruflichen Entwicklungsprozess von Jugendlichen Der Forschungs- und Entwicklungsansatz des BET-U25-Projekts ist für die Beratungswissenschaften auch von generellem Interesse: Kombination von Wirkungs- und Beratungsaspekt, Methodentriangulation, Mixed Methods, Treatmentvariation Kontakt: Seite 17