Wirkung und Nutzen von Bildungsberatung unter Betrachtung der Wirkungsmessungen und -analysen in Großbritannien

Wirkung und Nutzen von Bildungsberatung unter Betrachtung der Wirkungsmessungen und -analysen in Großbritannien Prof. Dr. Bernd Käpplinger Humboldt-Universität zu Berlin Tagung des LernNetz Berlin-Brandenburg e.v. (LNBB): Wirkung und Nutzen von Bildungsberatung - Auf der Suche nach Indikatoren für eine erfolgreiche Bildungsberatungsarbeit 22.10.2012 in Berlin

Gliederung 1. Rahmungen 2. Herausforderungen 3. Zwei exemplarische britische Studien in ihren Anlagen und Ergebnissen 4. Synopsen zum britischen Forschungsstand 5. Fazit und Ausblick

Warum überhaupt Wirkungsmessungen/-analysen

Evidence-based policy Social science research evidence is central to development and evaluation of policy ( ) We need to be able to rely on social science and social scientists government? Influence or irrelevance: can social science improve

Herausforderungen bei der Wirkungsmessung 1. Wie kann Bildungsberatung und der Nutzen von Beratung operationalisiert werden? (Begriffe) 2. Wer bestimmt darüber, welcher Nutzen wichtig(er) ist? (Ziele) 3. Wann misst man den Nutzen? (Zeitbezug) 4. Bei wem und wie misst man den Nutzen? (Nutzer und Methoden) Sind Veränderungen kausal auf Bildungsberatung zurückzuführen? (Kausalitätsproblem)

Wirkungen und Nutzen anhand von Monitoringdaten und Indikatoren

Die Rolle von Monitoring und Indikatoren - Kostenindikatoren Page u.a.: An Evaluation of the Ufi/learndirect Telephone Guidance Trial. London 2007, S. 81-82.

Die Rolle von Monitoring und Indikatoren - Vermittlungsindikatoren Page u.a.: An Evaluation of the Ufi/learndirect Telephone Guidance Trial. London 2007, S. 80-81.

Die Rolle von Monitoring und Indikatoren Teilnahmeindikatoren Käpplinger 2009, S. 25.

Zwischenfazit zum Monitoring und Indikatoren 1. Monitoring und Indikatoren liefern wichtige Informationen zu Wirkungen 2. Diese Informationen bleiben aber zumeist relativ allgemeiner Natur. Nicht-intendierte, verborgene Wirkungen sind kaum in den Blick zu nehmen 3. Diese Informationen liefern sehr wenig zu dem Nutzen der Subjekte/Individuen, den diese aus den Beratungen ziehen (Inputfaktoren dominieren über (langfristige) Ergebnisfaktoren 4. Eine Steuerung allein entlang dieser Indikatoren, läuft Gefahr, in eine entwicklungsfeindliche Falle der Oberflächlichkeit zu laufen

Zwischenfazit zum Monitoring und Indikatoren Käpplinger 2009, S. 26.

Wirkungen und Nutzen anhand von qualitative und quantitative Studien

Zwei exemplarische britische Studien: I. Qualitativer Zugang Bimrose/Barnes/Hughes: ADULT CAREER PROGRESSION & ADVANCEMENT: A FIVE YEAR STUDY OF THE EFFECTIVENESS OF GUIDANCE. London 2008. URL: http://www2.warwick.ac.uk/fac/soc/ier/publications/2008/eg_report_4_years_on_final.pdf The original brief for this research study was to evaluate the effectiveness of guidance in England over a five year period, from the perspective of the client receiving the guidance. (Bimrose/Barnes/Hughes 2008, S. 80)

Zwei exemplarische britische Studien: I. Qualitativer Zugang Quelle: Bimrose/Barnes/Hughes 2008, S. 15

Zwei exemplarische britische Studien: I. Qualitativer Zugang Einige ausgewählte Ergebnisse der Studie: 1. Zugänge zu user voice : Nachzeichnen von prolonged transitions, vierteilige Typologie der Klientenstrategien (strategic, evaluative, aspirational, opportunistic), changed perceptions of useful guidance über die 5 Jahre hinweg 2. Matching approach dominierte von Seiten der BeraterInnen 3. Beratung stößt an strukturell-systemische Grenzen der Wirksamkeit bei Krankheit, Finanzproblemen, Pflegelasten und schwierigen Arbeitsmarktbedingungen bei den Klienten. Stellenweise Bedarf an langfristiger Begleitung 4. Useful Guidance aus der Klientenperspektive: Provides access to information, provides insights, motivates, increase self-esteem, structures opportunities Bimrose/Barnes/Hughes 2008, S. 91ff

Zwei exemplarische britische Studien: II. Quantitativer Zugang Killeen/White: The Impact of Careers Guidance on Adult Employed People. London 2000. URL: https://www.education.gov.uk/publications/eorderingdownload/rr226.pdf The aim of the study was to assess the net impact of a publicly provided, professional careers guidance service on the subsequent outcomes for adult employed clients. The main outcomes evaluated were participation in education and training, qualifications gained, changes in job satisfaction, changes in earnings, and occupational progression. (ebenda, S. 1)

Zwei exemplarische britische Studien Killeen/White: The Impact of Careers Guidance on Adult Employed People. London 2000. URL: https://www.education.gov.uk/publications/eorderingdownload/rr226.pdf - knapp 2.700 Beratungsklienten (von TECs) wurden angeschrieben / angerufen, 1.612 antworteten, diese 1.612 wurden: - 2-3 Monate nach der Beratung und - 12-15 Monate danach befragt und schließlich - nochmal weitere 8-10 Monate später befragt - Kontrollgruppe: Ein Quotensample von 5.000 Personen wurde gezogen und angeschrieben, 2.000 antworteten - Vergleich der Entwicklung von Klienten und Kontrollgruppe

Zwei exemplarische britische Studien: II. Qualitativer Zugang Einige ausgewählte Ergebnisse der Studie: 1. Weiterbildungsteilnahme: Beratungsklienten wiesen eine viermal höhere Weiterbildungswahrscheinlichkeit auf 2. Qualifikationsniveau erhöht: Beratungsklienten wiesen eine zweimal höhere Qualifizierungswahrscheinlichkeit auf 3. Arbeitszufriedenheit: Beratungsklienten waren anfänglich unzufriedener mit ihrer Arbeit, nach zwei Jahren glich sich die Arbeitszufriedenheit der Kontrollgruppe an. 4. Einkommen: Kein Effekt auf die stundenbezogene Einkommenshöhe, aber Beratungsklienten hatten eine zweimal höhere Wahrscheinlichkeit eine Vollzeitstelle zu bekommen vgl. u.a. Killeen/White 2000, S. 1-8

Britische Literatursynopsen Maguire, M./Killeen, J.: Outcomes from Career Information and Guidance Services. Paris 2003. URL: www.oecd.org/dataoecd/26/53/2495163.pdf Hughes, D. u.a.: The Economic Benefits of Guidance. University of Derby 2002. URL: http://www.derby.ac.uk/files/the_economic_benefits2002.pdf

Britische Literatursynopsen 1. There is evidence of the motivational effects of guidance in a number of contexts (Hughes u.a. 2002, S. 19) 2. There is now reasonably strong UK quasi-experimental evidence that voluntary exposure to guidance increases the probability of adult participation in continuing education and training, relative to similar individuals not exposed to guidance. (Hughes u.a. 2002, S. 12) 3. The evidence to date is that quite intensive, multimethod guidance intended to support the job search of non- or unemployed people does reduce mean job search time/enhance re-employment rate over the short-to-medium term. In short, the general case for intensive methods applied to welfare claimants seems reasonably secure and it is now time to investigate differential effectiveness by type of guidance, type of client and labour market context in order to refine public policy. (Hughes u.a. 2002, S. 14)

Fazit

Ein Ausblick Das Netz der Wirkungen www.diezeitschrift.de/22010/kaepplinger1001.pdf

Ein Ausblick Das Netz der Wirkungen informative Beratung biografische Beratung Besser informiert sein Sich informieren können Sich persönlich weiterentwickeln Besser handeln können Sich weiterbilden Sich besser entscheiden können Arbeit aufnehmen Sich persönlich besser fühlen Beruflich aufsteigen situative Beratung

Ein Ausblick Nachbefragungen Informationsfunktion: - Durch die Beratung bin ich nun besser informiert - Durch die Beratung kann ich mich in Zukunft besser selbstständig informieren Situative Funktion: - Durch die Beratung habe ich eine passende Weiterbildung gefunden - Durch die Beratung habe ich eine neue Arbeitsstelle gefunden - Durch die Beratung konnte ich beruflich aufsteigen - Durch die Beratung konnte ich meine berufliche Arbeitssituation verbessern - Durch die Beratung konnte ich meine private Lebenssituation verbessern Biographische Funktion: - Durch die Beratung kann ich mich nun generell besser entscheiden - Durch die Beratung kann ich nun besser handeln - Durch die Beratung habe ich mich persönlich weiter entwickelt

Ein Ausblick Nachbefragungen

www.bibb.de/veroeffentlichungen /en/publication/download/id/160 4 www.diezeitschrift.de/22010/ kaepplinger1001.pdf http://kmgne.de/rqz/upload/fa chtagung_09_2008/kaepplinger _Vortragsmanuskript.pdf

(Weiterführende) Literaturhinweise

(Weiterführende) Literaturhinweise

(Weiterführende) Literaturhinweise

Vielen Dank für Ihre Aufmerksamkeit! Prof. Dr. Bernd Käpplinger Juniorprofessur Lernen im Lebenslauf / Betriebliche Weiterbildung Humboldt-Universität zu Berlin, Phil. Fak. IV. Abteilung Erwachsenenbildung/Weiterbildung Geschwister-Scholl-Straße 7 10099 Berlin Tel.: ++49 (0)30 2093 4135 oder -4136 Fax: ++49 (0)30 2093 4175 Mail: bernd.kaepplinger@rz.hu-berlin.de ESREA-Tagung: http://ebwb.hu-berlin.de/aktuelles/esrea Prof. Dr. Bernd Käpplinger Berlin, 18.10.2012

Zwei exemplarische britische Studien Nutzen im Wandel In the first year of the study (2003/04), 49 of the 50 participating clients (98%) reported that their guidance had been useful. Over the five year period of the study, this proportion decreased to 19 of the 29 clients (66%) who were successfully followed-up in the final year. (ebenda, S. 60) Despite the percentage of clients remaining positive about their guidance having decreased by 31%, well over half remaining in the study over the period of five years still viewed their guidance as having been useful to them. (ebenda, S. 61)