Das Messbare und das Nichtmessbare messen Zugänge zu Wirkungsanalysen in der Bildungsberatung Prof. Dr. Bernd Käpplinger Humboldt-Universität zu Berlin Expertenforum der Dresdner Bildungsbahnen : Wir wirkt Bildungsberatung? 23.06.2014 in Dresden
Gliederung 1. Rahmungen 2. Bildungsberatung 3. Wirkungsanalysen 4. Der Ansatz der Dresdner Bildungsbahnen 5. Kritische Würdigung und Impulse
1. Rahmungen
Warum überhaupt Wirkungsmessungen/-analysen von Bildung und Beratung? - Bildungsberatung/Coaching etc. haben in der Weiterbildungsdiskussion einen Bedeutungsgewinn erfahren. Lotsenfunktion beim LLL und um Selbstverantwortung zu fördern. - Dabei steigt das politische Interesse etwas über die tatsächliche Wirksamkeit von Bildungsberatung zu erfahren. Effizienz- und Effektivitätsdruck. - Ziele im Fokus: Die Weiterbildungsbeteiligung erhöhen sowie die Integration in Arbeit. - Fortschritt statistischer Analyseverfahren sowie Verfügbarkeit großer Datensätze. Wachsende Empirieorientierung in den Sozialwissenschaften.
Konjunktur der sogenannten Evidenzbasierung David Blunkett, ehemaliger Britischer Bildungsminister: Social science research evidence is central to development and evaluation of policy ( ) We need to be able to rely on social science and social scientists to tell us what works and why and what types of policy initiatives are likely to be most effective. Quelle: Blunkett, D.: Influence or irrelevance: can social science improve government? Speech to the Economic and Social Research Council, Swindon 2000.
Konjunktur der sogenannten Evidenzbasierung What works Clearinghouse (USA) http://ies.ed.gov/ncee/wwc/ Quelle: Blunkett, D.: Influence or irrelevance: can social science improve government? Speech to the Economic and Social Research Council, Swindon 2000.
2. Bildungsberatung
Definitionen von (Bildungs-)Beratung Bildungs- und Berufsberatung ist ein Dienstleistungsangebot, das darauf ausgerichtet ist, Individuen jeden Alters zu jedem Zeitpunkt ihres Lebens dabei zu unterstützen, Bildungs-, Ausbildungs- und Berufsentscheidungen auf einer gut vorbereiteten und informierten Basis eigenständig zu treffen und ihr (Berufs)Leben selbst in die Hand zu nehmen. Bildungs- und Berufsberatung hilft Menschen, sich über ihre Zielvorstellungen, Interessen, Qualifikationen und Fähigkeiten klar zu werden. Sie hilft ihnen, den Arbeitsmarkt und das Bildungssystem zu verstehen und diese Kenntnisse auf das zu beziehen, was sie selbst über sich wissen. Umfassende Bildungs- und Berufsberatung erschließt Informationen über den Arbeitsmarkt und über Bildungsmöglichkeiten, indem sie diese organisiert, systematisiert und verfügbar macht, wann und wo Menschen sie benötigen. (OECD 2004, S.19) => Folgt man dieser Definition, müsste man evaluieren, ob durch die Beratung etwas gelernt wird und ob auch die Motivation/Entscheidungsfähigkeit gesteigert wird.
IOSM-Modell Quelle: kos 2011 - http://www.kos-qualitaet.de/bb_qualitaetskonzept.html
Nutzen von Bildungsberatung Quelle: Käpplinger 2010, S. 33 Prof. Dr. Bernd Käpplinger Berlin, 22.10.2012
3. Wirkungsanalysen
Britische Studien Killeen/White: The Impact of Careers Guidance on Adult Employed People. London 2000. URL: https://www.education.gov.uk/publications/eorderingdownload/rr226.pdf - knapp 2.700 Beratungsklienten (von TECs) wurden angeschrieben / angerufen, 1.612 antworteten, diese 1.612 wurden: - 2-3 Monate nach der Beratung und - 12-15 Monate danach befragt und schließlich - nochmal weitere 8-10 Monate später befragt - Kontrollgruppe: Ein Quotensample von 5.000 Personen wurde gezogen und angeschrieben, 2.000 antworteten - Vergleich der Entwicklung von Klienten und Kontrollgruppe Prof. Dr. Bernd Käpplinger Berlin, 22.10.2012
Britische Studien Einige ausgewählte Ergebnisse der Studie: 1. Weiterbildungsteilnahme: Beratungsklienten wiesen eine viermal höhere Weiterbildungswahrscheinlichkeit auf 2. Qualifikationsniveau erhöht: Beratungsklienten wiesen eine zweimal höhere Qualifizierungswahrscheinlichkeit auf 3. Arbeitszufriedenheit: Beratungsklienten waren anfänglich unzufriedener mit ihrer Arbeit, nach zwei Jahren glich sich die Arbeitszufriedenheit der Kontrollgruppe an. 4. Einkommen: Kein Effekt auf die stundenbezogene Einkommenshöhe, aber Beratungsklienten hatten eine zweimal höhere Wahrscheinlichkeit eine Vollzeitstelle zu bekommen vgl. u.a. Killeen/White 2000, S. 1-8
Britische Literatursynopsen 1. There is evidence of the motivational effects of guidance in a number of contexts (Hughes u.a. 2002, S. 19) 2. There is now reasonably strong UK quasi-experimental evidence that voluntary exposure to guidance increases the probability of adult participation in continuing education and training, relative to similar individuals not exposed to guidance. (Hughes u.a. 2002, S. 12) 3. In short, the general case for intensive methods applied to welfare claimants seems reasonably secure and it is now time to investigate differential effectiveness by type of guidance, type of client and labour market context in order to refine public policy. (Hughes u.a. 2002, S. 14) Prof. Dr. Bernd Käpplinger Berlin, 22.10.2012
4. Der Ansatz der Dresdner Bildungsbahnen
Die Dresdner Formel zum Nutzen von Bildungsberatung Quelle: Albrecht u.a. 2012, S. 18
Die Dresdner Formel zum Nutzen von Bildungsberatung Quelle: Albrecht u.a. 2012, S. 18-19
Studienergebnisse Da sich die Erträge der Bildungsberatung bzw. der nachfolgenden Bildungsmaßnahme höchstwahrscheinlich erst in Zukunft realisieren werden, ist der Zeitraum von bis zu zwei Jahren nach Beratungsbeginn viel zu kurz, um die Wirksamkeit von Bildungsberatung abschließend beurteilen zu können. Analog zur Analyse der Langfristwirkungen bei Weiterbildungsmaßnahmen in der aktiven Arbeitsmarktpolitik, die auch erst nach mehr als zwei Jahren sichtbar werden, erscheint es deswegen angebracht, dieselben Kohorten von Bildungsberatenen in drei bis fünf Jahren nochmals zu betrachten. Erst dann wird feststellbar sein, ob sich die Karrierepfade aufgrund der Bildungsberatung verbessern oder ob diese keinen Effekt ausübt. Quelle: Schanne/Wey 2014, S. 43
Studienergebnisse Quelle: Schanne/Weyh 2014, S. 39
Studienergebnisse - Dies deutet auf ein hohes Maß an Selektion nach den beobachtbaren Charakteristika hin. Nach der Argumentation von Altonji/Elder/Taber (2005) könnte in der Stichprobe der Beschäftigten somit auch eine Selektion nach unbeobachteten Charakteristika eine Rolle spielen. (S. 36) - Ein Urteil über die Wirkung von Bildungsberatung (oder auch von Bildung), die damit verbundenen Kosten und Nutzen nach den zum aktuell möglichen Zeithorizont entstandenen Einnahmen, Ausgaben und Einnahmeverlusten zu fällen, erscheint nicht sinnvoll. Eine derartige Abschätzung entspräche dem Versuch, den Wert einer Haussanierung bzw. einer wärmetechnischen Beratung vor der Sanierung allein daran zu messen, welche Aufwendungen für Handwerkerarbeiten und Material entstanden sind, ohne aber die erwartbaren Zugewinne (beispielsweise durch verminderte Heizkosten) mit einzurechnen. (S. 42) Quelle: Schenne/Weyh 2014
Britische Studien Arbeitszufriedenheit: Beratungsklienten waren anfänglich unzufriedener mit ihrer Arbeit, nach zwei Jahren glich sich die Arbeitszufriedenheit der Kontrollgruppe an. Killeen/White 2000, S. 1-8
Weicher Faktor Zufriedenheit ohne ökonomische Relevanz?
Studienergebnisse Quelle: Schanne/Weyh 2014, S. 39
5. Kritische Würdigung und Impulse
5. Kritische Würdigung und Impulse 1.) Der mutige Dresdner Ansatz und die IAB-Studie von Schenne/Weyh bringen erfrischend neuen Wind in die deutsche Debatte um Wirkungsanalysen zu Bildungsberatung. Die Ergebnisse erstaunen stellenweise und animieren zu Reproduktionsstudien. 2.) Allerdings sind zumindest zwei Einschränkungen zu beachten: - Konzeptionell darf nicht vergessen werden, dass hier nur ein (kleiner) Ausschnitt an Wirkungen in den Blicke genommen wurde. Effekte zu Zufriedenheit, Bildungseffekte, etc. wurden gar nicht untersucht, die auch indirekt ökonomisch relevant sein könnten. - Methodisch stellt sich die Frage, wie gesichert die Ergebnisse wirklich sind (unbeobachtete Selektionseffekte, Konfindenzintervalle, Limitierungen im Datensatz, etc.). Die Ergebnisse müssen vorsichtig und kenntnisreich interpretiert werden! Austausch zwischen Politik, Wissenschaft und Praxis
5. Kritische Würdigung und Impulse 3.) Wir brauchen mehr solcher Studien in verschiedenen Regionen und vielleicht auch zu verschiedenen Beratungsansätzen, um etwas zuverlässig sagen zu können. Auch wäre wichtig, nach Beratungsklienten näher zu differenzieren in der Auswertung. So gibt es nur zwei Typen (Beschäftigt, Nicht- Beschäftigt) 4.) Wir brauchen eine Vielfalt an Studien. Ökonometrische Studien geben zumeist eine Überblick im Vogelflug. Wir brauchen aber auch die detail- und praxisbezogenen Analysen (z.b. über Beratungstranskripte). 5.) Investitionen in Beratung und Bildung brauchen einen langen Atem, sind aber letztlich alternativlos, wenn wir Demokratie und eine Wirtschaft stärken wollen.
Wissen um die (vielfältigen) Wirkungen von Beratung Happy-Sheets KES-Daten - Monitoring Intendierte Wirkungen Nicht-intendierte Wirkungen
5. Kritische Würdigung und Impulse Wenn du denkst, Bildung ist zu teuer, versuch es mal mit Dummheit. Derek Bok, ehem. Präsident der Harvard Universität.
Sind Kosten-Nutzen-Analysen immer angemessen? Bluffen ist verboten (Interview in der ZEIT vom 20. März 2014): Prof. Kühnapfel: Viele Menschen versuchen, ihre Partnerschaft allein auf der Basis von Liebe zu führen. Das reicht nicht. Und die hohen Scheidungsraten sagen das auch. Viele Methoden aus dem Controlling lassen sich nicht nur in Unternehmen, sondern auch im Management von Paarbeziehungen anwenden. Ich spreche deshalb auch vom Partnerschaftscontrolling ( ) Jeder Betriebswirt kennt zum Beispiel die Nutzwertanalyse. Dabei wird genau ermittelt, welcher Nutzen für die Zukunft von einer bestimmten Investition zu erwarten ist. Auch bei der Partnerwahl wägen wir Kosten und Nutzen gegeneinander ab, um zu entscheiden, ob wir eine Beziehung eingehen oder fortsetzen wollen. Wir sollten das bewusst tun ( ) Man weiß heute eine Menge über zielführende Verhandlungstechniken, gerade für Paarbeziehungen ( ) Interviewerfrage: Führen Sie persönlich mit Ihrer Partnerin solche Verhandlungen? Prof. Kühnapfel: Ja, wenn es nötig ist, nehmen wir uns Zeit und versuchen, sehr systematisch unsere Interessen abzugleichen. Meine Partnerin ist auch Professorin, und wir gehen an die Dinge zum Glück sehr ähnlich heran. Ich muss allerdings zugeben, dass frühere Freundinnen sich mit meinem Ansatz sehr schwergetan haben.
Vielen Dank für Ihre Aufmerksamkeit! Prof. Dr. Bernd Käpplinger Juniorprofessur Lernen im Lebenslauf / Betriebliche Weiterbildung Humboldt-Universität zu Berlin, Phil. Fak. IV. Abteilung Erwachsenenbildung/Weiterbildung Geschwister-Scholl-Straße 7 10099 Berlin Tel.: ++49 (0)30 2093 4135 oder -4136 Fax: ++49 (0)30 2093 4175 Mail: bernd.kaepplinger@rz.hu-berlin.de Prof. Dr. Bernd Käpplinger Berlin, 23.06.2014
Artikel zum Vortrag www.bibb.de/veroeffentlichungen /en/publication/download/id/160 4 www.diezeitschrift.de/22010/ kaepplinger1001.pdf Zukunft der personenbezogenen Bildungsberatung Vier mögliche Szenarien http://kmgne.de/rqz/upload/fa chtagung_09_2008/kaepplinger _Vortragsmanuskript.pdf
Nutzenerwartungen und realisierte Nutzenerwartungen Quelle: Nationaler Bildungsbericht 2014, S. 153
(Weiterführende) Literaturhinweise Arnold, R../Gieseke, W./Zeuner, C. (Hrsg.) (2009): Bildungsberatung im Dialog. 3 Bände, Hohengehren. Balli, C./Storm, U. (1992): Weiterbildungs- und Qualifizierungsberatung. In: Berufsbildung in Wissenschaft und Praxis, H. 5, S. 17 23 Beicht, U./Krekel, E. M./Walden, G. (2004): Berufliche Weiterbildung Welchen Nutzen haben die Teilnehmer? In: Berufsbildung in Wissenschaft und Praxis, H. 5, S. 5 9 Bimrose, J./Barnes, S.-A. (2008): Adult Career Progression & Advancement A Five Year Study of the Effectiveness of Guidance. Warwick Bimrose, J./Barnes, S.-A. (2009): Measuring the effectiveness of career counselling in England: who defines what is effective? In: Arnold, R../Gieseke, W./Zeuner, C. (Hrsg.): Bildungsberatung im Dialog. Band 2, Hohengehren, S. 79-98 BMBF (Hrsg.) (2008): Empfehlungen des Innovationskreises Weiterbildung für eine Strategie zur Gestaltung des Lernens im Lebenslauf. Bonn/Berlin Brandt, P. (2004): Nutzen von (Weiter-)Bildung. In: DIE-Zeitschrift, H. 3, S. 24 25. Deutsches Institut für Erwachsenenbildung (2010): Themenheft Wirksame Weiterbildungsberatung http://www.diezeitschrift.de/22010/index.asp Gieseke, W. (2000) : Beratung in der Weiterbildung - Ausdifferenzierung der Beratungsbedarfe. In: Literatur- und Forschungsreport Weiterbildung 46, S. 10-17. Gieseke, W. (2002): Evaluation in Zeiten der Veränderung - Ein Essay. In: Literatur- und Forschungsreport Weiterbildung 50, S. 68-76. Gieseke, W./Opelt, K. (2004): Weiterbildungsberatung II. Kaiserslautern. Gieseke, W./Käpplinger, B./Otto, S. (2007): Prozessverläufe in der Beratung analysieren Ein Desiderat. In: Report. Zeitschrift für Weiterbildungsforschung, H. 1, S. 33 42
(Weiterführende) Literaturhinweise Hawthorn, R. (2008): ICT and the over 50s Overcoming Barriers to Employment and Training Advice. Cambridge Hughes, D. u.a. (2002): The Economic Benefits of Guidance. University of Derby Käpplinger, B. (2009): Zukunft der personenbezogenen Bildungsberatung Vier mögliche Szenarien. In: Arnold, R../Gieseke, W./Zeuner, C. (Hrsg.): Bildungsberatung im Dialog, Band I - Theorie - Empirie - Reflexion. Hohengehren, S. 227-247. Käpplinger, B. (2009): Telefonische Berufs- und Bildungsberatung in Großbritannien: Büchse der Pandora oder Ariadnefaden? In: Berufsbildung in Wissenschaft und Praxis, H. 4, S. 23 26 Käpplinger, B. (2009): Zukunft der personenbezogenen Bildungsberatung. In: Arnold, R./Gieseke, W./Zeuner, C. (Hrsg.): Bildungsberatung im Dialog. Baltmannsweiler, S. 227 247 Käpplinger, B (2010): Nutzen von Bildungsberatung Konzeptionelle Eckpunkte vor dem Hintergrund britischer Forschungsergebnisse. In: DIE-Zeitschrift für Erwachsenenbildung 17, H. 2, S. 32-35. Killeen, J./White, M. (2000): The Impact of Careers Guidance on Adult Employed People. Department for Education and Employment, London. Maguire, M./Killeen, J. (2003): Outcomes from Career Information and Guidance Services. Paris, www.oecd.org/dataoecd/26/53/2495163.pdf (Stand: 12.01.2010) Maslow, A. H. (2002): Motivation und Persönlichkeit. Reinbek McCarthy, J. (2007): Catapulted to the Front: Career Guidance in European Union and International Policy Perspectives. In: Report 30, H. 1, S. 43 50 Messer, D./Wolter, S. C. (2009): Weiterbildung und Bildungsgutscheine. Bern. http://edudoc.ch/record/31321/files/5598db.pdf (Stand: 12.01.2010)
(Weiterführende) Literaturhinweise NCDA National Career Development Association (2007): Code of Ethics. URL: www.associationdatabase.com/aws/ncda/asset_manager/get_file/3395/code_of_ethicsmay- 2007.pdf (Stand: 4.6.2009) Page, R./Newton, B./Hunt, W./Hillage, J. (2007): An Evaluation of the Ufi/ learndirect Telephone Guidance Trial. London. SALSS Sozialwissenschaftliche Forschungsgruppe (2008): Evaluierung des»bildungsscheck NRW«. Bonn Sultana, R. G. (2004): Strategien zur Bildungs- und Berufsberatung Trends, Herausforderungen und Herangehensweise in Europa. Luxemburg Timmermann, D. (1998): Nutzen aus der Sicht der Wissenschaft. In: BIBB (Hrsg.): Nutzen der beruflichen Bildung. Bielefeld, S. 75 92 Tyers, C./Aston, J./Barkworth, R./Willison, R./Taylor, R. (2003): Evaluation of Adult Guidance Pilots. London Walter, M. (2009): Weiterbildungsberatung als Motor des Lebenslangen Lernens? In: Berufsbildung in Wissenschaft und Praxis, H. 4, S. 19 22 Watts, A. G./Dent, G. (2002): Let your fingers do the walking: the use of telephone helplines in career information and guidance. In: British Journal of Guidance and Counselling 30, H. 1, S. 17 35. Watts, A. G./Dent, G. (2006): The P word: productivity in the delivery of career guidance services. In: British Journal of Guidance and Counselling 34, H. 2, S. 177 189. Watts, A.G./Sultana, R. G. (2004): Career guidance policies in 37 countries. In: International Journal for Educational and Vocational Guidance, H. 2 3, S. 105 122. Weiß, R. (2008) : Weiterbildung: Beratung tut not! In: BWP 37, H. 1, S. 3 4. Prof. Dr. Bernd Käpplinger Berlin, 23.06.2014