PROFESSIONALISIERUNG FÜR EVALUATIONEN DURCH EIN EVALUATIONSSTUDIUM

Transkript

1 PROFESSIONALISIERUNG FÜR EVALUATIONEN DURCH EIN EVALUATIONSSTUDIUM Ein internationaler Vergleich auf der Basis von Absolvent(inn)enstudien Zürich, 12. September 2014 Sandra Schopper, Universität des Saarlandes Corinna Schopphoff, Universität von Costa Rica

2 Struktur des Vortrags 1. Vorstellung der Masterstudiengänge Master of Evaluation /Saarbrücken (MEval), Deutschland und Master für Evaluation von Entwicklungsprogrammen und -projekten (MEPPD)/San José, Costa Rica 2. Ziele und methodische Vorgehensweisen der Absolvent(inn)enverbleibsstudien 3. Ergebnisse der Absolvent(inn)enverbleibsstudien 4. Schlussfolgerungen und Ausblick

3 Hintergrund* Gegründet:*2004*(erste* Studienkohorte)* Akademischer*Träger:* Universität*des* Saarlandes,* Hochschule*für*Technik* und*wirtschad*des* Saarlandes* Leitung:** Prof.*Dr.*Reinhard* Stockmann,*UdS* Prof.*Dr.*Dieter* Filsinger,*HTW* Profil*und* Zielgruppe* Ziel:*Vorbereitung*auf* die*wissenschadliche* Bearbeitung*von* EvaluaRonsfragestellung en*sowie*gutachterliche* und*beratende* TäRgkeiten*im* EvaluaRonsbereich* Zielgruppe:* Personen*mit*einem* berufsqualifizierendem* Hochschulabschluss*in* sozialwissenschadlichen* oder*anderen* Fachdisziplinen** Studium* Berufsbegleitend* Eröffnung*einer* Kohorte:** jedes*wintersemester* Dauer:** 4*Semester** (2*Jahre,*40*SWS,*120* CP)*+*Erstellung**der* Masterarbeit* Kosten:*4.800.a * Studierende* und* Absolventen* 197+neue*Kohorte*XI* (mind.*25)* *(alle*jahrgänge)* Zulassungsgrenze:* 25*Studierende** *Studierende* Aktuelle*Kohorten** IX*und*X:* *19*bzw.*21*Studierende* Studierende*u.a.*aus* Kamerun,*Benin,*Togo,* Lehland,*Schweiz,*Belgien,* Luxemburg,*Österreich,* davon*50*absolvent(innen)* (Stand*09/2014)* MEval: Daten und Fakten

4 MEPPD: Daten und Fakten Hintergrund* Profil*und* Zielgruppe* Studium* Studierende* und* Absolventen* Gegründet:*1993/1995* (erste*studienkohorte* Akademischer*Träger:* Universität*von*Costa* Rica* Schule*für*öffentliche* Verwaltung* Schule*für*Soziale* Arbeit* Leitung:** Direktor* Kommission* Ziel:*Die*Ausbildung*von* Evaluatoren,*die*in*der* Lage*sind,*kreaRve,* innovarve*und*qualitarv* hochwerrge* EvaluaRonen*von* Entwicklungsa programmen* durchzuführen.* Zielgruppe:* Personen*mit*einem* berufsqualifizierendem* Hochschulabschluss*in* sozialwissenschadlichen* oder*anderen* Fachdisziplinen** Berufsbegleitend* Eröffnung*einer* Kohorte:** i.d.r.*alle*2*jahre* Dauer:** 6*Quadrimester** (2*Jahre,*90*SWS,*71* CP)*+*Erstellung**der* Masterarbeit* Kosten:*ca.*83*USD/CP* (=*ca.*5.893*usd/ Studium)* 198*Studenten* *(alle*jahrgänge)* Kohorte*2013a15:** 15*Studierende* Kohorte*2014a16:* *17*Studierende* 79*Absolventen*(2014),* u.a.*aus*argenrnien,* Ecuador,*Peru,*Spanien*

5 Evalua9onstheorie* und** ;geschichte* Praxis*der* Evalua9on* DeGEval Methoden; kompetenzen* Kompetenzfelder und Dimensionen der Empfehlungen für die Ausund Weiterbildung in der Evaluation Sozial;*und* Selbst; kompetenzen* Organisa9ons;* und* Feldkenntnisse* Quelle:*DeGEval*(2011):* Empfehlungen*für*die*Ausa*und* Weiterbildung*in*der*EvaluaRon.*

6 EvaluaRonstheorie*und*a geschichte* Kontext*der*EvaluaRon* EvaluaRonsansätze* Aktuelle*PerspekRven*der* EvaluaRon* Evalua9onstheorie* und** ;geschichte* QualitaRve*und*quanRtaRve* Datenerhebungsmethoden* QuanRtaRve*und*QualitaRve* Datenauswertungsverfahren* AnwendersoDware:*SPSS,*Max* QDA* Praxis*der* Evalua9on* MEval Methoden; kompetenzen* EvaluaRonsplanung* und*adesign* InformaRonsa strategien*und*** ainstrumente* EvaluaRonsdurcha führung* FakultaRv:* Praxisworkshop* EvaluaRon* Schlüsselkompetenzen:* KommunikaRon*und* ModeraRon,* Verhandlungsführung*und* MediaRon,*ReporRng* Sozial;*und* Selbst; kompetenzen* Organisa9ons;* und* Feldkenntnisse* OrganisaRonsa wissen** Wirkungsa orienrerte* EvaluaRon*

7 EvaluaRonstheorie*und* ageschichte* Kontext*der*EvaluaRon* EvaluaRonsansätze* Aktuelle*PerspekRven* der*evaluaron* Evalua9onstheorie* und** ;geschichte* Epistemologie*und*Sozialforschung* QualitaRve*und*quanRtaRve* Methoden* Grundzüge*der*StaRsRk* FinanzwirtschaDliche*Analyse* EvaluaRonsplanung* und*adesign* InformaRonsstrategien* und*ainstrumente* MetaevaluaRon* EvaluaRon*von* UmweltaImpacts* Workshop*zur* EvaluaRonsa durchführung* Praxis*der* Evalua9on* Sozial;*und* Selbst; kompetenzen* MEPPD Persönliche*Kompetenzen* für*evaluaron* Organisa9ons;* und* Feldkenntnisse* Methoden; kompetenzen* Formulierung*von* Entwicklungsproa grammen* Modelle*und* Strategien*von* OrganisaRonsa* und*verwaltungsa systemen* Analyse*von* WirtschaDsa,* Soziala*und* UmweltpoliRken*

8 DAAD-Hochschulkooperation Seit 2008 besteht eine Hochschulkooperation zwischen der MEPPD und dem Masterstudiengang Evaluation, gefördert durch den Deutschen Akademischen Austauschdienst (DAAD). 1. Phase Beraterprogramm ( ): Orientierung des Curriculums an internationalen Standards für die Ausbildung in Evaluation Verbesserung der Praxisorientierung des Studienganges durch stärkere Integration der Studieninhalte Flexibilisierung der Lehrpläne 2. Phase Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern ( ): Regionalisierung, Internationalisierung und Netzwerkbildung Praxis- und Bedarfsorientierung Lehr-, Forschungs- und Publikationsaktivitäten Qualifizierung des Lehrpersonals

9 MEval: Absolvent(inn)en Studie MEval Ziele: Bewertung des Studiums ex-post hinsichtlich der Qualität der Studieninhalte in Bezug zu den beruflichen Anforderungen zu untersuchen. Das Curriculum wurde aufgrund der Ergebnisse überarbeitet. Durchführung: Die Studie wurde von Dr. Jörg Rech (CEval) von Dezember 2011 bis Januar 2012 durchgeführt.

10 MEval Studenten und Absolventen Kohorte I - V Grundgesamtheit und Stichprobe Absolventen der Kohorten I V N = 31! Vollerhebung zum Zeitpunkt: Ende 2012 ** Gesamt* Prozent*der* Studienanfänger* Studienanfänger* 83* 100* Studienabbrecher* 16* 19* Studierende*mit*der*Möglichkeit* zum*abschluss* 67* 81* Absolventen* 31* 37* Rücklauf: n = 25 (81%)

11 Abgänger(innen)-Studie der MEPPD Ziele: Kennenlernen der Berufssituation der Abgänger(innen) und Studierenden der MEPPD, insbesondere berufliche Tätigkeit einen Evaluationsbezug aufweist Erwartungen an und Zufriedenheit mit dem Masterprogramm Gründe für das Nicht-Erreichen des Master-Abschlusses Durchführung: Verantwortliche: Zentrum für Forschung und Weiterbildung in der öffentlichen Verwaltung (CICAP/UCR) mit Teilnehmerinnen das ASA-Programms 2013, Lina Schwarz und Ann-Cathrin Woltersdorf Durchführungszeitraum: Juli bis Oktober 2013

12 Abgänger(innen)-Studie der MEPPD Methodische Vorgehensweise: Befragung der Absolventen, Abgänger, Studienunterbrecher und aktiv Studierenden der Jahrgänge Online-Fragebogen, orientiert an: Jährlicher Absolvent(inn)enverbleibsstudie für Postgraduiertenstudiengänge des Nationalen Rektorenrates (CONARE) Absolvent(inn)enverbleibsstudie MEval Kontaktdaten von 130 Personen, daher Vollerhebung Rücklaufpopulation: Rücklaufquote: 36% (47 komplette Fragebögen) Davon: 24 Absolventen (51% aller Befragten; 32% aller Absolventen bis 07/2013) 51%* 2%* 2%* Abgänger*(ohne* Abschluss)* 28%* akrv*studierender* 17%* Absolvent* Studienunterbrecher* Studienabbrecher*

13 MEval: Bewertung der Studiensituation (Bewertungsskala: -2,5 bis 2,5) 2,5* 2* 1,5* 1* 1,7* 1,6* 0,5* 0,9* 0,8* 0* 0,4* 0,3* 0,3* 0,2* 0,1* 0* a0,5* a1* a1,5* a2* a2,5*

14 MEPPD: Bewertung der Studiensituation (Auswahl) (Bewertungsskala: -2 bis 2) 2* 1,5* 1* 0,5* 0* a0,5* 1,71* 1,67* 1,46* 1,17* 1,13* 1,09* 0,92* 0,65* 0,17* a0,08* a0,58* a1* a1,5* a2*

15 MEval: Vergleich der Wichtigkeit der Erwartungen mit der Nützlichkeit des Studiums bzgl. dieser Erwartungen (Bewertungsskala: -2,5 bis 2,5) 2,5* 2* 1,5* 1* 0,5* 0* a0,5* a1* a1,5* a2* a2,5* 2* 1,2* 1,2* 0,8* 0,81* 0,45* 0,79* 0,56* WichRgkeit*der*Erwartungen*an*den*Studiengang* Erfüllung*dieser*Erwartungen*(Nützlichkeit)* 1,3* 0,63* 0,1* 0,4* 0,05* 0,4* a0,1* a0,25* a0,45* a0,8*

16 MEPPD: Vergleich Wichtigkeit der Erwartungen an das Studium mit der Nützlichkeit des Studiums bzgl. dieser Erwartungen (Bewertungsskala: -2 bis 2) 2,00* MiJelwert* 1,50* 1,00* 0,50* 0,00* a0,50* 1,46* 1,42* 1,21* 1,08* 1,17* 1,04* 0,96* 0,57* 0,61* WichRgkeit*der*Erwartungen*an*den*Studiengang* 0,33* 0,75* 0,57* 0,35* 0,33* a0,61* a0,30* a1,00* Erfüllung*dieser*Erwartungen*(Nützlichkeit)* a1,50* a2,00*

17 MEval: Tätigkeitsbereiche der MEval-Absolvent(inn)en mit Evaluationsbezug 80%* 70%* 60%* 64%* 64%* 67%* Vor*dem*Studium* Während*des*Studiums* Nach*dem*Studium* 50%* 53%* 40%* 30%* 20%* 10%* 0%* Durchführung*von* EvaluaRon* 0***** 18%* 13%* 0***** 7%* AuDragsvergabe*von* EvaluaRon* 20%* Qualitätssicherung*von* EvaluaRon* 27%* 21%* SonsRges* n*(vor*dem*studium)*=11,*n*(während*des*studiums)*=*14,*n*(nach*dem*studium)*=*15*

18 7* 6* 5* MEPPD: Vergleich Anteil der beruflichen Aufgaben mit Evaluationsbezug vor und nach dem Studium (bei Stellenwechsel) (n=17) 6* Stelle*vor*dem*Studium* Stelle*nach*dem*Studium* 4* 3* 2* 1* 0* 4* 3* 3* 3* 3* 2* 2* 2* 1* 1* 1* 1* 1* 1* 0* 0* 0* 0* 0* 0* 0* 0%* 1a10%* 11a20%* 21a30%* 31a40%* 41a50%* 51a60%* 61a70%* 71a80%* 81a90%* 91a100%* Anteil*der*beruflichen*Aufgaben*mit*Evalua9onsbezug*in*%*

19 MEPPD: Tätigkeitsbereiche der MEPPD-Absolvent(inn)en mit Evaluationsbezug (Mehrfachnennungen möglich) 60* 50* 50* Vor*dem*Studium* Nach*dem*Studium* 40* 43* Prozent* 30* 20* 19* 21* 10* 14* 13* 13* 14* 0* Durchführung*von* EvaluaRonen* AuDragsvergabe* von*evaluaronen* 7* Qualitätssicherung* von*evaluaronen* Monitoring* 6* SonsRges* n*(vor*dem*studium)*=*14;*n*(nach*dem*studium)*=*16*

20 MEPPD: Bewertung der Vorbereitung durch das Studium auf Aufgaben mit Evaluationsbezug Die Absolvent(inn)en fühlten sich nach dem Studium auf Aufgaben mit Evaluationsbezug weitestgehend gut vorbereitet: 10 Personen (42%) meinen, dass sie sehr gut oder gut vorbereitet wurden 13 Absolvent(innen) (54%) fühlten sich weder gut, noch schlecht vorbereitet. Nur eine Person (4%) gab an, wenig auf Aufgaben mit Evaluationsbezug vorbereitet zu sein.

21 MEval: Berufl. Entwicklung und Beschäftigungsverhältnis Vor dem Studium: 18 von 24 (75%) im Beruf, davon 15 angestellt, 2 freiberuflich Während des Studiums: 21 von 22 (95%) im Beruf, davon 17 angestellt, 3 freiberuflich Nach dem Studium: 22 von 22 im Beruf, davon 17 angestellt, 5 freiberuflich! Zunahme der Berufstätigkeit

22 MEval: Gute Aufstiegschancen und bessere Verdienstmöglichkeiten durch das MEval-Studium Position der Angestellten: 47% unveränderte Positionen, 53% bessere Positionen, keine schlechtere Position (n = 15) Verdienst: durchschnittliches Jahresbruttoeinkommen Euro, d.h. höher als im Branchendurchschnitt ( Euro) Veränderung des Einkommens durch das Studium (n=17): höher 41% gleich geblieben 59%; niedriger 0%

23 MEval: Studieninhalte überwiegend angemessen hinsichtlich beruflicher Anforderungen

24 MEPPD: Berufliche Entwicklung der Absolvent(inn)en Beschäftigungsverhältnis Zu Beginn, während und nach dem Studium waren alle Absolvent(inn)en berufstätig Vor Beginn des Studiums: 22 Absolvent(innen) (92%) waren festangestellt und zwei waren selbstständig (8%) Nach Beendigung des Studiums: 20 Absolventinnen (83%) festangestellt, drei waren selbstständig (13%) und eine Person war angestellt und gleichzeitig freiberuflich tätig (4%). " Zunahme der Beratertätigkeit Veränderung des Einkommens durch das Studium (n=22): gestiegen: 63,6% gleich geblieben: 31,8% gesunken: 4,5% Insgesamt geben 88% der Befragten an, dass sich ihre berufliche Situation verbessert hat.

25 MEPPD: Faktoren für eine Verbesserung der beruflichen Situation der Absolvent(innen), unabhängig von einem Stellenwechsel (n=21) Prozent* 0,0* 10,0* 20,0* 30,0* 40,0* 50,0* 60,0* 70,0* 80,0* Qualifizierung*durch*Masterstudium*EvaluaRon* 76,2* Berufserfahrung* 57,1* Zusätzliche*Kenntnisse* 42,9* EvaluaRonserfahrung* 28,6* Qualifizierung*durch*Bachiller/Diplom** Persönliche*Empfehlung* Thema*der*Abschlussarbeit* 14,3* 14,3* 14,3* Mobilität* SonsRges* 0,0* 0,0*

26 MEval: Schlussfolgerungen Die befragten Absolvent(inn)en bewerten die Studiensituation positiv. Das Studium wird hinsichtlich fachlicher und karrierebezogener Aspekte als nützlich bewertet. Insgesamt haben sich die an das Studium gestellten Erwartungen erfüllt. Das Studienangebot wird als relevant für den beruflichen Alltag eingeschätzt. Die Absolvent(innen) geben an, dass die für die beruflichen Anforderungen notwendigen Kompetenzen adäquat im Studiengang vermittelt wurden.

27 MEPPD: Schlussfolgerungen Die Studiensituation wird von den Absolvent(innen) generell als positiv, und das Studium aus fachlicher Sicht als nützlich bewertet. Absolvent(innen) fühlten sich nach dem Studium auf Aufgaben mit Evaluationsbezug weitestgehend gut vorbereitet. Obwohl das Studium nach Einschätzungen der Absolvent(inn)en die karrierebezogenen Erwartungen nicht vollends erfüllt, hat sich ihre berufliche Situation nach dem Studium nach eigenen Angaben verbessert: Mehr Tätigkeitskontingente mit Evaluationsbezug, insbesondere im Bereich der Evaluationsdurchführung und der Qualitätssicherung von Evaluationen Höheres Einkommen Verstärkte Beratertätigkeit Das MEPPD-Studium gilt als Hauptfaktor für die Verbesserung der beruflichen Situation.

28 Synthese Ein Evaluationsstudium steigert die Chancen auf dem Arbeitsmarkt der Evaluation durch eine adäquate Vermittlung der notwendigen theoretischen und praktischen Kompetenzen. Absolvent(inn)en eines Evaluationsstudiums wagen als freiberufliche Berater(inn)en den Schritt in die Selbstständigkeit. Institutionelle Kompetenzen für Evaluation werden dadurch gestärkt, dass Absolvent(inn)en ihre Kenntnisse im Kontext ihrer Organisation anwenden. Durch ein Evaluationsstudium, das die Kompetenzfelder der Empfehlungen für die Aus- und Weiterbildung in der Evaluation berücksichtigt, gelingt die Professionalisierung für Evaluation.

29 Vielen Dank für Ihre Aufmerksamkeit! Sandra Schopper Masterstudiengang Evaluation Universität des Saarlandes Corinna Schopphoff MEPPD Universität von Costa Rica