S.E.E.D Solidaristic Employment and Enterprise Development

Transkript

1 S.E.E.D Solidaristic Employment and Enterprise Development Evaluationsergebnisse des transnationalen Workshops in Hattingen / Deutschland Vorbemerkung Die folgenden Evaluationsergebnisse sind Teil des 2. Zwischenberichtes der Evaluation vom Teilprojekt 11 (TP 11). Sie beziehen sich auf den transnationalen Workshop, der im DGB-Bildungszentrum in Hattingen durchgeführt worden ist. Im Rahmen eines Steering Group Meetings ( ) im DGB Bildungswerk / IQ Consult ggmbh, Düsseldorf erfolgte die inhaltliche Vorbereitung und Abstimmung. Die vom italienischen Partner erhobenen Monitoring Daten fließen in diese Evaluation. 1 1 Evaluationsansatz Die Entwicklung des Evaluationsdesigns setzte zunächst an den direkten Zielbestimmungen des TP11 an. 2 Davon ausgehend sind weitere Mittler- und Handlungsziele mit den Projektpartnern entwickelt worden. Die dafür erforderlichen Grundlagen zur Zielformulierung wurden im Rahmen des Steering-Group Meetings in Düsseldorf (2006) vermittelt. Die Formulierung von Handlungs- und Mittlerzielen, sowie die Indikatorenbildung erfolgte nach der SMART- Methode in Zusammenarbeit mit den Projektverantwortlichen. 3 Die Zielformulierungen der Projektpartner bilden die eine Ebene der Evaluation. Eine weitere Ebene bildet die von der GI Equal Programmevaluation geforderte Berücksichtigung von Querschnittsaufgaben (Gender Mainstreaming, Maßnahmen gegen Rassismus und Fremdenfeindlichkeit, Vernetzung, innovativer Charakter der Maßnahmen), die in die Evaluation nach Abstimmung mit dem Auftraggeber einbezogen worden ist. Für die Evaluation des transnationalen Workshops in Hattingen bildeten die Handlungsziele des Auftraggebers mit den entsprechenden Indikatoren, die Ergebnisse der teilnehmenden Beobachtung / Interviews und die Ergebnisse des Monitoring die Arbeitsgrundlage. 1 Auf die Beziehung zwischen dem Monitoring und der Evaluation kann an dieser Stelle nicht näher eingegangen werden. Sie wurde bereits an anderer Stelle (1.Zwischenbericht) erläutert und wird in den Abschlussbericht noch einmal aufgegriffen. 2 Es handelt sich hierbei um die Leitziele der GI Equal, die für das TP11 die Planungsgrundlage bildeten. 3 Bei der SMART-Methode handelt es sich um ein Verfahren zur Bestimmung von Erfolgsindikatoren für die Evaluation. SMART steht für: Spezifisch Messbar Angemessen Realistisch Terminiert. Die Formulierung der Indikatoren wird danach ausgerichtet und bezieht sich zunächst auf die Handlungsziele. 1

2 2 Handlungsziele und Indikatoren In diesem Teil werden zunächst nur die unmittelbar relevanten Ziele Handlungsziele für den transnationalen Workshop berücksichtigt. Die Bewertung der Zielerreichung von den ebenfalls formulierten Leit- und Mittlerziele erfolgt im Abschlussbericht, weil sie einen teilweise auf die anderen Produkte übergreifenden Charakter haben und darum in diesen Bezügen zu bewerten sind. Die Handlungsziele für den transnationalen Workshop lauten: 1. Der transnationale Workshop wird im Herbst 2006 in Deutschland durchgeführt. Ziel ist es den Austausch zwischen den transnationalen Partnern über folgende Inhalte durchzuführen: Gegenseitige Anerkennung von Qualifikationen in der EU, Curricula für interkulturelle Mittler, sowie Cultural Mainstreaming und interkulturelle Kompetenz als Querschnittskompetenz in der Beratung und Arbeitsvermittlung. 2. Um diese Inhalte zu vermitteln, sollen folgenden Methoden Anwendung finden: Arbeitsgruppen, Trainings, Vorträge, Diskussionen 3. Der Workshop richtet sich an Mitarbeiter der drei Entwicklungspartnerschaften ( Key people ), Multiplikatoren (z. B. Trainer, Bildungsbeauftragte, etc.) sowie an Migrantinnen und Migranten. 4. Zur Ergebnissicherung und zur Verbreitung der Workshopinhalte werden die gemeinsam erarbeitenden Inhalte auf einer CD ROM, im Anschluss an den Workshop, in modularisierter Form aufgearbeitet und festgehalten. Die CD ROM soll 2007 fertig gestellt werden. 5. Um die Inhalte des Workshops mit den transnationalen Partnern abzustimmen, wird ein Partnertreffen (steering group meeting) im Juni 2006 stattfinden. In dieser Teilevaluation konnte die Ergebnissicherung auf der CD-ROM noch nicht einbezogen werden, da sie noch nicht abgeschlossen ist. Da dieser Teilbericht jedoch Teil der zu erstellenden CD-ROM sein wird, ist damit auch dieses Handlungsziel als erreicht anzusehen. Aus den Handlungszielen lassen sich zunächst folgende Zielerreichungsindikatoren ableiten: Handlungsziel Zielerreichungsindikator Bemerkungen 1.) Workshop Umsetzung, Inhalte, 2.) Methoden Einsatz der Methoden, Effizienz und Effektivität der Methoden. 3.) Zielgruppen Teilnehmerauswahl, Zusammensetzung der Gruppen. Die transnationalen Workshops werden im Rahmen des Monitoringverfahrens überprüft. Die gewonnenen Daten gehen mit in die Evaluation ein. 2

3 3 Evaluationsergebnisse (Kurzfassung) 3.1. Bewertung auf der Basis der Zielerreichungsindikatoren a.) Inhalte und Umsetzung Die in den Handlungszielen formulierten Inhalte (gegenseitige Anerkennung von Qualifikationen in der EU, Curricula für interkulturelle Mittler, Cultural Mainstreaming und interkulturelle Kompetenz als Querschnittskompetenz in der Beratung- und Arbeitsvermittlung) fanden umfassend im Programm Berücksichtigung und konnten in den Arbeitsgruppen vertiefend bearbeitet werden. Es wurden vier Workshops angeboten: Workshop 1: Bedeutung der Anerkennung von Qualifikationen und Fähigkeiten (EU- Richtlinie zur Anerkennung von Qualifikationen). Handlungsempfehlungen aus der Praxis Workshop 2: Europäische Standards für interkulturelle Mittler? Workshop 3: Cultural Mainstreaming Workshop 4: Interkulturelle Kompetenz als Querschnittskompetenz in der Beratungund Arbeitsvermittlung Die Ergebnisse des Monitoring zeigten, dass die Bewertung der Angebote durch die Teilnehmenden überwiegen positiv war 4 : some 35,7% of participants esteemed the seminar to be very good, another 60,7% quite good, and only a person did not answer the question and/or said that she/he didn t know what to think about it. 5 Auch in der Bewertung des Nutzens für den eigenen Arbeitsbereich gaben die Teilnehmenden eine überwiegend positive Einschätzung ab: Another 28, 0% considered the workshop also very useful [in the spite of the 36, 0% of the participants to the previous Transnational Event], together with a 60, 0% of attendees who believed that it was quite useful and some 12, 0% (three fellows) who said they had no idea about this issue. 6 b.) Methoden Nach den Erfahrungen des 1. transnationalen Workshops in Lucena/Spanien bekam die Berücksichtigung der Methoden in den Handlungszielen eine explizite Nennung und bekam dadurch einen besonderen Stellenwert. Eine entsprechende methodische Planung von Workshops und Seminaren ist als Teil professioneller Tagungsgestaltung zu erwarten. Dass dennoch die Methoden zu einem Teil der Handlungsziele wurden, lässt vermuten, dass es eine unterschiedliche Vorgehensweise in der Tagungsorganisation der transnationalen Part- 4 Die Auswertung erfolgte auf der Basis von Fragebögen, die nach der Veranstaltung verschickt worden sind. Der Rücklauf lag bei 28 Fragebögen. Die Gesamtzahl der Teilnehmenden in den Workshops entspricht nicht dem Rücklauf. 5 Joint transnational Training Meta Module / Hattingen Germany / 18-21st September 2006 Monitoring and Evaluation Report, S.2 6 A. a. O., S.2 3

4 ner gibt bzw. dass in der Organisation des 1. Workshops in Lucena/Spanien erstmalig gemeinsame Erfahrungen gesammelt werden konnten. Diese konnten in dem Steering-Group- Meeting in Düsseldorf (Juni 06) bearbeitet werden. Die Anmerkungen zu methodischen Veränderungen bezogen sich auf: Die Gelegenheit zu mehr Rückfragen und Diskussionsmöglichkeiten in den Seminaren ( nicht mit Projekten bombardiert zu werden ), auf kleinere Arbeitsgruppen, auf die Diskussion von Makrothemen ( Qualifikation, Ausbildung z. B.) an Unterthemen und den Einsatz von gruppenorientierten Methoden, wie z. B. Rollenspielen, um von einer theoretischen Ebene zu praxisbezogenen Ansätzen wechseln zu können. 7 Ein sich durch alle Workshops durchziehendes Thema war die Sprachvermittlung, die in diesem Zusammenhang auch als ein methodisches Problem anzusehen ist. Die bei den Übersetzungen auftretenden semantischen Unterschiede in den verschiedenen Sprachen und die Auswahl der Dolmetscher führten immer wieder zu Nachfragen, um das eigene Verstehen sicher stellen zu können. Sowohl der Einsatz der Methoden als auch deren Effizienz und Effektivität bilden die Erfolgsindikatoren in den Handlungszielen. Die in der Zielbestimmung genannten Methoden: Arbeitsgruppen, Trainings, Vorträge, Diskussionen sind in allen Teilen des Workshops vorgekommen, wobei ein Schwerpunkt im Bereich der Diskussion und des Trainings lag. Nach den Ergebnissen des Monitorings hat sich eine Berücksichtigung der methodischen Vorschläge für die Tagungsdurchführung in allen Workshops bewährt, ist somit als Erfolg im Hinblick auf die Zielerreichung zu bewerten: Workshop 1: Bedeutung der Anerkennung von Qualifikationen und Fähigkeiten (EU- Richtlinie zur Anerkennung von Qualifikationen). Handlungsempfehlungen aus der Praxis 8 : Lastly, participants have been asked their opinion on their level knowledge on the objectives and on the impact of the European Regulation on the certification of professional qualifications over the national work and training systems after attending the Second SEED Transnational Event. The four fifths of them declare to have a higher knowledge; nevertheless, a significant fifth state to know only a little more. It is the case of five representatives belonging to both the German and Spanish delegations. Workshop 2: Europäische Standards für interkulturelle Mittler? 7 Eigene Protokollunterlagen des Steering-Group-Meetings aus Düsseldorf. 8 Die folgenden Zitate seind dem Monitoring Bericht entnommen worden. Es handelt sich dabei jeweils um die zusammenfassende Bewertung der Teilergebnisse. 4

5 In addition to that it must be quoted that all the participants declare to have got a relevant higher knowledge on the different CVs of Intercultural mediators in the three Member States Workshop 3: Cultural Mainstreaming, it must be quoted that the 88, 5% of participants declare to have got a significant higher knowledge on the meaning of the notion of Cultural mainstreaming. Workshop 4: Interkulturelle Kompetenz als Querschnittskompetenz in Beratung und Arbeitsvermittlung Therefore, it must be stated that the 80, 8% of participants declare to have got a significant higher knowledge about the Intercultural competencies of Job Advisors. Some 19, 2% of them have instead quoted to develop an only little new knowledge. They are all Spanish representatives, except for one German DP Member. b.) Zielgruppen Die Gewinnung von Mitarbeitenden ( Key people ) aus den aus den drei Entwicklungspartnerschaften, von Trainern und Bildungsbeauftragten, sowie Migrantinnen und Migranten war erfolgreich. Im Monitoring Bericht wird eine umfassende Verteilung der Zielgruppen und Key People vermerkt, sowie eine weitgehend gleichmäßige Verteilung von weiblichen und männlichen Teilnehmenden: Seminar s participants play a wide variety of different roles inside their respective national Equal projects: the three Transnational co-ordinators, National co-ordinators, Spanish social services director and city councillors, Italian DP members and city councillors, Project managers of different sub-projects in Germany, City co-ordinators and professionals. Their age is in between 27 and 56 years (the average being equal to 38,9), they are women in the 39,3% of cases [some eleven attendees] and they belong to the following nationalities: Spanish (14 people); German (6 people); Italian (5 people); Turkish (2 p.) White Russian (1 p.). 9 Für den Gesamtzusammenhang ist zu berücksichtigen, dass die Mehrzahl der Teilnehmenden bereits am Workshop in Lucena/Spanien inhaltlich beteiligt war und eine Teilnahme am 3. Workshop in Salerno/Italien zu erwarten ist. Dadurch wird eine Kontinuität in der Arbeit sichergestellt, die für den Informationsaustausch und die Formulierung von weiterführenden Aufgaben im Sinne einer Vernetzung mit anderen Projekten und der Sicherung nachhaltiger Ergebnisse für das Gesamtprojekt TP11 von großer Bedeutung sein kann. 9 Vgl.: Hattingen Germany / 18-21st September 2006 Monitoring and Evaluation Report, S.1 5

6 Durch die im Programm vorgesehenen Exkursionen und Gespräche (mit Vertretern der Polizei, DITIB, Angela Tillmann (MdL, SPD), Andrea Milz (MdL, CDU) kamen zusätzliche externe fachliche Impulse zum Abschluss der Workshops in die Runde der Teilnehmenden. 10 In den durchgeführten Interviews mit Teilnehmenden sind diese Programmpunkte als wichtiger Bestandteil für die Gesamtschau der Ergebnisse des Workshops benannt worden. Eine weitergehende Bewertung externe Referenten im Hinblick auf die Wirkung für das Gesamtprogramm wird im Abschlussbericht vorgenommen Gesamtbewertung des transnationalen Workshops in Hattingen (2006) In dieser Gesamtbewertung ist zu berücksichtigen, dass der transnationale Workshop in Hattingen ein Teilprodukt des TP11 ist und in seiner ganzen Wirkung umfassend nur in Beziehung zu den anderen Produkten bewertet und evaluiert werden kann. Dennoch ist eine Teilbewertung in der Hinsicht sinnvoll, in der eine Verbindung von Evaluationsdaten mit den Ergebnissen des Monitoring auf einen Programmausschnitt bezogen zusammengeführt werden. Der ausführliche und differenzierte Monitoringbericht von Francesca Coleti / Franchising ETnICO, Italien über den Workshop ermöglicht eine auf diesen Workshop bezogene Darstellung der Bewertungen durch die Teilnehmenden. Dadurch wird eine Überprüfung der im Evaluationsverfahren mit den Projektverantwortlichen formulierten Handlungsziele nicht ausschließlich auf die nachgängigen Befragungen durch die Evaluationsbeauftragten und deren Ergebnisse der teilnehmenden Beobachtung gestützt. Vielmehr geben die Teilnehmendenbewertungen einen durch ihre Produktnähe authentischeren Eindruck als das mit einer externen Evaluation möglich ist. Wie bereits oben ausgeführt sind die formulierten Handlungsziele für die I nhalte und die Umsetzung erreicht worden. Dieser Workshop hat als Folgeprodukt des 1. Workshops in Lucena/ Spanien die zentralen Projektziele thematisch aufgegriffen, weitergeführt und vertieft. Damit wurden für den geplanten 3. Workshop in Salerno/Italien bereits wichtige Vorarbeiten geleistet. Durch die Modifikation der Metho d e n konnte ein intensiverer Austausch unter den Teilnehmenden erreicht werden. Allerdings konnte die Sprachvermittlung auch in diesem Workshop nicht befriedigend gelöst werden. Das gilt besonders für die Randbereiche des Workshops, d.h., die inoffziellen Programmteile, wie gemeinsames Essen und Gespräche zwischen den Teilnehmenden am Rande der Veranstaltungen. Die gemeinsame Kommunikationssprache Englisch war nicht immer ausreichend, um differenziertere Gespräche zu führen. Allerdings wurde durch die teilnehmende Beobachtung festgestellt, dass gerade die- 10 Siehe Programm zum Transnationalen Workshop in Hattingen 6

7 se nicht sprachvermittelnden Anteile im informellen Workshopgeschehen für die Gruppenkohäsion eine wichtige Funktion hatten. Sie trugen als softe, d.h., nicht explizit planbare Erfolgsindikatoren wesentlich zum von den Teilnehmenden als positiv bewertetes Gruppenklima bei. Für weitere, ähnliche Programme sollte darum überlegt werden, ob die nicht sprachlich vermittelten Anteile noch ausgebaut werden können. Gerade wenn über Aspekte einer europäischen Vernetzung und Nachhaltigkeit hier vielleicht im Sinne weiterführender Kontakte und Austauschformen auf einer anderen Ebene nachgedacht wird, sollte das auch unter der Perspektive einer möglichst geringen Sprachvermittlung erfolgen. Einmal um sich von dieser Expertensteuerung schrittweise lösen zu können, zum anderen, um den Teilnehmenden das Selbstvertrauen in die eigenen kreativen Sprachvermittlungsmöglichkeiten zu geben. Die Gewinnung und Auswahl der Ziel g r u p p e n ist auch auf der Handlungszielebene gelungen. Die Kontinuität der Teilnehmenden vom ersten zum zweiten Workshop zeigt, dass die Thematik von hoher Relevanz für den eigenen Arbeitsbereich ist. Da es sich um eine Mischung von professionellen Fachkräften aus unterschiedlichen Bereichen handelte, die ihre Gemeinsamkeit darin haben, dass sie weitgehend im operativen Bereich tätig sind, d.h., mit Umsetzungsfragen in der Praxis, konnten die Querschnittsthemen (Cultural Mainstreaming und interkulturelle Kompetenz) überwiegend an direkte Praxiserfahrungen gebunden werden. Die sich aus den Diskussionen ergebenden Folgerungen und Forderungen sind als Bottom up Prozess zu sehen, der, wenn er die Chance bekommt, durchaus praxisrelevante Veränderungen auf der europäischen Ebene anregen kann. Von den in der GI Equal Programmevaluation zu berücksichtigen Querschnittsthemen (s.o.) konnte in diesem Zusammenhang nur der i nnovative Charakt e r der Maßnahme betrachtet werden. Die Innovation ist darin zu sehen, dass die im transnationalen Kontext verhandelten Themen nicht auf der Steuerungsebene im europäischen Kontext verhandelt werden, sondern überwiegend durch Vertreterinnen und Vertreter der operativen Ebene. Die Interviewergebnisse aus dem ersten und zweiten Workshop zeigten, dass dadurch viele Impulse ausgelöst worden sind, die in die einzelnen Projekte zurückwirkten. Allerdings wurde auch deutlich, dass durch die unterschiedlichen rechtlichen Rahmenbedinungen teilweise Arbeitsformen nicht uneingeschränkt übertragbar sind. Inwieweit die Kosten/Nutzen Relation im Verhältnis zum innovativen Charakter der Maßnahme zu bewerten ist, kann an dieser Stelle nicht abschließend festgestellt werden, da das Einzelprodukt workshop eine isolierte Betrachtung nicht zulässt. Insgesamt ist das Produkt Workshop in Hattingen aus Sicht der Evaluation in Verbindung mit den Daten des Monitoring als erfolgreich zu bewerten. Dr. Gert Straßer 7