Projekt AWICO (INSTRUMENT FOR ASSESSMENT OF WIDER COMPETENCIES) LEONARDO DA VINCI Transfer of Innovation No. LLP-LdV-TOI-2008-LI 164.603 SBF-NR. LLP/09/65-L SCHLUSSBERICHT Inhalt 1. Einleitung und Zusammenfassung 2. Projektresultate 2.1 Projekttreffen, Expertentreffen und Expertengruppe 2.2 Nationale Situationsanalyse und Vergleich der Kompetenzprofile 2.3 Entwicklung und Feldtest des computergestützten Tools 2.4 Implementierung 2.5 Dissemination 2.6 Verbreitung der Projektresultate in der Schweiz 3. Fazit 4. Kontakt Beilagen zum Schlussbericht 1. Abschluss Finanzen 2. AWICO-Beraterhandbuch 3. EU-Schlussbericht 4. Evaluationsbericht des EU-Projektes 5. Vereinbarung zur Übertragung der AWICO-Rechte an den SVEB SVEB/ Irena Sgier, Projektleiterin AWICO Schweiz Zürich, 30. März 2012 1
1. Einleitung und Zusammenfassung Hauptziel des Projektes AWICO war es, einen computergestützten Test für die Erfassung von Schlüsselkompetenzen zu entwickeln, die auf dem Arbeitsmarkt gefragt sind. Der Test richtet sich an eine spezifische Zielgruppe: Personen, die entweder keinen Berufsabschluss haben oder deren Abschluss sehr lange zurück liegt und die sich nicht weitergebildet haben. Es geht also um Personen, deren Arbeitsmarktchancen in der Schweiz, wo Arbeitsplätze für wenig Qualifizierte immer rarer werden, gering sind. Die Idee hinter dem Projekt war, dass diese Zielgruppen ihre Arbeitsmarktfähigkeit steigern können, wenn sie über gute Schlüsselkompetenzen verfügen und dies auch nachweisen können. Das Testzertifikat kann den fehlenden Berufsabschluss nicht wettmachen, es kann aber dazu beitragen, dass Arbeitgeber wenig qualifizierten BewerberInnen eine Chance geben, wenn für die fragliche Tätigkeit Schlüsselkompetenzen wichtiger sind als Fachwissen. Auf diesem Hintergrund wurde der Test in Zusammenarbeit mit TestpsychologInnen der Sigmund Freud Universität Wien und Fachleuten aus der Praxis entwickelt. Zur Sicherstellung der Validität wurde AWICO in allen Partnerländern im Feldtest erprobt, nach wissenschaftlichen Kriterien evaluiert und weiterentwickelt. Die Expertengruppe, in der auch der SVEB vertreten war, hat den ganzen Prozess sowie die Implementierung begleitet. Der SVEB-Beitrag wurde wie geplant realisiert. Zusätzlich hat der SVEB im Rahmen des bewilligten Budgets die Aufgabe übernommen, die internationale AWICO-Agentur aufzubauen. AWICO wurde in den bestehenden Projektschwerpunkt Grundkompetenzen des SVEB eingebettet. Ein ursprünglich nicht vorgesehener Workshop für BeraterInnen, die den Test in ihrer Institution einsetzen, trug dazu bei, den Test in der Praxis weiter zu verankern. Der Workshop fand im Dezember 2011 in Zürich statt. Eine weitere, ursprünglich ebenfalls nicht vorgesehene Leistung ist die wissenschaftliche Analyse des Tools im Rahmen eines Masterstudiums in Erwachsenenbildung. Diese Arbeit wurde nicht über das Projekt finanziert. Das Interesse am AWICO-Tool ist in der Schweiz vorhanden. Rund 70 Institutionen, die mit wenig Qualifizierten arbeiten, registrierten sich bereits in den ersten Wochen nach Lancierung des Tests, um das Tool für ihre Institutionen zu erproben. Bei Projektabschluss Ende März 2012 waren rund 110 Institutionen registriert. Die Nutzung des Tools war während der Laufdauer des Projektes kostenlos. Alle Testresultate werden in anonymisierter Form in einer Datenbank gesammelt und stehen dem SVEB für wissenschaftliche Analysen und für die Weiterentwicklung des Tests zur Verfügung. Auf EU-Ebene wurde das AWICO-Projekt bereits Ende September 2011 abgeschlossen. Aufgrund der erfolgreichen Testphase in der Schweiz beschlossen die internationalen Partner, alle Rechte am Test sowie die AWICO-Agentur an den SVEB zu übertragen (vgl. Beilage). Das AWICO-Projekt hat bei der offiziellen Schluss-Evaluation der EU-Agentur mit 8 von 10 möglichen Punkten eine sehr gute Gesamtwertung erhalten (vgl. Beilage). 2
2. Projektresultate 2.1 Projekttreffen, Expertentreffen und Expertengruppe Die internationale Gesamtleitung von AWICO lag bei Renate Haas-Beck (Stiftung Erwachsenenbildung in Liechtenstein), die wissenschaftliche Leitung lag bei Prof. Giselheer Guttmann, einem ausgewiesenen Experten in Testpsychologie der Sigmund Freud Universität Wien. Die übrigen beiden Partner Grossbritannien und Bulgarien waren mit grossen Bildungsorganisationen im Projekt vertreten. Aufgrund dieser Zusammensetzung des Projektkonsortiums boten sich gute Möglichkeiten, den Test in enger Verbindung zwischen Theorie und Praxis zu entwickeln. Im Rahmen von AWICO fanden wie geplant fünf Projekttreffen statt. Der SVEB hat bei allen Treffen aktiv an der inhaltlichen Vorbereitung und Realisierung mitgearbeitet. Die Treffen fanden statt: - Kick-off Meeting im Oktober 2009 in Vaduz - Zweites Meeting im März 2010 in Wien - Drittes Meeting im September 2010 in Swansea, Wales UK - Viertes Meeting im März 2011 in Sofia, Bulgarien - Abschlussmeeting im Anschluss an die Schlusskonferenz im Juni 2011 in Vaduz. Zusätzlich fand im Januar 2011 in Zürich ein ganztägiges Expertentreffen statt, an dem die vollständige Expertengruppe des EU-Projektes sowie zwei Personen des SVEB-Projektschwerpunktes Grundkompetenzen teilnahmen. Im Zentrum der Meetings stand die Testentwicklung. Die wissenschaftliche Verantwortung lag bei der Sigmund Freud Universität Wien, inhaltlich wurde der Test in enger Zusammenarbeit mit der Projektgruppe entwickelt. Damit wurde der Praxis- und Zielgruppenbezug sichergestellt und zusätzlich gewährleistet, dass kulturelle Unterschiede sowie Unterschiede zwischen den Berufsbildungssystemen der Partnerländer berücksichtigt werden konnten. Die internationale Expertengruppe bestand aus sechs Personen. Die Schweiz war darin mit zwei Personen vertreten (Ruth Meyer, Irena Sgier). Neben der internationalen Expertengruppe wurde wie geplant mit nationalen ExpertInnen zusammengearbeitet. Diese Expertengruppe bestand aus TeilnehmerInnen des Beraterworkshops vom Dezember 2011 in Zürich. Diese Fachleute hatten das Tool bereits in ihren Institutionen eingesetzt und konnten somit wertvolle Rückmeldungen und Hinweise zur praxisorientierten Verbesserung des Tests liefern. Im Anschluss an den Workshop wurde die Gruppe über die Entwicklung auf dem Laufenden gehalten. Die ExpertInnen werden die Implementierungsphase des Tests in Form einer Begleitgruppe weiter unterstützen. Sie sind bereit, ihr Know-how und ihre Erfahrungen bei der Testnutzung einzubringen, wenn inhaltliche Anpassungen am Test nötig werden. Wie in der Testpsychologie üblich, wird der Testinhalt regelmässig auf seine Validität hin überprüft. 2.2 Nationale Situationsanalyse und Vergleich der Kompetenzprofile Zur Abklärung der bestehenden Situation wurde in der Anfangsphase eine schriftliche und telefonische Recherche bei Institutionen durchgeführt, die mit wenig Qualifizierten arbeiten. Diese zeigte, dass in der Schweiz keine standardisierten Verfahren zur Erfassung von Schlüsselkompetenzen bei wenig 3
Qualifizierten bekannt oder in Gebrauch sind. Die Recherche zeigte ausserdem, dass Fachleute bei Laufbahn- und Berufsberatungen, Weiterbildungsanbietern, RAV und weiteren Organisationen an einem solchen Testinstrument interessiert und grundsätzlich bereit waren, es bei ihren TeilnehmerInnen einzusetzen. Auf dieser Basis konnten wir davon ausgehen, dass in der Schweiz der Bedarf und die Offenheit für Instrumente wie AWICO vorhanden war, was sich im Verlauf des Projektes mehrfach bestätigte. Der geplante Vergleich bestehender Kompetenzprofile war integraler Bestandteil der Testentwicklung. Wichtigster Bezugspunkt war der Europäische Qualifikationsrahmen (EQR). Da die Schweiz noch über keinen nationalen Qualifikationsrahmen (NQR) verfügt, orientierten wir uns für die nationale Einordnung der Kompetenzen am ISCED-Schema sowie an Qualifikationsprofilen, die im Rahmen von Validierungsverfahren wie CH-Q verwendet werden. Bei der Ausarbeitung der einzelnen Testfragen wurden ausserdem Kompetenzprofile und didaktische Materialien aus Wales beigezogen. Diese Materialien sind auf dieselbe Zielgruppe zugeschnitten wie AWICO, und sie verfügen mit dem NQR von Wales bereits über eine detaillierte Referenzierung zum EQR. Dieser Referenzrahmen erleichterte die Expertenarbeit und gewährleistete, 2.3 Entwicklung und Feldtest des computergestützten Tools Der Test wurde wie erwähnt in der internationalen Expertengruppe entwickelt. Die Testfragen wurden grösstenteils durch das Schweizer Projektteam entwickelt, anschliessend mit der Expertengruppe diskutiert und von den TestpsychologInnen der Universität Wien wissenschaftlich für das Testformat aufbereitet und validiert. Die Expertengruppe entschied sich für 4 Kompetenzbereiche: - Persönliche Kompetenzen - Kommunikation - Problemlösen - Zusammenarbeit in Teams Zu diesen vier Bereichen wurden je rund 25 Fragen auf den EQR-Niveaus 2 und 3 ausgearbeitet. Die Niveaus 1 und 4 dienten als Abgrenzungsniveaus zur Sicherstellung einer präzisen Zuordnung der Testniveaus. Für die Software-Entwicklung war die Liechtensteiner Firma Kyberna zuständig. Die Schweizer AWICO- Projektleiterin sowie weitere Personen, die beim SVEB im Bereich Internet und Informatik tätig sind, haben die Tool-Entwicklung begleitet und sich speziell für die Benutzerfreundlichkeit des Tests eingesetzt. Testphase Die erste Toolversion wurde in einem umfangreichen Feldtest in Wales getestet. Anschliessend wurde der Test mit statistischen Methoden auf Validität und Reliabilität hin analysiert und nochmals adaptiert. Die zweite Toolversion wurde in allen Partnerländern getestet. In der Schweiz nahmen drei Organisationen mit insgesamt 74 Personen am Feldtest teil: - Stiftung Chance, Schlieren 4
- Hotel und Gastro Formation, Weggis - Zentrum für angewandte Wirtschaftsentwicklung ZAW, Uster Die Resultate wurden zusammen mit den Feldtests der übrigen Länder ausgewertet. Im Anschluss daran wurden auf testtheoretischer Basis nochmals Anpassungen vorgenommen. Diese Version war wissenschaftlich genügend abgesichert, um bei Organisationen für reale Tests verwendet werden zu können. In der Testpsychologie ist es üblich, rund 6 bis 12 Monate nach Einführung eines neuen Tests dessen Validität nochmals zu überprüfen. Es ist geplant, dies auch bei AWICO nach Projektabschluss im Jahr 2012 vorzunehmen. 2.4 Implementierung AWICO-Agentur Die AWICO-Agentur wurde im Juni 2011 bei der Projektleitung in Vaduz eingerichtet. Sie war als internationale Anlaufstelle für alle Fragen rund um AWICO sowie für die Implementierung des Tests verantwortlich. Seit dem 1. Oktober 2011 ist die AWICO-Agentur beim SVEB angesiedelt. Die Projektpartner haben dem SVEB alle Rechte am Tool abgetreten, so dass die Verantwortung für Implementierung und Dissemination seit Abschluss des EU-Projektes (Sept. 2011) beim SVEB liegt. Die Agentur ist der Abteilung Entwicklung und Innovation zugeordnet und wurde dort in den Projektschwerpunkt Grundkompetenzen integriert. Damit steht das bestehende Netzwerk an Fachleuten und Organisationen, die mit wenig Qualifizierten arbeiten, auch für AWICO zur Verfügung. Die Agentur beantwortet Anfragen von Organisationen, richtet Beraterzugänge ein, pflegt die Website und publiziert regelmässig Informationen über den Test. Sie hat ausserdem den ersten Beraterworkshop organisiert und die nationale Expertengruppe aufgebaut. Beraterworkshop Die AWICO-Agentur führte im September 2011 eine Umfrage bei allen rund 70 Institutionen durch, die sich als Testnutzer registriert hatten. Ziel der Umfrage war es, Stärken und Schwächen des Tools aus Sicht der BeraterInnen zu eruieren. Wie die Resultate zeigten, bestand in einzelnen Bereichen Verbesserungsbedarf, was die Agentur dazu bewog, eine kleine Gruppe engagierter BeraterInnen zu einem Workshop einzuladen und die Optimierungen gemeinsam mit ihnen vorzubereiten. Der Workshop fand am 1. Dezember unter der Leitung der AWICO-Expertin Ruth Meyer in Zürich statt. 5 ExpertInnen sowie zwei SVEB-Vertreterinnen nahmen daran teil. Die Resultate erwiesen sich als wertvoller Input zur Weiterentwicklung des Tests. So konnten im Anschluss an den Workshop insbesondere die Benutzerfreundlichkeit, das Feedbackformular für BeraterInnen und Teilnehmende sowie das Testzertifikat verbessert werden. Zusätzlich gaben die ExpertInnen Hinweise für eine verbesserte Zielgruppenorientierung. Alle Inputs wurden aufgenommen und soweit sinnvoll auch umgesetzt. 5
Beteiligte Organisationen Bisher haben sich 110 Organisationen als Testnutzer registriert. Das Spektrum reicht von Berufs- und Laufbahnberatungen über Coaching-Angebote und RAV-Kurse bis zu Integrationskursen in der deutschen und französischen Schweiz. Die Nutzung ist bis drei Monate nach Projektende (Juni 2012) kostenlos. Der Test ist internetbasiert, aber passwortgeschützt. Er kann deshalb nur bei registrierten Organisationen und in Zusammenhang mit einer Beratung absolviert werden. Damit wurde sichergestellt, dass das Tool adäquat und im Interesse der Testpersonen genutzt wird. Zielgruppen Der Test wurde so gestaltet, dass er sich für Personen eignet, die entweder keinen anerkannten Berufsabschluss haben oder deren Abschluss lange zurück liegt und die sich nicht weitergebildet haben. Es wurde darauf geachtet, arbeitplatzbezogene Kompetenzen zu testen, ohne diese an spezifische Berufsgruppen auszurichten. Die Teilnehmenden führen den Test selbstständig am Computer durch und können anschliessend eine kurze schriftliche Auswertung ihre Resultate herunterladen. Eine zusätzliche, detailliertere Fassung der Resultate steht den BeraterInnen zur Verfügung; diese bildet die Grundlage des anschliessenden Beratungsgesprächs, bei dem es darum geht, aufgrund der festgestellten Stärken und Schwächen weitere Fördermassnahmen zu planen. Mit dem Testresultaten erhalten die Teilnehmenden ausserdem ein schriftliches Zertifikat, auf dem nur jene Kompetenzen aufgeführt sind, bei denen sie gute Testresultate aufweisen. Dieses Zertifikat bleibt in ihrem persönlichen Besitz und kann auf Wunsch bei Bewerbungsdossiers beigefügt werden. Ziel dieses Vorgehens, war es, den Teilnehmenden neben der Einsicht ich ihre Kompetenzen auch Beratung sowie einen schriftlichen Nachweis ihrer Stärken anbieten zu können. 2.5 Dissemination Website www.awico.li Die Website ist dreisprachig in Deutsch, Französisch und Englisch verfügbar. Während der internationalen Projektphase stand sie auch in Bulgarisch zur Verfügung, diese Version wurde jedoch Anfang 2012 abgeschaltet, nachdem in Bulgarien geringes Interesse am Test bestand. Die Website dient sowohl der Implementierung wie der Dissemination und Information über AWICO. Der Inhalt der Website wurde beim SVEB entwickelt und ins Französische übersetzt. Seit Übernahme der AWICO-Agentur wird die Website mit allen Sprachversionen durch den SVEB betreut und aktualisiert. Die Website bietet die wichtigsten Informationen zum Tool, informiert über aktuelle Entwicklungen und dient zugleich als Portal für den Zugang zum Test. Über die Website können die Organisationen bei der Agentur einen Beraterzugang bestellen. Bereits registrierte Organisationen loggen sich über die Website ein, wenn sie ihre TeilnehmerInnen testen wollen. Die Daten der getesteten Personen werden zentral gespeichert und sind nur der AWICO-Agentur zugänglich. Sie werden vertraulich behandelt und können bei Bedarf in anonymisierter Form für Forschungszwecke verwendet werden. 6
AWICO-Broschüre Bei der Lancierung des Tests im Juni 2011 wurde eine kleine Broschüre mit den wichtigsten Informationen erstellt; diese liegt in gedruckter und elektronischer Form vor. Sie wurde zusammen mit einer Medienmitteilung an alle wichtigen Fachmedien sowie an Verbände und Organisationen gesandt, die mit den AWICO-Zielgruppen arbeiten. Beraterhandbuch Wie das Feedback von BeraterInnen und Organisationen zeigte, bestand ein Bedarf an detaillierteren Informationen und Hilfestellungen für BeraterInnen, die den Test einsetzen und anschliessend ihre Teilnehmenden in den Schlüsselkompetenzen fördern wollen. Der SVEB hat dieses Anliegen ernst genommen und in Kooperation mit der externen Expertin Ruth Meyer ein Beraterhandbuch mit kompakten Informationen erstellt. Dieses steht auf der Projektwebsite allen Interessierten zur Verfügung. Es erleichtert es den BeraterInnen, die Testresultate ihrer KlientInnen zu interpretieren und geeignete Fördermassnahmen zu bestimmen. Medieninformation Neben einem umfangreichen Medienversand zur Lancierung des Tools im Juni 2011 fanden im Lauf des Projektes mehrere Medieninformationen statt, unter anderem bei der Übernahme der AWICO-Agentur durch den SVEB. So berichtete unter anderem der Newsletter der Fachzeitschrift Panorama in der Ausgabe 14/2011 Ende August 2011 über das Tool. Weitere Beiträge sind im SVEB-Newsletter und in der Zeitschrift Education Permanente im Sommer 2012 geplant, um die Implementierung des Tests weiter zu unterstützen. Die Medieninformationen und die parallele Information aller SVEB-Mitglieder im September 2011 führten innerhalb weniger Tage zu zahlreichen Anmeldungen von Organisationen, die AWICO einsetzen wollten. Dies zeigt, dass das Tool sich gut in die Palette der SVEB-Dienstleistungen einfügt und die Aussichten gut stehen, das Tool über die SVEB-Netzwerke dauerhaft in der Praxis zu implementieren. Neben Medienversänden wurden die bestehenden SVEB-Kanäle genutzt: Der monaltliche Newsletter informierte mehrmals über den Stand des AWICO-Projektes, die Website www.alice.ch bot seit Projektbeginn ebenfalls aktuelle Informationen, und die Fachzeitschrift EP 2011-3 informierte über die Verfügbarkeit des Tools und die Übernahme der Agentur durch den SVEB. Dissemination in Fachkreisen AWICO wurde an mehreren Fachtagungen vorgestellt, darunter die GO-Abschlusstagung (Grundkompetenzen) vom Juni 2011 in Biel und die Tagung des Europäischen Netzwerks für Grundkompetenzen (European Basic Skills Network EBSN), die ebenfalls im Juni in Vaduz stattfand. Letztere war zugleich die AWICO-Schlusskonferenz; ein halbtägiger Workshop im Rahmen der EBSN- Konferenz war AWICO gewidmet und bot Gelegenheit, das europäische Netzwerk als Multiplikator zu nutzen. Im Weiteren wurde AWICO im Rahmen von Sitzungen und Tagungen für Fachleute eingebracht, die mit wenig Qualifizierten arbeiten. Die AWICO-Broschüre wurde auch an der jährlichen Plattformtagung AdA (Ausbildung der Ausbildenden) im Juni 2011 aufgelegt. Informationen zum Test wurden an weiteren SVEB-Events abgegeben, insbesondere bei Anlässen für Fachleute, die mit wenig wenig Qualifizierten 7
arbeiten oder Kurse im Bereich Grundkompetenzen anbieten. Der SVEB organisiert jährlich rund 30 Events, wovon die meisten sich an Fachleute richten, die Weiterbildungen planen und leiten oder Lernende beraten und begleiten. 3. Fazit Das Projekt AWICO war für den SVEB sehr produktiv. Ein Testinstrument zur Messung von Schlüsselkompetenzen für den Arbeitsmarkt zu entwickeln, das sich an wenig Qualifizierte richtet, bedeutete Neuland zu betreten. Bisher existieren für diese Zielgruppe keine solchen Instrumente im Gegensatz zur Zielgruppe hoch Qualifizierter, wo diverse Test- und Assessmentinstrumente zur Verfügung stehen. Aus SVEB-Sicht positiv ist ausserdem die Verbindung von AWICO zum Fachbereich Grundkompetenzen, der im SVEB eine wichtige Rolle spielt. Der AWICO-Test konnte bereits in der Projektentwicklungsphase von dieser Vernetzung profitieren und hat durch die Synergien auch langfristig deutlich bessere Chancen, sich in der Praxis durchzusetzen, als dies bei einer isolierten AWICO-Agentur der Fall wäre. Das AWICO-Projekt hat bei der offiziellen Schluss-Evaluation der EU-Agentur mit 8 von 10 möglichen Punkten eine sehr gute Gesamtwertung erzielt. Zu diesem positiven Ergebnis hat auch die Teilnahme der Schweiz als Silent Partner Wesentliches beigetragen. Die Markteinführung des Tests in der Schweiz sowie seine Vernetzung mit anderen, im SVEB angesiedelten Massnahmen für wenig Qualifizierte hat schafft die Voraussetzungen für einen nachhaltigen Transfer der Projektresultate in die Praxis. 4. Kontakt: Schweizersicher Verband für Weiterbildung SVEB Irena Sgier Oerlikonerstrasse 38 8057 Zürich Tel: 044 319 71 59 / Fax: 044 319 71 77 Website: www.alice.ch, E-Mail: irena.sgier@alice.ch 8