SBFI, Juni Nationale Evaluation Case Management Berufsbildung. Pflichtenheft

Transkript

1 SBFI, Juni 2014 Nationale Evaluation Case Management Berufsbildung Pflichtenheft

2 Inhalt 1 AUSGANGSLAGE RAHMENBEDINGUNGEN CASE MANAGEMENT BERUFSBILDUNG ZIEL UND NUTZEN DER EVALUATION STAKEHOLDER EVALUATIONSGRUNDLAGEN EVALUATIONSDIMENSIONEN HYPOTHESEN UND FRAGESTELLUNGEN VORGEHEN UND DATENGRUNDLAGE FORMALE ASPEKTE ZUSAMMENARBEIT MIT DER AUFTRAGGEBERIN ZEITPLAN - MEILENSTEINE INHALT DER OFFERTE ZUSCHLAGSKRITERIEN KOSTENDACH EINREICHUNG, KONTAKTPERSON VERTRAGSBEDINGUNGEN /9

3 1 Ausgangslage 1.1 Rahmenbedingungen Das vorliegende Dokument dient den interessierten Personen und Unternehmen als Pflichtenheft und Arbeitsgrundlage für die Offertstellung. Es erläutert den Hintergrund des Auftrags, den Inhalt des Mandats, die Projektorganisation und informiert über die Form der Offerte. Das Staatssekretariat für Bildung, Forschung und Innovation (SBFI) misst der Evaluationstätigkeit einen hohen Stellenwert bei. Der Bundesrat hat die Ämter, die Departemente und die Bundeskanzlei aufgefordert, eine Amtsstrategie für Wirksamkeitsüberprüfungen zu entwickeln sowie die verantwortlichen Stellen mit den notwendigen Ressourcen zur Durchführung und Begleitung der Wirksamkeitsüberprüfungen auszustatten. 1,2 Für die Berufsbildung wird in Artikel 66 der Berufsbildungsverordnung (BBV) festgehalten, dass die Gewährung eines Beitrags für Projekte an die Evaluation der unterstützten Massnahmen gebunden ist. Das Berufsbildungsgesetz (BBG) sieht schliesslich vor, dass die Entwicklung der Berufsbildung kontinuierlich überprüft werden muss. 1.2 Case Management Berufsbildung Bund, Kantone, Wirtschaft und Gesellschaft haben ein grosses Interesse daran, dass möglichst alle Jugendlichen einen nachobligatorischen Abschluss erreichen. Bund und Kantone haben 2011 gemeinsam u. a. das bildungspolitische Ziel festgelegt, die Quote der Abschlüsse auf Sekundarstufe II auf 95% zu steigern. Das Case Management Berufsbildung (CM BB) soll dazu beitragen, dieses Ziel zu erreichen, indem es Jugendliche mit Schwierigkeiten in verschiedenen Lebensbereichen in eine berufliche Ausbildung begleitet bzw. dafür sorgt, dass die Jugendlichen nicht aus dem Bildungssystem herausfallen. CM BB ist ein strukturiertes Verfahren: Eine fallführende Stelle sorgt über institutionelle Grenzen hinweg während den Phasen der Berufswahl und der Berufsausbildung für ein planmässiges, koordiniertes und kontrolliertes Vorgehen. Durch die Abstimmung der Aktivitäten aller Beteiligten soll die Effizienz und Wirksamkeit der eingesetzten Massnahmen erhöht werden. Ein weiteres Ziel des CM BB ist es, die persönlichen Kompetenzen der Jugendlichen soweit zu entwickeln, dass sie aus eigenen Kräften den Anforderungen von Gesellschaft, Wirtschaft und Bildung genügen und sich entfalten können (Hilfe zur Selbsthilfe) 3. Gestützt auf BBG, Art. 3 lit. a und c, Art. 7 und Art. 12 hat der Bund die Einführung von CM BB in den Kantonen zwischen 2008 und 2011 gefördert. Um die Überführung des CM BB in die kantonalen Strukturen sicherzustellen, unterstützt der Bund im Rahmen einer Konsolidierungsphase die Kantone noch bis Überdies begleiteten die Schweizerische Berufsbildungsämter-Konferenz (SBBK) und der Bund die Umsetzung mit verschiedenen Teilprojekten. Die Kantone haben seit der Einführung des CM BB vor sechs Jahren die Konzepte laufend weiterentwickelt und den spezifischen Rahmenbedingungen angepasst. Gemäss der zwischen 2010 und 2011 durchgeführten Umsetzungsevaluation sind vier Profile erkennbar. Die Profile unterscheiden sich in Bezug auf die Fallführung (aus einer Hand oder nicht), die institutionelle Einbindung (verwaltungsin- 1 Schweizerischer Bundesrat (2004): Umsetzung von Artikel 170 BV/Verstärkung der Wirksamkeitsüberprüfung, Bern. 3. November. 2 Bundesamt für Justiz (2006): Entscheide des Bundesrats vom 3. November 2004 zur Verstärkung der Wirksamkeitsüberprüfungen bei Bundesrat und Bundesverwaltung (ergänzt durch die Empfehlungen der Generalsekretärenkonferenz (GSK) vom 19. Dezember 2005 über Qualitätsstandards). Konsolidierte Übersicht über die Entscheide. Empfehlungen zum Zeitpunkt der Umsetzung, Bern. 3 Case Management Berufsbildung. Grundsätze und Umsetzung in den Kantonen. BBT, 22. Februar Bern. 3/9

4 tern vs. externe Mandatierung), die Funktion und Rolle der Case Manager/innen sowie die räumliche Anordnung (zentrale vs. dezentrale Anlaufstellen) 4. 2 Ziel und Nutzen der Evaluation Der Bund plante von Beginn weg, Entwicklung und Wirkung des CM BB zu evaluieren. In der ersten Phase wurde , zwei Jahre nach Einführung des CM BB, der Vollzug in den Kantonen überprüft. In der zweiten Phase soll nun mit Projektabschluss 2015 eine Wirkungsmessung vorgenommen werden. Hauptziel der zweiten Evaluation ist es zu überprüfen, welche Wirkungen seit Einführung des CM BB erreicht werden konnten. Insbesondere soll aufgezeigt werden, ob das CM BB zur langfristigen Problemlösung beiträgt. Case Management beinhaltet neben der eigentlichen Fallführung auch die Ebene des Systemmanagements. Diesbezüglich interessiert vor allem, ob durch die Koordination und Kooperation der beteiligten Akteure und Akteurinnen die Effizienz und Effektivität auf der Verwaltungsebene gesteigert werden konnte. Bei der Evaluation des CM BB handelt es sich um eine begleitende Evaluation, da das Case Management in den meisten Kantonen weitergeführt wird. Entsprechend soll die Evaluation sowohl formativ als auch summativ ausgerichtet werden. Die Ergebnisse der Evaluation sollen einerseits dem Bund und den Kantonen zur Rechenschaftslegungen dienen. Anderseits soll die Evaluation aufzeigen, welche Aspekte sich besonders bewährt haben, welche sich nicht bewährt haben, wo die grossen Herausforderungen liegen und wo es Optimierungspotential gibt. Überdies interessiert: welche Umsetzungsmodelle besonders wirkungsvoll sind und welche künftigen Entwicklungen sich abzeichnen. 3 Stakeholder Zu den wichtigsten Stakeholder des CM BB gehören die Förder- und Umsetzungsinstitutionen sowie Adressaten und Empfänger, die schliesslich von der Verhaltensänderung der Zielgruppe profitieren oder in einer anderen Form betroffen sind. Die folgenden Stakeholdergruppen sollten in die Evaluation einbezogen werden. Abbildung 1: Stakeholder Empfänger, die von der Verhaltensänderung der Zielgruppe profitieren - ALV, SECO - IV, BSV - Sozialdienste - Schulen - Lehrstellenanbieter - Jugendliche Förderinstitutionen & Verantwortliche für die Umsetzung - SBFI - SBBK - Kantonale Leitungen des CM BB Weitere Akteure, die vom CM BB indirekt betroffen sind - Migrationsstellen und Integrationsförderung, BFM - Arbeitnehmer- und Arbeitgeberverbände - SDBB, Diartis - KJPD 4 Nationales Projekt Case Management Berufsbildung. Bericht zur Umsetzungsevaluation. BBT, Juni Bern. 4/9

5 4 Evaluationsgrundlagen 4.1 Evaluationsdimensionen Das folgende Modell bildet Qualitäts- und Wirkungsdimensionen des CM BB ab. Der Fokus liegt bei der geplanten Evaluation auf der direkten und indirekten Wirkungsprüfung. Abbildung 2 Dimensionen von Qualität und Wirkung Umfeld (Politik, Wirtschaft, Kultur etc.) Strukturqualität: Finanzielle/personelle Ressourcen Qualifikation MA /Belastung CM Organisatorische Einbindung Grad der Verankerung Netzwerksteuerung Prozessstandards Doku./Software Prozessqualität: Ablaufqualität: - Fallaufnahme - Assessment - Unterstützungsplanung /- leistungen - Fallführung Zusammenarbeit der Beteiligten Direkte Wirkung Effekte/Zielerreichung: - Abbau der Problemlage - Ressourcenförderung Lebensqualität Ausbildungsstand Kundenzufriedenheit Partnerzufriedenheit Image/Aussenwahrne hmung Indirekte Wirkung Auswirkung auf Gesamtsystem: - Abnahme der Anzahl Personen ohne Sek II- Abschluss - Senkung der Jugendarbeitslosigkeit - Einsparungen von Sozialversicherungsleistungen Effizienz des Gesamtsystems Effizienz: Effektivität: Kosten Nutzenerreichung Kosten/Nutzen- Relation Nutzen Darstellung in Anlehnung an Donabedian (1980) 4.2 Hypothesen und Fragestellungen Seit der Einführung des CM BB hat sich der Lehrstellenmarkt aufgrund demographischer und anderer Entwicklungen entspannt. Zudem beeinflussen die kantonalen Rahmenbedingungen die Art und Weise der Umsetzung und welche Ziele mit dem CM BB verfolgt werden. Die unterschiedlichen Voraussetzungen, die in den letzten Jahren stattgefundenen Entwicklungen sowie das unterschiedliche Verständnis von CM BB müssen bei der Durchführung der Evaluation mitgedacht werden. Ausgangspunkt der geplanten Evaluation sind die folgenden Hypothesen: H1: Bei den relevanten Akteuren (Institutionen) im Umfeld des CM BB entsteht eine höhere Bereitschaft zur Partizipation und Kooperation. H2: Das CM BB führt zu ausdifferenzierten Abläufen und effektiveren organisatorischen Rahmenbedingungen in den kantonalen Berufsbildungsämtern. H3: Das CM BB führt zu höheren einzelfallbezogenen Wirkungen sowohl beim Jugendlichen als auch bei den weiteren Beteiligten. H4: Eine kohärente Zusammenarbeit an den Schnittstellen zwischen CM BB und den Institutionen des Systems der sozialen Sicherheit ermöglicht auch für jene Jugendlichen, welche den Einstieg in eine Ausbildung nicht auf Anhieb schaffen, frühzeitig eine ihren Fähigkeiten entsprechende Bildungsstrategie zu entwickeln. 5/9

6 H5: Die Jugendlichen, die durch das CM BB begleitet werden, schliessen eine Ausbildung auf Sekundarstufe II ab, sind weniger häufig von Arbeitslosigkeit betroffen bzw. von der Sozialhilfe abhängig. Aus den in Abbildung 2 dargestellten Evaluationsdimensionen und den Hypothesen ergeben sich folgende Fragestellungen. Tabelle 1: Fragestellungen Strukturqualität Ebene a. Führen die Strukturen des CM BB zu besseren und effektiveren Unterstützungsleistungen? einzelfallbezogen b. Welchen Einfluss üben die CM-Strukturen auf die Adressaten und Verfahrensbeteiligten einzelfallbezogen aus? c. Erlauben die CM-Strukturen eine nachhaltige Verankerung für eine langfristige organisationsbezogen Weiterführung? d. Inwiefern wirkt sich die Einhaltung der Datenschutzvorgaben auf die Zusammenarbeit organisationsbezogen der Verfahrensbeteiligten aus? e. Inwiefern beeinflussen die CM-Strukturen die Nutzung von CM-Online? organisationsbezogen f. Wie wirken sich die CM-Strukturen auf die Vernetzung der Fachkräfte aus? systembezogen Prozessqualität g. Welche CM-Aspekte charakterisieren die Strukturen bzw. sind besonders organisationsbezogen ausgeprägt? Direkte Wirkung h. Welche Zielgruppen können insbesondere vom CM BB profitieren bzw. für einzelfallbezogen welche Zielgruppen eignet sich das CM BB? Für welche nicht? i. Wie Zufrieden sind die Jugendlichen mit der Unterstützung durch das CM einzelfallbezogen BB? j. Gelingt es mit Unterstützung des CM BB die Probleme der Jugendlichen zu einzelfallbezogen vermindern, ihre Ressourcen zu stärken und eine nachobligatorische Ausbildung einzuleiten? k. Wie zufrieden sind die Verfahrensbeteiligten mit dem CM BB? einzelfallbezogen l. Wie hoch ist die Akzeptanz des CM BB bei den Fachkräften und beteiligten organisationsbezogen Institutionen? Indirekte Wirkung m. Welche Wirkung hat das CM BB auf das Gesamtsystem (ALV, IV, Sozialhilfe, systembezogen Bildung, etc.) n. Inwiefern trägt das CM BB dazu bei, das Ziel 95% der unter 25-jährigen mit systembezogen einem Sek. II-Abschluss zu erreichen? Welche Kantone haben dieses Ziel bereits erreicht? Effizienz: o. Weisen die vom CM BB erbrachten Leistungen bei gleicher Wirkung eine einzelfallbezogen bessere Kosten-Nutzen-Relation aus? p. Führen die CM Strukturen zu einer Verbesserung der notwendigen finanziellen organisationsbezogen Mittel und werden diese effizienter und effektiver eingesetzt? q. Wo bzw. wer konnte aufgrund des CM BB Kosten sparen? systembezogen 6/9

7 4.3 Vorgehen und Datengrundlage Vorgehen Aufgrund der Fragestellungen und den kantonalen Unterschieden bei der Umsetzung des CM BB wird vorgeschlagen, dass in der geplanten Evaluation mit Vergleichsgruppen gearbeitet wird. Als Referenzmodell könnte das Konzept mit der Fallführung aus einer Hand gewählt werden. Wobei noch zu definieren ist, welche Kriterien erfüllt sein müssen und welche kantonalen Konzepte dem Modell «Fallführung aus einer Hand» zugeordnet werden sollen. Eine Orientierungsgrundlage bildet die Umsetzungsevaluation von Landert < Partner (2011). Die CM-Konzepte haben sich jedoch in den letzten Jahren weiterentwickelt und es ist möglich, dass neue Konzepte dazu gekommen sind, sich einzelne Modelle verändert haben oder verschwunden sind. Hinzu kommt, dass die kantonalen Kontextbedingungen teilweise sehr unterschiedlich sind und verschiedene «Störfaktoren» den Wirkungszusammenhang beeinflussen: Wirtschaftskonjunktur, Lehrstellenmarkt, Sozialhilfequote, Jugendarbeitslosigkeit, kulturelle Zusammensetzung der Bevölkerung etc.. Diese Faktoren müssen berücksichtigt und mittels statistischer Verfahren kontrolliert werden. Mit Best-Practice-Beispielen soll zudem aufgezeigt werden, welche Umsetzungsmodelle aufgrund welcher Faktoren besonders effizient und effektiv sind. Datengrundlage Für die Beantwortung der einzelfallbezogenen Fragen stehen umfangreiche Daten aus dem CM- Online (softwaregestützte Fallsteuerung) zur Verfügung. Jedoch verwenden nicht alle Kantone das CM-Online, sammeln aber teilweise Daten in anderer Form. Für die Beantwortung der Fragen zur Effizienz können die Finanzdaten des SBFI genutzt werden. Einerseits stehen Informationen zu den Meilensteinen und den während der Anschubfinanzierung ausgeschütteten Geldern zur Verfügung. Anderseits wurden während der Konsolidierungsphase im Rahmen der Kosten-Leistungsrechnung Finanzdaten gesammelt. Die beim SBFI vorhandenen Daten müssen allenfalls noch mit weiteren kantonsspezifischen Angaben ergänzt werden. Der Verlauf der Einführungs- und der Konsolidierungsphase ist beim SBFI umfangreich dokumentiert: Nationale Konzepte, Präsentationen, Berichterstattung. Für jeden Kanton gibt es zudem ein Dossier mit Unterlagen zu den jeweiligen Meilensteinen. Im Rahmen der Umsetzungsevaluation wurde für jeden Kanton ein Umsetzungsprofil erstellt. Keine Informationen gibt es derzeit zur Zufriedenheit der Jugendlichen und der Verfahrensbeteiligten mit dem CM BB sowie Informationen zur Netzwerkpflege und zur Zusammenarbeit der Fachkräfte und Leistungsanbieter. Aber auch Angaben zur Unterstützungsplanung und den eingesetzten Massnahmen und ihren Wirkungen fehlen. Tabelle 2: Übersicht über die bestehenden Datenquellen Einzelfallbezogene Daten Individualdaten CM-Online Dokumente Finanzdaten Soziodemographische Angaben Fallanmeldung (Datum, Zuweisungsinstitution, tätig gewordene Stellen) Bildungsstatus und Veränderungen im Verlaufe der CM-Unterstützung Klärungs-/Triagephase (Aufnahme / Ablehnung und Gründe dafür) Weiterführende Institutionen nach Ablehnung 7/9

8 Wirkungsindikatoren (Datum Fallabschluss, Grund für Abschluss, Gründe für Abbruch, Überweisungsinstitution bei Abbruch) Erwerbs- und Ausbildungssituation bei Abschluss Prospektive Einschätzung der Erfolgschancen Nachhaltigkeitsprüfung 6 Monate nach Abschluss Strukturdaten Finanzielle Ressourcen Personelle Ressourcen und Qualifikationen der Case Manager/innen Prozessstandards CM-Online und Datenschutz Einbindung in die Organisationsstrukturen (Strategie, Organigramme) 5 Formale Aspekte Die Standards der Schweizerischen Evaluationsgesellschaft SEVAL sind einzuhalten. Als Produkt des vorliegenden Auftrags wir ein Schlussbericht erwartet, der den wissenschaftlichen Standards entspricht. Er ist mit einer Zusammenfassung abzuliefern und soll ohne Anhänge nicht mehr als Seiten umfassen. Die Empfehlungen sind präzise und anspruchsgruppenbezogen zu formulieren. Es soll ersichtlich sein, welche Empfehlungen aus welchen Evaluationsergebnissen hervorgehen. Sämtliche Schlussberichte der vom SBFI in Auftrag gegebenen Evaluationen werden auf der Homepage des SBFI veröffentlicht. 5.1 Zusammenarbeit mit der Auftraggeberin Zur inhaltlichen Begleitung der Evaluation wird eine Begleitgruppe aus Vertretern und Vertreterinnen der verschiedenen Stakeholdergruppen eingesetzt. Diese wird zu verschiedenen Zeitpunkten (Kick-off Veranstaltung, Zwischenberichterstattung, Schlussberichterstattung) in den Evaluationsprozess einbezogen und stellt sicher, dass den Evaluierenden die notwendigen Informationen zur Durchführung ihrer Arbeit zur Verfügung stehen. Zudem trägt sie zur Diffusion des Wissens, welches im Zusammenhang mit der Evaluation erarbeitet wird, bei. Es wird eine enge Zusammenarbeit und regelmässige Berichterstattung gegenüber der Auftraggeberin erwartet. Sie ist in allen Belangen alleinige Ansprechpartnerin des/der Auftragnehmer/in. 5.2 Zeitplan - Meilensteine - Offerteinreichung 20. August Auftragsvergabe 8. September Kick-off und Auftragsbereinigung 22. September Zwischenbericht 16. März Entwurf Schlussbericht 24. August Schlussbericht 15. September Inhalt der Offerte Es wird erwartet, dass in der Offerte die im Folgenden aufgeführten Elemente enthalten sind: - Kritische Stellungnahme zum Auftrag - Vorgehensvorschlag mit Konzeption, Methoden und Arbeitsschritten der Evaluation 8/9

9 - Detaillierte Kostenaufstellung - Definition der Aufgaben der Evaluierenden sowie der Auftraggeberin - Zeitplan und Meilensteine - Angaben zu den eingesetzten Mitarbeiter/innen inklusive Qualifikationsprofile und Referenzen - Die Offerte darf den Umfang von 10 Seiten (ohne Anhang) nicht überschreiten 5.4 Zuschlagskriterien Die eingegangenen Offerten werden nach folgenden Kriterien beurteilt: - Qualität und Originalität der Offerte (Auftragsverständnis, Vollständigkeit, Evaluationsdesign, Planung, etc.) - Zweck- und Verhältnismässigkeit der Kosten - Qualitätssicherung (Informationsfluss, Unterstützungsmassnahmen) - Organisation und Qualifikation des Projektteams (Erfahrungen in den Bereichen Evaluation und Bildung, Kenntnisse des Berufsbildungssystems der Schweiz) 5.5 Kostendach Die Finanzierung der Evaluation erfolgt durch das SBFI. Das Kostendach des Mandats beträgt 130'000.- Franken inkl. Mehrwertsteuer. 5.6 Einreichung, Kontaktpersonen Die Offerten können bis am 20. August 2014 bei der Kontaktperson eingereicht werden. Die Offerte kann in Deutsch, Französisch oder Italienisch verfasst werden. Ein Exemplar der Offerte ist in elektronischer Form zu übermitteln und eine unterzeichnete Version ist postalisch einzureichen an: Staatssekretariat für Bildung, Forschung und Innovation SBFI Abteilung Bildungsgrundlagen Ressort Subventionen und Projektfinanzierung Herr Christian Eicher Effingerstrasse Bern christian.eicher@sbfi.admin.ch Bei Rückfragen zur Ausschreibung wenden Sie sich bitte an untenstehende Kontaktpersonen: Christian Eicher: christian.eicher@sbfi.admin.ch, Andrea Ernst: andrea.ernst@sbfi.admin.ch, Vertragsbedingungen Das Mandat unterliegt den Allgemeinen Geschäftsbedingungen des Bundes für Dienstleistungsverträge. Die Einreichung der Offerte erfolgt unentgeltlich. Die Offerte muss mindestens 60 Tage über die Eingabefrist gültig sein. Die Auftraggeberin leistet fällige Zahlungen innerhalb von dreissig Tagen nach Erhalt der Rechnung. Die Bezahlung erfolgt in Schweizer Franken. 9/9