Professionalisierung durch Prozess-Standardisierung? Definition des Evaluationsprozesses im DAAD

Transkript

1 Professionalisierung durch Prozess-Standardisierung? Definition des Evaluationsprozesses im DAAD Session A1: Professionalisierung von Evaluation in Kultur und Auswärtiger Kultur- und Bildungspolitik Dr. Martin Bruder Jahrestagung der DeGEval und SEVAL Zürich, 11. September

2 Überblick Der DAAD: Stakeholder und Netzwerk Prozess-Standardisierung Kontext Organisationsentwicklung Vorgehen Schritte des Evaluationsprozess Vertiefend: Management Response-Prozess Fragen und Diskussion 2

3 Überblick Der DAAD: Stakeholder und Netzwerk Prozess-Standardisierung Kontext Organisationsentwicklung Vorgehen Schritte des Evaluationsprozess Vertiefend: Management Response-Prozess Fragen und Diskussion 3

4 Drei strategische Handlungsfelder Stipendien für die Besten vergeben, damit sich künftige Fach- und Führungskräfte an den besten Orten qualifizieren, sich auf verantwortliches Handeln vorbereiten und dauerhafte Verbindungen in die ganze Welt schaffen. STIPENDIEN FÜR DIE BESTEN WELTOFFENE STRUKTUREN WISSEN FÜR WISSENSCHAFTS- KOOPERATIONEN Weltoffene Strukturen schaffen, damit Hochschulen kooperieren, um die Qualität von Forschung und Lehre zu verbessern und mit starken Partnern den Herausforderungen der Zukunft zu begegnen. damit mehr Menschen über Grenzen gehen, erfolgreich studieren und forschen. damit Deutsch eine wichtige Kultur- und Wissenschaftssprache bleibt. damit Hochschulen zu Entwicklung beitragen und Brücken über Grenzen und Konfliktlinien schlagen. Wissen für Wissenschaftskooperationen bereitstellen, damit Wissenschaft und Politik gut informiert entscheiden und gestalten können. 4

5 Stakeholder: Deutsche Hochschulen und Studierendenschaften Der DAAD ist eine Selbstverwaltungsorganisation der deutschen Hochschulen 239 Mitgliedshochschulen 121 Studierendenschaften 5

6 Stakeholder: Ausländische Projektpartner 6

7 Stakeholder: Geförderte Einzelpersonen IN OUT Nordamerika IN OUT Nord-Süd- und Westeuropa IN OUT Mittel- und Osteuropa/GUS Nordafrika/Naher und Mittlerer Osten IN OUT IN Lateinamerika Afrika/Subsahara IN OUT Asien/Australien/Ozeanien IN OUT OUT Ausländer Deutsche *einschl. EU-Programme Stand

8 Stakeholder: Deutsche und ausländische Geldgeber Bundesministerium für Bildung und Forschung: 101 Mio. EUR = 23 % BMBF Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung: 40 Mio. EUR = 9 % BMZ Europäische Union: 60 Mio. EUR = 14 % EU Gesamt: Auswärtiges Amt: 181 Mio. EUR = 43 % 430 Mio. EUR Sonstige Sonstige Geldgeber: 45 Mio. EUR = 11 % AA Zahlen 2013 (Ist) 8

9 Netzwerk: Außenstellen und Informationszentren Toronto San Francisco Mexiko-Stadt San José New York Bogotá Caracas St. Petersburg Moskau Riga Kasan Nowosibirsk London Minsk Bonn Berlin Warschau Brüssel Prag Kiew Paris Budapest Rom Bukarest Tiflis Madrid Belgrad Istanbul Taschkent Almaty Baku Bischkek Athen Ankara Eriwan Duschanbe Peking Seoul Teheran Tunis Tel Aviv Erbil Islamabad Amman Kabul Kairo Shanghai Ostjerusalem Neu Delhi Guangzhou Abu Dhabi Taipei Hanoi Hongkong Pune Chennai Bangkok Addis Abeba Ho-Chi-Minh-Stadt Accra Kuala Lumpur Yaoundé Singapur Nairobi Tokio Jakarta Rio de Janeiro São Paulo Johannesburg Sydney Santiago de Chile Buenos Aires Außenstellen, Zentrale und Hauptstadtbüro Informationszentren Zentrale in Bonn/Büro Berlin plus Netzwerk: ca. 900 Mitarbeiter 9

10 Überblick Der DAAD: Stakeholder und Netzwerk Prozess-Standardisierung Kontext Organisationsentwicklung Vorgehen Schritte des Evaluationsprozess Vertiefend: Management Response-Prozess Fragen und Diskussion 10

11 Organisationsentwicklung: Kontext Durchführung gemeinsam mit Unternehmensberatung Kienbaum Management Consultants GmbH Ziel: Analyse, Neukonzeption und Umsetzung einer optimierten Organisationsstruktur 11

12 Organisationsentwicklung: Verfahren der Prozessoptimierung Prozesslandkarte erarbeiten Schlüsselprozesse auswählen Ist-Prozesse aufnehmen Soll-Prozesse in der neuen Aufbauorganisation definieren 12

13 Organisationsentwicklung: Verfahren der Prozessoptimierung Prozesslandkarte erarbeiten Schlüsselprozesse auswählen Ist-Prozesse aufnehmen Soll-Prozesse in der neuen Aufbauorganisation definieren 13

14 Organisationsentwicklung: Verfahren der Prozessoptimierung Prozesslandkarte erarbeiten Schlüsselprozesse auswählen Ist-Prozesse aufnehmen Soll-Prozesse in der neuen Aufbauorganisation definieren 14

15 Organisationsentwicklung: Verfahren der Prozessoptimierung Prozesslandkarte erarbeiten Schlüsselprozesse auswählen Ist-Prozesse aufnehmen Soll-Prozesse in der neuen Aufbauorganisation definieren Klärung des Prozessablaufs Klärung der Verantwortlichkeit/Art der Beteiligung verschiedener interner und externer Akteure Reflexion der Prozesse hinsichtlich Optimierungspotential 15

16 Überblick Der DAAD: Stakeholder und Netzwerk Prozess-Standardisierung Kontext Organisationsentwicklung Vorgehen Schritte des Evaluationsprozess Vertiefend: Management Response-Prozess Fragen und Diskussion 16

17 Schritte des Evaluationsprozesses 1. Programmkonzeption 2. Jährliche Evaluationsplanung 3. Ausschreibung und Vergabe 4. Auftragsklärung und Auftragsdurchführung 5. Berichtslegung und Veröffentlichung 6. Management Response/Lernen aus Evaluationen 17

18 Programmkonzeption Gemeinsam mit dem Geldgeber sollte die Umsetzung der in der Bundeshaushaltsordnung vorgesehenen abgestuften Erfolgskontrolle programmspezifisch geplant werden (VV von 2006 zu den 23 und 44 der BHO) Programmlogik ausformulieren Ziele kontextangemessen definieren Realistische Berichts- und Überprüfungszeiträume für Outputs, Outcomes und Impacts festlegen Offenheit für Unerwartetes/Anpassungen der Programmziele bewahren (z.b. geopolitische Lage) Einbindung des Evaluationsreferats in die Programmkonzeption Momentan Pilotphase im Förderbereich des BMZ (unterstützt von Syspons GmbH) 18

19 Jährliche Evaluationsplanung Gemeinsam mit den programmführenden Referaten sollte eine budgetär realistische und inhaltlich angemessene Planung der anstehenden Evaluationen stattfinden Evaluationsplanung gemeinsam mit der Jahresplanung der programmführenden Referate zum Jahreswechsel Mindestanforderung für alle Programme mit einem jährlichen Programmvolumen von über Euro oder einer Gefördertenzahl von über Personen pro Jahr: erstmalige Evaluation nach 5 Jahren sowie im Anschluss mindestens alle 10 Jahre Erstmals 2015: Workshop für alle Arbeitseinheiten, die eine Programmevaluation durchführen 19

20 Ausschreibung und Vergabe Der DAAD beauftragt jährlich ungefähr 1-2 programmübergreifende oder ein Programm längerfristig begleitende Evaluationen 1-3 Studien zu programmübergreifenden strategischen Fragen 5-8 Programmevaluationen (i.d.r. Zwischenevaluationen) 8-12 Projektevaluationen 20

21 Ausschreibung und Vergabe Anforderung: Vergaberechtskonforme Auftragsvergabe Zukünftig formale Vergabeaspekte über zentrale Service-Einheit organisiert Anforderung: Optimale inhaltliche Abstimmung Vergabeverfahren: häufig freihändige Vergabe nach Teilnahmewettbewerb Begründung gem. 3 Abs. 5 lit. h VOL/A: die Leistung kann nicht so eindeutig und erschöpfend beschrieben werden, dass hinreichend vergleichbare Angebote erwartet werden können. Andererseits sind die Details des Programms den potentiellen Auftragnehmer nicht bekannt und Abweichungen vom Ausschreibungstext werden ggf. als riskant betrachtet Abstimmung in anspruchsvollen Evaluationsverfahren schwierig 21

22 Auftragsklärung und Auftragsdurchführung Bessere Strukturierung der Auftragsklärungs-Phase (inception phase) Stärkere Einbindung der Geldgeber Beratungs-/Steuerungsgremium im DAAD nur bei EU-weit ausgeschriebenen Evaluationen (i.d.r. nur Programmbereichs- Evaluationen) 22

23 Berichtslegung und Veröffentlichung Stärkere Standardisierung der Berichtsformate von Programmevaluationen, um effiziente Veröffentlichung zu ermöglichen Prozess der Entscheidung hinsichtlich Veröffentlichung ist im Evaluationskonzept definiert Prozessdefinition unterstützt die konsequente Umsetzung Veröffentlichung wird im Einzelfall unter Berücksichtigung berechtigter Interessen der beteiligten Stakeholder entschieden 23

24 Überblick Der DAAD: Stakeholder und Netzwerk Prozess-Standardisierung Kontext Organisationsentwicklung Vorgehen Schritte des Evaluationsprozess Vertiefend: Management Response-Prozess Fragen und Diskussion 24

25 Management Response: Ausgangssituation 25

26 Management Response: Online-Evaluationsreport Zusätzliche Erfassung der Evaluationsergebnisse über einen Online-Fragebogen Ziele: Vollständige und vergleichbare Dokumentation von Evaluationsverfahren Einheitlich strukturierter Startpunkt für Management Response- Prozess Verbesserung der Möglichkeit von Meta-Evaluationen und zusammenfassenden Darstellungen von Evaluationsergebnissen Einholung von Feedback von Auftragnehmern 26

27 Online-Evaluationsreport: Startseite 27

28 Online-Evaluationsreport: Organisatorische Rahmendaten zur Evaluation Vollständiger Name des Evaluationsinstituts Kontaktdaten des Auftragnehmers Ansprechpartner auf Seiten des Auftragnehmers Projektleiter auf Seiten des Auftragnehmers Weitere Projektmitarbeiter Beteiligte Referate im DAAD Ansprechpartner im DAAD Geldgeber des Programmes Beginn der Evaluation Datum der Abnahme des Evaluationsberichts Finanzieller Umfang der Evaluation (netto) 28

29 Online-Evaluationsreport: Informationen zum evaluierten Programm Titel des evaluierten Programmes Art des Programmes (Individualförderung/Projektförderung) Zielgruppe der Förderung (Studierende aus In- und Ausland/Graduierte aus In- und Ausland/Doktoranden aus In- und Ausland/Wissenschaftler, Hochschullehrer aus In- und Ausland/Hochschulen im In- und Ausland/Sonstiges) Beschreiben Sie bitte kurz die zentralen Ziele des Programmes Handelt es sich um die erste extern durchgeführte Evaluation (oder Studie) zu diesem Programm? Falls nein: Name der Firma/des Instituts, der bereits durchgeführten Evaluation + Publikationsjahr des Abschlussberichts der Evaluation 29

30 Online-Evaluationsreport: Zusammenfassung des Evaluationsvorhabens Kurzfassung des Evaluationsberichts 30

31 Online-Evaluationsreport: Methoden der Evaluation Welche Sekundärdaten bzw. Dokumente haben Sie für diese Evaluation analysiert? Welche (Personen-)Gruppen wurden mit quantitativen Methoden befragt? Aktuelle Stipendiaten; Alumni des Programms; Aktuelle Projektleiter; Ehemalige Projektleiter; Mitarbeiter/Leiter von Hochschulen oder Forschungseinrichtungen; Mitarbeiter von Ministerien oder Botschaften; Mitarbeiter von Unternehmen; Lehrer und Kursleiter; Mitglieder von Auswahlkommissionen; Mitarbeiter der DAAD-Außenstellen/ICs; Sonstige Personengruppen Mit welchen (Personen-)Gruppen wurden qualitative Interviews durchgeführt? Ergänzende Angaben zu Datenquellen und Methoden 31

32 Online-Evaluationsreport: Zentrale Ergebnisse Wie viele Personen haben an der Befragung teilgenommen? Aktuelle Stipendiaten/Geförderte Alumni Aktuelle Projektleiter Ehemalige Projektleiter Mitarbeiter/Leiter von Hochschulen oder Forschungseinrichtungen Mitarbeiter von Ministerien oder Botschaften Mitarbeiter von Unternehmen Lehrer und Kursleiter Mitglieder von Auswahlkommissionen Mitarbeiter der DAAD- Außenstellen/Informationsbüros Ergebnisse für genannte Gruppen: Gesamtzufriedenheit mit dem Programm Zufriedenheit mit der Kooperation/Betreuung durch den DAAD Sehr zufrieden Zufrieden Teils teils Unzufrieden Sehr unzufrieden Nicht abgefragt (Weitere) relevante empirische Befunde der quantitativen und qualitativen Befragungen (insofern diese nicht schon in der Executive Summary genannt sind) 32

33 Online-Evaluationsreport: Übergreifende Bewertung Folgendes ist zu bewerten (angelehnt an Notenskala von 1 bis 6): Beitrag, den das Programm zur individuellen Mobilität hervorragender Studierender und Wissenschaftler leistet Beitrag, den das Programm zur Internationalisierung der deutschen Hochschulen leistet Beitrag, den das Programm zu Wissen über die Strukturen der deutschen Hochschulkooperationen und wissenschaftlichen Systeme weltweit leistet Bewertung des Programmes nach den Kriterien Relevanz Effektivität Effizienz Nachhaltigkeit Gesamtbewertung für das Programm Erläuterungen zur Bewertung 33

34 Online-Evaluationsreport: Zusammenarbeit mit dem DAAD Bewertung des Vergabeprozesses der Zusammenarbeit mit dem programmführenden Referat der Zusammenarbeit mit dem Referat Evaluation und Statistik 34

35 Online-Evaluationsreport: Empfehlungen Auflistung aller Empfehlungen Empfehlung im Wortlaut Adressat der Empfehlung 35

36 Management Response Informationen aus Online-Evaluationsreport gehen in den Management Response-Prozess ein Vereinfachte Erstellung von Kurzfassung der Evaluationsergebnisse für Leitungsgremien Basis für Umsetzungsplanung 36

37 Lernen aus Evaluationen/ Meta-Evaluationen 37

38 Überblick Der DAAD: Stakeholder und Netzwerk Prozess-Standardisierung Kontext Organisationsentwicklung Vorgehen Schritte des Evaluationsprozess Vertiefend: Management Response-Prozess Fragen und Diskussion 38

39 Professionalisierung durch Prozess-Standardisierung? Der Prozess der Prozess-Standardisierung ist eine Lerngelegenheit, die dabei hilft die eigenen Prozesse gemeinsam mit allen Beteiligten kritisch zu reflektieren und dadurch die Evaluierungsexpertise in der Organisation in der Breite zu stärken eine gemeinsame Verantwortlichkeit für die neuen Prozesse zu schaffen und sie fest in der Prozess-Struktur der Organisation zu etablieren den Vergleich mit Peers zu suchen und gute Beispiele zu adaptieren Standardisierte Prozesse setzen (im besten Fall) gute Praxis konsistent um und tragen somit zur Qualität und (zeit-)effizienten Durchführung von Evaluationsprozessen bei 39

40 Professionalisierung durch Prozess-Standardisierung? Prozess-Standardisierung birgt (möglicherweise) dadurch Probleme, dass die Weiterentwicklung auf anderen Ebenen weniger Aufmerksamkeit erhält (z.b. Entwicklung tragfähiger Indikatoren, Verbesserung der Datengrundlage) untypische Einzelfälle nicht angemessen abgebildet werden die resultierende Prozess-Routine den Blick auf spezielle Anforderungen eines Evaluationsprozesses (z.b. Einbindung wissenschaftlicher Expertise) verdeckt 40

41 Danke für Ihre Aufmerksamkeit Martin Bruder Referat Evaluation und Statistik , Deutscher Akademischer Austauschdienst (DAAD) Kennedyallee Bonn Michael Jordan 41