Evaluation von Lehre & Forschung an Universitäten

Transkript

1 Diagnostik & Evaluation 1 Evaluation von Lehre & Forschung an Universitäten (Vorlesung 14)

2 Überblick über die Vorlesung Einführung & Überblick Testtheorie & Verfahrenskonstruktion Gütekriterien Diagnostische Zugangswege 1. Gespräch: Exploration & Interview 2. Beobachtung 3. Fragebögen & Tests ( paper & pencil, computerbasiert) 4. Physiologische Diagnostik 5. Bildhaft-metaphorische & projektive Ansätze Diagnostische Aufgaben 1. Kognitive Merkmale einer Person: Intelligenz- & Entw.tests Leistungstests & Schultests 2. Persönlichkeitsmerkmale einer Person: Persönlichkeitstests Klinische Diagnostik & Klassifikation 3. Merkmale sozialer Systeme: Paar- & Familiendiagnostik Evaluation & Qualitätssicherung 1. Evaluation an Schulen & Evaluation dieser Vorlesung 2. Universitäts-Evaluation Diagnostik & Evaluation 2

3 Worum geht es heute? Nachlese: FEVOR noch nicht ausgefüllt?! Evaluation von Forschung & Lehre an Universitäten Problem & Grundbegriffe Fragebogen zur Evaluation von Vorlesungen & Seminaren (FEVOR, FESAM) Das DFG-Universitäts-Ranking Diagnostik & Evaluation 3

4 Problem & Grundbegriffe 4

5 Diagnostik & Evaluation 5

6 Woran haben Sie Ihre Studien-Entscheidungen orientiert? Studienfach Universität / Studienort Studienschwerpunkt Bei welchem Dozenten schreiben Sie Ihre Abschlussarbeit? Diagnostik & Evaluation 6

7 Problem Wie gut oder schlecht sind die Universitäten & FHs in Deutschland? Was kann evaluiert werden? Forschung Geschieht nur selten bisher, wird landesweit nur in Niedersachsen alle 6 Jahre geprüft: Externe Gutachter beurteilen im Peer-Review-Verfahren. Lehre Wird häufiger evaluiert. Diagnostik & Evaluation 7

8 Diagnostik & Evaluation 8 Evaluation von Forschungsleistungen (Spada et al., Psychol. Rundschau, 54(4), 246-8) Kriterien z.b.: Zitationsindices Drittmittel Doktorandenzahl Absolventenzahl Analyseeinheiten: Personen Abteilungen Institute Ganze Universitäten Modalität: Uni-übergreifend fachspezifisch Uni-intern fachübergreifend Wer evaluiert? Selbstevaluation Der Hochschule Des/der DozentIn Fremdevaluation E-Agenturen Peer Review Expertengruppen

9 Diagnostik & Evaluation 9 Verwandte wichtige Begriffe Benchmarking Akkreditierung Hochschulrankings Forschungsrankings Budgetierung nach Leistung Alle sind Instrumente des Leistungsvergleichs! Müller-Böling, >

10 Benchmarking Begriff aus der Landvermessung: Ein Punkt in der Landschaft wird fixiert um daran Entfernungen zu messen. Heute: = systematische Suche nach guten Ideen & Lösungen. Benchmarking-Netz der 15 größten deutschen Hochschulen Diagnostik & Evaluation 10

11 Diagnostik & Evaluation 11 Akkreditierung = Beglaubigung = eine Art TÜV für Studiengänge Garantiert dass der Studiengang bestimmte minimale Qualitätsanforderungen erfüllt Deutschland: alle Studiengänge, die mit Bachelor oder Master abschließen, müssen sich akkreditieren lassen Bisher bei 337 von > 1700 geschehen Akkreditierungsagenturen

12 Diagnostik & Evaluation 12 Hochschulrankings Verbraucherinformation für Studierende & Abiturienten Informationen über: Qualität der Betreuung Materielle Ausstattung Zufriedenheit der Studierenden Nur glaubwürdig wenn Analyse unabhängig von den betroffenen Unis & vom Staat erfolgte.

13 Diagnostik & Evaluation 13 Forschungsrankings Ranglisten, die die Forschungsleistung verschiedener ProfessorInnen vergleichen Beispiele: Centrum für Hochschulentwicklung (CHE) Deutsche Forschungsgemeinschaft (DFG) Leistungs-Kriterien: Menge der eingeworbenen Drittmittel Menge & Qualität der eingeworbenen Publikationen (& Patente) deutsch & international

14 Diagnostik & Evaluation 14 Budgetierung nach Leistung Leistungsbezogene Mittelverteilung an Unis, Abteilungen, Dozenten Problem: Nach welchen Kriterien verteilt man das Geld?! Bei Orientierung an Evaluations-/ Ranking- Ergebnisse neigen die Unis zu Schönfärberei. Brauchbares Kriterium: Wie viele Studienanfänger werden wie schnell zum Examen geführt?

15 15 Fragebogen zur Evaluation von Vorlesungen & Seminaren (FEVOR, FESAM)

16 Fragebogen zur Evaluation von (Uni-)Lehrveranstaltungen Staufenbiel, T. 2000, Diagnostica, 46(4), Was wird erhoben? Die Einschätzung von universitären Lehrveranstaltungen durch Studierende & Lehrende Fächerübergreifend einsetzbar Versionen für: Vorlesungen (FEVOR) Seminaren (FESEM) Praktikas (FEPRA) Diagnostik & Evaluation 16

17 Diagnostik & Evaluation 17 FEVOR/-SEM/-PRA: Skalen & Bsp.Items (Antwortskala: 1=stimmt nicht 4=stimmt) Planung & Darstellung Die Vorlesung verläuft nach einer klaren Gliederung. Umgang mit Studierenden Der/dem Dozent/in scheint der Lernerfolg der Studierenden gleichgültig zu sein. Interessantheit & Relevanz Der/die Dozent/in gestaltet die Vorlesung interessant. Schwierigkeit & Umfang Der Schwierigkeitsgrad der Veranstaltung ist: Nur FESEM: Qualität der Referate Nur FEPRA: Betreuung

18 FEVOR/-SEM/-PRA: Zusätzliche Einzelitems Globale Bewertung der Veranstaltung: Welche Schulnote würden Sie der Veranstaltung insgesamt geben? (1-6) Globale Bewertung des Lehrenden: Welche Schulnote würden Sie dem/der Dozenten/ Dozentin insgesamt geben? (1-6) Selbsteinschätzung des Gelernten: Ich habe in der Veranstaltung gelernt: (1=sehr wenig 6=sehr viel) Soziodemographische Fragen Geschlecht, Hauptfach, Semester Diagnostik & Evaluation 18

19 Diagnostik & Evaluation 19 FEVOR/-SEM/-PRA: Testgüte Objektivität: ja Reliabilität: Faktorenanalysen bestätigen die Faktorenstruktur. Interne Konsistenzen: Cronbach Alpha= Validität: Konvergente V.: positive, aber geringe Korrelationen zwischen Einschätzung der Lehrenden & Studierenden ( ). Normen: vorhanden für Vorlesungen & Seminare (eingesetzt bei 750 Lehrveranst.)

20 FEVOR/-SEM/-PRA: Fazit Sinnvolle Instrumente mit akzeptabler Testgüte, die breit eingesetzt werden können & sollten sofern auch die Ressourcen für eine externe Auswertung gegeben sind. Dabei muss berücksichtigt werden, dass Evaluationsergebnisse in Zusammenhang stehen mit: Größe der Veranstaltung (kleiner = besser) Interesse der Studierenden am Thema Diagnostik & Evaluation 20

21 21 Das DFG- Universitäts-Ranking

22 Hintergrund Überblick über die gezahlten Fördergelder an deutsche Universitäten = Wesentlicher Indikator der Forschungsleistung (mehr als 50% aller Anträge werden von der DFG abgelehnt) Internet-Quellen: (Spiewak) (Rauner) Diagnostik & Evaluation 22

23 Diagnostik & Evaluation 23 Fragestellungen Welche Unis haben absolut das meiste Forschungsgeld eingeworben? Rangliste der Unis nach Geld pro beschäftigter/m ProfessorIn Rangliste nach Fächern / Fachgruppen -> Mehr als die Hälfte aller Gelder (3,5 Milliarden EUR in 3 Jahren) floss an 20 von 142 Universitäten!!!

24 Uni-Extremgruppen (nach absolut eingeworbenem Geld) Spitzengruppe 1. Aachen (RWTH) 2. München (LMU) 3. München (TU) 4. Tübingen 5. Erlangen-Nürnberg 6. Heidelberg 7. Stuttgart 8. Würzburg 9. Berlin (Humboldt) 10. Karlsruhe Schlecht abgeschnitten: 14. Hamburg 27. Düsseldorf 30. Dortmund 35. Saarbrücken 36. Kiel Duisburg (< 40.) Rostock (< 40.) Diagnostik & Evaluation 24

25 Uni-Extremgruppen (nach Pro-Kopf-Einwerbung der ProfessorInnen) Konstanz Tübingen Freiburg München (TU) Stuttgart (TU) Berlin Diagnostik & Evaluation 25

26 Uni-Extremgruppen für Psychologie, Pädagogik, Philosophie & Theologie (nach absolut eingeworbenem Geld) Spitzengruppe 1. Tübingen 2. Heidelberg 3. Bonn 4. München (LMU) 5. Marburg 6. Trier 7. Konstanz 8. Berlin (HU) 9. Bochum 10. Bielefeld Im Mittelfeld: 18. Düsseldorf 35. Dortmund Schlecht abgeschnitten: 52. Duisburg 53. Essen Diagnostik & Evaluation 26

27 Probleme mit dem DFG-Ranking Grosse Unis haben mehr Profs & insofern auch mehr Potential zum Einwerben von Drittmitteln Drittmittel spielen für verschiedene Fächer eine unterschiedlich große Rolle (z.b. Physik vs. Philosophie) Diagnostik & Evaluation 27

28 Kontextbedingung: Immer ungünstigere Studenten Dozenten-Relation! Studierende Professoren Quelle: Statistisches Bundesamt; zit. n. Zeit, Bis 1985: Westdeutschland; ab 1992: Deutschland. Diagnostik & Evaluation 28

29 Studierende pro ProfessorIn , , ,8 49,3 47,6 51, Quelle: Statistisches Bundesamt; zit. n. Zeit, Bis 1985: Westdeutschland; ab 1992: Deutschland. Diagnostik & Evaluation 29

30 ??? Welche Kriterien sind für Sie persönlich am wichtigsten bei der Beurteilung von: Universitäten? Studiengängen? DozentInnen? Was würden Sie verändern wollen an: Den Universitäten in Deutschland? Der Universität Duisburg-Essen? Ihrem Studiengang? Diagnostik & Evaluation 30

31 FAZIT: Evaluation von Universitäten Evaluation an Universitäten, FHs & von Psychotherapie ist wesentlich. Wichtige Indikatoren: Akademische Lehre: Einschätzung der Studierenden in Fragebögen (z.b. FEVOR) Akad. Forschung: Eingeworbene Drittmittel, Publikationsindices Psychotherapie: Psychisches & körperl. Befinden der PatientInnen Es existieren vielfältige methodische Probleme, die zur Vorsicht bei der Deutung von Evaluations-Ergebnissen mahnen! Diagnostik & Evaluation 31

32 Diagnostik & Evaluation 32 Weiterführende Informationen Centrum für Hochschulentwicklung (CHE) in Gütersloh Center for Science and Technology Studies (CEST) in Bern Deutsche Forschungsgemeinschaft (DFG)