Theorie und Praxis von Hochschulrankings

Transkript

1 Hochschulstatistikausschuss 09./ Statistisches Bundesamt Deutschland Theorie und Praxis von Hochschulrankings Wiesbaden, 09. November 2006 Prof. Dr. ifq Institut für Forschungsinformation und Qualitätssicherung Godesberger Allee 90 D Bonn

2 Rankings

3 Indikatoren Peer Urteile, die im Förderungs-, Publikations- oder Reputationssystem routinemäßig anfallen Begutachtung von Drittmittelanträgen Manuskriptbegutachtung Reputationsurteile Preisverleihungen, Stipendien Drittmittelsummen, Projekte, Mitarbeiter, SFB Artikel in reviewed journals Befragungsdaten Wissenschaftspreise, AvH Stipendiaten Institut für Forschungsinformation und Qualitätssicherung

4 Indikatoren Verhalten der scientific community und Teilnahme am Kommunikationsprozess Publikationen Zitate Kooperationen Thematische Vernetzungen Datenbanken SCI, SSCI Coautorschaften, Forschungskooperationen Bibliometrische Analysen Bibliometrische Aktivitätsindikatoren Bibliometrische Qualitäts- /Relevanzinformationen Netzwerkanalysen Inhaltsanalytische Konzepte Institut für Forschungsinformation und Qualitätssicherung

5 Indikatoren Reaktionen wissenschaftsexterner Auditorien Industriekooperationen Patentanmeldungen / Lizenzeinnahmen Öffentlichkeit Institut für Forschungsinformation und Qualitätssicherung

6 Indikatoren Wissenschaftlicher Nachwuchs Promotionen Habilitationen Graduiertenkol. Institut für Forschungsinformation und Qualitätssicherung

7 THES World University Rankings Internationales Ranking: Aggregationsebene: Hochschulen (TOP 200 besten Universitäten der Welt) Indikatoren qualitative: Peer Review Urteile: Befragung von 3703 Wissenschaftlern aus der ganzen Welt (40 % des Gesamtscores), 736 Privatpersonen aus der Wirtschaft und dem öffentlichem Sektor (10 % des Gesamtscores) ( keine Angaben zu Auswahlkriterien und Verteilung nach Ländern und Fachgebieten) quantitative: Zahl der ausländischen Studierenden (5 % GS), Zahl der ausländischen Dozenten (5 % GS), Betreuungsrelationen zwischen Hochschullehrern und Studenten (20 % GS), Pro-Kopf- Zitationsraten (Thomson s ESI) (20 % GS) Datenquellen: Thomsons ESI, Selbstauskunft der Universitäten Bemerkung: Zitationsanalysen: Verzerrung zugunsten englischsprachiger Universitäten, überproportionale Berücksichtigungen der Naturwissenschaften, keine Berücksichtigung außeruniversitärer Forschung

8 CHE-Forschungsranking Internationales Ranking: Deutschland, Österreich, Schweiz, Aggregationsebene: fachspezifische Ranglisten, forschungsstarke Hochschulen je Fach, Darstellung von Forschungsuniversitäten mit einem hohen Anteil an forschungsstarken Fächern (insg. 16 Fächer, Veröffentlichung periodisch) Indikatoren fachspezifische Informationen zu den Indikatoren: Drittmittelausgaben, Publikationen, Patente/Erfindungen, Promotionen, Reputation (jeweils absolute Zahl, Pro-Kopf-Wert), für jeden einzelnen Indikator wird je Fach eine Spitzengruppe gebildet. Hochschulen, die in einem Fach bei mind. der Hälfte der Indikatoren in der Spitzengruppe platziert sind werden als forschungsstarke Universitäten in einem Fach ausgewiesen. Ermittlung der Reputation der Fakultäten durch bundesweite Befragung von Professoren (Benennung von bis zu fünf Universitäten bzw. Fakultäten, die ihrer Meinung in ihrem Fach in der Forschung führend sind) Gruppenbildung: Bei Pro-Kopf-Werten Aufteilung in Quartile, Absolutwerte: Zuordnung in Spitzen-, Mittel- und Schlussgruppe Datenquellen: SSCI, SCI, je nach Disziplin weitere fachspezifische Datenbanken, Selbstauskunft der Universitäten (Drittmittel, Promotionen) Vergleiche mit externen Datenquellen DFG- Förderranking, amtliche Statistik einzelner Bundesländer, Abfrage der Patentdatenbank des Deutschen Patentamtes (PATDPA)

9 Forschungsrankings Shanghai University Ranking Internationaler, weltweiter Vergleich von Universitäten, Aggregationsebene: Universitäten Indikatoren quantitative: Qualität der Ausbildung: (1) Alumni, die einen Nobel-Preis oder wichtigen Mathematik-Preis gewonnen haben (Gewicht 10 %) Qualität des Personals: (2) Wissenschaftler mit Nobel-Preis bzw. wichtigem Mathematik-Preis (20 %) (3) Häufig zitierte Forscher in 21 Fächern (20 %) Output in der Forschung: (4) in Nature & Science publizierte Artikel (20 %), (5) Artikel im Web of Science (20%) Größe der Institutionen: (6) Akademische Leistung mit Blick auf die Größe (10%). Auf der Basis der Gewichtungsfaktoren (s.o.) wird aus den Einzelindikatoren ein Gesamtwert für jede Universität berechnet. Datenquellen: SCI Expanded & SSCI Expanded

10 Institute of Higher Education, Shanghai Jiao Tong University Deutschlands beste Universitäten Auszug aus dem Shanghai-Ranking "Top 500 World Universities" Hier die Gesamtliste: Academic Ranking of World Universities Institute of Higher Education, Shanghai Jiao Tong University Hier die Auswahl der besten deutschen Universitäten Aus dieser Liste übernommen: Top 100 European Universities Rang Deutschland - Rang Europa (E) - Rang Welt (W) 1 (E-8, W-45) Tech Univ Munich Germany 2 (E-12, W-51) Univ Munich Germany 3 (E-17, W-64) Univ Heidelberg Germany 4 (E-25, W-79) Univ Goettingen Germany 5 (E-30, W-88) Univ Freiburg Germany 6 (E-35, W-95) Humboldt Univ Berlin Germany 7 (E-37, W-99) Univ Bonn Germany Institut für Forschungsinformation und Qualitätssicherung Hornbostel

11 DFG-Förderranking Nationales Ranking, Universitäten (DFG-aktive Hochschulen), außeruniversitäre Forschungseinrichtungen, Aggregationsebene: nach Fachgebieten differenzierende Analysen, Darstellung unterschiedlicher Aspekte öffentlich geförderter Forschung, Profildarstellungen Indikatoren: Basisdaten: Personal an Hochschulen, Laufende Ausgaben von Hochschulen. Drittmittelinidikatoren: Allgemeine Drittmitteleinnahmen der Hochschulen, DFG-Bewilligungen, direkte FuE-Förderung des Bundes, FuE-Förderung im 6. EU-Forschungsrahmenprogramm, FuE-Förderung durch AiF. Wissenschaftliche Expertise und Spitzenforscher: Fachkollegiaten der DFG, Gutachter der DFG, Leibniz-Preisträger. Internationale Attraktivität: Gastwissenschaftler der AvH, DAAD-geförderte ausländische Wissenschaftler. Forschungsbezogene Kooperationsaktivitäten und Vernetzung: Beteiligung an kooperativen Forschungsprogrammen der DFG, Zahl der Einrichtungen, mit denen in diesen Programmen kooperiert wurde. Datenquellen: Daten der DFG sowie weiterer Forschungsfördereinrichtungen (AvH, DAAD, Daten des Statistischen Bundesamtes

12

13

14 Hornbo Outside funding data example of a large German university Outside funding data of a large German university (in thousand ) Official Statistics Ranking Data of the Institute

15 w Wissenschaftsranking Wissenschafts-Index - Aggregationsebene: fachbezogen Indikatoren Bibliometrische Analysen: Zahl der Artikel eines Fachgebiets in Deutschland Forschungsdichte eines Landes in einem Fachgebiet - Artikel je Millionen Einwohner (Schwellenwert) Publikationsaktivitäten von Universitäten und außeruniversitären Forschungseinrichtungen in einem Fachgebiet - Zahl der Artikel über einen Zeitraum von fünf Jahren Durchschnittliche Zahl von Zitierungen pro Artikel innerhalb eines Zeitraums von fünf Jahren Datenquellen: SCI, SSCI, Scopus

16 Institut für Forschungsinformation und Qualitätssicherung Hornbostel

17 Institut für Forschungsinformation und Qualitätssicherung Hornbostel

18 Ratings

19 Institut für Forschungsinformation und Qualitätssicherung

20 Forschungsrankings Research Assessment Exercise (RAE) Bewertungssystem, das der Entscheidungsfindung bei der Verteilung von Forschungsgrundmitteln an britische Hochschulen dient, Informationen über Qualität der Forschung des britischen Hochschulsystems Disziplinär definierte Bewertungseinheiten ( units of assessment ) Hochschulen entscheiden über die Benennung von forschungsaktiven Wissenschaftlern sowie Mitteilung von Forschungsaktivitäten in den unterschiedlichen Bewertungseinheiten Bestandteile einer Mitteilung von Forschungsaktivitäten in einer Bewertungseinheit: Personal: statistische Informationen zu allen wissenschaftlichen Mitarbeitern, Detailangaben zu forschungsaktiven Mitarbeitern, statistische Informationen zu technischem und Verwaltungspersonal Forschungsproduktion: bis zu vier Produkte der Forschung (z.b. Bücher, Aufsätze, Aufnahmen) pro forschungsaktivem Mitarbeiter Beschreibung: Forschungsumfeld und organisation; Entwicklungspläne für die Forschung, qualitative Informationen über die Forschungsleistung und -reputation Daten: Forschungsmittel nach Quellen, Zahl der Forschungstudenten, Forschungsstipendien nach Quellen, Zahl der Forschungspreise, Indikatoren der Reputation ( peer esteem ) Für jede Bewertungseinheit wird ein Gutachtergremium (9-18 Gutachter) aus überwiegend akademisch, teilweise aus der Wirtschaft kommenden Wissenschaftler zusammengestellt. Bewertung: fünfstufige Skala von 1-5, einzelne Noten sind durch den Anteil an Forschungsaktivitäten definiert, Gutachter verständigen sich vorab auf eine Gewichtung der verschieden Daten und ihrer Bewertungsprinzipien Keine Rangliste kein Ranking sondern ein Forschungsrating! Wissenschaftsrat: Empfehlungen zu Rankings im Wissenschaftssystem, November 2004 (Drs. 6285/04). Köln.

21 Forschungsrating des Wissenschaftrats Bewertungen durch Gutachtergruppen auf Grundlage von Publikationen (Publikations- und Zitationsanalysen) sowie quantitativer und qualitativer Selbstauskünfte der Einrichtungen zu ihren Forschungsaktivitäten ( informed peer-review ) fachspezifischer Vergleich differenziert nach unterschiedlichen Leistungskriterien Vergleichende Bewertung von Forschungsleistungen von Universitäten und außeruniversitären Forschungseinrichtungen Bewertungskriterien (mehrstufige Skala): Forschung: Qualität, Impact, Effizienz Nachwuchsförderung: Nachwuchsförderung Wissentransfer: Transfer in andere gesellschaftliche Bereiche, Wissensvermittlung und -verbreitung

22 Quelle: WR , Quelle: DFG, Förder-Ranking Institutionen Regionen Netzwerke

23 Rankingreport der RWTH Aachen Rankingübersicht Dokumentation unterschiedlicher, nationaler und internationaler Rankings, Kurzzusammenfassung der untersuchten Fächer/Aspekte, Methodik und Ergebnis (Abschneiden der RWTH) Überblick über das Abschneiden der RWTH Aachen in den Hochschulrankings der vergangenen Jahre Einsatz als ein Element des Lehrcontrollings an der RWTH Aachen Quelle: Rankingreport. Rankingübersicht , August 2006, RWTH Aachen: www-zhv.rwthaachen.de/zentral/dez6_publikationen_rankingreport.pdf

24 (mangelnde) Übereinstimmung von Rankings Gleiche Datenbasis unterschiedliche Ergebnisse?

25 Psychologie 120 Zitationsanalyse Blasen= Fachbereiche, Blasengröße= absolute Zahle der Zitationen (CHE) Focus Zitationsindex Publ Berechnung unbekannt Koblenz-Landau Pearsons Cor.:.289 Sig. 0,060 CHE Citations/paper von Prof. Publ

26 Mapping Excellence in Science and Technology across Europe Ranking on the basis of standard bibliometric indicators P The number of publications CX The number of citations, not counting (i.e. excluding) selfcitations P10 The number of publications which are among the top 10 percent of most cited publications in the field, relative to the aggregation level chosen (country, world, EU&AS) CPP The impact: the number of citations per publication CPP/FCSm Our Crown Indicator, and probably a better measurement of the relative impact: the number of citations per publication (CPP), divided by the mean number of citations per publication in the field to which the publication belongs (FCSm). PS The percentage self-citations relative to all citations PN The percentage of papers not cited, relative to all publications

27 Mapping Excellence in Science and Technology across Europe Presentations of results (data ) For an entire field we will present rankings of departments on the basis of different indicators. The indicators that can be used for ranking are: Number of publications in a particular period of time Number of received citations (self-citations excluded) Average impact (number of citations per publication) Number of contributions to the top 10% of most highly cited publications. The fourth indicator is measured on each level of aggregation (world, EU and AC or national) and normalizes to different types of publications (articles, letters, notes and reviews).

28 Bis 1998 MPI für Psychatrie (München) Teilinstitut für Neurobiologie in Martinsried Ab 1998 MPI für Psychatrie München MPI für Neurobiologie Martinsried

29 Institute for Clinical Chemistry, University of Heidelberg, Mannheim, Germany; and Department of Surgery, Institute for Pathology, and Institute for Medical Microbiology and Hygiene, University of Regensburg, Regensburg, Germany Edited by James P. Allison, Memorial Sloan Kettering Cancer Center, New York, NY, and approved August 9, 2006 (received for review April 28, 2006) Author contributions: K.P. and W.E.K. contributed equally to this work; K.P., W.E.K., and A.W.B. designed research; K.P., W.E.K., M.V., C.T.N., J.S., and A.W.B. performed research; K.P., C.T.N., J.S., H.W., and A.W.B. contributed new reagents analytic tools; K.P., W.E.K., M.V., C.T.N., J.S., and A.W.B. analyzed data; and K.P., W.E.K., and A.W.B. wrote the paper. The authors declare no conflict of interest. This paper was submitted directly (Track II) to the PNAS office. To whom correspondence should be addressed at: University of Regensburg, Franz-Josef-Strauss-Allee 11, Regensburg, Germany.

30

31 EXCELLENT (> 80%) ISI / WOS coverage by main field Good (60-80%) Good (40-60%) MODERATE (<40 %) Biochem & Mol Biol Appl Phys & Chem Mathematics Other Soc Sci Biol Sci ~ Humans Biol Sci ~ Anim & Plants Economics Humanities & Arts Chemistry Psychol & Psychiat Engineering Clin Medicine Geosciences Physics & Astron Soc Sci ~ Medicine & Health Quelle: Henk v. Moed, Evaluation of Research Performance and Funding Programme in Social Sciences; Tagung: Norface Workshop on Research Programme Development and Management , Bonn: Institut für Forschungsinformation und Qualitätssicherung

32 nalyse von non-source -Items im Rahmen der australischen Forschungsinformation Institut für Forschungsinformation und Qualitätssicherung

33 Zeitfenster Literatur Datenbanken/ Zitationen Patente Drittmittel Transfer Reputation Input Fach Output Organisation en Fach ganze Hochschule -Bereinigung -Zählweise -Gewichtung -Schwellenwerte Definition Output Stat. Bundes-amt Fächersystematik (Personal u. Lehre) ISI Fachzuordnung ganze Hochschule alle Wissenschaftler nur Professoren Zeitfenster ortsbezogen Personenbezogen

34 Vielen Dank für Ihre Aufmerksamkeit!