Bibliometrische Indikatoren für die eigene wissenschaftliche Karriere nutzen. Inhalt

Transkript

1 Bibliometrische Indikatoren für die eigene wissenschaftliche Karriere nutzen Christian Schlögl Universität Graz Institut für Informationswissenschaft und Wirtschaftsinformatik Inhalt Einführung Bibliometrische Indikatoren in verschiedenen Disziplinen Fallbeispiel BWL (VHB-Jourqual Zeitschriften-Ranking) Bibliometrische Zitationsindikatoren: Datenquellen Indikatoren Maßnahmen (legale) zur Steigerung des eigenen Impact: Konsequenzen der zugenommenen Bedeutung von Zitationsindikatoren (Möglicher) Ausblick 1

2 1. EINFÜHRUNG Scientometric research is devoted to quantitative studies of science and technology (Van Raan 1997) Anwendung exakter Messmethoden bei der Untersuchung der Wissenschaft (üblicherweise statistische Methoden) Begriffsverständnis uneinheitlich: teilweise werden die Begriffe Bibliometrie, Informetrie und Szientometrie synonym verwendet Einführung teilweise um die Anwendung exakter Messmethoden / quantitativer Verfahren in den entsprechenden Anwendungsgebieten zum Ausdruck zu bringen: Bibliometrie: im Bereich des Bibliothekswesens, z. B. Zeitschriftenauswahl aufgrund von Zitationshäufigkeiten, Zeitschriftenabbestellungen aufgrund der Nutzungshäufigkeiten elektronischer Zeitschriften, Informationswesen: im Bereich des Informationswesens allgemein, z. B. Bestimmung des Patentportfolios eines Unternehmens, Ermittlung wichtiger Kennzahlen von Mitbewerbern in Bilanzdatenbanken, Szientometrie: zur Untersuchung der Wissenschaft oder Teilbereichen davon, z. B. Forschungsevaluierung Webometrie: im Bereich des WWW, z. B. Web Impact Factor, Link- Netzwerke, 2

3 Einführung Ebenen von szientometrischen Analysen: Forscher Forschungsgruppe Institut/Abteilung Universität Land Zeitschrift Disziplin usw. Gründe für szientometrische Analysen im Rahmen der Forschungsevaluierung: Ressourcenverteilungen: Geld, Lehrstühle, Berufungsverfahren Berufliche Karriere: Leistungsvereinbarung mit wissenschaftlichen Mitarbeitern, Habilitationsverfahren, Nobelpreis Forschungsförderung: z. B. Vergabe von Drittmitteln Einführung Szientometrische Indikatoren im Bereich der Forschungsevaluierung (Institutsebene): Input: personelle Ressourcen finanzielle Ressourcen: o. Dotation, a.o. Dotation, Drittmittel Output: Lehre: Umfang des LVA-Angebots Anzahl der abgeschlossenen Diplomarbeiten und Dissertationen Forschung: Produktivität: Anzahl der Publikationen Impact - Zitate 3

4 Einführung Vorherrschender Dokumenttyp von wissenschaftlicher Disziplin abhängig: Aufsätze in Zeitschriften Beiträge in Sammelbänden Monographien Beiträge in Tagungsbänden Sonstige % ,6 74,8 70,9 53,1 44,6 GEWI und SOWI 98 95,8 94,7 90,7 83,9 39, , ,9 20,5 11,2 13,7 40,2 36,1 15,9 Lebenswissenschaften Naturwissenschaften Ingenieurwissenschaften 48,4 44,9 39,6 Gesamt 22,7 Abbildung: Häufig genutzte Publikationsformen zur Beschaffung aktueller Informationen in verschiedenen Fachgebieten in Prozent (vgl. Deutsche Forschungsgemeinschaft, 2005, S. 22) Einführung ==> Forschungsevaluierung disziplinenspezifisch: Geisteswissenschaften: stärker buchbasiert, hier haben quantitative Verfahren noch nicht so stark Einzug gehalten Ingenieurwissenschaften (z. B. Informatik): starke Bedeutung von Tagungen Life Sciences, Naturwissenschaften, Teile der Sozialwissenschaften: große Bedeutung von quantitativen Verfahren, insbesondere Zitationsanalyse 4

5 Fallstudie: deutschsprachige BWL Zeitschriften-Ranking des Verbands der Hochschullehrer für Betriebswirtschaft e.v.: JOURQUAL 1 (2003) und 2 (2008)... ein Ranking von betriebswirtschaftlich relevanten Zeitschriften auf der Grundlage von Urteilen der VHB-Mitglieder. Insgesamt haben sich 653 Mitglieder und Habilitierende an der Umfrage beteiligt ( ) WU Journal Rating ( ) Fallstudie deutschsprachige BWL 5

6 Fallstudie deutschsprachige BWL Fallstudie deutschsprachige BWL Auszug aus einem Gutachten für eine Berufungskommission aus Marketing: 6

7 Fallstudie deutschsprachige BWL WU-Journal-Rating Das WU-Journal-Rating setzt Qualitätsstandards für die Forschung durch die Orientierung an international renommierten Topjournalen: WU-Journal-Rating Die WU-Journal-Ratings werden auf Basis der Betriebsvereinbarung zur Regelung der Leistungsprämien für das wissenschaftliche Personal zur Vergabe der Prämie für einen Top-Journal-Artikel in Höhe von insgesamt EUR 1.000,- (A- Journal) bzw. EUR 3.000,- (A+-Journal) pro Artikel eingesetzt. (Prämien für Top-Journal-Artikel) Eine erste Revision des WU-Journal-Ratings erfolgte im Jahr Das aktuelle WU-Journal-Rating umfasst nunmehr 383 wissenschaftliche Topjournale aus wirtschaftswissenschaftlicher Sicht, hiervon 34 A+ Journale. Bibliometrische Zitationsindikatoren Datenquellen: Web of Science Scopus Google Scholar (Publish or Perish) HEP (High Energy Physics) 7

8 Bibliometrische Indikatoren Unterscheidungsmöglichkeiten: ob Input/Output im Rahmen des Forschungsprozesses 1. Inputindikatoren: Anzahl Forscher (Vollzeitäquivalente) Höhe der laufenden Kosten (Budget bzw. ordentliche Dotation) 2. Outputindikatoren: Anzahl Publikationen Anzahl Vorträge Bibliometrische Indikatoren Unterscheidungsmöglichkeiten: ob absolute oder relative Werte: 1. Absolute Indikatoren: Anzahl Publikationen (P) Anzahl hochwertige Publikationen Anzahl erhaltene Zitate (C) Hirsch-Index: Anzahl der Publikationen h, die öfter oder gleich h-mal zitiert wurden (wobei h maximal sein sollte) Anzahl Autoren (A) Summe eingeworbener Drittmittel Höhe der laufenden Kosten (K) 2. Relative Indikatoren: Durchschnittliche Anzahl der Autoren je Publikation: A/P Durchschnittliche Anzahl der erhaltenen Zitate je Publikation: C/P Durchschnittliche Anzahl der erhaltenen Zitate je Jahr Durchschnittliche Anzahl der erhaltenen Zitate je Autor (bei Mehrfachautorenschaften): C/A Durchschnittliche (laufende) Kosten je Publikation: K/P 8

9 Bibliometrische Indikatoren: h-index Hirsch-Index Ermittlung: 1. Publikationen eines Forschers (einer Zeitschrift) nach der Zitierhäufigkeit sortieren 2. Der h-index ist nun jene Zahl, bei der die Rangnummer mit den Zahl der Zitierungen übereinstimmt. Beispiel: h-index = 20: der Forscher hat 20 Publikationen verfasst, die jeweils mindestens 20-mal zitiert wurden. Bibliometrische Zitationsindikatoren 9

10 Bibliometrische Zitationsindikatoren Bibliometrische Zitationsindikatoren: Hirsch-Index 10

11 Bibliometrische Zitationsindikatoren: Impact Factor Impact Factor: Wie oft wurde ein Artikel einer Zeitschrift, der in den beiden vorangegangenen Jahren (z. B und 2011) erschienen ist, im Betrachtungsjahr (2012) durchschnittlich zitiert. ncit i to articles i-1 + ncit i to articles i-2 IF i = nart i-1 + nart i-2 Da ein Artikel üblicherweise erst nach einer gewissen Zeit publiziert wird, wird der IF oft (vor allem bei jüngeren Wissenschaftlern) als Näherungswert für die zu erwartenden Zitate genommen!!! Annahme: Je höher der Impact Factor einer Zeitschrift, desto mehr Beachtung finden Artikel, die in dieser Zeitschrift publiziert wurden (und desto wissenschaftlich wertvoller sind sie). Achtung: unterschiedliches Zitierverhalten in verschiedenen (Sub)Disziplinen!!! Bibliometrische Zitationsindikatoren: Impact Factor 11

12 Bibliometrische Zitationsindikatoren: kumulierter Impact Factor Zeitschrift Jahr IF Information Research ,701 JASIST , ,086 Journal of Information Science , ,852 Journal of Documentation ,712 LCATS ,296 nfd , (2000) 0,013 Scientometrics , ,251 Wirtschaftsinformatik , ,347 ZfBB 2012 (2011) 0, , ,069 kum. IF 13,484 Bibliometrische Zitationsindikatoren: kumulierter Impact Factor Auszug aus dem Publikationsdatensatz einer Kollegin aus dem Bereich der Medizin: Scientific Publications Cumulative impact factor: 190 Average impact factor: 3.74 Citations in SCI: full papers in peer-reviewed indexed journals, including Am J Clin Nutr, J Am Soc Nephrol, Free Radic Biol Med, Clin Chem, J Lipid Res, Gastroenterology, Atherosclerosis etc, additional full papers published in books. >130 peer-reviewed abstracts published in indexed scientific journals, additional abstracts published in meeting abstract volumes. 12

13 Bibliometrische Zitationsindikatoren Bibliometrische Zitationsindikatoren: Publish or Perish Publish or Perish is a software program that retrieves and analyzes academic citations. It uses Google Scholar to obtain the raw citations, then analyzes these and presents the following statistics: Total number of papers Total number of citations Average number of citations per paper Average number of citations per author Average number of papers per author Average number of citations per year Hirsch's h-index and related parameters Egghe's g-index The contemporary h-index The age-weighted citation rate Two variations of individual h-indices An analysis of the number of authors per paper. 13

14 Publish or Perish Phrasensuche!!! ACHTUNG: es werden nicht alle Dokumente einer Klasse zugeordnet!!! Homonymproblematik Achtung: oft mehrere Versionen einer Publikation!!! Google Scholar Citation 14

15 Maßnahmen zur Impact-Steigerung Guter wissenschaftlicher Mentor selbst wissenschaftlich aktiv: wissenschaftliche Erfahrung Führungsqualitäten wohlwollend ausreichend Freiräume für Forschung schaffen <-> Lehre und Verwaltung! Koautorenschaften/Gemeinschaftspublikationen Lerneffekte Höhere Qualität Arbeitsteilung Publikationskartelle! Zugänglichkeit der eigenen Publikationen (Open Access!, Preprints online stellen) Maßnahmen zur Impact-Steigerung gezielte Publikationsstrategie: Qualität und Quantität keine Publikation verschenken einheitliche Namensansetzung (Umlaute!, Namensänderung bei Heirat!) Researcher ID Networking: Mitgliedschaft in wissenschaftlichen Fachverbänden Teilnahme an führenden wissenschaftlichen Tagungen zum eigenen Forschungsbereich selbstbewusst sein Social media networking sites (z. B. Mendeley, Academia.edu, ResearchGate, Mailing-Listen) Selbstdarstellung: aktuelle wiss. Homepage 15

16 gezielte Publikationsstrategie gezielte Publikationsstrategie 16

17 einheitliche Namensansetzung Researcher ID 17

18 Networking/social academic network sites Networking/social academic network sites 18

19 Networking/social academic network sites Networking/social academic network sites 19

20 Networking/social academic network sites Networking/social academic network sites 20

21 Networking/social academic network sites Networking/social academic network sites 21

22 Networking/social academic network sites Konsequenzen Neutral: Zunahme der Mehrfachautorenschaften (auch unethische) bzw. mehr Autoren je Aufsatz Positive: englischsprachige Publikationen gewinnen auch in Teilen der Sozialwissenschaften zunehmend an Bedeutung größere internationale Sichtbarkeit der Forschungsergebnisse tw. höhere Transparenz (z. B. Habil-Kriterien) Negative: Publish or Perish mehr, aber nicht notwendigerweise bessere Publikationen geniale wissenschaftliche Ideen haben nichts mit der Publikationsanzahl zu tun! auch nicht notwendigerweise mit Zitationshäufigkeit: bahnbrechende Erkenntnisse oft durch Außenseiter-Meinungen hängen oft auch eng mit Misserfolgen zusammen Manipulationsversuche durch Autoren (z. B. Gefälligkeitszitate, Publikationskartelle durch Zeitschriften-Editoren Teilweise inkompetenter Einsatz von szientometrischen Methoden (z. B. kumulativer Impact Factor!!!) quantitative Verfahren müssen IMMER durch qualitative Verfahren ergänzt werden 22

23 Ausblick Zitationsanalysen werden auch in naher Zukunft insbesondere in den Naturwissenschaften und in großen Teilen der Sozialwissenschaften die dominierende Methode bei der Impact-Messung bleiben Social academic networking sites und Altmetrics werden an Bedeutung gewinnen Vorteile von sog. Altmetrics (alternative metrics) (Piwowar 2013): nuanciertere Impact-Beurteilung: wie oft werden wissenschaftliche Artikel gelesen, diskutiert, kommentiert, heruntergeladen, In der Regel viel geringere zeitliche Verzögerung Beurteilung alternativer Formen wissenschaftlicher Beiträge (Daten, Software, Blog Postings, Präsentationen, Patente, ) Impact-Messung kann z. B. auf Praktiker, Lehrer oder die allgemeine Öffentlichkeit ausgedehnt werden Ausblick Research Metrics Impact-Dimensionen (Plum Analytics): Zitate: wissenschaftliche Literatur (z. B. Web of Science), Patente Nutzung: Downloads, Entlehnungen, Fernleihe Registrierung/Erfassung: Aufnahme von Publikationen in persönliche Nutzerbibliothek bei Mendeley ( Readers ), Setzen von Lesezeichen, persönliche Favoriten (z. B. YouTube), Kommentierung/Nennung: Anzahl der Kommentare (z. B. Slideshare), Anzahl der Inlinks auf Wikipedia-Artikel, Anzahl der Beiträge zu einem diskutierten Thema in einem Diskussionsforum, Social Media: Anzahl der Likes (z. B. Facebook), Ratings (z. B. Bewertungsportale, Anzahl Tweets 23