i-med

Transkript

1

2 i-med Bibliometrien im Rahmen von Berufungsverfahren an der Medizinischen Universität Innsbruck Dr. Gregor Retti Servicecenter Evaluation & Qualitätsmanagement November 2007

3 Themenübersicht Grundbegriffe, Messgrössen, Datenquellen Problembereiche: Autorenschaft und Publikationstypen Erstellung von Bibliometrien für Berufungskommissionen Aussagekraft, Interpretation

4 Grundbegriffe, Messgrössen, Datenquellen (1) Bibliometrie ~ Form der quantitativen Evaluation Bibliometrie Szientometrie Informationswissenschaft Bibliothekswissenschaft Zitierungen / Zitationen (Erfassung ursprünglich eine kostengünstige Alternative zur Inhaltserschließung) Zitationsdatenbanken: WoS (= Web of Science), auch ISI (= Institute of Scientific Information), auch SCI (= Science Citation Index) => Scopus => Im WoS ausgewertete wissenschaftliche Journale ~ Journale mit Impact Factor Zitationen werden laufend aktualisiert!

5 Grundbegriffe, Messgrössen, Datenquellen (2) Impact Factor Z = alle Zitierungen aus dem Jahr n von Publikationen in einem Journal J aus den Jahren n-1 und n-2 A = Anzahl zitierbarer Publikationen in J in den Jahen n-1 und n-2 Impact Factor für J im Jahr n = Z / A erscheint jährlich neu ca. Juni/Juli IF-Journale IF-Journale höchster IF 2006: CA-A CANCER JOURNAL FOR CLINICIANS: 63, Journale mit IF 10 im SCI Journale mit IF 1 im SCI Ø IF aller Publikationen von i-med: 3,3 IF relevant für Medizin und Naturwissenschaften, da (1) relevanter wissenschaftlicher Diskurs in Journalen und (2) hoher Erfassungsgrad der Journale in ISI gewaltige Unterschiede zwischen unterschiedlichen Fachdisziplinen

6 Problembereiche: Autorenschaft und Publikationstypen (1) große Anzahl von Autor/innen auf Publikationen => Rolle der/des Einzelnen von Bedeutung Erstautor/in im Regelfall unproblematisch; bei mehreren Erstautor/innen Anmerkungen auf der Publikation Korrespondierende/r Autor/in - Seniorautor/in - Letztautor/in nur die/der korrespondierende Autor/in ist definiert und vor allem überprüfbar Letztautor/in ist in manchen Fällen einfache/r Koautor/in (s. folgende Beispiele) Seniorautor/in ist überhaupt nicht klar definiert...

7 Problembereiche: Autorenschaft und Letztautor/in korr. Autor/in Publikationstypen (2)

8 Problembereiche: Autorenschaft und Letztautor/in korr. Autor/in Publikationstypen (3)

9 Problembereiche: Autorenschaft und Publikationstypen (4) für Bibliometrie nur Originalarbeiten und Unterscheidung zwischen Originalarbeiten und Fallberichten (lt. Richtlinien) Journale verwenden stark variierende Bezeichnungen ISI verwendet nur eine Kategorisierung; Originalarbeiten und Fallberichte werden nicht unterschieden => article Pubmed verwendet mehrere Kategorisierungen und unterscheidet zwischen Originalarbeiten und Fallberichten (case reports), tendiert aber dazu Fallberichte mit Übersichtsteil auch als Übersichtsartikel (review) zu klassifizieren Bewerber/innen liefern ungenau Aufstellungen

10 Erstellung von Bibliometrien für Berufungskommissionen (1) Ablauf unmittelbar nach Einlangen der Bewerbung des BdR an Bewerber/in mit der Bitte aufbereitete Publikationsliste (letzte 15 Jahre) für Bibliometrie an QM zu schicken. Gründe: (1) Bewerber/innen sollte die eigenen Publikationen am Besten kennen. (2) Die Übertragung der Daten aus herkömmlichen Publikationslisten ist fehleranfällig. (3) Informationen zur Autorenschaft finden sich nur zum Teil auf den Publikationslisten. (Beschreibung in Englisch u. Deutsch sowie Excel-Vorlage) Format: Name der/des Erstautors wie auf Publikation (insbesonds abgekürzte Vornamen) gängiger Kurzname des Journals Erscheinungsjahr Bandangabe Beginnseite E für Erstautor/in K für korrespondierende/r Autor/in S für Seniorautor/in (Wozu das?) BdR schickt nach Einlangen eine CDROM mit Bewerbungsunterlagen (Publikationsliste!) an QM

11 Erstellung von Bibliometrien für Berufungskommissionen (2) Ablauf (Fortsetzung) nach Einlangen der aufbereiteten Publikationsliste Datenkontrolle und Aufbereitung Überprüfung in PubMed und im WoS ist die Arbeit auffindbar? Hat das Journal eine Impact Faktor? stimmen die Angaben zur korr. Autorin / zum korr. Autor? stimmt der Name der Erstautorin / des Erstautors, insbesondere die Initialen? stimmen Jahr, Bandangabe und Seitenzahl? welchen Publikationstyp(en) hat die Arbeit? Überprüfung der Problemfälle Abklärung zu Zweifelsfällen mittels Online-Recherche, Publikationsverzeichnis aus der Bewerbung etc. Streichung von Arbeiten, die den Kriterien nicht genügen Zuordnung der Impact Faktoren und Vereinheitlichung der Journal-Namen jeweils aktuellste Impact Faktoren Problembereiche: Journal existiert nicht mehr; Journal hat sich in Sub-Journals aufgespaltet etc.

12 Erstellung von Bibliometrien für Berufungskommissionen (3) Ablauf (Fortsetzung) Aufbereitung der Daten für Zitationsabfrage Die Abfrage der aktuellen Zitierungen wird von der UB durchgeführt (eigener Zugang zu den ISI-Datenbanken). Dazu müssen die Daten in ein vordefiniertes Format konvertiert werden: zb. Bevec D, HUM GENE THER, 1994, 5, 193 => S CR=bevec d, 1994, v5, p193,? Volc-Platzer B, J INVEST DERMATOL, 1993, 100, 84S => S CR=volc-platzer b, 1993, v100, p84,? => S CR=volc-platzer b, 1993, v100, p84s,? => S CR=volcplatzer b, 1993, v100, p84,? => S CR=volcplatzer b, 1993, v100, p84s,? Das Ergebnis der Abfrage wird integriert.

13 Erstellung von Bibliometrien für Berufungskommissionen (4) Ablauf (Fortsetzung) Letzter Kontrolldurchgang Annahme: Je älter die Arbeit und je höher der Impact Faktor, desto mehr Zitierungen Auf Basis dieser Annahme Endkontrolle: Publikationstyp Letter hat im Regelfall wenig bis keine Zitierungen Fehler im Namen, Jahr, Band, Seitenangabe führen zu 0 Zitierungen. Zitierungen werden in WoS recherchiert. => Volc-Platzer B, J INVEST DERMATOL, 1993, 100, S84

14 Erstellung von Bibliometrien für Berufungskommissionen (5) Ablauf (Fortsetzung) Fertigstellung Pro Person werden die Daten in 5-Jahres-Zeiträume gegliedert aufbereitet und eine Übersichtsliste erstellt Die Auswertung wird in einem geschützten Bereich für die Berufungskommission bereitgestellt Für die Gutachter/innen werden die Daten auf CD gebrannt

15 Aussagekraft, Interpretation Zeiträume Rollen Durchschnitt und Median Fachgebiete