Jun.-Prof. Dr. Mario Gollwitzer Universität Koblenz-Landau Fachbereich Psychologie. Workshop "Publizieren während der Promotion" (07.05.

Transkript

1 Jun.-Prof. Dr. Mario Gollwitzer Universität Koblenz-Landau Fachbereich Psychologie Workshop "Publizieren während der Promotion" ( ) 1

2 Bedeutung des Publizierens in Fachzeitschriften Präsentation neuer Fakten, Informationen, Erkenntnisse Forum für kritische Diskussionen (z.b. Behavioral and Brain Sciences Konzeptuelle Neuordnung bzw. Reformulierung bereits publizierter Erkenntnisse (z.b. Personality and Social Psychology Review Definition heißer Themen bzw. mainstream research Etablierung von Normen und Standards des wissenschaftlichen Arbeitens und Schreibens Networking zwischen Wissenschaftlern, die zum gleichen Thema arbeiten, fördern (z.b. special issues ) Assoziationen zwischen Namen und Themen Bewertung (Evaluation) von Themen, Personen, Institutionen sowie Evaluation der Zeitschriften selbst Workshop "Publizieren während der Promotion" ( ) 2

3 Bedeutung des Publizierens in Fachzeitschriften Evaluation von Personen: Bewerbungs- und Berufungsverfahren Qualifikation (Habilitation, Juniorprofessur ) Bewilligung von Drittmitteln Ruf, Status, Einfluss, Macht Evaluation von Institutionen: Rankings (NSI, CHE, Focus-Ranking, RAE, CEST) Ruf, Status, Bekanntheitsgrad Zusätzliche Mittel (z.b. Exzellenzinitiative) Wettbewerb um die besten Wissenschaftler (Spielräume in Berufungsverhandlungen) Wettbewerb um die besten Studierenden Workshop "Publizieren während der Promotion" ( ) 3

4 Anzahl der Publikationen pro Standort pro Jahr ( ) im Fach Psychologie Quelle: CHE-Forschungsranking Psychologie (2004) Workshop "Publizieren während der Promotion" ( ) 4

5 Bedeutung des Publizierens in Fachzeitschriften Interkorrelation der verschiedenen Produktivitätsparameter: Quelle: CHE-Forschungsranking Psychologie (2004) Workshop "Publizieren während der Promotion" ( ) 5

6 Impact-Faktoren und Zitationsindizes Impact Factor einer Zeitschrift = Innerhalb des Jahres 2006 zitierte Arbeiten aus der Zeitschrift XY, welche in dort erschienen sind Gesamtzahl der in Zeitschrift XY zwischen 2004 und 2005 erschienenen Artikel Impact-Faktoren können berechnet werden...:... auf der Ebene von Zeitschriften... auf der Ebene von Autoren... auf der Ebene von Universitäten/Fakultäten Workshop "Publizieren während der Promotion" ( ) 6

7 Impact-Faktoren und Zitationsindizes Rg Kategorie Anzahl Zit. Impact (Md) Impact (M) Immed Zit- HWZ N J N A Angewandte Psychologie Immediacy Index = Wie oft Klinische 2wird ein Artikel aus 116 der 119 letzten Psychologie Ausgabe des Journals zitiert? 3 Entwickl Psychologie Halbwertszeit = Wie lange werden Pädagog. Artikel dieses Journals nach ihrem Psychologie Erscheinen noch zitiert? > Allgemeine Psychologie Sozialpsychologie > Workshop "Publizieren während der Promotion" ( ) 7

8 Impact-Faktoren und Zitationsindizes Journals mit IF > 4: Journal of Consulting and Clinical Psychology Journal of Clinical Psychiatry Journal of Cognitive Neuroscience Advances in Experimental Social Psychology Monographs of the Society for Research in Child Development Trends in Cognitive Science ,00 7,50 7,00 6,50 6,00 5,50 5,00 4,50 4,00 3,50 3,00 2,50 2,00 1,50 1,00,50 0,00 Std.abw. = 1,03 Mittel = 1,29 N = 312,00 IMPACT Workshop "Publizieren während der Promotion" ( ) 8

9 Impact-Faktoren und Zitationsindizes Berechnung des Impact Factors : Institute of Scientific Information (ISI), Philadelphia (gehört der Firma Thomson Scientific) Auswertung der Literaturverzeichnisse aller Artikel jener Zeitschriften, die in Datenbanken geführt werden (z.b. Web of Science ) 1961: Einführung des Science Citation Index seit 1975: Veröffentlichung des Journal Citation Report (JCR) (Natur- und Sozialwissenschaften); Vorteil: Der IF ist ein relatives Maß, d.h. invariant gegenüber irrelevanten Parametern (Anzahl der Ausgaben pro Jahr, Anzahl der Artikel pro Ausgabe, Alter der Zeitschrift etc.) Workshop "Publizieren während der Promotion" ( ) 9

10 Impact-Faktoren und Zitationsindizes Probleme: ISI-Datenbanken erfassen nicht die gesamte Literatur: Bücher, Qualifikationsarbeiten, graue Literatur dominiert von US-amerikanischen Zeitschriften kaum nicht-englischsprachige Literatur Der IF ist nicht vergleichbar über Disziplinen hinweg Die Anzahl zitierter Literatur pro Artikel ist abhängig von der Art der Zeitschrift bzw. von der Art und Länge des Artikels (Originalartikel, Review, Meta-Analyse etc.) Problem: Selbstzitationen (ca. 13%) Förderung von mainstream -Forschung, Benachteiligung exotischer bzw. neuer Themen Misst der IF wirklich Impact? Haben die Autoren ihre zitierten Artikel wirklich gelesen? Nach welchen Kriterien wählen Autoren Zitationen aus? Ein Artikel kann auch erst nach zwei Jahren Impact haben! Workshop "Publizieren während der Promotion" ( ) 10

11 Der h-index (Hirsch, 2005) Ein Wissenschaftler hat einen Index h, wenn h von seinen insgesamt N Veröffentlichungen mindestens jeweils h Zitierungen haben und die anderen (N h) Publikationen weniger als h Zitierungen. Beispiel: A hat 10 Veröffentlichungen, von denen alle mindestens 2 Mal zitiert wurden und 9 mindestens 3 Mal zitiert wurden. Dann hat er einen h-index von 2. Beispiel 2: B hat 4 Veröffentlichungen, die alle mindestens 4 Mal zitiert wurden. Dann hat er einen h-index von 4. D.h. wenn ein Wissenschaftler eine einzige (wenn auch viel zitierte) Veröffentlichung hat, ist das weniger wert als wenn er viele Veröffentlichungen hat, die alle oft zitiert werden. Workshop "Publizieren während der Promotion" ( ) 11

12 Der Publikationsmarkt Autoren wollen ihre Artikel in Impact-starken Zeitschriften veröffentlichen, die von vielen gelesen werden Herausgeber einer Zeitschrift wollen den Ruf und Impact ihrer Zeitschrift maximieren wollen Artikel publizieren, die gelesen werden wollen die Anzahl der Einreichungen (und damit die Ablehnungsquote) erhöhen wollen den Auswahlprozess valide und effizient gestalten Wissenschaftler/Leser wollen gute Artikel lesen wollen sich auf die Qualität einer Zeitschrift verlassen Verlage wollen den IF ihrer Zeitschriften erhöhen, um Anzeigen- und Abonnementpreise in die Höhe zu schrauben Workshop "Publizieren während der Promotion" ( ) 12

13 Der Publikationsmarkt Anzahl der eingereichten Artikel Qualität der eingereichten Artikel Qualität der publizierten Artikel Review- Prozess Gute Artikel werden öfter gelesen und öfter zitiert; Ruf der Zeitschrift steigt Impact Factor Downloads / Abonnements Workshop "Publizieren während der Promotion" ( ) 13

14 Der Peer-Review -Prozess Autoren reichen ihr Manuskript bei Zeitschrift X ein Ablehnung Revision und Wiedereinreichung Kleinere Änderungsauflagen Manuskript wird einem Mitglied des Herausgeberkreises ( editorial board ) zugeteilt Zuständiger Editor gibt das Manuskript an Gutachter weiter Annahme und Veröffentlichung Editor fasst die Gutachten zusammen und trifft eine Entscheidung Gutachter lesen und bewerten das Manuskript und geben ein Votum ab Annahme Annahme mit geringfügigen Änderungen Revision und Wiedereinreichung Ablehnung Workshop "Publizieren während der Promotion" ( ) 14

15 Der Peer-Review -Prozess Sinn und Zweck des Peer-Review -Prozesses: Qualitätsmanagement in der Wissenschaft (nur die besten Artikel werden veröffentlicht) Höhere Prozessökonomie (die Arbeit verteilt sich auf mehrere Schultern; Herausgeber werden entlastet) Höhere Reliabilität des diagnostischen Urteils ( Messfehler mitteln sich über Gutachtervoten hinweg aus) Höhere Validität des diagnostischen Urteils (Gutachtermeinungen ergänzen sich und verbessern das Gesamturteil) Workshop "Publizieren während der Promotion" ( ) 15

16 Der Peer-Review -Prozess Diagnostische Gütekriterien: Reliabilität Validität Objektivität Skalierung Normierung Ökonomie Nützlichkeit Zumutbarkeit Fairness Akzeptanz Intraclass coefficient:.07 ICC.30 (Mahoney, 1977) Gutachterurteil und Zitationsindex: r =.24 (Gottfredson, 1978) Workshop "Publizieren während der Promotion" ( ) 16

17 Der Peer-Review -Prozess Reviewer-Bias : gegenüber Personen und Institutionen gegenüber nicht-signifikanten Befunden gegenüber neuer, innovativer, kreativer Forschung gegenüber Replikationen früherer Befunde gegenüber Widerlegungen früherer Befunde Gründe für einen möglichen Bias: Reziprozität und Rivalität Halo -Effekt (in Bezug auf Namen oder Institutionen) Eigeninteresse Machtmissbrauch Kognitive Urteilsfehler (confirmation bias, hindsight bias, Dissonanzreduktion, Verfügbarkeitsheuristik ) Workshop "Publizieren während der Promotion" ( ) 17

18 Der Peer-Review -Prozess Die erste Hürde (quick read) Abstract: Klare Antworten (Forschungsfrage, Methodologie, Ergebnisse, Interpretation)? Relevanz der Forschungsfrage? Bedeutung der Befunde und ihrer Interpretation? Länge des Manuskripts Struktur des Manuskripts (Überschriften) Formale Korrektheit des Literaturverzeichnisses Klarheit und Struktur von Tabellen und Abbildungen Stil und Sprache, Gender Biases ( Stichprobenlesen, 1-2 Absätze in jedem Teil des Manuskripts) Workshop "Publizieren während der Promotion" ( ) 18

19 Die 13 Schreibsünden (Bartol, 1983) Theorieteil bzw. Einleitung: 1. Zu wenig oder zu viel zitierte Literatur 2. Thematisch irrelevante Bezüge und Zitate 3. Unpassende, nicht zielführende Argumente und Gedanken 4. Mehrdeutige Fragestellung, unklare Beschreibung der Forschungsfrage Methodenteil: 5. Unvollständige Beschreibung der Stichprobe 6. Unvollständige Beschreibung der methodischen Umsetzung (Faustregel: Reichen die Informationen, um die Studie zu replizieren?) 7. Unvollständige Beschreibung der verwendeten Instrumente und Maße Workshop "Publizieren während der Promotion" ( ) 19

20 Die 13 Schreibsünden (Bartol, 1983) Ergebnisteil: 8. Unvollständige Darstellung der statistischen Analysen (z.b. keine deskriptiven Daten) 9. Unangemessene Auswertungsverfahren Diskussion: 10. Bloße Wiederholung der Befunde 11. Interpretationen, die weit über die Daten hinaus gehen und durch die Befunde nicht gestützt werden Sonstiges/Formales: 12. Stilistische oder sprachliche Mängel 13. Exzessive Länge des Manuskripts (mehr als 35 Seiten) Workshop "Publizieren während der Promotion" ( ) 20

21 Tipps (APA, 2007) Substanzielle Hinweise (Einleitung und Diskussion) Stelle die Forschungsfrage an den Anfang des Manuskripts! Stelle dar, wie die Forschungsfrage in der Theorie substanziiert ist, d.h. welche theoretischen Bezüge es gibt, wie sich das Problem genau darstellt, wie die Theorie das Problem formt! Knüpfe die Forschungsfrage an bisherige Arbeiten an; gib einen ausreichenden und informativen, aber keinen langatmigen Überblick über relevante empirische Befunde! Formuliere explizit deine empirischen Hypothesen! Bleibe mit deinen Interpretationen immer innerhalb der Aussagekraft der Daten! Stelle dar, wie die Studie die Erkenntnislage zu der ursprünglichen Forschungsfrage bereichert hat! Identifiziere und diskutiere die theoretischen und praktischen Implikationen deiner Befunde! Workshop "Publizieren während der Promotion" ( ) 21

22 Tipps (APA, 2007) Methodologische Hinweise (Methodenteil) Die zwei C s : CLEAR and CLEAN Versuchsplan (unabhängige Variablen) Operationalisierung, Instrumente, Messverfahren Stichprobe und Stichprobenziehung Ablauf und Materialien (z.b. Instruktionen, ggf. wörtliche Wiedergabe) Ethische Richtlinien (Bezahlung, Freiwilligkeit, Einwilligung, Datenschutz, Aufklärung, Probleme/Schäden) Statistische Analysen Workshop "Publizieren während der Promotion" ( ) 22

23 Tipps (APA, 2007) Stilistische und formale Hinweise Abstract: genau, in sich geschlossen, neutral, kohärent, lesbar Man muss den Artikel allein anhand des Abstracts verstehen können. Tabellen und Abbildungen: müssen formal korrekt sein müssen für sich alleine stehen können sollen Informationen im Text ergänzen, nicht bloß wiederholen Literaturverzeichnis: nur die besten, aktuellsten, relevantesten Artikel zitieren muss formal korrekt sein Orthografie, Abkürzungen, Formate etc. Workshop "Publizieren während der Promotion" ( ) 23

24 Tipps (Wegner, 2006) Open with a bang! Keine Zitate oder Verweise im ersten Absatz! Behandle den Leser wie ein Kätzchen, das auf deinem Arm liegt und ständig fliehen will! Erlaube dem Leser, sich in die Rolle einer Versuchsperson hineinzuversetzen (Beispiele, Emotionen)! Orientiere dich an einem Modell (d.h. einem Artikel oder Autor, den du wirklich gut findest)! Sei redundant: Sag dem Leser, was du ihm sagen wirst, sag es ihm, und sag ihm dann, was du ihm gesagt hast! Verwende eine konsistente Terminologie, wenig Abkürzungen, viel Schlagworte und Wiederholungen! Beginne die Diskussion mit einem Befundüberblick! Workshop "Publizieren während der Promotion" ( ) 24

25 Tipps (Wegner, 2006) Zitiere wenn möglich immer drei Typen von Artikeln: den Entdecker (d.h. den ersten Artikel zum Thema) die Koryphäe (d.h. den wichtigsten Artikel zum Thema) die neueste Mode (d.h. den neusten Artikel zum Thema) Sei gemäßigt innovativ (z.b. frische Überschriften)! Sei perfektionistisch (formale Aspekte)! Bleibe bei der Wahrheit bei der Diskussion der Befunde ( Was marginal signifikant im Ergebnisteil war, sollte nicht hoch signifikant im Diskussionsteil sein... )! Bleibe mit dem Schreiben in der Übung! Lass deinen Artikel Korrektur lesen, bitte erfahrene Kollegen um Rückmeldung, ggf. um ein Probe-Review! Workshop "Publizieren während der Promotion" ( ) 25