Wie lügt man mit Statistik Oder: wie entsteht manch eine Statistik

Transkript

1 Wie lügt man mit Statistik Oder: wie entsteht manch eine Statistik Michael Dreher Tag der Offenen Tür

2

3

4 Stichproben mit Verzerrung Umfragen per Telefon, per Brief, auf Straße Bewertungsportale angepaßte Antworten Publikationsverzerrung bei Meta Analysen

5 Begriffliche Unschärfe: Durchschnitt Kleinunternehmen Chef: EUR / Jahr 10 Mitarbeiter: je EUR / Jahr Durchschnitt: / EUR / Jahr Inhaltlich angemessener: Median anstatt arithmetischem Mittel

6 Begriffliche Unschärfe: Risiko Oktober 1995, U.K. Committee on Safety of Medicine: die Pille der dritten Generation erhöht das Thromboserisiko um 100 %

7 Begriffliche Unschärfe: Risiko Oktober 1995, U.K. Committee on Safety of Medicine: die Pille der dritten Generation erhöht das Thromboserisiko um 100 % Gemeint war: 7000 Frauen nehmen Pille der zweiten Generation: 1 Thrombosefall 7000 Frauen nehmen Pille der dritten Generation: 2 Thrombosefälle

8 Rankings von Universitäten Shanghai Jiaotong University Academic Ranking of World Universities: seit 2003 mehr als 2000 Universitäten begutachtet 500 veröffentlichte Ränge von Universitäten ab Rang 101: Bekanntgabe in Blöcken von 50 ab Rang 201: Bekanntgabe in Blöcken von 100 Times Higher Education Supplement: seit forschungsstarke Universitäten selektiert Veröffentlichung der ersten 200 Ränge

9 Shanghai Jiao Tong University Rankings (SJTU) 2007 Qualität der Fakultät: Anzahl der Nobelpreise / Fields-Medaillen des Personals (20%) Qualität der Fakultät: Anzahl der häufigst zitierten Wissenschaftler in 21 Fachdisziplinen (20%) Forschungsoutput: Anzahl der Artikel in Science und Nature (20%) Forschungsoutput: Anzahl der Artikel im Science Citation Index-expanded, Social Science Citation Index (20%) Akademische Leistung: Leistung in Bezug zur Größe (10%)

10 Shanghai Jiao Tong University Rankings (SJTU) 2007 Qualität der Fakultät: Anzahl der Nobelpreise / Fields-Medaillen des Personals (20%) Qualität der Fakultät: Anzahl der häufigst zitierten Wissenschaftler in 21 Fachdisziplinen (20%) Forschungsoutput: Anzahl der Artikel in Science und Nature (20%) Forschungsoutput: Anzahl der Artikel im Science Citation Index-expanded, Social Science Citation Index (20%) Akademische Leistung: Leistung in Bezug zur Größe (10%) Qualität der Lehre: Anzahl der Nobelpreise und Fields-Medaillen bei den ehemaligen Studenten (10%)

11 Times Higher Education Supplement Rankings (THES) 2007 Qualität der Forschung: Meinungen von Gutachtern (40%) Qualität der Fakultät: Zitationen pro Vollzeitmitarbeiter (20%) Arbeitsmarkt: Meinungen von Personalchefs (10%) Internationalität: Anteil der internationalen Mitarbeiter (5%) Internationalität: Anteil der internationalen Studenten (5%) Qualität der Lehre: Studenten pro Lehrkraft (20%)

12 Studie 2008 Joint Research Centre European Commission Higher Education Rankings: Robustness Issues and Critical Assessment. How much confidence can we have in Higher Education Rankings?

13 Methodik 88 Universitäten in beiden Rankings jeweils 1 Kriterium entfernen, bzw. 4 verschiedene Gewichtsmethoden, und weitere Variationen insgesamt 70 Simulationen (SJTU) und 70 Simulationen (THES) kombinierte Daten beider Rankings (130 Simulationen)

14 Ergebnisse (SJTU): Top 5: Harvard, Stanford, Berkeley, Cambridge, MIT für 52 von 88 Universitäten kein Rang sinnvoll bestimmbar (Rang-Intervall 22) Universität SJTU-Rang Simulation Freiburg Göttingen Heidelberg TUM Uni München Uni Zürich Univ California, Santa Barbara

15 Ergebnisse (THES): Top 5: Harvard, Cambridge, Oxford, Yale, Imp. Coll. London für 59 von 88 Universitäten kein Rang sinnvoll bestimmbar Universität THES-Rang Simulation Freiburg Göttingen Heidelberg TUM Uni München ETH Uni Basel

16 Ergebnisse (SJTU und THES kombiniert): Top 5: Harvard, Cambridge, Caltech, Berkeley, MIT für 50 von 88 Universitäten (immer noch) kein Rang sinnvoll bestimmbar Universität Median-Rang Simulation Freiburg Göttingen Heidelberg TUM Uni Zürich Uni Basel