Mit der Wahrheit lügen

Transkript

1 Mit der Wahrheit lügen Manipulationsmöglichkeiten bei der Darstellung von Ergebnissen Ein Bild sagt mehr als tausend Worte. Das gilt nicht nur in der Kunst, sondern auch für die Darstellung quantitativer Zusammenhänge wie wissenschaftlicher Ergebnisse oder wirtschaftlicher Daten. In der Wissenschaft und Wirtschaft wird die bildliche Präsentation harter Daten maßgeblich von der subjektiven Einschätzung des Künstlers geprägt. Auch ohne Daten zu verändern (das wäre Betrug), ist die Menge der Manipulationen fast unerschöpflich. Daten auf der Streckbank Manipulierte Koordinatenachsen Betrachten wir folgendes Bild 1: Der Polizeikommissar eines beschaulichen Städtchens hat die Entwicklung der Einbruchskriminalität in einer Pressemiteilung dargestellt. Während der letzten Jahre ist sie mit etwa 450 bis 500 Einbrüchen pro Jahr nahezu unverändert geblieben. Bild 1: Einbrüche laut Polizeistatistik Bild 2: Werbewirksame Darstellung derselben Einbruchszahlen wie in Bild 1 Dem Geschäftsführer der Firma Fehlan&Zeige, die Alarmanlagen vertreibt scheint diese polizeiliche Grafik aber wenig geeignet, neue Kunden anzuwerben. Mühelos findet er verheerende Entwicklungen in Sachen Einbruch (Bild 2), wobei er dieselben Daten verwendet wie die Polizei. Andererseits kann das Abschneiden und Strecken einer Skala aber auch durchaus sinnvoll sein. Bei einer Fieberkurve beginnt die Ordinate sinnvollerweise bei 35 und nicht bei 0 C. AS 2007 Manipulation von Daten Seite 1 von 7

2 Sehhilfe Manipulative Führung des Auges Bei der grafischen Darstellung von Ergebnisssen werden im Allgemeinen nicht nur die Messwerte selbst, sondern auch Kurven gezeigt, die den Verlauf der Ergebnisse deutlicher machen sollen. Manchmal suggerieren sie aber auch Zusammenhänge, die ohne diese Sehhilfe gar nicht existieren. Auf vielen Zahnpastatuben steht bekanntlich klinisch getestet. In einer Studie über die Wirkung einer Zahnpasta, haben Versuchspersonen während 5 Jahren beim Zähneputzen immer eine genau festgelegte Menge Zahnpasta verwendet. Jeder Punkt stellt einen bestimmten Testteilnehmer dar. In Bild 3 geht deutlich hervor dass mit zunehmender Menge Zahnpasta ein deutlicher Erkrankungsrückgang mit sehr steilem Kurvenabfall zu beobachten ist. Bei Verwendung von zwei oder mehr Zentimeter Zahnpasta pro Putzvorgang wird sogar absolute Kariesfreiheit erreicht. Bild 3: Einfluss der verwendeten Zahnpastamenge (in cm) auf die mittelre Anzahl kariöser Zähne pro Gebiss und Jahr Bild 4: Andere Interpretation des Einflussrs der verwendeten Zahnpastamenge (in cm) auf die mittlere Anzahl kariöser Zähne pro Gebiss und Jahr (diesselben Daten wie in Bild 3) In Bild 4 sind dieselben Werte aufgetragen, jetzt nimmt die Karieshäufigkeit mit zunehmender Zahnpastamenge steil zu. Wie die Kurve durch die Punkte gelegt wird, ist völlig willkürlich. Das Problem liegt darin dass die Daten ohne zusätzliche Messergebnisse bei hohen und niedrigen Dosen wertlos sind. Natürlich könnte man einwenden, es sei abwegig, anzunehmen dass viel Zahnpasta viel Karies verursacht, und folglich müsse die erste Deutung in Bild 3 richtig sein. Wenn wir aber so argumentieren dann fließen bereits unsere Vorurteile über das Produkt in die Interpretation der Ergebnisse ein! Übrigens, hat schon jemand eine klinisch getestete Zahnpastatube gesehen, auf der vermerkt war, ob und wie die Zahnpasta den Test bestanden hat? AS 2007 Manipulation von Daten Seite 2 von 7

3 Aufgabe: Do it yourself, vom Saulus zum Paulus Wer selbst manipuliert, fällt nicht mehr so leicht darauf herein. Sie sind seit sieben Jahren Präsident eines von einer schweren Wirtschaftskrise gebeutelten Landes. Neuwahlen stehen ins Haus. Die Inflation hat katastrophale Ausmaße erreicht. Die Preise für einen Liter Milch während der letzten Jahre sind in der folgenden Tabelle aufgelistet: Jahr Milchpreis in Dukaten Der Milchpreis bei ihrem Amtsantritt Der heutige Milchpreis Sie wollen wiedergewählt werden. Machen Sie den Leuten klar dass sie einen außerordentlichen Beitrag zur Geldstabilität geleistet haben. AS 2007 Manipulation von Daten Seite 3 von 7

4 Die Ursache aus Anlass des Grundes Kausalität und Korrelation Wir könnten in einer Studie herausfinden dass große Menschen mehr Geld verdienen als kleine. Das heißt in dieser Studie würden wir versuchen etwas über Ereignissse oder Merkmale, die gemeinsam auftreten, zu erfahren. Solche gemeinsamen Auftritte, so genannte Korrelationen oder Assoziationen, werfen die Frage auf, ob diese Dinge etwas miteinander zu tun haben oder gar das eine die Ursache des anderen ist. Das Bedürfnis nach Erklärungen verleitet dazu, Korrelationen voreilig als Ursache-Wirkung- Beziehung zu verstehen. Dies ist eine der Grundlagen für die blühenden Geschäfte nicht nur im Gesundheitswesen. Viele denken: Ich war krank, ich war beim Arzt, jetzt bin ich gesund also hat der Arzt mir geholfen. Aber nicht einmal die Wissenschaft ist in der Lage, zwischen einem bloßen Zusammenhang und einer Ursache-Wirkung-Beziehung klar zu unterscheiden. Nehmen wir fürs Nächste an dass zwei Ereignisse oder Merkmale A und B miteinander korrelieren. Dann gibt es 5 Möglichkeiten, weshalb sie das tun: 1. A ist die Ursache von B Ein Außerirdischer ist in einem verregneten Städtchen gelandet und sieht sich in der Fußgängerzone um. Unser Alien weiß nicht, was Regen ist, und er ist blind für Regenschirme. Er stellt fest dass alle, die langsam gehen, entspannt und fröhlich sind, während alle, die laufen, einen eher unglücklichen Eindruck machen. Eine ganz strenge Korrelation! 2. B ist die Ursache von A Wenn der Hahn kräht, dann dauert es nicht mehr lange, bis die Sonne aufgeht. Während des Tages kräht der Hahn ab und zu. Stellt der Hahn das Krähen ein, dann geht die Sonne wiederum bald unter. Hält also das Krähen des Hahns die Sonne am Himmel? Offensichtlich verrät die zeitliche Reihenfolge von miteinander korrelierenden Ereignissen nicht unbedingt, welches die Ursache und welches die Wirkung ist. 3. A und B haben gemeinsame Ursache Eine Untersuchung der Feuerwehreinsätze ergab mit erdrückender statistischer Signifikanz dass der Brandschaden mit der Anzahl der jeweils eingesetzten Feuerwehrleute korrelierte: je mehr Feuerwehrleute im Einsatz, umso größer war der Schaden. Die örtliche Feuerwehr reagierte mit Betroffenheit. Der Bürgermeister verhängte sofort einen Einstellungsstop und reduzierte den Etat. Leider hatte er die Rechnung ohne eine entscheidende Variable im Hintergrund gemacht, denn die Größe des Brandes bedingt sowohl die Anzahl der eingesetzten Feuerwehrleute als auch die Größe des Schadens. Daher ist es kein Wunder dass der Schaden mit der Anzahl der eingesetzten Feuerwehrleute korreliert. 4. Die Korrelation ist zufällig, trotz statistischer Signifikanz Trägt man eine Größe, die sich mit der Zeit ändert, gegen eine andere auf, die ebenfalls zeitlich variiert, dann ergibt sich immer eine Korrelation, auch ohne jeglichen kausalen Zusammenhang. AS 2007 Manipulation von Daten Seite 4 von 7

5 Das klassische Beispiel für diese Korrelation ist der Zusammenhang zwischen dem Geburtenrückgang und der sinkenden Zahl von Störchen. Bild 5 legt nahe dass tatsächlich Störche die Babys bringen. Eine genaue Betrachtung der Kurven zeigt außerdem dass Störche erst ab einem Alter von etwa 2 Jahren im Zustelldienst menschlichen Nachwuchses eingestellt werden. Die Anzahl der brütenden Storchenpaare steigt zwischen 1977 und 1978 leicht an. Dieser Anstieg macht sich erst 2 Jahre später zwischen 1979 und 1980 bei den Neugeborenen bemerkbar. So einfach kann Wissenschaft sein. Bild 5: Korrelation der Anzahl der brütenden Storchenpaare in der Bundesrepublik Deutschland 5. Die Korrelation beruht auf einem systematischen Fehler Die staatliche epidemiologische Untersuchung der Huttragegewohnheiten und des Auftretens von Lungenkrebs im Staatenverbund Balkonur, Bordurien und Syldavien brachte es an den Tag: Huttragen erzeugt Lungenkrebs (Bild 6). Kein Wunder dass in den betroffenen Staaten das Tragen von Hüten sehr bald als gesundheitsschädigend angeshen wurde. In vielen Restaurants wurden eigens Hutträgerbereiche eingrichtet, um Ausschreitungen zu vermeiden. Bild 6: Häufigkeit von Lungenkrebs und Huttragegewohnheiten in den Kleinstaaten Balkonur, Bordurien und Syldavien Bild 7: Ergebnisse der Hutmacherindustrie Das konnte die Hutmacherindusrie nicht hinnehmen und wartete mit einem Gegengutachten auf, wobei sie dieselben öffentlich zugänglichen Daten verwendete. Die Ergebnisse der Hutmacher sind ebenfalls eindeutig: Hüte schützen vor Krebs! Unter den Huttägern beträgt die Lungenkrebsrate 17%. Ohne Hut liegt die Krebsrate bei 56%. Dies ist ein um den Faktor 56/17 = 3,3 erhöhtes Risiko durch das Weglassen des Hutes. AS 2007 Manipulation von Daten Seite 5 von 7

6 Wer hat nun Recht? Um diese Frage zu klären, schauen wir uns am besten das gesamte Volk an (Bild 8). Man sieht dass beide Darstellungen richtig sind. Sie werden erst dann widersprüchlich, wenn man in beide Darstellungen eine Kausalität hineininterpretiert. Verwechselung von Anzahl und Anteil Bild 8: Das gesamte Volk Diese Art von Verwechslung kann viel bewirken. Auf magisch anmutende Weise entstehen plötzlich Effekte, wo keine sind. Mitunter werden bei der Interpretation wissenschaftlicher Daten sogar Schlussfolgerungen gezogen, die das Gegenteil dessen besagen, was sie tatsächlich belegen. Das Jonglieren mit Prozentzahlen ist ein Wundermittel gegen unliebsame und für erwünschte Ergebnisse. Für die Fischereiwirtschaft von großem Interesse und deshalb sorgsam überwacht ist der Anteil von Nutzfischen am Gesamtumfang, d.h. der Prozentsatz der Fische die man verkaufen kann. Bild 9 zeigt eine Entwicklung in einem Fluss unterhalb von Sudelhafen. Dort wurde vor zehn Jahren eine neue Kläranlage in Betrieb genommen so dass sich der Eintrag von Schadstoffen in das Flusswasser reduzierte. Danach war der Anteil Nutzfische innerhalb von 10 Jahren von 10 auf 90% gestiegen. Dies entsprach einer Verneunfachung des Bestandes- oder? Bild 9: Entwicklung des Nutzfischbestandes in einem Fluss nach Inbetriebnahme einer Kläranlage Bild 10: Mögliche Entwicklung der Anzahl der Nutzfische in einem Fluss nach Inbetriebnahme einer Kläranlage. Diese Ergebnisse stimmen mit den Anteilen aus Bild 8 überein AS 2007 Manipulation von Daten Seite 6 von 7

7 Leider stellt sich die Situation jedoch ganz anders dar als erhofft. Bild 10 zeigt eine der unendlich vielen (!) Möglichkeiten, wie sich die tatsächliche Anzahl der Fische verändert haben könnte. Beispielsweise könnte die der Nutzfische konstant bei 250 geblieben sein, die der anderen Fische aber drastisch abgenommen haben, und zwar von 2250 auf etwa 25. Dadurch steigt natürlich der Anteil bzw. der Prozentsatz der Nutzfische. Dieser kann sich übrigens auch dann noch erhöhen, wenn ihr tatsächlicher Bestand sinkt!! Dazu müssen die anderen Fische nur etwas schneller sterben, als in Bild 10 wiedergegeben Der Hund, der Eier legt Noch auffälliger ist der Fehlschluss in folgender Geschichte: Auf dem Küchentisch liegen 7 Würstchen und 3 Eier, also zusammen 10 Dinge (Bild 11). Die Eier machen somit 30% (3/10 = 0,3 = 30%) der Gegenstände auf dem Tisch aus. Dann betritt der Hund unbeobachtet den Raum. Er frisst 5 Würstchen auf mehr schafft er beim besten Willen nicht. Jetzt sind nur noch 2 Würstchen und 3 Eier übrig, also insgesamt 5 Dinge. Der Eieranteil beträgt jetzt 60 Prozent (3/5 = 0,6 oder 60%). Durch die wunderbare Tat des Hundes hat er sich verdoppelt. So weit ist noch alles richtig, aber zu folgern dass sich die Anzahl der Eier verdoppelt hat und der Hund somit Eier legen kann, ist schlicht falsch. Diese Geschichte klingt unglaublich banal, hat aber zahlreiche Parallelen in der wissenschaftlichen Literatur. Bild 11: Der Hund, der Eier legt, bei der Arbeit AS 2007 Manipulation von Daten Seite 7 von 7