Datenanalyse aus einer Urliste

Transkript

1 Datenanalyse aus einer Urliste Worum geht es in diesem Modul? Geordneter Datensatz und Extremwerte Empirische Verteilungsfunktion Bestimmung von Quantilen Spezielle Quantile Median und Angeln Fünf-Zahlen-Zusammenfassung und Box-and-Whisker-Plot Erweiterte Fünf-Zahlen-Zusammenfassung Boxplot Worum geht es in diesem Modul? In diesem Lernmodul wird die statistische Datenanalyse in Bezug auf eine Urliste vermittelt. Die Methoden der deskriptiven Statistik werden sowohl theoretisch als auch an einem praktischen Beispiel erläutert. Die sich anschließende Coaching-Komponente dient einer ersten Einführung in die Erstellung statistischer Reports. Geordneter Datensatz und Extremwerte Fragebogenaktion eines Dozenten Ein Dozent an einer Universität möchte nähere Informationen über die Studierenden seiner Veranstaltung erhalten und konzipiert aus diesem Grund einen Fragebogen. Nach der Befragung liegen die ausgefüllten Fragebögen vor; das Datenmaterial ist ungeordnet. Deshalb trägt der Dozent in einem ersten Schritt das ihn interessierende Merkmal "Körpergröße" in der erfragten Reihenfolge in die so genannte Urliste ein: Urliste Die Daten einer Erhebung liegen zunächst in Form einer Urliste bzw. eines Datensatzes vor. Die Daten werden im Rahmen der Erhebung in der erfragten Reihenfolge auch notiert. Dies stellt insbesondere bei großen Datenbeständen ein Problem dar; eine mögliche Struktur in den Daten lässt sich mit größer werdendem Datenumfang immer schwerer erkennen. Page 1

2 Eine Möglichkeit zur Verbesserung der Übersichtlichkeit besteht darin, die Beobachtungswerte der Größe nach zu ordnen. Es entsteht ein geordneter Datensatz. Eine derartige Ordnung der Daten ist nur bei ordinal oder kardinal skalierten Daten möglich, da es in einer nominalen Metrik kein Ordnungskriterium gibt. Vgl. hierzu Geordneter Datensatz Der Dozent setzt diese Möglichkeit um und erhält den geordneten Datensatz: Der Vorteil der Bildung eines geordneten Datensatzes liegt in einer verbesserten Übersichtlichkeit des betrachteten Datenmaterials. Nach dem Ordnen der Daten heben sich sofort zwei Werte hervor - der kleinste Wert 158 (das Minimum) und der größte Wert 204 (das Maximum). Diese werden als Extremwerte bezeichnet. Es muss beachtet werden, dass aufgrund dieser Neuordnung der Daten auch Informationen verloren gehen. In einer Urliste liegen die Beobachtungswerte in der Reihenfolge vor, in der sie beobachtet wurden. Diese Struktur kann für einige Fragestellungen von Interesse sein. Besteht beispielsweise Interesse an der Erfassung des Lärmpegels in einer Wohnsiedlung, so spielt es in diesem Zusammenhang eine wichtige Rolle zu wissen, zu welchen Tageszeiten es besonders laut bzw. leise ist. Diese Information geht durch die Erstellung eines geordneten Datensatzes jedoch verloren. Die formale Darstellungsweise erfolgt nach dem folgenden Muster: Der Datensatz sei mit bezeichnet. ist der Umfang des Datensatzes. Der geordnete Datensatz wird mit angegeben. bezeichnet das Minimum. bezeichnet das Maximum. Im Rahmen der Fallstudie wird diese Thematik mit Hilfe eines ausführlicheren Datensatzes des Merkmals "Körpergröße der Studierenden" aufgegriffen. Dort können die hier beschriebenen Schritte zur Erstellung und ersten Interpertation eines geordneten Datensatzes selbständig nachvollzogen werden. Zur praktischen Umsetzung der in diesem Abschnitt vorgestellten Methoden im Statistiklabor sei auf den folgenden Exkurs verwiesen. Page 2

3 Die Konzepte "Geordneter Datensatz" und "Extremwerte" lassen sich im R-Kalkulator direkt mit Hilfe der Funktionen des base package von R umsetzen. Demonstrationsseite im Labor: Geordneter Datensatz ( a5d.spf ) Hinweise: - Die Daten seien auf der Variablen x abgelegt. Im betrachteten Fall müssen sie die Form einer Urliste haben. - Die Anweisung xr <- sort(x) legt den geordneten Datensatz (die Rangwertreihe) von x auf der Variablen xr ab. - Der Zugriff xr[1] liefert das minimale Element von x, während xr[length(xr)] das maximale Element liefert. - Die Funktion length ermittelt die Anzahl der Elemente eines Vektors. - Mittels der Funktionen min, max können wir die gesuchten Extremwerte auch direkt ohne vorheriges Sortieren ermitteln. - Die Anweisungen sind min(x) für das Minimum, bzw. max(x) für das Maximum. Steckbrief/Kurzbeschreibung Beschreibungen der verwendeten Funktionen finden Sie in der "R Reference" (in englischer Sprache). Die "R Reference" kann im Hauptmenü des Statistiklabors ("Hilfe", "R Reference") abgerufen werden. Empirische Verteilungsfunktion Mit Hilfe des geordneten Datensatzes kann mittels Auszählen die folgende Frage beantwortet werden: "Wie viele der beobachteten Ausprägungen sind kleiner als ein vorgegebener Wert, beziehungsweise wie groß ist dieser Anteil?" Zählen erscheint auf die Dauer umständlich. Es wird somit ein Konstrukt gesucht, aus der die Antwort auf die obige Fragestellung einfach "abzulesen" ist. Ausgangspunkt der Überlegungen zur Herleitung eines entsprechenden Konstrukteist der geordnete Datensatz. Jedem Wert dieses geordneten Datensatzes wird als Beitrag zugeordnet. Die empirische Verteilungsfunktion an der Stelle ist dann definiert als die Summe der Beiträge aller, die kleiner oder gleich dem betrachteten sind. Definition: Empirische Verteilungsfunktion Page 3

4 Der Graph der empirischen Verteilungsfunktion ist eine Treppenfunktion: Empirische Verteilungsfunktion des Merkmals "Alter" Quelle: Eigene Befragung Im Exkurs Grafik der empirischen Verteilung wird die Umsetzung im Statistiklabor demonstriert. Aus der Definition der empirischen Verteilungsfunktion lassen sich folgende Eigenschaften der Funktion ableiten: ist gleich 0, falls kleiner ist als der kleinste Beobachtungswert im Datensatz. ist gleich 1, falls größer ist als der größte Beobachtungswert im Datensatz. Mit steigendem steigt auch im Bereich von 0 1. Die empirische Verteilungsfunktion hat ihre Sprungstellen genau an den verschiedenen Beobachtungswerte im Datensatz. Zur praktischen Umsetzung der hier vorgestellten statistischen Methoden im Statistiklabor sei auf den folgenden Exkurs verwiesen. Page 4

5 Beispiel: Mathematikprüfung - Die Bestimmung von Anteilen Problemstellung Wie die meisten Studierenden zu Beginn ihres Studiums an der Fakultät für Wirtschaftswissenschaften der Universität Bielefeld sehr schnell feststellen, ist ihr Studium stark mathematisch ausgerichtet. Auch geht sofort im ersten Semester das Gerücht um, wie schwer es ist, die Mathematik-Klausuren zu bestehen. Einige Studierende des ersten Semesters wollen diesem Gerücht auf den Grund gehen. Sie haben im Rahmen ihrer ersten Vorlesungen in Statistik erste Methoden zur Datenanalyse erlernt und wollen diese nun für ihre Zwecke einsetzen. Um zu erfahren, ob tatsächlich so viele Studierende an der Mathematik-Klausur scheitern, erfragen sie bei 20 älteren Kommilitonen deren Punktzahl bei ihrer Mathematikprüfung: Maximal waren 100 Punkte zu erreichen. Die interessanteste Frage in diesem Zusammenhang ist für die Studierenden des ersten Semesters die Folgende: "Welcher Anteil der Studierenden hat in der Mathematikprüfung weniger als 50 Punkte erreicht und damit nicht bestanden?" Lösungsweg Der erste Schritt zur Beanwortung der obigen Frage besteht in der Erstellung des geordneten Datensatzes: Mit dessen Hilfe wird die empirische Verteilungsfunktion erstellt. Dabei wird jedem Wert des geordneten Datensatzes der Beitrag und damit in unserem Beispiel zugeordnet. Um nun den Anteil der Studierenden bestimmen zu können, die weniger als 49 Punkte erzielt haben, wird die Summe der Beiträge aller gebildet, die kleiner oder gleich dem betrachteten Wert x = 49 sind. Antwort Zur Beantwortung der Frage nach dem Anteil der durchgefallenen Studierenden wird demnach gerechnet:, da 6 der 20 Werte des geordneten Datensatzes kleiner gleich 49 sind. Weitere Problemstellungen und Antworten Auf dieselbe Art können ähnliche Fragen beantwortet werden. So könnte es weiterhin Page 5

6 von Interesse sein, wie groß der Anteil derjenigen ist, die die Klausur nur knapp bestanden haben. In diesem Fall müssten diejenigen Werte des geordneten Datensatzes berücksichtigt werden, die 50 und größer sind, aber beispielsweise kleiner als 55. Die Frage scheint sich von der oben gestellten grundsätzlich zu unterscheiden, wird aber nach dem selben Prinzip beantwortet. Der Anteil derjenigen, die mindestens 54 Punkte haben (gesucht sind Werte kleiner als 55) ist: Allerdings interessieren uns hier nicht die Studierenden, die die Klausur nicht bestanden haben, die demnach weniger als 50 Punkte haben. Diesen Anteil haben wir bereits bestimmt und müssen ihn nun von subtrahieren: Dieses Ergebnis besagt, dass 15% der befragten Studierenden die Mathematikprüfung nur knapp bestanden haben. Ebenso könnten sich die Studierenden des ersten Semesters dafür interessieren, welcher Anteil der von ihnen befragten Kommilitonen nur knapp nicht bestanden hat. Wir suchen den Anteil, der weniger als 50 aber mehr als 46 Punkte in der Klausur erzielt hat. Das Prinzip ist das selbe. Wir rechnen: 5% der befragten Studierenden haben die Mathematikprüfung nur knapp nicht bestanden, sie hatten zwischen 47 und 49 Punkten erreicht. Die Funktion EmpVert setzt das Konzept Graph einer empirischen Verteilungsfunktion im Labor um. - Aufruf im R-Kalkulator des Labors: EmpVert(x) - Demonstrationsseite 1 im Labor: Grafik(1) der empirischen Verteilung ( b3e.spf ) - Demonstrationsseite 2 im Labor: Grafik(2) der empirischen Verteilung ( b41.spf ) Hinweise - Die Daten seien auf der Variablen x abgelegt. Sie können in Form einer Urliste, Rangwertreihe, diskreten oder kontinuierlichen Häufigkeitstabelle vorliegen. - NA`s sind in Urlisten zugelassen, sie werden bei der jeweiligen Verarbeitung nicht berücksichtigt. - Die Graphik erscheint in dem mit dem R-Kalkulator verbundenen Laborobjekt R-Graphik. - Als Funktion aus der Bibliothek danalyse.r arbeitet sie defaultmäßig im Silent-Modus. Durch Setzen des Parameters SIL=F im Aufruf, gibt die Funktion Informationen über ihr Arbeiten. - Im Labor findet sich im Objekt R-Graphik-Wizard mit dem Angebot "Empirische Page 6

7 Verteilungsfunktion" eine einfache Umsetzung des Konzepts "Empirische Verteilungsfunktion". Steckbrief/Kurzbeschreibung Steckbrief der Funktion EmpVert: EmpVert() ( : b55.pdf ) Weitere Quellen Im Anhang sind die für das Labor benötigte Bibliothek "danalyse.r" und eine Beschreibung der Bibliothek abgelegt. Die Funktion pemp setzt das Konzept einer empirischen Verteilungsfunktion im Labor um. - Aufruf im Statistiklabor: pemp(x) - Demonstrationsseite im Labor: Empirische Verteilungsfunktion ( b7c.spf ) Hinweise - Die Daten seien auf der Variablen x abgelegt. Sie können in Form einer Urliste, Rangwertreihe, diskreten oder kontinuierlichen Häfigkeitstabelle vorliegen. - NA`s sind in Urlisten zugelassen, sie werden bei der jeweiligen Verarbeitung nicht berüksichtigt. - Soll der Wert der empirischen Verteilungsfunktion an der Stelle xp berechnet werden, dann erreicht man dies im R-Kalkulator des Labors durch den Aufruf: pemp(xp,x) - Als Funktion aus der Bibliothek danalyse.r arbeitet sie defaultmäßig im Silent-Modus. Durch Setzen des Parameters SIL=F im Aufruf, gibt die Funktion Informationen über ihr Arbeiten. Steckbrief/Kurzbeschreibung Steckbrief der Funktion: Empirische Verteilungsfunktion ( : b8e.pdf ) Quelle: Bibliothek danalyse.r Bestimmung von Quantilen Haben wir bislang Fragen nach Anteilen gestellt, die einen bestimmten Wert nicht überschreiten, muss es auch eine Möglichkeit geben, die umgekehrte Fragestellung zu beantworten. Bezogen auf die in diesem Lernmodul verwendete Aufgabe könnte eine derartige Frage lauten: "Wie viele Tore werden in 90% der Spiele der ersten Fußball-Bundesliga nicht überschritten?" Diese kann mit Hilfe der Bestimmung des dazugehörigen p-quantils beantwortet werden. Verglichen mit der empirischen Verteilungsfunktion ist bei den Quantilen das Vorgehen umgekehrt. Wurde bei der Bestimmung der Verteilungsfunktion nach dem Anteil der Beobachtungswerte gefragt, der kleiner oder gleich einem interessierenden Wert ist, so ist bei den Quantilen von Interesse, welcher Wert zu einem bestimmten Verteilungsfunktionswert korrespondiert. Dieses teilt den Datensatz auf die Art in zwei Teile, so dass etwa Daten unterhalb und der Rest oberhalb des p-quantils liegen. der Page 7

8 So befinden sich beispielsweise bei dem 0.4-Quantil 40% der Daten unterhalb und 60% der Daten oberhalb des hier gesuchten Wertes. Um ein p-quantil bestimmen zu können, wird der geordnete Datensatz betrachtet. Die Voraussetzung hierfür ist, dass die betrachteten Merkmale mindestens ordinalskaliert sein müssen, um Quantile bestimmen zu können. Vgl. hierzu Beispiel Veranschaulichen wir uns dieses anhand des geordneten Datensatzes der "Körpergröße" von 55 Studierenden: Wir möchten wissen, welche Körpergröße von 90% der Studierenden nicht überschritten wird. Wir haben 55 Beobachtungen; damit ergibt sich für die Position des gesuchten Wertes in dem geordneten Datensatz folgender Wert:. Die Körpergröße, die an der 50ten Position in dem geordneten Datensatz steht, ist 192 cm, dies ist der Wert, der von 90% der Studierenden nicht überschritten wird. Formulieren wir diese Zusammenhänge formal: Definition: p-quantil Für jeden Anteil mit ist das p-quantil des Datensatzes der kleinste x-wert, für den gilt, formal: falls und. Wir sprechen auch vom p-quantil der empirischen Verteilungsfunktion. Das p-quantil eines Datensatzes ist der Wert eines geordneten Datensatzes, wenn k bestimmt wird aus. : Flashanimation ' Animation Quantile ' siehe Online-Version Zur praktischen Umsetzung der hier vorgestellten statistischen Methoden im Statistiklabor sei auf den folgenden Exkurs verwiesen. Die Funktion qemp setzt das Konzept eines Quantils (Prozentpunkt) im Labor um. - Aufruf im Labor: qemp() - Demonstrationsseite im Labor: Quantile der Empirischen Verteilung ( c0c.spf ) Hinweise - Die Daten seien auf der Variablen x abgelegt. Sie können in Form einer Urliste, Page 8

9 Rangwertreihe, diskreten oder kontinuierlichen Häufigkeitstabelle vorliegen. - NA`s sind in Urlisten zugelassen, sie werden bei der jeweiligen Verarbeitung nicht berücksichtigt. - Soll der Wert des Quantils für den Anteil p (das p-quantil) berechnet werden, dann erreicht man dies im R-Kalkulator des Labors durch den Aufruf: qemp(p,x) - Quartile und Dezile werden durch entsprechende Setzungen von p ermittelt. - Als Funktion aus der Bibliothek danalyse.r arbeitet sie defaultmäßig im Silent-Modus. Durch Setzen des Parameters SIL=F im Aufruf, gibt die Funktion Informationen über ihr Arbeiten. Steckbrief/Kurzbeschreibung Steckbrief der Funktion: qemp() ( : c20.pdf ) Weitere Quellen Im Anhang sind die für das Labor benötigte Bibliothek "danalyse.r" und eine Beschreibung der Bibliothek abgelegt Spezielle Quantile Einige Quantile, die so genannten speziellen Quantile, tragen besondere Namen. Unter dem Begriff Quartile werden zusammengefasst. wird dabei als unteres Quartil und als oberes Quartil bezeichnet. Das mittlere Quartil wird im Allgemeinen als Median bezeichnet. Durch diese Quartile wird ein Datensatz in vier etwa gleich große Teile unterteilt, d.h. in jedem Teil liegen etwa 25% der betrachteten Daten. Die Quantile werden als Dezile bezeichnet. Die Quantile werden auch Perzentile genannt. Bei der Europameisterschaft 2000 in Holland und Belgien fanden 31 Spiele statt. Im Folgenden finden Sie eine Urliste der Anzahl der Tore je Spiel: a) Bestimmen und zeichnen Sie die empirische Verteilungsfunktion aus dem geordneten Datensatz. b) Wie groß ist der Anteil der Spiele, in denen höchstens zwei Tore geschossen wurden? c) Wie groß ist der Anteil der Spiele, in denen mehr als ein Tor, aber weniger als fünf Tore geschossen wurden? d) Berechnen Sie die Dezile aus dem vorliegenden Datensatz. e) Interpretieren Sie Ihre Ergebnisse. Page 9

10 Median und Angeln Die Extremwerte zeigen, zwischen welchen beiden Werten sich die beobachteten Merkmalswerte bewegen, zwischen und. Jedoch können keine Aussagen darüber getroffen werden, wie sich die Daten im Einzelnen in diesem Bereich verteilen. Betrachten wir das Beispiel des Dozenten, der aufgrund eines Fragebogens und der Bildung des geordneten Datensatzes des Merkmals "Körpergröße" seiner Studierenden weiß, dass der kleinste Studierende 158cm, der größte 204cm groß ist. "Liegt der Großteil der Daten denn nun eher in der Nähe des Minimums, des Maximums oder verteilen sie sich gleichmäßig in diesem Bereich?" Um eine Frage wie diese beantworten zu können, wäre ein Wert nützlich, von dem wir sagen könnten, er teile die Beobachtungen in zwei Teile, so dass die eine Hälfte der Daten unterhalb und die andere oberhalb dieses Wertes liegt. Dieser Wert repräsentiert die Datenmitte und wird als Median bezeichnet. Wird jeweils der Median der beiden Datensatzhälften bestimmt, erhalten wir die sogenannte untere und obere Angel. Mit diesen Werten wird der Datensatz in vier Teile geteilt. Es stellt sich die Frage, inwiefern eine derartige Aufteilung eines Datensatzes für eine Interpretation nützlich sein kann. Der Median wird als zentraler Wert des geordneten Datensatzes bezeichnet, da er diesen halbiert. Das untere Angel ist der Median des Teils mit den kleineren, die obere Angel ist der Median des Teils mit den größeren Werten. Ein Datensatz wird folglich in vier Teile geteilt, in denen jeweils 25% der beobachteten Werte liegen. Betrachten wir in diesem Zusammenhang den folgenden geordneten Datensatz des Merkmals "Körpergröße" von 55 Studierenden, in der der Median und die beiden Angeln markiert sind: % der Studierenden sind kleiner als 172cm, die restlichen 50% der Studierenden sind größer als 172cm - diese Aussage können wir mit Hilfe des Medians treffen. Das untere Quartil ist gleich 165. Damit sind 25% der Studierenden kleiner als 165cm, da das untere Quartil der Median der unteren Datenhälfte ist. Das obere Quartil mit dem Wert 185 kann folglich dahingehend interpretiert werden, dass 75% der Studierenden kleiner sind als 185cm. Definition: Median, Angeln Gegeben sei der geordnete Datensatz. Der Median ergibt sich aus: Zur Bestimmung der Angeln wird die obige Definition auf die beiden Teile angewendet. Der nachstehend vereinbarte Sprachgebrauch erfordert streng genommen jeweils eine ungerade Anzahl von Daten. Mit einem "cum grano salis" wollen wir unsere Vereinbarung absegnen. unteres Angeln oberes Angeln (vgl. hierzu Abschnitt Spezielle Quantile ) Page 10

11 Im Rahmen der Fallstudie wird diese Thematik mit Hilfe eines ausführlicheren Datensatzes des Merkmals "Körpergröße der Studierenden" aufgegriffen. Dort können die hier beschriebenen Schritte selbständig nachvollzogen werden. Zur praktischen Umsetzung der hier vorgestellten statistischen Methoden im Statistiklabor sei auf den folgenden Exkurs verwiesen. Beispiel: Mathematikprüfung - Berechnung von Quartilen Problemstellung Die Studierenden des ersten Semesters haben bereits ein erstes Instrument der statistischen Datenanalyse auf die von ihnen erhobenen Daten angewendet. Sie wollen wissen, ob sie den Gerüchten an der Universität Glauben schenken dürfen und die Mathematikprüfung tatsächlich schwer zu bestehen ist. Aus diesem Grund haben sie 20 ältere Kommilitonen nach deren Punktzahl in der besagten Klausur befragt. Sie wollen nun genauere Aussagen über den Ausgang der Klausur treffen. Lösungsweg Die Studierenden wollen aus dem geordneten Datensatz die entsprechenden Quartile berechnen: Sie berechnen in einem nächsten Schritt den Median, der den geordneten Datensatz in zwei gleich große Teile teilt, sowie das untere und obere Quartil. Antwort Anhand des geordneten Datensatzes können die Studierenden erkennen, dass die niedrigste Punktzahl in der interessierenden Mathematikprüfung gleich 30 Punkte und die höchste Punktzahl gleich 89 Punkte ist. 50% der Studierenden haben in der interessierenden Prüfung mindestens 56 Punkte erreicht. Gehen wir nun davon aus, dass eine Prüfung als bestanden gilt, wenn mindestens 50% der möglichen Punktzahl, in unserem Fall also mindestens 50 Punkte, erreicht wurden, so bedeutet dies, dass mehr als die Hälfte der befragten Studierenden die Prüfung bestanden haben. Zu diesem Ergebnis gelangen wir durch die Betrachtung des Medians - dieser ist gleich 56, d.h. 50% der befragten Studierenden haben mehr als 56 Punkte in der Klausur erreicht. Mit Hilfe der beiden berechneten Quartile erhalten wir genauere Ergebnisse bezüglich des Ausfalls der Klausur, da diese Werte die durch den Median entstandenen Hälften weiter unterteilen. Das untere Quartil ist gleich 44.5 Punkte. Das bedeutet, dass 25% der befragten Studierenden eine Punktzahl zwischen 30 und 44.5 Punkten und weitere 25% eine Punktzahl zwischen 44.5 und 56 Punkten erreicht haben. Dieses Ergebnis kann derart interpretiert werden, dass der befragten Studierenden die besagte Prüfung eher knapp nicht bestanden haben. Das obere Quartil ist gleich 62 Punkte. Aus diesem Wert lässt sich ablesen, dass ein weiteres Viertel der Studierenden die Prüfung deutlich bestanden hat; diese mussten Page 11

12 demnach nicht um ihre Note fürchten, da sie mehr als 62 der möglichen 100 Punkte erreicht haben. Bei der Europameisterschaft 2000 im Fußball in Holland und Belgien fanden 31 Spiele statt. Im Folgenden finden Sie eine Urliste der Anzahl der Tore je Spiel: a) Erstellen Sie den geordneten Datensatz der Urliste. b) Bestimmen Sie den Median, das untere Quartil und das obere Quartil. c) Interpretieren Sie Ihre Ergebnisse. Die Funktion Median setzt das Konzept des Medians im Labor um. - Aufruf im R-Kalkulator des Labors: Median(x) - Demonstrationsseite im Statistiklabor: Median ( d1b.spf ) Hinweise - Die Daten seien auf der Variablen x abgelegt. Sie können in Form einer Urliste, Rangwertreihe, diskreten oder kontinuierlichen Häufigkeitstabelle vorliegen. - NA`s sind in Urlisten zugelassen, sie werden bei der jeweiligen Verarbeitung nicht berücksichtigt. - Als Funktion aus der Bibliothek danalyse.r arbeitet sie defaultmäßig im Silent-Modus. Durch Setzen des Parameters SIL=F im Aufruf, gibt die Funktion Informationen über ihr Arbeiten. Aufruf mit Hilfe von R-Standardfunktionen - Im R-Kalkulator steht auch die Funktion median zur Verfügung. Sie ist nur auf Daten anwendbar, die als Urliste oder Rangwertreihe vorliegen. Der Aufruf ist median(x) Steckbrief/Kurzbeschreibung - Steckbrief zur Funktion Median: Median() ( : d33.pdf ) - Eine Beschreibung der Funktion median finden Sie in der "R Reference" (in englischer Sprache. Die "R Reference" kann im Hauptmenü des Statistiklabors ("Hilfe", "R Reference") abgerufen werden. Weitere Quellen Im Anhang sind die für das Labor benötigte Bibliothek "danalyse.r" und eine Beschreibung der Bibliothek abgelegt Fünf-Zahlen-Zusammenfassung und Box-and-Whisker-Plot Extremwerte, Median, unteres und oberes Quartil geben jeweils bestimmte Informationen über einen Datensatz wieder. Mit Hilfe der Extremwerte kann gezeigt werden, in welchem Bereich sich die beobachteten Daten verteilen. Der Median und die Quartile unterteilen diesen Bereich in vier Teile, in denen jeweils 25% der beobachteten Werte liegen. (vgl. hierzu Abschnitt Quartile ) Um die auf diese Art erhaltenen Informationen sinnvoll interpretieren zu können, wird Page 12

13 ein Instrument benötigt, welches diese gemeinsam darstellt. Eine Möglichkeit besteht darin, die ermittelten Werte tabellarisch zusammen zu fassen. Dies geschieht in der Fünf-Zahlen-Zusammenfassung, welche die fünf Werte Maximum, Minimum, unteres Quartil, oberes Quartil und Median enthält. Die Informationen werden in dem nachstehenden Schema zusammengefasst: Der folgende Exkurs demonstriert die Umsetzung im Statistiklabor. Aus einem geordneten Datensatz, welcher die Körpergrößen von 55 Studierenden umfasst, wurden die folgenden Werte ermittelt: Die Fünf-Zahlen-Zusammenfassung wird in Form eines Box-and-Whisker-Plots grafisch dargestellt. Dieser Plot hat den folgenden schematischen Aufbau: Schematischer Aufbau eines Boxplots Quelle: Statistik interaktiv Die errechneten Werte Median und Quartile teilen den Bereich, in dem sich die Beobachtungswerte verteilen, in vier Abschnitte. In jedem dieser Abschnitte befinden sich genau 25% der Daten. Die Box enthält 50% der Beobachtungswerte. Mit Hilfe des Box-and-Whisker-Plots können wir eine erste Definition einer symmetrischen Datenverteilung geben. Wir wollen von einer symmetrischen Datenverteilung reden, wenn der Box-and-Whisker-Plot (in etwa) spiegelbildlich zum Median ist. Der folgende Exkurs demonstriert die Umsetzung im Statistiklabor. Betrachten wir den Box-and-Whisker-Plot unseres Beispiels, so lässt sich erkennen, dass dieser Datensatz schief verteilt ist. Die Breite der verschiedenen Abschnitte unterscheiden sich deutlich voneinander; dies zeigt sich vor allem bei einem Vergleich des unteren Viertels, in welchem sich die 25% der Studierenden mit der geringsten Körpergröße befinden, mit dem oberen Viertel, d.h. mit den 25% der größten Studierenden. Boxplot des Merkmals "Körpergröße" Quelle: Eigene Befragung Folgende Exkurse zeigen die Umsetzung im Statistiklabor: Five-Values Box & Whisker Die Funktion five.values setzt das Konzept der Fünf-Zahlen-Zusammenfassung im Labor um. - Aufruf im Statistiklabor: five.values() - Demonstrationsseite im Labor: Five Values ( d95.spf ) Hinweise - Die Funktion ist nur auf Daten in der Form einer Urliste oder Rangwertreihe ansetzbar. - NA`s sind in Urlisten zugelassen, sie werden bei der jeweiligen Verarbeitung nicht berücksichtigt. - Die Daten werden nachstehend als auf der Variablen x abgelegt angenommen. Page 13

14 - Die Fünf-Zahlen-Zusammenfassung kann in zwei Formen erstellt werden: Die Auswahl erfolgt über den Parameter tukey (s. Steckbrief). - Als Funktion aus der Bibliothek danalyse.r arbeitet sie defaultmäßig im Silent-Modus. Durch Setzen des Parameters SIL=F im Aufruf, gibt die Funktion Informationen über ihr Arbeiten. Steckbrief/Kurzbeschreibung Der Steckbrief zur Funktion: Five.Values() ( : da9.pdf ) Weitere Quellen Im Anhang sind die für das Labor benötigte Bibliothek "danalyse.r" und eine Beschreibung der Bibliothek abgelegt Die Funktion box.and.whisker setzt das Konzept des Box-And-Whisker-Plots im Labor um. - Die einfachste Art des Aufrufs im R-Kalkulator des Labors ist: box.and.whisker(x) - Demonstrationsseite im Statistiklabor: Box & Whisker-Plot ( dc2.spf ) Hinweise: - Die Daten seien auf der Variablen x (x1, x2, x3) abgelegt. Sie können in Form einer Urliste oder Rangwertreihe vorliegen. - NA`s sind in Urlisten zugelassen, sie werden bei der jeweiligen Verarbeitung nicht berücksichtigt. - Die Graphik erscheint in dem mit dem R-Kalkulator verbundenen Laborobjekt R-Graphik. - * Es besteht auch die Möglichkeit mehrere Datensätze jeweils als Box-And-Whisker-Plot in einer Graphik zusammenzufassen. Für den Fall der Datensätze x1, x2, x3 leistet dies der Aufruf im R-Kalkulator: box.and.whisker(x1,x2,x3) - Es lassen sich den jeweiligen Box-And-Whisker-Plots auch andere als die Defaultkennung zu ordnen. Dazu sind die gewünschten Kennungen in einem Vektor zusammenzufassen und dem Aufruf mitzugeben, z.b. für obigen Fall: box.and.whisker(x1,x2,x3,names=c("kenx1","kenx2","kenx3")) - Als Funktion aus der Bibliothek danalyse.r arbeitet sie defaultmäßig im Silent-Modus. Durch Setzen des Parameters SIL=F im Aufruf, gibt die Funktion Informationen über ihr Arbeiten. Steckbrief/Kurzbeschreibung Steckbrief der Funktion Box and Whisker: box.and.whisker() ( : dd8.pdf ) Weitere Quellen Im Anhang sind die für das Labor benötigte Bibliothek "danalyse.r" und eine Beschreibung der Bibliothek abgelegt Erweiterte Fünf-Zahlen-Zusammenfassung Mit Hilfe der Fünf-Zahlen-Zusammenfassung konnten bereits eine Vielzahl von Informationen aus dem betrachteten Datensatz hergeleitet werden. Diese ist zum einen gut geeignet, um erste Aussagen über die Lage der Verteilung zu treffen, d.h. in Page 14

15 welchem Bereich bewegt sich das Datenmaterial und wo liegt seine Mitte. Zum anderen konnten wir vor allem an der grafischen Darstellung der Fünf-Zahlen-Zusammenfassung erkennen, ob die Verteilung schief oder symmetrisch ist. (s. Abschnitt Box-and-Whisker ) Die Fünf-Zahlen-Zusammenfassung wurde nach dem folgenden Schema bestimmt: Der Bereich zwischen dem Minimum und dem Maximum wird so unterteilt, dass 50% der beobachteten Daten unterhalb und 50% der Daten oberhalb des errechneten Wertes liegen - es wird der Median bestimmt. Im nächsten Schritt werden die beiden entstehenden Hälften erneut halbiert, indem der Median der kleineren Datenhälfte und der Median der oberen Datenhälfte bestimmt wird - es wird das untere und das obere Quartil berechnet. (s. Abschnitt Quartile ) Um diese beiden Werte leichter bestimmen zu können, wird an dieser Stelle der Begriff der "Tiefe eines Datenwertes"eingeführt. Dieser gibt die kürzeste Entfernung eines Wertes der Rangwertreihe vom Rand des Datensatzes an und damit die Position des Medians in dem geordneten Datensatz. Die Tiefe des Medians ist gegeben durch: Das untere und das obere Quartil können ebenfalls mit Hilfe ihrer Tiefe bestimmt werden: Hierbei bedeuten die Gauß-Klammern [ ], dass bei der Berechnung der Tiefe nur der ganzzahlige Anteil des benötigten Wertes berücksichtigt wird. Ergab sich beispielsweise bei der Bestimmung der Tiefe des Medians der Wert 3,5, so wird bei der Bestimmung der Tiefe der Quartile nur der ganzzahlige Anteil, nämlich 3, in die Formel eingesetzt. Ist ganzzahlig, so berechnen sich die Quartile wie folgt:, Ist nicht ganzzahlig, so gilt:, Für die sogenannte Erweiterte - Fünf - Zahlen - Zusammenfassung wird das Schema der Fünf - Zahlen- Zusammenfassung um einige Informationen (Namen, Umfang, Tiefe) erweitert. Dabei werden die Abkürzungen M = Median, H = Angeln, E = Extremwerte verwandt. Ist die Tiefe nicht ganzzahlig, so wird ihren ganzzahligen Anteil ein h angehängt. Zur praktischen Umsetzung der hier vorgestellten Methode im Statistiklabor sei auf dem folgendem Exkurs verwiesen. Beispiel: Mathematikprüfung - Box-and-Whisker-Plot Problemstellung Die Studierenden des ersten Semesters haben sich bereits mit einigen Zahlen zu dem Problem ihrer Mathematikprüfung beschäftigt. Sie haben zwanzig ältere Kommilitonen nach ihrer Punktzahl in der besagten Prüfung befragt, um zu ermitteln, ob diese tatsächlich so schwer zu bestehen ist, wie die Gerüchte darüber vermuten lassen. Nachdem sie in ihrer Statistik-I-Veranstaltung weitere Methoden zur statistischen Auswertung eines Datensatzes erlernt haben, wenden sie diese auch auf ihr Problem an. Page 15

16 Lösungsweg Der Median, das untere und das obere Quartil, sowie die Extremwerte wurden bereits ermittelt. Diese Werte lassen sich nun in der Fünf-Zahlen-Zusammenfassung tabellarisch darstellen. Die Zusammenstellung der Werte ist in der Tat recht übersichtlich, bringt allerdings keine weiteren Zusatzinformationen. Aus diesem Grund werden die Werte mit Hilfe des Box-and-Whisker-Plots grafisch dargestellt. Box-and-Whisker-Plot des Merkmals "Punktzahl Mathematikprüfung" Quelle: R Antwort Bei der Betrachtung des Box-and-Whisker-Plots können Aussagen über die Symmetrie des Datensatzes getroffen werden. Der Median und die beiden Quartile teilen den Bereich, in dem sich die Beobachtungswerte verteilen, in vier Bereiche. In jedem dieser Abschnitte liegen 25% der Beobachtungswerte. Der aus den erhobenen Daten erstellte Box-and-Whisker-Plot scheint nicht symmetrisch zu sein. So ist der Bereich zwischen Median und oberem Quartil sehr viel kürzer als die anderen; das bedeutet, dass hier 25% der Werte auf sehr viel engerem Raum liegen, als in den anderen Abschnitten. Bei der Europameisterschaft 2000 in Holland und Belgien fanden 31 Spiele statt. Im Folgenden finden Sie eine Urliste der Anzahl der Tore je Spiel: a) Erstellen Sie die Fünf-Zahlen-Zusammenfassung des Datensatzes. b) Zeichnen Sie den dazugehörigen Box-and-Whisker-Plot. c) Interpretieren Sie Ihre Ergebnisse. Boxplot Der Box-and-Whisker-Plot liefert einen schnellen ersten Überblick über einen Datensatz. Dieser lässt vor allem erste Erkenntnisse über Symmetrie, Variabilität und extreme Werte zu. Die Aussagekraft dieser grafischen Darstellung lässt allerdings bereits erheblich bei der Frage nach möglichen Ausreißern in dem betrachteten Datensatz nach. Betrachten wir in diesem Zusammenhang den Box-and-Whisker-Plot des Merkmals "Alter" von 55 Studierenden: Box-and-Whisker-Plot des Merkmals "Alter" Quelle: Eigene Befragung Die Vermutung liegt nahe, dass in diesem Datensatz ein oder auch mehrere Ausreißer vorhanden sind, da der Abschnitt der 25% ältesten Studierenden sehr viel länger ist als die übrigen. Doch ab welchem Alter kann nun von einem Ausreißer ausgegangen werden? Diese Frage kann mit Hilfe des Box-and-Whisker-Plots nicht beantwortet werden. Beobachtungswerte, die weit rechts vom oberen (unteren) Quartil liegen, kämen für die Page 16

17 Bezeichnung Ausreißer in Frage. Es gilt aber die Beurteilung "weit" zu operationalisieren. Sei die Breite der zentralen Box des Box-and-Whisker-Plots, Quartilsabstand genannt, d.h., dann können wir in der Entfernung rechts (links) von dem oberen (unteren) Quartil einen "Zaun" konstruieren. Beobachtungen die außerhalb der Zäune liegen, sind verdächtigt, Ausreißer zu sein. Den Faktor f kann man variieren, um den Datensatz zu durchmustern, gewöhnlich setzt man f = 1.5. Setzen wir diese Überlegung für unser obiges Beispiel um, so erhalten wir den folgenden Boxplot: Boxplot des Merkmals "Alter" Quelle: Eigene Befragung Von den Quartilen erstreckt sich jeweils eine mit einem senkrechten Strich abgeschlossene Gerade bis zur kleinsten beziehungsweise größten Beobachtung innerhalb des "normalen" Bereichs zwischen den Zäunen. Die Beobachtungen außerhalb der Zäune, so wie die Grenzen üblicherweise genannt werden, werden besonders kenntlich gemacht: Extreme Werte erhalten das Zeichen. In unserem Beispiel können alle Werte, die größer sind als 27 als Ausreißer identifiziert werden; damit scheint es in diesem Bereich nur einen Ausreißer mit dem Wert 37 zu geben. Zur praktischen Umsetzung der hier vorgestellten statistischen Methoden im Statistiklabor sei auf den folgenden Exkurs verwiesen. Beispiel: Mathematikprüfung - Boxplot Problemstellung Die Studierenden des ersten Semesters haben bereits einen Box-and-Whisker-Plot erstellt, um herauszufinden, wie schwer die von ihnen bereits erwartete Mathematikprüfung nun tatsächlich ist. ( Beispiel Mathe ) In der von ihnen besuchten Statistik-I-Veranstaltung haben sie den Boxplot kennen gelernt, mit dessen Hilfe Ausreißer in einem Datensatz erkannt werden können. Diesen wollen sie nun auf ihre Daten anwenden. Lösungsweg In dem bereits erstellten Box-and-Whisker-Plot werden die Zäune eingezeichnet. Diese unterteilen die Bereiche außerhalb der Box jeweils in zwei Abschnitte: die Beobachtungen, die außerhalb der Zäune liegen, werden besonders kenntlich gemacht, da es sich hierbei um potentielle Ausreißer handelt. Die Zäune werden mit Hilfe folgender Gleichung bestimmt: Da der Quartilsabstand gleich 17.5 ist und der Wert 1.5 für gewählt wird, ergibt sich damit für unser Beispiel: Der Boxplot sieht wie folgt aus: Boxplot des Merkmals "Punktzahl Mathematikprüfung" Quelle: R Antwort Page 17

18 Wie an dem Boxplot zu erkennen ist, liegt nur ein Wert außerhalb der Zäune. Dies ist der Wert des Studierenden mit der höchsten Punktzahl in der Mathematikprüfung mit 89 Punkten. Es stellt sich die Frage, ob es sich hierbei tatsächlich um einen Ausreißer handelt, da dieser Punkt nahe an dem oberen Zaun mit dem Wert liegt. Es lässt sich festhalten, dass keine Ausreißer in dem von den Studierenden des ersten Semesters betrachteten Datensatz über die Punktzahl älterer Kommilitonen in der Mathematikprüfung vorliegen - keiner der älteren Studierenden hat im Vergleich zu den anderen Prüflingen außerordentlich gut beziehungsweise außerordentlich schlecht abgeschnitten. Betrachten wir ein letztes Mal die Europameisterschaften 2000 im Fußball in Holland und Belgien und die Anzahl der in den einzelnen Spielen gefallenen Toren a) Erstellen Sie den Boxplot zu dem vorliegenden Datensatz. b) Welche Aussagen können Sie bezüglich möglicher Ausreißer treffen? Labordatei öffnen ( ebb.zmpf ) Kurz nachdem man sich auch in Australien auf das metrische System festgelegt hatte, ließ der Dozent T. Lewis die Studierenden seines Statistik-Kurses die Breite des Hörsaals in Metern schätzen. Sie sollten ihre Angaben in vollen Metern machen. Von den 44 Teilnehmern kamen die nachstehenden Daten zusammen: a) Erstellen Sie den geordneten Datensatz der Daten. b) Bilden Sie die Fünf-Zahlen-Zusammenfassung und erstellen Sie den dazugehörigen Box-and-Whisker-Plot. Interpretieren Sie Ihr Ergebnis. c) Bilden Sie aus dem geordneten Datensatz die empirische Verteilungsfunktion und interpretieren Sie diese. d) Wie groß ist der Anteil der Studierenden, die mindestens 19 m geschätzt haben? e) Bestimmen Sie den Anteil der Studierenden, welche die Breite des Hörsaals auf mindestens 10m, aber höchstens auf 32 m geschätzt haben. d) Erstellen Sie den Boxplot und interpretieren Sie diesen. Sind in dem Datensatz potentielle Ausreißer vorhanden? Die zu dieser Übung gehörige Laborseite finden Sie unter dem folgenden Link: Labordatei öffnen ( eda.spf ) Page 18

19 Die Funktion boxplot setzt das Konzept des Boxplots im Labor um. - Die einfachste Art des Aufrufs im R-Kalkulator des Labors ist: boxplot(x) - Demonstrationsseite im Statistiklabor: Boxplot ( ee9.spf ) Hinweise - Die Daten seien auf der Variablen x (x1, x2, x3) abgelegt. Sie können in Form einer Urliste oder Rangwertreihe vorliegen. - Die Graphik erscheint in dem mit dem R-Kalkulator verbundenen Laborobjekt R-Graphik. - Es besteht aber auch die Möglichkeit mehrere Datensätze jeweils als Boxplots in einer Graphik zusammenzufassen. Für den Fall der Datensätze x1, x2, x3 leistet dies der Aufruf im R-Kalkulator: boxplot(x1,x2,x3) - Es lassen sich den jeweiligen Boxplots auch andere als die Defaultkennung zu ordnen. Dazu sind die gewünschten Kennungen in einem Vektor zusammenzufassen und dem Aufruf mitzugeben, z.b. für obigen Fall: - boxplot(x1,x2,x3,kenn=c("kenx1","kenx2","kenx3")) - Im Labor findet sich im Objekt R-Graphik-Wizard mit dem Angebot "Boxplot" eine einfache Umsetzung des Konzepts "Boxplot". Hier können Boxplots aus Datensätzen einfach per Mausklick erzeugt werden. Weitere Quellen Im Anhang sind die für das Labor benötigte Bibliothek "danalyse.r" und eine Beschreibung der Bibliothek abgelegt. Das Ziel einer statistischen Datenanalyse liegt in der sinnvollen Auswahl und Anwendung statistischer Methoden auf einen interessierenden Datensatz und in der zielgerichteten Interpretation der Ergebnisse. Da eine einfache Anwendung ausgewählter Methoden unter statistischen Gesichtspunkten nicht ausreicht, besteht die Notwenigkeit einer Dokumentation des Einsatzes der ausgewählten Instrumente und einer Dokumentation der Interpretation. Dieses geschieht im Rahmen eines statistischen Reports, dessen Erstellung genau diese Zielsetzung verfolgen sollte. Mit Hilfe eines statistischen Reports werden nun zwei Merkmale der Fallstudie "Studentendaten" exemplarisch aufbereitet - "Alter" und "Anzahl Bücher". Ziel ist es, zu zeigen, auf welche Art mit den in diesem Lernmodul vermittelten Instrumenten Informationen aus Datensätzen gezogen werden können. Der zu diesen Merkmalen erstellte Report kann unter dem folgenden Link eingesehen werden: Reportdatei öffnen ( f18.rtf ) Die dazugehörigen Laborseiten finden Sie unter der folgenden Links: Labordatei 1 öffnen ( f1d.spf ) Labordatei 2 öffnen ( f20.spf ) Um die in diesem Lernmodul besprochenen Funktionen im Statistiklabor ausprobieren zu können, muss die Bibliothek "Danalyse.R" geladen werden. Sollte sie bei Ihrer Version des Statistiklabors nicht mit installiert worden sein, können sie diese hier laden: Bibliothek "danalyse.r" ( f2a.r ) Informationen zum Aufbau und der Verwendung der Funktionen: Page 19

20 Beschreibung der Bibliothek "danalyse.r" ( : f2f.pdf ) Angeln Explanationarithmetischen Mittel ExplanationAusreißer ExplanationBox-and-Whisker-Plot ExplanationBoxplot ExplanationDaten ExplanationDatenanalyse ExplanationDatensatz Explanationdeskriptiven Statistik ExplanationDezile Explanationempirische Verteilungsfunktion ExplanationExtremwerte ExplanationFragebogen ExplanationFünf-Zahlen-Zusammenfassung Explanationgeometrische Mittel Explanationkardinal ExplanationLagemaß ExplanationLetter Value Display Explanationlinksschief ExplanationMaximum ExplanationMedian ExplanationMerkmalsausprägung ExplanationMinimum Explanationmittlere absolute Abweichung Explanationmittlere quadratische Abweichung ExplanationModus Explanationnominal Explanationobere Angel Explanationoberes Quartil Explanationordinal Explanationp-Quantil ErklärungQuantile ErklärungQuartilsabstand ErklärungRangwertreihe Erklärungrechtsschief Erklärungrelativen Häufigkeiten ErklärungSchiefe ErklärungSpannweite ErklärungStandardabweichung Page 20

21 ErklärungStreuung ErklärungStreuungsmaß ErklärungSymmetrie ErklärungTiefe Erklärunguntere Angel Erklärungunteres Quartil ErklärungUrliste ErklärungVarianz Erklärung (c) Projekt Neue Statistik 2003, Freie Universität Berlin, Center für Digitale Systeme Kontakt: Page 21