Statistik für Ingenieure Vorlesung 8

Transkript

1 Statistik für Ingenieure Vorlesung 8 Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik 19. Dezember 2017

2 Nutzung von Statistik-Computerprogrammen Statistische Untersuchungen werden heutzutage im Allgemeinen unter Verwendung von Statistik-Computerprogrammen durchgeführt. Im Rahmen dieser Vorlesung werden entsprechende Vorgehensweisen mit Hilfe des Programmpakets R illustriert. Es können natürlich nicht alle Details im Zusammenhang mit diesem Programmpaket in den Übungen geübt werden, deshalb sind hier selbstständige Bemühungen wünschenswert. Die Interpretation der Ausgabeinformationen der Computerprogramme und die prinzipielle Vorgehensweise (die Schritte, die nacheinander und in Abhängigkeit von bereits erzielten Ergebnissen durchzuführen sind) sind jedoch Bestandteil der Vorlesung und auch der Übung und gehören zum Prüfungsstoff. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

3 Das Programmpaket R R ist ein freies Statistik-Softwarepaket. Es kann unter kostenlos heruntergeladen werden. R ist ein kommandozeilenorientiertes Programm. Man gibt Befehle ein, die sofort ausgeführt werden und oft Ausgabeinformationen erzeugen. Benutzeroberflächen, wie z.b. RStudio erleichtern das Arbeiten mit R. Mit Hilfe von Skripten können aufeinanderfolgende Befehlsketten zur Verarbeitung vorbereitet und dann jedes Mal bei Bedarf ausgeführt werden. Durch die Mitarbeit vieler Personen wächst der Umfang der Programme und damit der Umfang der mit R bearbeitbaren Probleme ständig. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

4 Beispieldatensatz Iris Der Datensatz enthält Werte von jeweils 50 Blumen von 3 Blumenarten Iris setosa (Borsten-Schwertlilie), Iris versicolor (Schwertlilie) und Iris virginica (Virginische oder Blaue Sumpfschwertlilie). Zu jeder Blume wurden jeweils die folgenden Informationen erhoben: die Länge des Kelchblattes in cm ( Sepal.Length ); die Breite des Kelchblattes in cm ( Sepal.Width ); die Länge des Blütenblattes in cm ( Petal.Length ); die Breite des Blütenblattes in cm ( Petal.Width ); die Blumenart ( Species ). Die Daten können in R wie folgt geladen werden: > data(iris). Informationen zum Datensatz erhält man in R durch > help(iris). Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

5 Datenmatrix als Darstellungsform für statistische Daten Eine Darstellung der von den Untersuchungseinheiten erhobenen gleichartigen Daten in einer Tabelle mit Zeilen und Spalten ist eine Datenmatrix. Von jeder Untersuchungseinheit werden die gleichen Merkmale erhoben. Die Informationen zu einer Untersuchungseinheit werden in einer Zeile dargestellt. Die zu den einzelnen Zeilen gehörenden Individuen bezeichnet man auch als Fälle und die zugehörigen Daten (individuelle) Datensätze. Die zu einem Merkmal gehörende Information wird jeweils in einer Spalte dargestellt. Die Spalten bezeichnet man auch als Variable und die Spaltenüberschrift als den Namen der Variable. Am Schnittpunkt der i ten Zeile mit der j ten Spalte ist also der Beobachtungswert x ij für die j te Variable beim i ten Individuum eingetragen. Zur modellbasierten Analyse werden die Werte x ij als Realisierungen von Zufallsgrößen X ij angesehen. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

6 Datenliste Gibt es nur Beobachtungen zu einem Merkmal, können die Beobachtungswerte in einer Datenliste angegeben werden. Beispiel: R-Datensatz morley (Lichtgeschwindigkeitsmessungen) > data(morley) > help(morley) > morley > lightspeeds=morley$speed > lightspeeds[1:20] [1] [8] [15] Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

7 Datentafel Die Datentafel ist eine alternative Darstellung der Daten zur Datenmatrix, wenn nur diskrete Merkmale auftreten und die statistische Information durch Anzahlen von Untersuchungseinheiten angegeben werden kann. Eine Datentafel enthält die Anzahl der Untersuchungseinheiten mit der gegebenen Faktorkombination in der jeweiligen Zelle. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

8 Beispiel Datentafel für Datensatz Titanic Ein Beispieldatensatz in R ist der Datensatz Titanic : > data(titanic) > help(titanic) > Titanic > ftable(titanic,col.vars=c("class","survived")) Class 1st 2nd 3rd Crew Survived No Yes No Yes No Yes No Yes Sex Age Male Child Adult Female Child Adult Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

9 4.2. Grafiken und statistische Maßzahlen (Kenngrößen, Parameter) für Daten Grafiken und statistische Maßzahlen dienen dazu, einen Überblick über die vorliegenden Daten zu erhalten, Vorstellungen über mögliche zugrundeliegende Verteilungen, Eigenschaften oder Besonderheiten zu entwickeln oder einfache Beschreibungen der Daten mit wenigen, möglichst aussagekräftigen Kenngrößen zu ermöglichen. In Abhängigkeit von den Skalenniveaus und anderen Eigenschaften der Daten (wie z.b. univariate, bivariate oder multivariate Datensätze) können unterschiedliche Grafiken und Kenngrößen genutzt werden. Im Rahmen dieser Vorlesung werden nicht alle Möglichkeiten vorgestellt, sondern nur eine Auswahl von häufiger verwendeten bzw. aussagekräftigen Grafiken und Maßzahlen. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

10 Fragestellungen im Zusammenhang mit den Grafiken Für welche Daten eignet sich die Grafik? Wie ist die Grafik aufgebaut? Wie interpretiert man die Grafik? Welche Informationen kann die Grafik liefern und warum? Welche Informationen kann die Grafik nicht liefern und warum? Versucht man mit einer vorliegenden Grafik zu täuschen, etwas bestimmtes zu suggerieren? (Zitat, zu finden z.b. in Benesch, Schlüsselkonzepte zur Statistik, Springer, 2013, S.2: Die Statistik ist dem Politiker, was die Laterne dem Betrunkenen ist: Sie dient zum Festhalten, nicht der Erleuchtung. ; siehe dazu zum Beispiel auch die Unstatistiken des Monats unter Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

11 Grafiken für univariate stetige Daten (a) Punktdiagramm Ein Punktdiagramm kann für ein stetiges Merkmal erstellt werden. Dabei werden die Beobachtungswerte durch Punkte auf einem geeigneten Abschnitt der reellen Zahlengeraden markiert. Man erhält einen Überblick über den Bereich, in dem Beobachtungswerte liegen und wie stark sie streuen. Teilweise kann man Teilbereiche erkennen, in denen sich die Beobachtungswerte häufen oder seltener vorkommen. Ebenfalls kann man sehr große oder sehr kleine Beobachtungswerte, die von der Masse der Werte relativ weit entfernt sind und eventuell als Ausreißer zu behandeln sind, erkennen. Die Zusatzinformationen zum Datensatz muss ggf. mit genutzt werden (falls Daten transformiert sind etc.). Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

12 Punktdiagramm für Datensatz morley > data(morley) > lightspeeds=morley$speed > stripchart(lightspeeds, main="punktdiagramm Lichtgeschwindigkeitsmessungen") Punktdiagramm Lichtgeschwindigkeitsmessungen Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

13 Probleme mit Punktdiagrammen Zusammenfallende oder sehr nah beieinander liegende Beobachtungswerte sind im Diagramm nicht mehr unterscheidbar, so dass Punkte durch Überdeckung verloren gehen können. Dieses Problem kann man beheben, indem man die Punktpositionen in die ungenutzte Richtung (vertikal bei horizontalen Punktdiagrammen) durch systematisches Stapeln (gestapeltes Punktdiagramm) oder durch zufälliges Verzittern (verzittertes Punktdiagramm) verschiebt. Ein verzittertes Punktdiagramm sieht nach jedem Neuzeichnen anders aus. Beim gestapelten Punktdiagramm können Muster vorgegaukelt werden, die aber nur sehr zufällig und damit wenig aussagekräftig sind. Die Verteilung der Punkte kann nicht immer gut erfasst werden. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

14 Gestapeltes Punktdiagramm für Beispiel > stripchart(lightspeeds,method="stack", main="gestapeltes Punktdiagramm Lichtgeschwindigkeitsmessungen") Gestapeltes Punktdiagramm Lichtgeschwindigkeitsmessungen Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

15 Verzittertes Punktdiagramm für Beispiel > stripchart(lightspeeds,method="jitter", main="verzittertes Punktdiagramm Lichtgeschwindigkeitsmessungen") Verzittertes Punktdiagramm Lichtgeschwindigkeitsmessungen Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

16 (b) Histogramm Ausgangspunkt ist eine Klasseneinteilung der Beobachtungswerte. Dazu wird ein Intervall, in dem alle Beobachtungswerte liegen, in eine endliche Anzahl disjunkter Teilintervalle, die sogenannten Klassen oder Gruppen zerlegt. Jede Klasse ist dann eindeutig durch die Klassenmitte und die Klassenbreite bzw. durch die untere und obere Klassengrenze bestimmt. Die Anzahl der Klassen sollte nicht zu klein und nicht zu groß sein. Die Klassenbreiten sollten übereinstimmen (ggf. mit Ausnahme der Randklassen). Nach Festlegung einer Klasseneinteilung werden die absoluten Klassenhäufigkeiten bestimmt, d.h. für jede Klasse wird die Anzahl der Beobachtungswerte in der Klasse gezählt. Dann werden in einem Koordinatensystem aneinanderstoßende Rechtecke mit Flächeninhalten proportional zur Klassenhäufigkeit und Klassenintervallen als Basis gezeichnet. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

17 Histogramm für Beispiel Lichtgeschwindigkeiten > hist(lightspeeds) Histogram of lightspeeds Frequency lightspeeds Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

18 Histogramm und gestapeltes Punktdiagramm für Beispiel > hist(lightspeeds) > stripchart(lightspeeds,method="stack",add=t,col=2) Histogram of lightspeeds Frequency lightspeeds Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

19 Histogramm mit 3 Klassen und Beispielpunktdiagramm > b=c(299600,299800,300000,300200) > hist(lightspeeds,breaks=b) > stripchart(lightspeeds,method="stack",add=t,col=2) Histogram of lightspeeds Frequency lightspeeds Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

20 Histogramm mit 50 Klassen und Beispielpunktdiagramm > b=c(seq(299600,300100,by=10)) > hist(lightspeeds,breaks=b) > stripchart(lightspeeds,method="stack",add=t,col=2) Histogram of lightspeeds Frequency lightspeeds Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

21 Bemerkungen zu Histogrammen Die Gestalt eines Histogramms hängt stark von der gewählten Klasseneinteilung (und auch des gewählten Gesamtintervalls) ab, deshalb sollte man ggf. etwas experimentieren, um ein möglichst aussagekräftiges Histogramm zu erzeugen. Durch die Klasseneinteilung geht Information verloren. Man kann ggf. Ausreißer am linken oder rechten Rand erkennen. Man kann eventuell Verteilungseigenschaften, wie Symmetrie oder Schiefe, erkennen (oder erahnen). Bei übereinstimmenden Klassenbreiten sind die Höhen der Rechtecke proportional zu den Häufigkeiten. Statt der absoluten Häufigkeiten können die Höhen der Rechtecke auch so normiert werden, dass der Gesamtflächeninhalt unter allen Rechtecken gleich 1 ist. Dann ist ein (meist nicht sehr belastbarer) Vergleich mit einer Verteilungsdichte möglich. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

22 Beispielhistogramm mit Normalverteilungsdichteschätzung > hist(lightspeeds,freq=f) > curve(dnorm(x,mean(lightspeeds),sd(lightspeeds)),add=t,col=2) Histogram of lightspeeds Density lightspeeds Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

23 Grafiken für univariate diskrete Daten (a) Balkendiagramm Bei Balkendiagrammen werden die Anzahlen der Beobachtungswerte in den einzelnen Kategorien (Klassen) durch gleich breite Balken flächen- und auch höhenproportional dargestellt. Im Unterschied zum Histogramm für stetige Daten haben die Balken beim Balkendiagramm einen Abstand, um den diskreten Charakter der Daten zu unterstreichen. Sowohl beim Histogramm als auch beim Balkendiagramm werden aber Häufigkeiten oder Anteile flächenproportional dargestellt. Bei der Anzeige ordinaler Daten sollte die Reihenfolge der Balken der natürlichen Ordnung der Merkmalsausprägungen entsprechen. Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

24 Beispiel Datensatz Titanic R Befehle Funktion zur Gewinnung von Summenanzahlen z.b. > margin=function(x,...) apply(x,pmatch(c(...),names(dimnames(x))), sum) > margin(titanic,"survived") No Yes Erzeugung der Balkendiagramme > opar=par(mfrow=c(1,3)) > barplot(margin(titanic,"survived"),main="survived") > barplot(margin(titanic,"sex"),main="sex") > barplot(margin(titanic,"class"),main="class") > par(opar) Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

25 Balkendiagramme im Beispiel Titanic Survived Sex Class No Yes Male Female 1st 2nd 3rd Crew Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

26 (b) Kreisdiagramm Die Anzahlen (oder Anteile) der Beobachtungswerte in den einzelnen Kategorien (Klassen) können ggf. auch durch ein Kreisdiagramm (Tortendiagramm, Kuchendiagramm) flächenproportional (hier auch winkelproportional) dargestellt werden. R Befehle zur Erzeugung der Kreisdiagramme im Beispiel: > opar=par(mfrow=c(1,3)) > pie(margin(titanic,"survived"),main="survived") > pie(margin(titanic,"sex"),main="sex") > pie(margin(titanic,"class"),main="class") > par(opar) Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember

27 Beispielkreisdiagramme Survived Sex Class No Male 3rd 2nd 1st Yes Female Crew Prof. Dr. Hans-Jörg Starkloff Statistik für Ingenieure Vorlesung 8 Geändert: 27. Dezember