Modul: Statistik II Dr.habil. Jochen Merker Business Intelligence and Statistics 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 1/29
1 Formalien Dozent Jochen Merker 1996-2001: Studium der Mathematik und Informatik an der Universität Hamburg (Diplom) 2001-2004: wissenschaftlicher Mitarbeiter am Fachbereich Mathematik der Universität Hamburg (Promotion) 2004-2013: wissenschaftlicher Mitarbeiter am Institut für Mathematik der Universität Rostock (Habilitation) seit WS 2013: Professor für Business Intelligence und Statistik an der FH Stralsund 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 2/29
1 Formalien Ablauf In der Statistik II werden wir uns mit Wahrscheinlichkeitsrechnung und induktiver Statistik (also mit Schätzen und Testen) beschäftigen. In der Vorlesung (Di, 12.15-13.45 Uhr) werden die theoretischen Konzepte vorgestellt und anhand akademischer Beispiele eingeübt. In den Übungen (Di, 9.45-11.15 Uhr bzw. 14.00-15.30 Uhr) werden anwendungsnahe Beispiele mit Hilfe von R und SPSS diskutiert. Im Gegensatz zur Ihnen schon bekannten kommerziellen menügesteuerten Statistik-Software SPSS ist R eine freie skriptgesteuerte Statistik-Software, die man von http://www.r-project.org herunterladen kann. Als Prüfungsleistung ist eine zweistündige Klausur zu bestehen. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 3/29
1 Formalien Ablauf Übungsaufgaben Ich werde Übungsaufgaben stellen, für deren Bearbeitung Sie bis zur nächsten Übung Zeit haben. Sie geben vor der Übung an, welche Übungsaufgaben Sie gelöst haben, und einer von Ihnen präsentiert dann die Lösung. Für die Zulassung zur Klausur müssen Sie mindestens 50% der Übungsaufgaben bearbeiten. ACHTUNG Nächste Woche nehme ich an der Jahrestagung der DMV-ÖMG teil, die Veranstaltung fällt daher aus und wird in der Blockwoche vom 18.11.-22.11. nachgeholt. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 4/29
1 Formalien Literatur Es gibt eine riesige Auswahl an Literatur zur Statistik, zu meiner Vorlesung empfehle ich die folgenden Bücher. Fahrmeir, Künstler, Pigeot, Tutz: Statistik (Kapitel 4-11), Springer. Cramer, Kamps: Grundlagen der Wahrscheinlichkeitsrechnung und Statistik (Abschnitte B-D), Springer. Götze, Deutschmann, Link: Statistik (Kapitel 2 und 3), Oldenbourg. Kohn, Öztürk: Statistik für Ökonomen (mit R und SPSS, Teil IV und V), Springer. Toutenburg, Heumann: Induktive Statistik (mit R und SPSS), Springer. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 5/29
2 Deskriptive Statistik Merkmale Merkmale Die deskriptive Statistik dient zur beschreibenden bzw. grafischen Aufbereitung und Komprimierung von an statistischen Einheiten (= Merkmalsträgern) erhobenen Daten (= Ausprägungen von Merkmalen). Merkmale können diskret (= endlich oder abzählbar viele Ausprägungen) oder kontinuierlich (= stetig = alle Werte aus einem Intervall als Ausprägungen) sein. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 6/29
2 Deskriptive Statistik Skalen Skalen Merkmale können nominal (weder anordbar noch arithmetisch, d.h. weder Vergleiche noch Differenzen oder Quotienten kann man sinnvoll interpretieren), ordinal (anordbar, aber nicht arithmetisch) oder kardinal (anordbar und arithmetisch) skaliert sein. Bei kardinalskalierten Merkmalen unterscheidet man zwischen intervallskaliert (Differenzen, aber nicht Quotienten sinnvoll interpretierbar) und verhältnisskaliert (Differenzen und Quotienten sinnvoll interpretierbar). 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 7/29
2 Deskriptive Statistik Diagramme, Kenngrößen und Datenerhebung Diagramme und Kenngrößen Die beschreibenden bzw. grafische Aufbereitung und Komprimierung von Daten kann durch Diagramme, Verlaufskurven oder Tabellen, die ein- und mehrdimensionale Häufigkeiten zusammenfassen, und durch Kenngrößen wie Lage- und Streumaße erfolgen. Datenerhebung ACHTUNG: Eine unsachgemäße Erhebung von Daten (z.b. Vorauswahl der Probanden) kann eine ungewünschte Verfälschung von Statistiken bewirken, daher ist eine sorgfältige Versuchsplanung notwendig. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 8/29
3 Explorative Statistik Explorative Statistik Explorative Statistik Die explorative Statistik sucht in bereits aufbereiteten Daten einerseits nach Ausreißern oder Fehlern in Datensätzen (= Datenvalidierung), und versucht andererseits durch Bestimmung von Zusammenhangsmaßen und Regressionen, erste Hypothesen über die Ursache der beobachteten Daten zu gewinnen (ohne dass diese schon wahrscheinlichkeitstheoretisch untermauert sind). In der ersten Übung wiederholen wir einige der in der Statistik I behandelten Themen und lernen dabei gleichzeitig R kennen. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 9/29
4 Deskriptive und explorative Statistik mit R Rechnen in R R als mächtiger Taschenrechner Nach Start von R kann man in einer Konsole Rechnungen ausführen, z.b. 2 3, sqrt(4) oder exp(log(5)). Hilfe zu vordefinierten Funktionen erhält man durch?funktion. Mittels der Funktion c (steht für concatenation, d.h. aneinanderhängen) kann man in R Vektoren definieren, z.b. x < c(1, 2, 3). Arithmetische Operationen und Funktionen werden auf jede Komponente eines Vektors angewendet, z.b. x 2 oder x c(2, 3). Es stehen viele Funktionen zur Manipulation eines Vektors zur Verfügung, z.b. length(x) oder sum(x). 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 10/29
4 Deskriptive und explorative Statistik mit R Programmieren in R R als Programmiersprache In R lassen sich nicht nur vordefinierte Funktionen benutzen, sondern mittels des Befehls function(..).. auch eigene Funktionen programmieren. Dies geschieht üblicherweise in Script-Dateien mit der Endung.R, die man in der Konsole ausführen kann. Beim Programmieren kann man die Schleifen for(.. in..), while(..), repeat.. break und die Verzweigung if(..).. else.. benutzen. 1. Erstellen Sie in R eine Funktion, die das arithmetische Mittel von in einem Vektor gespeicherten Werten bestimmt. 2. Bestimmen Sie mit Ihrer Funktion zu eingegebenem n N das arithmetische Mittel der Zahlen 1, 2,..., n. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 11/29
4 Deskriptive und explorative Statistik mit R Einlesen von Daten Dateizugriff in R Der Befehl daten - read.table( cars.csv, header=true, sep=, ) liest die durch Kommata getrennten Daten aus der Datei cars.csv in die Datentabelle daten ein, wobei die erste Zeile zur Beschriftung der Spalten benutzt wird. Mit daten$name kann man auf die durch Name bezeichnete Spalte zugreifen. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 12/29
4 Deskriptive und explorative Statistik mit R Quantile Definition Hat ein ordinalskaliertes Merkmal für n Merkmalsträger die Ausprägungen x 1,..., x n und ist 0 < p < 1, so heißt die Merkmalsausprägung x ein p-quantil, falls Anzahl der x i mit x i x n p und Anzahl der x i mit x i x n 1 p gilt, und man schreibt dann x p statt x. Eigenschaften von Quantilen Bezeichnet x (1),..., x (n) die geordnete Liste der Ausprägungen, so gilt x = x ( np +1), wenn np nicht ganzzahlig ist, und x [x (np), x (np+1) ], wenn np ganzzahlig ist. Der Median ist ein p-quantil für p = 1 2. Die p-quantile für p = 1 4 bzw. p = 3 4 bezeichnet man auch als erstes bzw. drittes Quartil. An der empirischen Verteilungsfunktion F (x) kann man p-quantile leicht ablesen. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 13/29
4 Deskriptive und explorative Statistik mit R Quantile Quantile in R In R lassen sich Quantile mittels des Befehls quantile(..) bestimmen. Das erste Argument ist der Vektor der Ausprägungen x 1,..., x n, danach kann man die verlangten p-werte vorgeben, (default: probs = seq(0, 1, 0.25)) oder das Verhalten bei Datenlücken regeln (default: na.rm = FALSE). Auch der Befehl summary(..) liefert die default-quantile und zusätzlich noch das arithmetische Mittel und die Anzahl der Datenlücken zurück. Mittels sd(..) bzw. var(..) lassen sich Standardabweichung bzw. Variation berechnen. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 14/29
4 Deskriptive und explorative Statistik mit R factor and ordered Nominal und ordinal skalierte Daten in R Mittels der Befehle factor bzw. ordered kann man R mitteilen, dass die Werte eines Vektors nicht als kardinal skaliert, sondern nur als nominal bzw. ordinal skaliert angesehen werden sollen. Dies hat Einfluß auf andere Funktionen, z.b. gibt summary(ordered(..)) statt der Quantile aus, wieviele Datensätze zu den einzelnen Levels gehören. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 15/29
4 Deskriptive und explorative Statistik mit R Kontingenztabellen Kontingenztabellen in R Kontingenztabellen lassen sich mit table(..) erzeugen. Das folgende Beispiel zeigt für daten mit den Spalten zylinder und land, wie man solche Tabellen beschriften kann. attach(daten) zylfac <- factor(zylinder, labels=c("3 Zylinder", "4 Zylinder", "5 Zylinder", "6 Zylinder", "8 Zylinder"), exclude=na ) landfac <- factor(land, labels=c("amerika", "Europa", "Japan") ) kontingenztabelle <- table(zylfac,landfac) print(kontingenztabelle) detach(daten) 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 16/29
4 Deskriptive und explorative Statistik mit R Häufigkeiten Häufigkeiten Mittels prop.table(..) kann man die relativen Häufigkeiten oder durch den zusätzlichen Parameter 1 für Zeilen bzw. 2 für Spalten die bedingten Häufigkeiten ausrechnen lassen. prop.table(kontingenztabelle) prop.table(kontingenztabelle,1) prop.table(kontingenztabelle,2) 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 17/29
4 Deskriptive und explorative Statistik mit R Diagramme Diagramme in R Zum Erstellen von Diagrammen bietet R die Befehle barplot(..) für Balkendiagramme, hist(..) mit der Anzahl breaks der Balken für Histogramme (und mit freq=false für echte Histogramme), boxplot(..) für Boxplots bzw. gruppierte Boxplots durch Übergabe von Vektor Gruppierung Beschriftung kann mit xlab bzw. ylab erfolgen, Einschränkung des Zeichenbereiche durch xlim bzw. ylim. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 18/29
4 Deskriptive und explorative Statistik mit R Diagramme Abspeichern von Diagrammen in R Um Diagramme abzuspeichern, kann man die Befehle pdf(..), postscript(..) oder jpeg(..) wie im folgenden Beispiel verwenden. pdf("meinbarplot.pdf") par(cex=1.2) barplot(table(as.factor(daten$zylinder)), xlab="anzahl der Zylinder", ylab="absolute Häufigkeiten") dev.off() 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 19/29
4 Deskriptive und explorative Statistik mit R Zusammenhangsanalyse Zusammenhangsanalyse in R Korrelationskoeffizienten kann man mittels cor(..) ausrechnen mit den Optionen use= complete.obs bzw. use= pairwise.complete.obs für das Ignorieren aller bzw. nur der paarweise fehlenden Werte. Streudiagramme kann man mittels splom(..) erzeugen, wobei vorher durch library(lattice) die diesen Befehl enthaltende Bibliothek eingebunden werden muss. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 20/29
4 Deskriptive und explorative Statistik mit R Lineare Regression Lineare Regression in R Mittels lm(..) und der Notation VektorY VektorX kann man ein lineares Modell eines VektorY in Abhängigkeit von einem VektorX erzeugen. Die zugehörige Ausgleichsgerade kann man mittels lines(..) in einen erstellten Plot einfügen. modell1 <- lm(daten$mpg~daten$ps) summary(modell1) betadach <- coefficients(modell1) plot(daten$ps, daten$mpg, xlab="ps", ylab="gefahrene Meilen pro Gallone") lines(daten$ps, betadach[1] + betadach[2] * daten$ps) 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 21/29
4 Deskriptive und explorative Statistik mit R Quadratische Regression Quadratische Regression in R Bei quadratischer Regression muss man zusätzlich durch + die Abhängigkeit von den Quadraten von VektorX erlauben Die zugehörige Ausgleichsparabel muss man selbst programmieren und mit dem Befehl curve(..) einfügen. ps2 <- daten$ps^2 modell2 <- lm(daten$mpg~daten$ps + ps2) summary(modell2) betadach <- coefficients(modell2) regrfunc <- function(x){ return ( betadach[1] + betadach[2] * x + betadach[3]*x^2 ) } plot(daten$ps, daten$mpg, xlab="ps", ylab="gefahrene Meilen pro Gallone", xlim=c(0,250) ) curve( regrfunc(x), from=46, to=230, add=true) 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 22/29
5 Wahrscheinlichkeit Wahrscheinlichkeitsrechnung und induktive Statistik Die deskriptive Statistik erlaubt, einen Datensatz komprimiert in grafischer Form darzustellen und Kenngrößen zu seiner Beschreibung anzugeben, während die explorative Statistik den Datensatz hinsichtlich interessanter Strukturen analysiert. Da der Datensatz aber üblicherweise nur eine Stichprobe ist, kann kein Rückschluß auf die Struktur der dahinterstehende Grundgesamtheit erfolgen. Die induktiven Statistik versucht festzustellen, ob eine in einem stichprobenartig erhobenen Datensatz entdeckte Struktur nur auf den Zufall zurückzuführen oder mit großer Sicherheit auch in der Grundgesamtheit zu finden ist. Um die Bedeutung des Zufalls für den erhobenen Datensatz quantifizieren zu können, benötigt man Wahrscheinlichkeitsrechnung. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 23/29
5 Wahrscheinlichkeit Zufallsexperimente Zufallsexperiment Ein Zufallsexperiment ist ein Vorgang, bei dem aus einer bekannten Menge von Ergebnissen genau eines eintritt und der unter den gleichen Rahmenbedingungen beliebig oft wiederholbar ist. ACHTUNG: Im Gegensatz zu gedanklichen Zufallsexperimenten sind reale Befragungen oder Stichprobenerhebungen i.a. nicht unter gleichen Rahmenbedingungen beliebig oft wiederholbar. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 24/29
5 Wahrscheinlichkeit Ereignisse Ergebnisraum und Ereignisse In der Wahrscheinlichkeitsrechnung bezeichnet man die Menge Ω der möglichen Ergebnisse eines Zufallsexperiments als Ergebnisraum und jede Teilmenge von Ω als Ereignis. Einelementige Teilmengen von Ω heißen Elementarereignisse. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 25/29
5 Wahrscheinlichkeit Mengen Grundlegende Begriffe Ist x ein (bzw. kein) Element der Menge Ω, so schreibt man abkürzend x Ω (bzw. x Ω). Ist jedes Element von A auch ein Element von B, d.h. gilt x A x B, dann nennt man A eine Teilmenge von B und schreibt A B. Die Menge aller Elemente x Ω, für die eine Aussage A(x) wahr ist, symbolisiert man durch {x Ω A(x)}. Die Menge P(Ω) := {A A Ω} aller Teilmengen von Ω nennt man die Potenzmenge von Ω. Die Anzahl der Elemente einer Menge A bezeichnet man mit A oder A. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 26/29
5 Wahrscheinlichkeit Mengenoperationen Beispiel, {1, 2,..., n}, N = {1, 2,... }, N 0 = {0, 1, 2,... }, Z = {0, ±1, ±2,... }, R = (, ) Mengenoperationen Sind A, B Ω Teilmengen, so bezeichnet A B := {x x A und x B} den Schnitt von A und B, A B := {x x A oder x B} die Vereinigung von A und B, A \ B := {x x A und x B} die Differenz von A und B, A c = A = Ω \ A das Komplement von A in Ω. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 27/29
5 Wahrscheinlichkeit Wahrscheinlickeitsmaß Disjunkte Mengen Teilmengen A, B Ω mit A B = heißen disjunkt. Teilmengen A 1, A 2,..., A k Ω mit A i A j = für alle i j, i, j {1,..., k}, heißen paarweise disjunkt. Definition Ist Ω endlich, so heißt eine Funktion P : P(Ω) R, die jeder Teilmenge A Ω eine reelle Zahl P(A) zuordnet, ein Wahrscheinlichkeitsmaß auf Ω, falls 1. P(A) 0 für alle A Ω, 2. P(Ω) = 1, 3. P(A B) = P(A) + P(B) für disjunkte A, B Ω gilt. 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 28/29
5 Wahrscheinlichkeit Rechenregeln für Wahrscheinlickeiten Satz Ist P ein Wahrscheinlichkeitsmaß auf Ω, so gilt 1. 0 P(A) 1 für alle A Ω, 2. P( ) = 0, 3. P(A) P(B) für A, B Ω mit A B, 4. P(A c ) = 1 P(A) für A Ω, 5. P(A 1 A 2 A k ) = P(A 1 ) + P(A 2 ) + + P(A k ) für paarweise disjunkte A 1, A 2,..., A k Ω, 6. P(A B) = P(A) + P(B) P(A B) 17.09.2013 Modul: Statistik II Dr.habil. Jochen Merker 29/29