Biosignale und Benutzerschnittstellen

Transkript

1 Vorlesung WS 2012/2013 Biosignale und Benutzerschnittstellen Statistik und Versuchsplanung Prof. Dr. Tanja Schultz Dipl. Math. Michael Wand 1 / 76

2 Fragestellung dieser Vorlesung Folgende Themen haben wir bisher behandelt: Biologische Grundlagen und Entstehung der verschiedenen Biosignale Ableitung/Messung von Signalen Algorithmische Grundlagen der Biosignalverarbeitung Jetzt nehmen wir an, wir haben diese Kenntnisse benutzt, um ein Experiment durchzuführen. Wir haben eine Reihe von Daten aufgenommen. Wir haben diese Daten nach einer gewissen Methode klassifiziert und haben beispielsweise Zahlenreihen von Erkennungsergebnissen o. ä. vorliegen. Was ist nun der nächste Schritt? 2 / 76

3 Auswertung eines Versuchs Wir sollten die Ergebnisse unseres Experiments statistisch auswerten! Ist unser Erkennungsergebnis signifikant besser als ein Zufallsergebnis, bzw. besser als schon bekannte Verfahren? Welche Aussagen können wir über die Genauigkeit unserer Ergebnisse treffen? Was können wir aus den Ergebnissen schließen? Können wir Aussagen über die Generalisierbarkeit der Ergebnisse treffen? 3 / 76

4 Statistik und Versuchsplanung Die Beantwortung dieser Fragen ist Gegenstand der Statistik. In dieser Vorlesung wollen wir: eine kurze Einführung in die Statistik geben Fragestellungen der Statistik erläutern einen statistischen Test vorstellen ein Rechenbeispiel durchrechnen. Außerdem: Wie muss ein Versuch aufgebaut werden, um auch gültige Ergebnisse liefern zu können? Welche Entscheidungen muss man vor Beginn des Versuchs treffen? 4 / 76

5 Literatur Jürgen Bortz: Statistik für Human- und Sozialwissenschaftler. 6. Auflage Springer Verlag, Gute Einführung in das Thema, mit Hintergrundinformationen und auch Methodenkritik. 5 / 76

6 Übersicht Erinnerung: Elemente der Wahrscheinlichkeitstheorie Stichproben und Konfidenzintervalle Der t-test Der Kolmogorov-Smirnov-Test Bemerkungen zur Versuchsplanung 6 / 76

7 Zufallsexperimente Betrachten wir ein Zufallsexperiment, etwa den Wurf einer Münze. Der Wahrscheinlichkeitsraum der möglichen Ausgänge dieses Experiments ist der Raum Ω = {Kopf, Zahl}. Auf Ω existiert eine Wahrscheinlichkeitsverteilung, die Wahrscheinlichkeiten der möglichen Ausgänge des Zufallsexperiments beschreibt. Bei einer fairen Münze gilt etwa P( ) = 0 P({Kopf}) = P({Zahl}) = 1/2 P(Ω) = 1. Eine Wahrscheinlichkeitsverteilung ordnet jeder Teilmenge des Wahrscheinlichkeitsraumes eine Wahrscheinlichkeit zwischen 0 und 1 zu. 7 / 76

8 Zufallsvariablen Eine Zufallsvariable (ZV) X ordnet den Ausgängen eines Zufallsexperiments reelle Zahlen (oder auch Vektoren des R n ) zu. Beispiel: Jemand wettet um einen Euro, dass eine geworfene Münze Kopf zeigt. Dann wäre eine nützliche Zufallsvariable gegeben durch X : Ω R Kopf 1 Zahl 1, also durch den Gewinn in Euro bei dem entsprechenden Ereignis. Die Verteilung auf Ω überträgt sich auf R. 8 / 76

9 Diskete und kontinuierliche Zufallsvariablen Die Verteilung einer ZV X kann diskret sein, dann ist die Wahrscheinlichkeitsmasse auf höchstens abzählbar unendlich viele Punkte x 1, x 2,... des R n verteilt kontinuierlich sein, dann ist die Wahrscheinlichkeitsmasse auf ein ganzes Intervall verteilt. Im ersten Fall kann die Verteilung durch die Wahrscheinlichkeiten der einzelnen Punkte charakterisiert werden, also P(x i ) = p i, im zweiten Fall kann man (oft) eine Dichtefunktion p angeben, dann gilt für A R: P(A) = p(x)dx A 9 / 76

10 Erwartungswert Der Erwartungswert einer Zufallsvariablen ist folgendermaßen definiert: Im diskreten Fall, wenn X die Werte x i mit Wahrscheinlichkeiten p i annimmt: µ = E(X ) = x i p i = x i P(X = x i ) i i Im kontinuierlichen Fall: µ = E(X ) = R 10 / 76 x p(x)dx. Ist X die Summe von Zufallsvariablen X i, so ist der Erwartungswert von X auch die Summe der Erwartungswerten der einzelnen X i : X = i X i E(X ) = i E(X i).

11 Schätzung des Erwartungswerts aus einer Stichprobe Betrachten wir eine Stichprobe x 1, x 2,..., x N. Wir nehmen an, dass alle diese Werte x i unabhängige Realisationen einer gewissen Zufallsvariablen X sind! Wie können wir aus dieser Stichprobe eine möglichst genaue Approximation (Schätzung) des Erwartungswertes von X gewinnen? Welches Kriterium soll ein solcher Schätzer überhaupt erfüllen? 11 / 76

12 Schätzung des Erwartungswerts aus einer Stichprobe Man kann zeigen: Der Stichprobenmittelwert x = 1 N der Stichprobe ist eine sehr nützliche Schätzung des Erwartungswertes: N i=1 Dies ist der Maximum-Likelihood-Schätzer: Diese Wahl des Stichprobenmittelwerts maximiert die Wahrscheinlichkeit der beobachteteten Daten (also der Stichprobe). Diese Schätzung ist erwartungstreu: Im Mittel wird der echte Erwartungswert weder über- noch unterschätzt. Die Schätzung ist auch konsistent: Das Gesetz der großen Zahlen sichert in vielen Fällen zu, dass der Stichprobenmittelwert bei wachsender Stichprobengröße gegen den Erwartungswert konvergiert. Wir werden der Mittelwertsschätzung wieder begegnen, wenn wir Konfidenzintervalle betrachten. 12 / 76 x i

13 Varianz Ist µ = E(X ) der Erwartungswert einer reellen Zufallsvariablen, so ist die Varianz durch σ 2 = Var(X ) = E((x µ) 2 ) definiert. Direkte Formeln lassen sich wieder für den kontinuierlichen und den diskreten Fall angeben: σ 2 = Var(X ) = (x i µ) 2 p i bzw. i σ 2 = Var(X ) = (x µ) 2 p(x)dx. R 13 / 76

14 Varianz Die Varianz gibt die Streuung einer Zufallsvariablen an. Das Bild zeigt zwei Gaussdichtefunktionen mit unterschiedlichen Varianzen. Die Form der Verteilungen bleibt gleich, aber die grün eingezeichnete Verteilung ist viel ausgebreiteter. Die Quadratwurzel der Varianz heißt Standardabweichung: σ X = Var(X ). 14 / 76

15 Varianzschätzung Auch die Varianz einer Verteilung kann man aus einer Stichprobe abschätzen. Die naheliegende Formel ˆσ 2 X,ML = 1 N N (x n x) 2 ist zwar der Maximum-Likelihood-Schätzer, führt aber dazu, dass die echte Varianz unterschätzt wird. Das heißt, dieser Schätzer ist nicht erwartungstreu, das heißt, dass sein Erwartungswert nicht gleich der (wahren) Varianz der Population ist, sondern davon abweicht (Bias). (Trotzdem kann man ihn für gewisse Zwecke verwenden.) n=1 15 / 76

16 Varianzschätzung Um die Varianz erwartungstreu zu beheben, muss das Ergebnis noch mit N N 1 multipliziert werden, das heißt, der übliche Schätzer für die Varianz einer ZV ist die korrigierte Stichprobenvarianz ˆσ 2 X = 1 N 1 N (x n x) 2. Wir haben also gelernt: Korrektes Schätzen ist nichttrivial, es gibt unterschiedliche Ansätze mit unterschiedlichen Vor- und Nachteilen! n=1 16 / 76

17 Typische Verteilungen Als nächstes besprechen wir einige häufig auftretende Wahrscheinlichkeitsverteilungen, die in der Statistik eine Rolle spielen, nämlich die: Gleichverteilung Normalverteilung Außerdem besprechen wir Verteilungen, die im Wesentlichen bei Hypothesentests verwendet werden: χ 2 -Verteilung t-verteilung 17 / 76

18 Die Gleichverteilung Die Gleichverteilung kann sowohl eine diskrete als auch eine kontinuierliche Verteilung sein. Im diskreten Fall haben alle (endlich vielen) möglichen Ergebnisse x 1,..., x N des Zufallsexperiments die gleiche Wahrscheinlichkeit, also p i = P(x i ) = 1/N, im kontinuierlichen Fall ist die Dichtefunktion auf einem endlich großen Intervall konstant. Die Grundidee der Gleichverteilung ist es, dass es keine Präferenz für ein gewisses Ergebnis eines Experiments gibt. 18 / 76

19 Die Normalverteilung Die Normalverteilung kennen wir aus sehr vielen Anwendungsgebieten. Sie ist eine kontinuierliche Verteilung. Im eindimensionalen Fall hat sie die Dichtefunktion ( f (x) = 1 σ 2π exp 1 ( ) ) x µ 2. 2 σ Ihre besondere Bedeutung für die Statistik kommt vom zentralen Grenzwertsatz, der besagt, dass der Mittelwert bzw. die Summe von vielen unabhängigen, identisch verteilten Zufallsvariablen annähernd standardnormalverteilt ist. Zwei Normalverteilungen sind in der Grafik abgebilet. 19 / 76

20 Die Normalverteilung Ein Hilfsmittel zur Veranschaulichung der Normalverteilung und des zentralen Grenzwertsatzes ist das Galtonsche Nagelbrett. Man sieht auf dem Bild, wie Kugeln in sieben Trichter rollen. Auf dem Weg wird jede Kugel von sechs Nägeln zufällig nach rechts oder links abgelenkt. Wenn die Trichter von links nach rechts mit 0, 1,..., 6 =: k durchnummeriert sind, so fällt eine Kugel genau dann in Trichter l, wenn sie l-mal nach rechts und 6 l-mal nach links abgelenkt wurde. 20 / 76

21 Die Normalverteilung Durch Abzählen sieht man, dass die Wahrscheinlichkeit, dass eine Kugel in Trichter l, 0 l k fällt, sich ergibt zu p l = ( k l ) 1 2 k. Eine solche diskrete Verteilung heißt Binomialverteilung. Können Sie erkennen, dass die Form der Binomialverteilung einer Normalverteilung ähnelt? Je mehr Trichter (und Nagelreihen) man verwendet, desto größer wird die Ähnlichkeit 21 / 76

22 Die Normalverteilung Es gibt auch ein Argument, warum die Verteilung der Kugeln auf die Trichter annähernd eine Normalverteilung ist. Seien X i (i = 1,..., 6) ZVen, die den Wert 0[1] annehmen, wenn eine Kugel in Nagelreihe i nach links[rechts] abgelenkt wurde (an welchem der Nägel genau, ist völlig egal). Sind die Nägel immer zentriert angebracht, so ist P(X i = 0) = P(X i = 1) = / 76

23 Die Normalverteilung Ist Y eine ZV, die die Nummer des Trichters angibt, in den eine Kugel fällt, so ist Y die Summe der (voneinander unabhängigen, identisch verteilten) X i : Y = X X k und somit annähernd normalverteilt. Je mehr X i (also je mehr Trichter und Nagelreihen) man hat, desto genauer wird die Normalverteilung approximiert. 23 / 76

24 Eigenschaften der Normalverteilung Die Normalverteilung wird durch Mittelwert µ und Varianz σ 2 vollständig beschrieben. Man schreibt für eine normalverteilte Zufallsvariable X : X N (µ, σ 2 ). Eine Normalverteilung mit Mittelwert 0 und Varianz 1 nennt man auch Standardnormalverteilung. Für eine standardnormalverteilte ZV verwendet man oft das Symbol z: Also z N (0, 1). Jede normalverteilte ZV X lässt sich durch Normierung in eine standardnormalverteilte ZV z überführen (z-transformation): z = X µ σ x 24 / 76

25 Die Chi-Quadrat-Verteilung Ist z eine standardnormalverteilte ZV, so ist ihr Quadrat χ 2 1 -verteilt: χ 2 1 = z 2 Die Zahl 1 gibt die Anzahl der Freiheitsgrade (df, degree of freedom) der Chi-Quadrat-Verteilung an. Summieren wir die Quadrate von df unabhängigen, standardnormalverteilten Zufallsvariablen auf, erhalten wir eine χ 2 -verteilte ZV mit df Freiheitsgraden: df χ 2 df = n=1 z 2 n Die rechte Grafik zeigt die Form der Chi-Quadrat-Verteilung für verschiedene Freiheitsgrade. 25 / 76

26 Die t-verteilung Aus einer standardnormalverteilten ZV wird ein z-wert gezogen, und aus einer hiervon unabhängigen χ 2 df -verteilten ZV wird ein χ2 df -Wert gezogen. Der folgende Quotient definiert einen t df -Wert: z t df = χ 2 df /df Die Verteilung dieser ZV heißt t-verteilung mit df Freiheitsgraden. Die t-verteilung wird uns später bei der Definition des t-tests wieder begegnen. 26 / 76

27 Übersicht Erinnerung: Elemente der Wahrscheinlichkeitstheorie Stichproben und Konfidenzintervalle Der t-test Der Kolmogorov-Smirnov-Test Bemerkungen zur Versuchsplanung 27 / 76

28 Stichproben Nehmen wir nun an, wir haben eine Population von beliebigen Objekten, die alle ein Merkmal x aufweisen. Wir wollen der Einfachheit halber davon ausgehen, dass sich dieses Merkmal als einzige reelle Zahl beschreiben lässt. Dabei kann diese Zahl sowohl kontinuierliche als auch diskrete Werte annehmen. Beispiele: Das monatliche Einkommen von Bevölkerungsgruppen (kontinuierlich) Die Wirksamkeit eines Medikaments (diskret entweder 0 oder 1) Die Fehlerrate bei einem Biosignalexperiment am CSL (kann kontinuierlich oder diskret sein) Wir wollen nun den Mittelwert dieses Merkmals bezogen auf die gesamte Population bestimmen. Warum ist das schwierig? 28 / 76

29 Stichproben Warum können wir den Mittelwert eines Merkmals nicht einfach ausrechnen? Weil viel zu viele Daten zu betrachten sind. Beispiel: Wirksamkeit eines Medikaments, sagen wir, gegen Bluthochdruck In D ca. 15 Mio. Menschen betroffen ( Diese 15 Mio. Menschen bilden die Population Medikament an jedem einzelnen ausprobieren??? 29 / 76

30 Stichproben Noch ein Beispiel: Fehlerrate eines Spracherkenners Wie viele mögliche Sprachäußerungen gibt es eigentlich? Nehmen wir eine Vorverarbeitung mit 13 Cepstralkoeffizienten, 100 Frames/Sekunde, jeder Koeffizient möge 256 verschiedene Werte annehmen können Bei Äußerungen von 5 Sekunden Dauer unterschiedliche Tokenfolgen???! Auf jeden Fall kann man nicht jedes einzelne Experiment durchführen. Man ist also auf eine Stichprobe angewiesen. 30 / 76

31 Stichproben Eine Stichprobe sollte die Population möglichst gut repräsentieren. Medizin: Möglichst große Bandbreite der Probanden z.b. bezüglich Vorerkrankungen, Alter etc. In der Spracherkennung: Möglichst viele verschiedene Sprachaufnahmen, unterschiedliche Sprecher,... ( Zufallsstichprobe ) Nehmen wir also an, wir haben eine zufällige Stichprobe der Größe N aus der Population gezogen. Dann haben wir die N Merkmalswerte x 1,..., x N. Wir interessieren uns für den Mittelwert µ des Merkmals innerhalb der Gesamtpopulation. 31 / 76

32 Stichproben Auf unserer Stichprobe können wir nun den Mittelwert x = 1 N N i=1 x i des Merkmals ausrechnen: Noch einmal zur Erinnerung: µ = Mittelwert des Merkmals in der Gesamtpopulation x = Mittelwert des Merkmals in der Stichprobe Wie stehen µ und x in Beziehung? Um diese Frage zu beantworten, machen wir ein Gedankenexperiment und ziehen noch eine weitere gleichgroße Zufallsstichprobe. Dann erhalten wir einen neuen Mittelwert x, der wahrscheinlich etwas von x abweicht, aber doch auch mit x und µ zusammenhängt. 32 / 76

33 Die Stichprobenkennwerteverteilung Die entscheidende Beobachtung: Das Ziehen einer (Zufalls-)Stichprobe ist selbst ein Zufallsexperiment! Folglich ist der Stichprobenmittelwert x, der durch die Gleichung x = 1 N N i=1 geschätzt wird, eine Realisierung einer ZV X! Die Stichprobenkennwerteverteilung ist die (theoretische) Verteilung, die sich ergibt, wenn man Stichproben fester Größe aus der Population zieht und jedes Mal den Kennwert (hier Stichprobenmittelwert) berechnet. 33 / 76 x i

34 Die Stichprobenkennwerteverteilung Welche Verteilung hat X? Man kann zeigen: Der Erwartungswert von X entspricht genau dem Mittelwert µ des Merkmals x in der Gesamtpopulation. Die Schätzung von µ durch die Gleichung oben ist also erwartungstreu. Welche weiteren Eigenschaften hat X? Die Standardabweichung σ x von X verringert sich mit zunehmendem Stichprobenumfang (wer weiß, warum?). Außerdem ist σ x offenbar von der (möglicherweise unbekannten) Streuung σ des Merkmals x in der Gesamtpopulation abhängig. 34 / 76

35 Die Stichprobenkennwerteverteilung Die Standardabweichung von X lässt sich berechnen durch σ x = σ 2 N. Dabei ist σ die Standardabweichung des Merkmals in der Gesamtpopulation. Das heißt, die Streuung von σ x nimmt mit der Quadratwurzel der Stichprobengröße ab. Wenn σ unbekannt ist, kann man es ebenfalls abschätzen (hatten wir vorhin: ˆσ 2 = 1 N N 1 i=1 (x i x) 2 ), und wir erhalten schließlich für σ x die Abschätzung N i=1 ˆσ x = (x i x) 2 N (N 1). 35 / 76

36 Die Stichprobenkennwerteverteilung Wie genau sieht die Verteilung von X denn nun aus? Der zentrale Grenzwertsatz der Wahrscheinlichkeitstheorie besagt, dass sich die Verteilung von X bei genügender Größe der Stichprobe (etwa N > 30) der Normalverteilung annähert! Beispiel (Applet zum selberausprobieren) für den zentralen Grenzwertsatz: ZentralerGWS.htm. 36 / 76

37 Die Stichprobenkennwerteverteilung Noch einmal zusammengefasst: Für genügend große Stichproben ist der Stichprobenmittelwert normalverteilt mit Mittelwert µ und Standardabweichung σ 2 σ x = N. Diese Verteilung ist ein Beispiel einer Stichprobenkennwerteverteilung für den Mittelwert als Kennwert einer Stichprobe. Noch ein Hinweis: Bei dieser Verteilung handelt es sich um ein theoretisches Konstrukt. Auf den nächsten Folien werden wir sehen, welche praktischen Informationen und Methoden daraus ableitbar sind. 37 / 76

38 Punktschätzung und Intervallschätzung Was schließen wir aus der Verteilung des Stichprobenmittelwerts? Wenn wir nur eine Stichprobe haben und einen einzigen Schätzwert für µ angeben wollen, bleibt x = N i=1 x i die bestmögliche Schätzung (erwartungstreu, minimaler quadratischer Fehler). Eine solche Schätzung nennt man Punktschätzung. Problem bei der Punktschätzung: Es gibt keine Information darüber, wie verlässlich der angegebene Wert eigentlich ist. Wir können aber auch ein Intervall für µ angeben (Intervallschätzung). Darin reflektiert sich, dass unsere Schätzung immer etwas ungenau sein wird. Die Wahrscheinlichkeitstheorie erlaubt uns aber, anzugeben, wie ungenau diese Schätzung ist. Damit hat man eine wahrscheinlichkeitstheoretisch verlässliche Aussage. 38 / 76

39 Konfidenzintervalle Der Bereich, in dem sich ein gewisser (hoher) Prozentsatz aller möglichen Mittelwerte eines Populationsmerkmals befinden, die einen gewissen Stichprobenmittelwert erzeugt haben können, heißt Konfidenzintervall. Üblicherweise wird als Genauigkeit eines Konfidenzintervalls 95% oder 99% festgelegt. Dies bedeutet: Wenn wir einen Stichprobenmittelwert x haben und ein Konfidenzintervall für den Mittelwert µ auf der Gesamtpopulation angeben, dann ist die Wahrscheinlichkeit, dass µ wirklich innerhalb dieses Intervalls liegt, 95% bzw. 99%. 39 / 76

40 Berechnung des Konfidenzintervalls Nehmen wir an, wir haben eine genügend große Stichprobe für ein Populationsmerkmal. Dann ist X normalverteilt mit Mittelwert µ und Standardabweichung σ x. Wir können von X den Mittelwert abziehen und durch den Standardfehler dividieren, dann erhalten wir sogar eine standardnormalverteilte Zufallsvariable Z: Z = X µ σ x Dieses Z kennen wir bereits als die z-transformierte von X. 40 / 76

41 Berechnung des Konfidenzintervalls Wir wollen das Konfidenzintervall zur Genauigkeit 95% berechnen. Eine Tabelle der Standardnormalverteilung liefert uns die Information, dass sich zwischen z ± = ± % der Gesamtwahrscheinlichkeitsmasse dieser Verteilung befinden. Das heißt, eine Realisierung z der oben definierten Zufallsvariablen Z liegt mit 95% Wahrscheinlichkeit im Bereich [z, z + ]. 41 / 76

42 Berechnung des Konfidenzintervalls Eine Realisierung z der oben definierten Zufallsvariablen Z liegt mit 95% Wahrscheinlichkeit im Bereich [z, z + ]. Durch Einsetzen in die Gleichung z = X µ ergibt sich, dass dann eine σ x Realisierung x von X mit 95% Wahrscheinlichkeit im Bereich [ x, x + ] mit x ± = µ ± 1.96 σ x liegt! Also: Wenn wir eine Stichprobe mit der oben festgelegten Größe ziehen und auf dieser Basis den empirischen Mittelwert x berechnen, dann liegt dieser Wert mit 95% Wahrscheinlichkeit nicht weiter als 1.96 σ x vom echten Mittelwert µ entfernt! 42 / 76

43 Berechnung des Konfidenzintervalls Das Intervall I γ der Breite 2 c(γ) σ x um den Mittelwert x einer Stichprobe nennt man Konfidenzintervall für den Parameter µ zum Konfidenzniveau γ. Der Wert von c ergibt sich aus dem gewünschten γ - für γ = 0.95 ist c = Damit haben wir eine Möglichkeit gefunden, die Lage des unbekannten Populationsmittelwertes stochastisch zu beschreiben: Für geeignetes c und eine geeignet große Stichprobe liegt des wahre Populationsmittelwert µ mit Wahrscheinlichkeit γ innerhalb des Intervalls I γ. 43 / 76

44 Beispielrechnung Konfidenzintervall Eine Beispielrechnung: Bei einer Wahlumfrage geben 400 von 1000 Personen an, Partei A wählen zu wollen. Welchen Anteil der Stimmen wird Partei A in der Wahl bekommen? Wir betrachten die Zufallsvariable { 0 Ein Wähler wählt Partei A nicht X = 1 Ein Wähler wählt Partei A. Wir wollen eine Aussage über den Erwartungswert von X treffen. Die 1000 befragten Personen stellen eine Stichprobe dar, aus der wir ein Konfidenzintervall für µ = E(X ) ableiten wollen. 44 / 76

45 Beispielrechnung Konfidenzintervall Unsere Stichproben seien x 1,..., x Als Punktschätzung für µ ergibt sich x = x i = = 0.4. i=1 Wir erinnern uns: x ist eine Realisierung der Zufallsvariablen X. Aufgrund der Stichprobengröße können wir davon ausgehen, dass X normalverteilt ist. 45 / 76

46 Beispielrechnung Konfidenzintervall Wir haben jetzt eine Schätzung für µ = E(X ), nämlich µ = x = 0.4. Die Populationsvarianz σ 2 können wir auch aus der Stichprobe abschätzen, der Schätzwert ˆσ 2 ist ˆσ 2 = (x i x) 2 = ( ) i=1 = = Alternativ verwende die Formel Var(X ) = E(X 2 ) (EX ) 2. Da die x i voneinander unabhängig sind, gilt für die Varianz von X : also σ X σ 2 X = Var( X ) = σ2 N = Var(X i) = , 46 / 76

47 Beispielrechnung Konfidenzintervall Das Konfidenzintervall zur Genauigkeit 95% ergibt sich mit diesen Abschätzungen zu I 95% = [E( X ) 1.96 σ X, E( X ) σ X ] = [ , ] = [0.37, 0.43]. Die Partei A wird also mit 95% Wahrscheinlichkeit zwischen 37% und 43% der Stimmen erhalten. Möchte man eine höhere Genauigkeit, muss man mehr Personen befragen. 47 / 76

48 Zusammenfassung dieses Abschnitts Wir haben im Abschnitt Konfidenzintervall festgestellt, dass der Mittelwert einer Stichprobe selbst eine Zufallsvariable ist die darüber hinaus einer ganz bestimmten Verteilung, nämlich der Normalverteilung, folgt (wenn die Population groß genug ist) Auf dieser Basis konnten wir ein Intervall angeben, das eine 95% sichere Schätzung eines Populationsmittelwerts erlaubt. 48 / 76

49 Übersicht Erinnerung: Elemente der Wahrscheinlichkeitstheorie Stichproben und Konfidenzintervalle Der t-test Der Kolmogorov-Smirnov-Test Bemerkungen zur Versuchsplanung 49 / 76

50 Statistische Tests Das Konfidenzintervall liefert uns eine Aussage darüber, wo sich ein bestimmter Populationsparameter (typischerweise der Mittelwert) befindet. Jetzt wollen wir noch einen Schritt weitergehen und eine Wahrscheinlichkeitsangabe dafür fordern, dass eine gewisse konkrete Aussage wahr ist. In der Medizin könnte die Hypothese lauten: Ein neues Medikament A wirkt besser als ein klassisches Vergleichspräparat B. Solche Aussagen bezeichnet man als Hypothesen. Damit ist also die Argumentationsrichtung anders als bei Punkt- oder Intervallschätzung: Beim Schätzen schließen wir aus in einer Stichprobe erhobenen Daten (Empirie) auf Eigenschaften der Population (Theorie). Bei einen statistischen Test beginnen wir mit einer Hypothese über die Population, die überprüft werden soll. 50 / 76

51 Die wissenschaftliche Hypothese Bei der Formulierung einer Hypothese gibt es verschiedene Ansätze, die hier aus Zeitgründen nicht vollständig behandelt werden. Man unterscheidet typischerweise Unterschiedshypothesen und Zusammenhangshypothesen. Eine typische Unterschiedhypothese spezifiziert einen Unterschied, etwa wie im Beispiel oben: Ein neues Medikament A wirkt besser als ein klassisches Vergleichspräparat B. Dies ist sogar eine gerichtete Hypothese, die die Richtung des Unterschied angibt. Für diese kleine Mühe, die Richtung zu spezifizieren, werden wir mit einer einfacheren statistischen Beweisführung belohnt. 51 / 76

52 Die statistische Hypothese Die wissenschaftliche Hypothese muss nun in eine mathematisch formulierbare statistische Hypothese H 1 überführt werden. Im obigen Beispiel könnte r x die Heilungsrate der Patienten bei Anwendung eines Medikaments sein, dann wäre die statistische Hypothese r A > r B Aber vielleicht ist die Heilungsrate nicht der optimale Parameter? Es gibt oft verschiedene Möglichkeiten, eine statistische Hypothese zu formulieren! Es wird weiterhin eine konkurrierende oder inverse Hypothese aufgestellt, die man als Nullhypothese H 0 bezeichnet: r A r B bzw. A wirkt maximal so gut wie B. 52 / 76

53 Durchführung eines statistischen Tests Der eigentliche Test besteht nun darin, mit statistischen Methoden die Unwahrscheinlichkeit der Nullhypothese zu zeigen, um dann im Umkehrschluss auf die Richtigkeit der Alternativhypothese zu schließen. Nur wenn die Realität (gegeben durch die Stichprobe) praktisch nicht mit der Nullhypothese zu erklären ist, darf die Nullhypothese zugunsten der Alternativhypothese verworfen werden. Merkregel: Die Nullhypothese stellt die Basis dar, von der aus entschieden wird, ob die Alternativhypothese akzeptiert werden kann oder nicht. 53 / 76

54 Fehler bei statistischen Entscheidungen Jeder statistische Test kann eine falsche Aussage liefern, da er von der zufällig gewählten Stichprobe abhängt. Man unterscheidet Fehler 1. Art (α) und Fehler 2. Art (β). Entscheidung aufgrund Stichprobe zugunsten: In der Population gilt die H 0 H 1 H 0 OK β-fehler H 1 α-fehler OK Ein β-fehler bedeutet also, dass die neue Hypothese irrtümlich verworfen wird, ein α-fehler bedeutet, dass die alte Hypothese irrtümlich verworfen wird. Je nach Aufgabenstellung muss man entscheiden, welcher Fehler die gravierenderen Konsequenzen hat und eher vermieden werden muss. 54 / 76

55 Der t-test Als Beispiel für einen statistischen Test wollen wir den t-test behandeln, der auf der t-verteilung beruht. Die typische Anwendung dieses Tests ist der Vergleich zweier Stichprobenmittelwerte. Dies bedeutet, dass wir untersuchen wollen, ob zwei Populationen identische Mittelwerte haben. Beispielhypothesen: Sportliche Menschen sind kognitiv leistungsfähiger als unsportliche Menschen. Ein Medikament A heilt mehr Menschen (prozentual) als ein Standardmedikament B. Ein neuer Algorithmus klassifiziert mehr Samples korrekt als ein klassischer Vergleichsalgorithmus. In jedem Fall werden zwei Stichproben gebildet und Mittelwerte µ 1 und µ 2 der zu untersuchenden Größe abgeschätzt. 55 / 76

56 Der t-test Zunächst sollten wir die wissenschaftliche Hypothese in eine statistische Hypothese überführen. Allgemein betrachten wir also als statistische Hypothese: H 1 : µ 1 µ 2 0. Die zugehörige Nullhypothese ist dann H 0 : µ 1 µ 2 = 0. Wir stehen nun wieder vor einem ähnlichen Problem wie bei der Angabe eines Konfidenzintervalls: Die Mittelwerte µ 1 und µ 2 müssen durch Stichprobenmittelwerte abgeschätzt werden. In der Regel werden diese Stichprobenmittelwerte nicht identisch sein, aber wie unterschiedlich müssen sie sein, um aussagen zu können, dass auch µ 1 und µ 2 verschieden sind? 56 / 76

57 Das Signifikanzniveau Klar: Eine statistische Aussage kann man immer nur mit einer gewissen Wahrscheinlichkeit treffen. Diese Wahrscheinlichkeit (Signifikanzniveau) muss man vor dem Test festlegen. Üblicherweise verwendet man ein Signifikanzniveau von α = 5% oder α = 1%. Dieser Wert beschreibt die Irrtumswahrscheinlichkeit für einen α-fehler, also die Irrtumswahrscheinlichkeit, falls wir aufgrund der Stichprobe H 0 verwerfen und H 1 akzeptieren. 57 / 76

58 Der t-test Betrachten wir wieder die Stichprobenmittelwerte x 1 und x 2 als Realisiationen von Zufallsvariablen X 1 und X 2. Die Größen der Stichproben sollen n 1 bzw. n 2 sein. Der Standardfehler dieser Differenz ergibt sich zu σ1 2 σ x1 x 2 = + σ2 2 n 1 n 2 Dieser Standardfehler kann auch auf Basis der Stichproben abgeschätzt werden. 58 / 76

59 Der t-test Es ergibt sich eine Testgröße t = ( x 1 x 2 ) (µ 1 µ 2 ) ˆσ ( x1 x 2 ) Setzt man entsprechend der Nullhypothese (µ 1 µ 2 ) = 0, so erhält man die Form t = ( x 1 x 2 ) ˆσ ( x1 x 2 ) Wir normieren also die Differenz der Mittelwerte an ihrer Streuung. Was können wir über diese Zufallsvariable aussagen? 59 / 76

60 Der t-test Betrachte t = ( x 1 x 2 ) ˆσ ( x1 x 2 ) Man kann zeigen: Falls die Nullhypothese zutrifft, hat t Mittelwert 0 und Standardfehler 1. ist t t-verteilt mit n 1 + n 2 2 Freiheitsgraden. Die t-verteilung ist ähnlich wie die Standardnormalverteilung tabelliert. Jetzt können wir prüfen, welche Fläche der ausgerechnete t-wert von der t-verteilung abschneidet, ähnlich wie wir es bei der Berechnung des Konfidenzintervalls getan haben. Ist t so sehr von Null verschieden, dass dieses Ergebnise bei Gültigkeit der Nullhypothese sehr unwahrscheinlich ist? 60 / 76

61 Der t-test Wir schauen, welcher Anteil der Fläche unter der t-dichtefunktion mit n 1 + n 2 2 Freiheitsgraden vom empirischen t-wert abgeschnitten wird. Bei einer ungerichteten Hypothese muss der ermittelte Wert p(t) noch verdoppelt werden. Heraus kommt die Wahrscheinlichkeit, mit der wir uns irren, wenn wir H 0 zugunsten von H 1 ablehnen. Ist dieser Wert geringer als 0.05, so sagen wir, die Hypothese H 1 trifft auf einem Signifikanzniveau von 0.05 zu dies bedeutet, dass µ 1 µ 2. Die Nullhypothese kann also nur dann abgelehnt werden, wenn der Wert der Testgröße t eine kritische Schwelle überschreitet, die man einer entsprechenden Tabelle entnehmen kann. 61 / 76

62 Voraussetzungen Sind die Stichproben klein (jeweils n 1, n 2 30), so muss vorausgesetzt werden, dass der zu untersuchende Parameter in der Population normalverteilt ist. Die Varianzen der beiden Stichproben müssen (annähernd) gleich sein. Die Stichproben müssen voneinander unabhängig sein. Ist dies nicht der Fall, wird der t-test für abhängige Stichproben verwendet. 62 / 76

63 t-test: Rechenbeispiel Ein kleines Rechenbeispiel für den t-test (aus Bortz: Statistik für Humanund Sozialwissenschaftler, 6. Auflage, Seite 138): Man hat ermittelt, dass Ratten im Durchschnitt 170s benötigen, um einen bestimmten Mechanismus zu bedienen. Diese Zeiten sind annähernd normalverteilt mit einer Streuung von ˆσ = 12. Es soll überprüft werden, ob Ratten, deren Eltern bereits konditioniert (trainiert) waren, diese Aufgabe schneller ausführen können (einseitiger Test, Signifikanzniveau α = 5%). 20 Ratten mit konditionierten Eltern erzielen eine Durchschnittszeit von 163s. 63 / 76

64 t-test: Rechenbeispiel In diesem Problem sind der Stichprobenmittelwert x = 163, der Populationsmittelwert µ 0 = 170 und die Streuung der Stichprobenmittelwerts ˆσ x = 12/ Der t-wert ergibt sich zu t = ( x 1 x 2 ) = ˆσ x 2.68 Der kritische Wert in der t-verteilung mit 19 Freiheitsgraden, der von einer Seite der Verteilung 5% abschneidet, ist t 5% = Wegen t > t 5% ist das gefundene Ergebnis also signifikant: Ratten, deren Eltern schon konditioniert waren, lernen schneller als Ratten mit nicht konditionierten Eltern. Jetzt könnte man noch Konfidenzintervalle berechnen, um das Ergebnis noch genauer zu quantifizieren. 64 / 76

65 Der t-test für abhängige Stichproben Eine kleine Variante des t-tests: Wir betrachten Stichproben, deren Objekte paarweise verbunden sind. Beispiele für solche Stichproben: (Irgendwelche) Eigenschaften von Ehemann und Ehefrau. Medikamentenstudien an Paaren von Personen, die einander möglichst ähnlich sind. Messwiederholungen: Eine Messung wird vor und nach einer bestimmten Handlung (etwa medikamentöse Behandlung) durchgeführt, oder die Ergebnisse zweier Klassifikationsalgorithmen auf demselben Datensatz werden verglichen (kommt am CSL sehr häufig vor). In einem solchen Fall betrachtet man nicht die Differenz von Mittelwerten, sondern man nimmt die Messwertdifferenz für jedes einzelne Sample und betrachtet die Verteilung dieser Differenzen. 65 / 76

66 t-test für abh. Stichproben: Durchführung Wir nehmen an, wir haben eine Reihe von Messwerten x (1) i und x (2) i = 1,..., N. Für jedes Messwertpaar bilden wir nun die Differenz der Messwerte d i = x (1) i x (2) i. Wir berechnen das arithmetische Mittel aller d i -Werte N i=1 x d = d i. N Der Standardfehler der Verteilung der Differenzmittelwerte ist wie gehabt ˆσ xd 66 / 76 = ˆσ d n wobei ˆσ d wie üblich eine Abschätzung der Varianz der Differenzen σ d ist. i,

67 t-test für abh. Stichproben: Durchführung Aus der durchschnittlichen Differenz berechnen wir wieder eine t-testgröße t = x d µ d die sich vereinfacht, wenn wir die Nullhypothese annehmen: ˆσ xd t = x d Dieser Wert wird (z.b. anhand einer Tabelle) mit dem kritischen t-wert verglichen, der vom gewünschten Signifikanzniveau und von der Anzahl der Freiheitsgrade abhängt. ˆσ xd 67 / 76

68 Übersicht Erinnerung: Elemente der Wahrscheinlichkeitstheorie Stichproben und Konfidenzintervalle Der t-test Der Kolmogorov-Smirnov-Test Bemerkungen zur Versuchsplanung 68 / 76

69 Der Kolmogorov-Smirnov-Test Zur Vervollständigung machen wir noch ein weiteres Beispiel: Den Kolmogorov-Smirnov-Test. Dieser Test kann verwendet werden, um 1. zu prüfen, ob zwei Verteilungen von irgendwelchen Merkmalen übereinstimmen 2. ob ein Merkmal eine angenommene Verteilung hat. Beispiel: Viele Tests (u.a. der t-test) erfordern, dass das Populationsmerkmal eine gewisse Verteilung hat (z.b. Normalverteilung). Beachte: Gerade für die Normalverteilung gibt es auch bessere Tests! 69 / 76

70 Der Kolmogorov-Smirnov-Test Betrachten wir den zweiten Fall: Wie haben eine Datenmenge x 1,..., x N, und wir wollen feststellen, ob sie einer gewissen Verteilung folgt. Wie testet man so etwas? Nehmen wir an, die angenommene Verteilung hat eine Verteilungsfunktion F 0, wenn f 0 die Dichte ist, ist also F 0 (x) = x 70 / 76 f 0 (ξ)dξ. Für die Datenreihe nehmen wir dementsprechend die empirische Verteilungsfunktion F X (x) = x i I (x i x) mit I (y x) = { 1 wenn y x 0 sonst.

71 Der Kolmogorov-Smirnov-Test Die Nullhypothese soll sein: mit der Alternativhypothese H 0 : F 0 = F X H 1 : F 0 F X Man kann zeigen: Falls die Nullhypothese gilt, so geht bei zunehmender Anzahl von Samples F X gegen F 0, und zwar gleichmäßig. Daher ist der maximale Anstand von F 0 und F X ein gutes Testkriterium: d = max x R F X (x) F 0 (x) = F X F 0 d ist die Realisierung einer Zufallsvariablen D, die der Kolmogorov-Verteilung folgt. Diese ist ebenso wie die t-verteilung tabelliert (bzw. in Statistikprogrammen enthalten). Nun muss man also nur d ausrechen - wenn d einen gewissen Schwellwert überschreitet, wird H 0 verworfen. 71 / 76

72 Zusammenfassung: Tests Damit haben wir den Abschnitt Statistische Tests abgeschlossen. Wichtig war uns nicht so sehr die konkrete Anwendung (dazu müssten wir viel mehr Tests betrachten, sowie ihre Stärken, Schwächen, und Voraussetzungen), sondern die grundlegenden Ideen: Wie funktioniert ein statistischer Test Zwei Beispiele, was man so alles testen kann Aufstellung der Hypothese Weitere Details überlassen wir den Lehrbüchern. 72 / 76

73 Übersicht Erinnerung: Elemente der Wahrscheinlichkeitstheorie Stichproben und Konfidenzintervalle Der t-test Der Kolmogorov-Smirnov-Test Bemerkungen zur Versuchsplanung 73 / 76

74 Versuchsplanung Worauf muss man achten, wenn man einen Versuch plant und das Ergebnis statistisch (z.b. durch t-test) absichern will? Insbesondere gilt: Es muss zuerst eine Hypothese gefunden werden, die danach an einer Testdatenmenge abgesichert wird. Üblicherweise erreicht man dies, indem man vor dem Versuch eine Testdatenmenge beiseite legt und erst zur Evaluation wieder betrachtet. Die verbleibenden Daten teilt man in Trainingsdaten und Kreuzvalidierungsdaten auf. Während des Versuchs werden die Kreuzvalidierungsdaten zum Testen der Modelle verwendet, um eventuelle Parameter zu optimieren. 74 / 76

75 Versuchsplanung Nach einer Versuchsreihe (mit diversen Optimierungsschritten) könnte die wissenschaftliche Hypothese dann so aussehen: Algorithmus A mit Parametern p i = γ i erreicht eine bessere Erkennungsrate als Algorithmus B. Die Ergebnisse auf den Kreuzvalidierungsdaten lassen aber eine Signifikanzaussage nicht zu, weil wir eben auf der Kreuzvalidierungsmenge optimiert haben! Jetzt werden zum ersten Mal die Testdaten betrachtet: Durch Ausführung der beiden Algorithmen (A und B) auf der Testdatenmenge ergibt sich ein Resultat, das man nun mit Hilfe eines geeigneten statistischen Tests überprüfen kann, um so zu einer abgesicherten Aussage zu kommen. 75 / 76

76 Zusammenfassung Wir haben in dieser Vorlesung folgendes gelernt: Definitionen von Erwartungswert und Varianz dies sind die wichtigsten statistischen Größen überhaupt! Abschätzung von Erwartungswert und Varianz Wenn wir eine Stichprobe haben, sind Erwartungswert usw. selbst wieder Zufallsvariablen und sind (annähernd) normalverteilt daraus konnten wir ein Konfidenzintervall für den Erwartungswert berechnen. Definition von statistischen Tests, Aufstellung von Hypothesen Der t-test als einfaches Beispiel: Berechnung einer Testgröße (in diesem Fall t-verteilt) Feststellung, ob die Testgröße einen kritischen Wert überschreitet Mögliche Ablehnung der Nullhypothese. Der Kolmogorov-Smirnov-Test 76 / 76