Wichtige Definitionen und Aussagen

Wichtige Definitionen und Aussagen Zufallsexperiment, Ergebnis, Ereignis: Unter einem Zufallsexperiment verstehen wir einen Vorgang, dessen Ausgänge sich nicht vorhersagen lassen Die möglichen Ausgänge heißen Ergebnisse Diese fasst man in der Ergebnismenge Ω zusammen Bei Zufallsexperimenten mit endlicher Ergebnismenge Ω bezeichnen wir eine beliebige Teilmenge von Ω als Ereignis Einelementige Teilmengen von Ω heißen auch Elementarereignisse Die Ergebnismenge Ω ist ebenfalls ein Ereignis und wird auch sicheres Ereignis genannt Die leere Menge heißt hingegen auch unmögliches Ereignis Das zu einem Ereignis E komplementäre Ereignis Ω\E wird auch mit E oder E c bezeichnet Verknüpfung von Ereignissen: Sind E 1 und E zwei Ereignisse, so bezeichnet E 1 E die Menge aller Ergebnisse ω, die eintreten, wenn E 1 oder E eintritt, dh E 1 E = {ω Ω ω E 1 oder ω E }, und E 1 E die Menge aller Ergebnisse ω, die eintreten, wenn E 1 und E eintreten, dh E 1 E = {ω Ω ω E 1 und ω E } Laplace-Wahrscheinlichkeit: Die Laplace-Wahrscheinlichkeit für das Eintreten eines Ereignisses E Ω einer endlichen Ergebnismenge Ω ist definiert durch P (E) = Anzahl der für E günstigen Ausgänge Anzahl aller möglichen Ausgänge = E Ω Bernoulli-Experiment: Als Bernoulli-Experiment bezeichnet man ein Zufallsexperiment, bei dem man sich nur dafür interessiert, ob ein bestimmtes Ereignis eintritt oder nicht Eigenschaften der Laplace-Wahrscheinlichkeit: 1 Nichtnegativität: Für jedes Ereignis E Ω ist P (E) 0 Normiertheit: Es gilt P (Ω) = 1 3 Sind E 1 und E zwei Ereignisse, so ist P (E 1 E ) = P (E E 1 ) P (E 1 ) und P (E 1 E ) P (E ) 4 Sind E 1, E,, E n 1, E n paarweise disjunkte Ereignisse (dh alle Ereignisse besitzen verschiedene Elemente), dann ist P (E 1 E n ) = n P (E i ) i=1 5 P (E) = P (E c ) = 1 P (E) 1

bedingte Wahrscheinlichkeit: Seien E und F Ereignisse mit P (E) > 0 Dann heißt P (F E) = P (E F ) P (E) = P (F E) P (E) die bedingte Wahrscheinlichkeit von F unter der Bedingung E (oder kurz die Wahrscheinlichkeit von F gegeben E) Unabhängigkeit von Ereignissen: Zwei Ereignisse E und F heißen unabhängig, wenn P (E F ) = P (E) P (F ) Ist P (E) > 0 (bzw P (F ) > 0), so ist die Bedingung äquivalent zu P (F E) = P (F ) (bzw P (E F ) = P (E)) Satz von der totalen Wahrscheinlichkeit: Sind E i (i = 1,, n) paarweise disjunkte Ereignisse mit P (E i ) > 0 und Ω = E 1 E n, dann gilt für jedes Ereignis F Ω P (F ) = n P (F E i ) P (E i ) i=1 Formel von Bayes: Sind E i (i = 1,, n) paarweise disjunkte Ereignisse mit P (E i ) > 0 und Ω = E 1 E n, dann gilt für ein Ereignis F Ω mit P (F ) > 0 P (E i F ) = P (F E i) P (E i ) P (F ) = P (F E i ) P (E i ) n j=1 P (F E j) P (E j ) Zufallsvariable: Sei Ω ein Ergebnisraum Eine Zufallsvariable X ist eine Funktion, die jedem Ergebnis ω Ω einen Wert X(ω) zuordnet Nimmt in einem Experiment die Zufallsvariable den Wert x an, so wird x auch als Realisation von X bezeichnet Die Menge aller möglichen Realisationen wird auch mit X bezeichnet diskrete Wahrscheinlichkeitsverteilung: Sei X eine Zufallsvariable, die nur endlich oder abzählbar unendlich viele Realisationen x 1, x, X besitzt, dann heißt die Funktion f mit der Eigenschaft f(x i ) = P (X = x i ) und f(x i ) = 1 diskrete Wahrscheinlichkeitsverteilung von X Dichte: Eine reellwertige Funktion f auf R mit a) f(s) ds = 1 und i

b) f(s) 0 für alle s R heißt Wahrscheinlichkeitsdichte oder kurz Dichte Eine Zufallsvariable X besitzt die Dichte f, wenn P (a < X b) = b a f(s) ds für alle a, b R mit a < b Verteilungsfunktion: Ist X eine reellwertige Zufallsvariable, so heißt die Funktion F mit F (x) = P (X x) Verteilungsfunktion von X Besitzt X eine Dichte f, so berechnet sich die Verteilungsfunktion durch F (x) = P (X x) = x f(t) dt Unabhängigkeit von Zufallsvariablen: Zufallsvariablen X 1,, X n heißen unabhängig, wenn P ((X 1 x 1 ) (X n x n )) = P (X 1 x 1 ) P (X n x n ) Sind die Zufallsvariablen diskret, so ist dies äquivalent zu P ((X 1 = x 1 ) (X n = x n )) = P (X 1 = x 1 ) P (X n = x n ) Erwartungswert a) Für eine diskrete Zufallsvariable X mit n Realisationen x i (i = 1,, n) heißt die Zahl n E[X] = x i P (X = x i ) Erwartungswert von X i=1 b) Für eine diskrete Zufallsvariable X mit Realisationen x i (i N) und i N x i P (X = x i ) < heißt die Zahl E[X] = i N x i P (X = x i ) Erwartungswert von X c) Für eine Zufallsvariable X mit Wahrscheinlichkeitsdichte f und heißt die Zahl E[X] = Erwartungswert von X xf(x) dx x f(x) dx < Der Erwartungswert einer diskreten Zufallsvariable X lässt sich auch schreiben als E[X] = X(ω)P ({ω}) ω Ω Der Erwartungswert ist linear, dh es gilt E[aX + by ] = ae[x] + be[y ] 3

Varianz, Standardabweichung: Ist X eine reellwertige Zufallsvariable mit E[X ] <, so heißt σ X = V ar(x) = E[(X E[X]) ] die Varianz von X und σ X = σx die Standardabweichung von X Ist X diskret, so gilt V ar(x) = (x i E[X]) P (X = x i ) i Besitzt X eine Dichte f, so gilt V ar(x) = (x E[X]) f(x) dx Allgemein gilt die Verschiebungsformel V ar(x) = E[X ] (E[X]) -Quantil: Sei X eine Zufallsvariable und 0 < a < 1 Dann heißt jede Zahl ξ R mit P (X ξ ) und P (X ξ ) 1 ein -Quantil von X Ein 1 -Quantil von X wird auch Median von X genannt Besitzt X die Dichte f, so ist ξ bestimmt durch = P (X ξ ) = ξ f(x) dx Kovarianz, Korrelationskoeffizient: Sind X und Y zwei reellwertige Zufallsvariablen mit E[X ] < und E[Y ] <, so heißt cov(x, Y ) = E [ (X E[X])(Y E[Y ]) ] die Kovarianz von X und Y Der Wert ϱ X,Y = cov(x, Y ) σ X σ Y wird als Korrellationskoeffizient bezeichnet Es gilt cov(x, Y ) = E[XY ] E[X] E[Y ] X und Y heißen positiv korreliert, wenn cov(x, Y ) > 0, und negativ korreliert, wenn cov(x, Y ) < 0 Zentraler Grenzwertsatz: Seien X 1,, X n unabhängige und identisch verteilte Zufallsvariablen mit Erwartungswert µ und endlicher Varianz σ Dann ist die Summe Σ n = n i=1 X i annähernd normalverteilt mit Erwartungswert nµ und Varianz nσ Dies ist gleichbedeutend dazu, dass Z n = Σ n nµ σ annähernd standardnormalverteilt ist 4

Mathematisches Stichprobenmittel und Stichprobenvarianz: Sind X 1,, X n unabhängige und identisch verteilte Zufallsvariablen, so heißt X M = 1 n n i=1 X i mathematisches Stichprobenmittel Die Zufallsvariable S = 1 n n 1 i=1 (X i X M ) heißt dann auch mathematische Stichprobenvarianz Konfidenzintervall für den Erwartungswert einer Zufallsvariable X: Das Intervall [X M d, X M + d] mit P (X M d E[X] X M + d) = 1 heißt Konfidenzintervall für E[X] zum Konfidenzniveau 1 Das Intervall [x M d, x M + d], in dem die Zufallsvariable X M durch eine Realisation x M ersetzt wurde, nennen wir zur Unterscheidung konkretes Konfidenzintervall Wichtige Konfidenzintervalle: 1 X N(µ, σ ) mit bekanntem σ : [ X M σ z 1, X M + σ ] z n 1, n wobei z 1 das ( ) 1 -Quantil der Standardnormalverteilung bezeichnet X N(µ, σ ) mit unbekanntem oder nur geschätztem σ : [ X M S t n 1,1, X M + S ] t n n 1,1, n wobei t n 1,1 das ( ) 1 -Quantil der tn 1 -Verteilung bezeichnet 3 X beliebig: Für große n ist (X M µ) annähernd standardnormalverteilt (nach S dem Zentralen Grenzwertsatz) Für große n erhalten wir also das Konfidenzintervall [ X M S z 1, X M + S ] z n 1, n wobei z 1 das ( ) 1 -Quantil der Standardnormalverteilung bezeichnet Maximum-Likelihood-Schätzer: Ist X eine diskrete (bzw stetige) Zufallsvariable mit zugehöriger Verteilung (bzw Dichte) f, die von einem (unbekannten) Parameter λ abhängt, und X 1,, X n eine mathematische Stichprobe, dann heißt L λ (x 1,, x n ) = f λ (x 1 ) f λ (x n ) Likelihood-Funktion zu X Der Parameter λ max, für den die Funktion L λ maximal wird, bezeichnet man als Maximum-Likelihood-Schätzer für λ Kleinste-Quadrate-Schätzer: Wenn zwischen zwei Zufallsvariablen X und Y ein Zusammenhang Y = ax + b + ε 5

mit (zufälligem) Fehler ε besteht, dann kann man die Koeffizienten a und b durch die Kleinste-Quadrate-Schätzer â = S n XY i=1 = (X i X)(Y i Ȳ ) SX n i=1 (X i X) und ˆb = Y âx schätzen Konfidenzintervall für Varianzen: Sei X N(µ, σ ) und X 1,, X n eine mathematische Stichprobe zu X, dh X 1,, X n sind unabhängig und N(µ, σ)-verteilt Dann ist [ ] (n 1)S (n 1)S, χ n 1;1 χ n 1; ein Konfidenzintervall zum Niveau 1 für die Varianz σ Hypothese, Test: Eine Hypothese ist eine (auf Beobachtungen bzw Auswertungen von Experimenten basierende) Vermutung über die Verteilung einer Zufallsvariable Eine Entscheidungsregel, ob die Hypothese (abhängig von der Stichprobe) angenommen oder verworfen werden soll, bezeichnet man als Test Um eine (Null-)Hypothese H 0 gegen eine Alternativhypothese (oder kurz Alternative) H 1 zu testen, zerlegt man die Menge aller möglichen Stichprobenergebnisse in zwei disjunkte Teilmengen A und S und legt fest: Falls ω A, wird H 0 angenommen (A Annahmebereich) Falls ω S, wird H 0 verworfen (S Verwerfungsbereich, kritischer Bereich) Fehler 1 Art und Fehler Art: Ein Fehler 1 Art liegt vor, wenn eine wahre Hypothese verworfen wird Ein Fehler Art liegt vor, wenn eine falsche Hypothese angenommen wird Gütefunktion, Niveau eines Tests: Im Falle einer parametrischen Verteilung P ϑ, ϑ Θ, und eines Testproblems der Form H 0 : ϑ Θ 0 gegen H 1 : ϑθ 1 = Θ\Θ 0 nennt man die Funktion β(ϑ) = P ϑ (S) Gütefunktion des Tests Der Test hat das Niveau, wenn β(ϑ) für alle ϑ Θ 0 Gauß-Test: Sei X N(µ, σ ) mit bekannter Varianz σ Für eine Stichprobe mit Umfang n gibt es nun drei mögliche Gauß-Tests: 1 H 0 : µ µ 0, H 1 : µ > µ 0 x M µ 0 + z 1 σ n H 0 : µ µ 0, H 1 : µ < µ 0 x M µ 0 z 1 σ n 6

3 H 0 : µ = µ 0, H 1 : µ µ 0 µ 0 z 1 σ x M µ 0 + z 1 σ Dabei bezeichne z 1 das (1 )-Quantil und z 1 das ( ) 1 -Quantil der Standardnormalverteilung Binomial-Test: Sei X B 1,p mit unbekanntem p Für hinreichend großen Stichprobenumfang n (Faustregel: n p o (1 p 0 ) > 9) gibt es (approximativ) folgende mögliche Binomial- Tests: 1 H 0 : p p 0, H 1 : p > p 0 x M p 0 + z 1 p0 (1 p 0 ) H 0 : p p 0, H 1 : p < p 0 x M p 0 z 1 p0 (1 p 0 ) 3 H 0 : p = p 0, H 1 : p p 0 p 0 z 1 p0 (1 p 0 ) x M p 0 + z 1 p0 (1 p 0 ) Dabei bezeichne z 1 das (1 )-Quantil und z 1 das ( ) 1 -Quantil der Standardnormalverteilung t-test: Sei X N(µ, σ ) mit unbekannter Varianz σ Für eine Stichprobe vom Umfang n gibt es drei mögliche t-tests: 1 H 0 : µ µ 0, H 1 : µ > µ 0 s x M µ 0 + t n 1;1 n H 0 : µ µ 0, H 1 : µ < µ 0 s x M µ 0 t n 1;1 n 7

3 H 0 : µ = µ 0, H 1 : µ µ 0 µ 0 t n 1;1 s x M µ 0 + t n 1;1 s Dabei bezeichne t n 1;1 das (1 )-Quantil und t n 1;1 das ( ) 1 -Quantil der t n 1 -Verteilung t-test für abhängige Stichproben: Dieser Test dient zum Vergleich der Mittelwerte zweier Zufallsvariablen X und Y Man geht wie folgt vor: 1 Man beobachtet die Wertepaare (x i, y i ) (i = 1,, n), wobei x i Realisationen von X und y i Realisationen von Y seien Bilde d i = x i y i (i = 1,, n) und berechne den Mittelwert d und die Stichprobenvarianz s d Die Werte d i (i = 1,, n) sind Realisationen der Zufallsvariablen D i (i = 1,, n) mit Erwartungswert µ = µ X µ Y Bilde D und S D 3 Wenn D i N(µ, σ D ), dann ist T = D d s s von T 4 Es gibt folgende Tests zum Signifikanzniveau : a) H 0 : µ = 0, H 1 : µ 0 RT t n 1;1 b) H 0 : µ 0, H 1 : µ > 0 RT t n 1;1 c) H 0 : µ 0, H 1 : µ < 0 RT t n 1;1 S D t n 1 RT bezeichne die Realisation χ -Anpassungstest: Situation: Wir vermuten, dass eine Zufallsvariable X einer bestimmten Verteilung folgt, deren freie Parameter wir bereits geschätzt haben Der χ -Test funktioniert nun folgendermaßen: Man teilt den Wertebereich X der Zufallsvariable X in geeignete disjunkte Klassen K 1,, K k ein und bestimmt die Klassenhäufigkeiten n 1,, n k mit n = k i=1 n i Dabei gibt n i an, wie viele der Stichprobenergebnisse x j in der Klasse K i enthalten sind Gemäß der Verteilungsannahme berechnet man p i = P (X K i ) (i = 1,, k) Man gibt sich ein Irrtumsniveau vor und liest das (1 )-Quantil der χ k r 1 - Verteilung aus Tabellen ab Dabei steht k für die Anzahl der Klassen und r für die Anzahl der Schätzungen H 0 : X besitzt die vermutete Verteilung k (n i np i ) T χ = χ np k r 1;1 i i=1 8