Mathe C4 Merz - Cheatsheet

Transkript

1 Mathe C4 Merz - Cheatsheet greeny, nudelsalat, Sheppy September 215 Diesen Zusammenfassung kann Fehler enthalten! Contents 1 Statistik empirisches arithmetisches Mittel empirischer Median (Zentralwert) empirische korrigierte Varianz Regressionsgerade Maximum-Likelyhood Methode Konfidenzintervalle Kovarianz Markov-Ketten Mengen o-algebra Wahrscheinlichkeiten Würfeln keine mindestens x 6er (Gegenereignis) er-Pasch bei 2 Würfeln genau eine 6 bei n-würfeln/würfen genau x-6er bei n-würfeln/würfen X-Mal Werfen, min eine 3 unter der Bedingung min. eine Seiten mit verschiedenen Wahrscheinlichkeiten Bedingte Wahrscheinlichkeiten Beispiele Krankheitstest min. eine 6 unter Bedingung verschiedene Augenzahlen. 9 1

2 5 Wahrscheinlichkeitsfunktionen Eigenschaften von Wahrscheinlichkeitsfunktionen Absoluten Momente diskreter Verteilungen Mittelwert, Varianz Momenterzeugende Funktion Erzeugende Funktion Wahrscheinlichkeitsfunktion berechnen Mittelwert m Varianz ˆm Verteilungen und Verteilungsfunktionen Allgemein Eigenschaften Verteilungsfunktionen Binominalverteilung Allgemein Beispiel: 5 Druckfehler auf 5 Seiten Poisson-Verteilung Allgemein Normal-Verteilung N (µ, σ 2 ) N (, 1)-Verteilung Exponentiallverteilung Laplace-Verteilung Hypergeometrische Verteilung Geometrische Verteilung Uniform-Verteilung U(a, b) Zufallsvariablen Dichten von Verteilungen von Zufallsvariablen Beispiel Erwartungswert ε diskreter Zufallsvariablen Marginaldichte - Beispielrechnung 15 9 Transformation von Dichten 16 2

3 1 Statistik 1.1 empirisches arithmetisches Mittel x arith = 1 n x n i i=1 1.2 empirischer Median (Zentralwert) x n+1 x median = 2 n ungerade x n/2 +x (n+1)/2 2 n gerade Wobei der Index für die n te Zahl in einer Angabe in Stile von {A,B,C,...} steht. 1.3 empirische korrigierte Varianz xvar = 1 n Regressionsgerade n (x i x arith ) i=1 Gauss sche Normalengleichung Die Regressionsgerade wird mit der Gauss schen Normalengleichung gelöst. ( x 2 ) ( i xi a xi n b) Auflösen nach Parametern a, b. Regressionsgerade: 1.5 Maximum-Likelyhood Methode ( ) xi y = i, mit i n (1) yi y(x) = a x + b (2) Problembeschreibung: Man möchte für einen unbekannten Parameter λ einer Verteilung, die mindestens einen Parameter besitzt, einen Schätzwert bestimmen mithilfe einer konkreten Stichprobe (x 1,..., xn). 1. Likelihood-Funktion L(λ) bilden für gegebene Verteilung n L(λ) = L(x 1,..., xn; λ) == f (x }{{} i, λ) (3) i=1 Dichtefunktion (4) 3

4 Im Falle von Exponentialverteilung: 2. Funktion L(λ) mit ln multiplizieren Rechenregeln für ln: ln a b = b ln a ln(a b) = ln a + ln b n λe λx i = λ n e λ n i=1 x i (5) i=1 ln L(λ) 3. Ableiten nach λ: λ 4. Funktion gleich setzen und nach λ auflösen. 1.6 Konfidenzintervalle Standartwerte für Konfidenz: 9% : z = % : z = % : z = 2.58 P ( x µ c) = α (6) µ [ x z 1 α 2 σ n ] (7) 1.7 Kovarianz Sind zwei Zufallsvariablen X 1, X 2 stochastisch unabhängig dann gilt: Ansonsten: cov(x 1, X 2 ) = (8) cov(x 1, X 2 ) = E(X 1 X 2 ) E(X 1 )E(X 2 ) (9) Erwartungswert: EX = k P (X = k) = x f(x)dx (1) k Ω Beispiel: Berechnen der Kovarianz der Zufallsvariablen Z 1 = X 1 X 2 und Z 2 = X 1, wenn der Zufallsvektor (X 1, X 2 ) auf der Menge Gesucht: cov(z 1, Z 2 ) M = {(x 1, x 2 ) x 2 2 und x 1 x 2 } (11) 4

5 1. Kovavarianz umformen cov(z 1, Z 2 ) = cov(x 1 X 2, X 1 ) = (E(X 2 1 ) E(X 1 )2 ) (E(X 2 X 1 ) E(X 2 )E(X 1 )) (12) 2. Die Fläche A M unter Funktion berechnen: A M = Die Dichtefunktion ist der Kehrwert von A M und damit 1 2. f(x 1, x 2 ) = { 12 x 1, x 2 M sonst (13) 4. Jetzt wieder mittels Marginalsdichte f(x 1 ) und f(x 2 ) bestimmen. 2 f 1 (x 1 ) = f(x 1, x 2 )dx 2 (14) x 1 x2 f 2 (x 2 ) = f(x 1, x 2 )dx 1 (15) 5. Berechnung der benötigten Erwartungswerte E: 2 E(X i ) = x i f i (x i )dx (16) E(X i 2 2 ) = x2 i f i (x i )dx (17) E(X 1 X 2 ) = 2 x2 } {{ } x 1 x 2 f(x 1, x 2 )dx 1 dx 2 Integration über x 1 und x 2 (18) 6. Einsetzen in umgeformte Kovarianzformel (siehe 1) 1.8 Markov-Ketten Bei Übergangsmatrix P (R )rxr sind alle Zeilensummen gleich 1. Vektor u (R ) r mit u 1 = 1 der u = P T u (19) erfüllt, heißt Gleichgewichtszustand/-verteilung. 5

6 Berechnung von u: Kern(P T Idr). Kern wird berechnet durch klassischen Gauß- Algorithmus. Wenn keine eindeutige Lsg (z.b. = ), dann Variable beliebig wählen. Es gibt immer einen Kern, da Determinante garantiert ist durch obige Summenbedingung. Vektoreinträge müssen positiv sein, sonst Fehler. Vektor u durch u 1 (Summennorm) teilen. 2 Mengen 2.1 o-algebra n u 1 := x i (2) i=1 - leere Menge enthalten - alle Kombinationen der Elemente enthalten, die nicht bereits gemeinsamme Elemente haben also z.b. NICHT {x,y} und {y,z} zu {x,y,z} machen - alle Komplemente enthalten Beispiel: Grundmenge = {1, 2, 3, 4} NICHT o-algebra Menge = {{1, 2}, {3}} o-algebra Menge = {, {1, 2}, {3}, {1, 2, 3} }{{} {1,2}{3} 3 Wahrscheinlichkeiten, {3, 4}, {4} }{{} {1,2} }{{} {1,2,3}, {1, 2, 3, 4}, {1, 2, 4}} 3.1 Würfeln keine 6 p = ( ) 5 n, n = Anzahl der Würfe mindestens x 6er (Gegenereignis) ( 5 n p 1 = 1 = 1 p 6) ( ( ) 5 n ) ( 5 n p 2 = 1 1 = 1 p 6 6) 1 p x 1 px = 1 p i i= 6

7 er-Pasch bei 2 Würfeln Ereignisraum = 6 2, Anzahl günstiger Ereignisse = 1, nähmlich (6,6) dann wieder über Gegenereignis: ( ) 35 n p = genau eine 6 bei n-würfeln/würfen p = n 5(n 1) 6 n - 6 n ist wie immer die Anzahl der Gesamtmöglichkeiten - es gibt n-moglichkeiten an der die 6 sein kann - es bleiben bei den verbleibenden n-1 Würfen 5 Möglichkeiten genau x-6er bei n-würfeln/würfen ( n 5 k) (n k) p = 6 n ( n n! = k) k!(n k)! oder noch allgemeiner, mit Anzahl Möglichkeiten z (z.b. 6 bei Würfel): ( ) n (z 1) k (n k) p = z n X-Mal Werfen, min eine 3 unter der Bedingung min. eine 6 A = min. eine 3 B = min. eine 6 gesucht: P (A B) P (A B) = P (B) P (B) = 1 P (keine 6) = 1 ( 5 6 ) 4 =

8 Idee: P (A B) = 1 P ( (A B)) = 1 P ( A B) = 1 P ( A) P ( B) + P ( A B) = 1 P (keine 3) P (keine 6) + P (weder 3 noch 6) ( ) 5 4 ( ) 5 4 ( ) 4 4 = 1 = und das dann nur noch oben einsetzen und fertig. P (A B) = P (A B) P (B) also: P (A B) = Seiten mit verschiedenen Wahrscheinlichkeiten z.b. 6 Seiten mit normaler Wahrscheinlichkeit (w 1 ), 8 Seiten mit 1/4 Wahrscheinlichkeit (w 2 ), wir exploiten die Tatsache, dass: (T eil )W ahrscheinlichkeiten = 1 also: Zwei Gleichungen, zwei Unbekannte, easy mode. 6w 1 + 8w 2 = 1 (21) 4 Bedingte Wahrscheinlichkeiten 4.1 Beispiele Krankheitstest 1 4 w 1 = w 2 (22),2% Krank, 95% der Kranken werden erkannt, 98% der Gesunden werden richtig erkannt Ereignis A 1 : Person ist krank Ereignis A 2 : Person ist gesund 8

9 Ereignis B: Test identifiziert Person als krank. Wie viele als Krank erkannte wirklich krank? P (A 1 B) = P (B A 1 ) P (A 1 ) P (B A 1 ) P (A 1 ) + P (B A 2 ) P (A 2 ) =, 95, 2 = 8, 7%, 95, 2 +, 2, 998 Lösung mittels Formel von Bayes: P (B k /A) = P (A B k ) P (B k ) j J P (A B j ) P (B j ) (23) Dieser Vorgang wird auch Rückwärtsinduktion genannt. Angenommen man kennt die Wahrscheinlichkeit eines Ereignis unter einer gewissen Bedingung (hier Test schlägt zu x% an unter Bedingung Person ist krank P (B A 1 ) oder Person ist gesund P (B A 2 )), dann kann man die umgekehrte bedingte Wahrscheinlichkeit mit dieser Formel berechnen. Hier: Wie wahrscheinlich ist es, dass Person krank ist, unter Bedingung, dass Test das gemeldet hat P (A 1 B) min. eine 6 unter Bedingung verschiedene Augenzahlen P (min.eine6 verschiedeneaugenzahlen) = bei 3 Würfeln also z.b.: p = p = n (6 1)! (6 n)! 6! n! 3 5! 3! 6! 3! Möglichkeiten verschiedene Augenzahlen UND min. eine 6 Möglichkeiten verschiedene Augenzahlen = =, 5 5 Wahrscheinlichkeitsfunktionen 5.1 Eigenschaften von Wahrscheinlichkeitsfunktionen f(w) = 1 (die Summe aller Wahrscheinlichkeiten ist 1) w Ω und logischerweise: w Ω.f(w) >= (keine negativen Wahrscheinlichkeiten) 5.2 Absoluten Momente diskreter Verteilungen Ist für k {1, 2, 3,...} die Summe x X x k f(x) <, so heisst m k = m k (P ) = x X x k f(x) (24) das k-te absolute Moment der Verteilung P. 9

10 5.2.1 Mittelwert, Varianz Mittelwert: m 1 = m 1 (P ) = n= n f(n) Varianz: m 2 = m 2 m Momenterzeugende Funktion M(t) = (e t ) n f(n) n Ω - f(n) ist die gegebene Wahrscheinlichkeitsfunktion - n könnte z.b. definiert sein als n = {1, 2, 3,...} Berechnungsvorschrift für das k-te Moment: 1. Berechne k-te Ableitung M k von M(t) 2. m i = M (k) () 5.3 Erzeugende Funktion Wahrscheinlichkeitsfunktion berechnen Gegegeben: Eine erzeugende Funktion ˆf(z) gegeben. Gesucht: Die Funktion f(k) Möglichkeit 1: Taylorentwicklung ˆf(z) = f(k)z k (25) k= 1 ˆf(z) = k! ˆf (k) ()z k (26) k= f(k) = 1 k! ˆf k () (27) Möglichkeit 2: Problem auf bekannte diskrete Verteilung zurückführen (z.b. geometrische Reihe) Mittelwert m 1 M(t) = ˆf(e t ) (28) m 1 = M (t) t= = ˆf (e t )e t t= = ˆf (1) (29) 1

11 5.3.3 Varianz ˆm 2 1. Zuerst zweites Moment berechnen: m 2 = ˆf (1) + ˆf (1), falls Erzeugende-Funktion (hier) (3) 2. Dann Varianz: m 2 = ˆf (), falls Momenterzeugende-Funktion (31) Siehe unten für m 2 Berechnungsvorschrift! ˆm 2 = m 2 m 2 1 (32) 6 Verteilungen und Verteilungsfunktionen 6.1 Allgemein Eigenschaften Verteilungsfunktionen stetig monoton steigend lim t G(t) = 1, lim t G(t) = Dichte g(t) = G (t) m 1 = t g(t)dt 6.2 Binominalverteilung Allgemein B(k p, n) oder auch B(k; p, n) = ( n k) p k (1 p) n k mit k =,1,2,...,n - wobei diese Funktion die kumulierte Wahrscheinlichkeit angibt, also z.b. wobei k = 2 die Wahrscheinlichkeit 1 oder 2 - p ist die Wahrscheinlichkeit für ein positives Ereignisse - n ist Anzahl wie oft wir ziehen Beispiel: 5 Druckfehler auf 5 Seiten Wie hoch ist die Wahrscheinlichkeit, dass auf einer Seite mindestens 3 Druckfehler sind? 2 1 B(k, p, n) mit k= k=,1,2 (Gegenereignisse) 11

12 n = 5 (wir ziehen Fehler ohne zurücklegen ) p=1/5 (die Wahrscheinlichkeit dass ein Fehler auf einer bestimmten Seite ist) 2 1 B(k 1/5, 5) = 1 B( 1/5, 5) B(1 1/5, 5) B(2 1/5, 5) k= ( ) = ( ) ( ) ( ) =, Poisson-Verteilung Allgemein Ereignisse müssen mit konstanter Rate, unabhängig voneinander und in einem festen Bereich (Modell) stattfinden! P λ (n) = λn n! e λ 6.4 Normal-Verteilung N (µ, σ 2 ) f(x) = N(µ, σ 2 1 ) = 1 2πσ 2 e 2σ 2 (x µ)2 m 1 = µ m 2 = σ N (, 1)-Verteilung f(x) = 1 2π e.5x2 6.5 Exponentiallverteilung Dichtefunktion: Verteilungsfunktion: f λ (x) = x F (x) = f λ (t)dt = { λ e λx x x < { 1 e λx x x < (33) (34) 6.6 Laplace-Verteilung Zufallsexperimente, bei denen jedes Ergebnis die gleiche Chance hat. f(w) = L(Ω) = 1 Ω 12

13 6.7 Hypergeometrische Verteilung Zufallsexperimente, bei denen man die Ergebnisse als Anzahlen von schwarzen Kugeln unter n gezogenen interpretieren kann. ( Kk ) ( N K ) f(k) = H(N, K, n) = n k ( Nn ) 6.8 Geometrische Verteilung Die geometrische Verteilung beschreibt die Wartezeit für das erstmalige Eintreten eines Ereignisses unter der Annahme der Gedächtnislosigkeit. G(p) = f(n) = p q n 1 m 1 = p Uniform-Verteilung U(a, b) Dichtefunktion: { 1 a x b f(x) = b a sonst Verteilungsfunktion: x a F (x) = x a a < x < b b a 1 x b (35) (36) 7 Zufallsvariablen 7.1 Dichten von Verteilungen von Zufallsvariablen Problembeschreibung: Berechnung von Wahrscheinlichkeit des Ereignisses (X 1 > a X 2 ) o.ä. Zufallsvariablen X 1, X 2 sind dabei stochastisch unabhängig. Die Verteilungen von X i haben dabei die Dichten f i. Somit gilt nach der Marginalsdichte: f(x 1, x 2 ) = f 1 (x 1 ) f 2 (x 2 ). P (X 1 > a X 2 ) = f 1 (x 1 ) f 2 (x 2 )dx 1 dx 2 := I (37) x 1 >a x 2 In Abhängigkeit von Reihenfolge, in der die Integration über die Variablen x 1 und x 2 durchgeführt werden, ergeben sich zwei Darstellungen: I = f 1 (x 1 )F 2 ( 1 a x 1 )dx 1 (38) I = f 2 (x 2 )(1 F 1 (ax 2 ))dx 2 (39) Siehe auch Lösungssammlung Aufgabe 98 ff. 13

14 7.1.1 Beispiel Die Zufallsvariablen X 1 und X 2 seien uniform verteilt auf [, 2]. Wahrscheinlichkeit des Ereignisses (X 1 X 2 2 1). Berechnen Borelsche Menge: M = {(x 1, x 2 ) R 2 x 1, x 2 2} (4) { f(x f(x 1, x 2 ) = 1 ) f(x 2 ) = 4 1 für (x 1, x 2 ) M (41) sonst B = {(x 1, x 2 ) R 2 x 1 x = x 2 1 } (42) 2x 1 P (x 1 x B ) = f(x 1, x 2 )d(x 1, x 2 ) = 1 B 1 M 1 4 d(x 1, x 2 ) (43) 1 B M 1 4 d(x 1, x 2 ) (44) Schnittmenge aus B und M: B M = {(x 1, x 2 ) R 2 ( x x 2 2) (1 4 x 1 2 x 2 1 2x 1 )} P (x 1 x ) = dx 1 dx (45) 1 2x 1 (46) 1 4 dx 2 dx 1 14

15 7.2 Erwartungswert ε diskreter Zufallsvariablen Falls der Erwartungswert einer diskreten Zufallsvariablen X auf einem diskreten Wahrscheinlichkeitsraum (Ω, A, P ) existiert, ist ε P X = ω Ω X(ω)P {ω} (47) 8 Marginaldichte - Beispielrechnung Marginaldichte: f(x 1, x 2 ) = Grenzen von x 2 {}}{ x1 f 1 (x 1 ) = f(x 1, x 2 )dx 2 x1 = ce 2x 1e 3x 2 dx 2 { ce (2x 1 +3x 2 ) x 1 > und < x 2 < x 1 sonst = c e 2x 1 }{{} Konstante, da Integration nach x 2 = ce 2x (1 e 3x 2) mit und x 1 einsetzen integrieren { }}{ x1 e 3x 2 dx 2 Gegebenenfalls konnen wir das gleiche auch mit dx 2 tun wenn das einfach zur integrieren ist oder nach beiden Marginaldichten gefragt ist. Damit f(x 1, x 2 ) und f 2 (x 2 ) Dichten sind muss gelten: f 2 (x 2 )dx 2 = 1 bzw: f(x 1, x 2 )dx 1 dx 2 = 1 15

16 9 Transformation von Dichten Before (Ω, A, P ) X (R n, Bn, P X ) Y = G X G (R m, Bm, P G Gegeben: Man hat stochastisch unabhängige Zufallsvariablen X 1,..., Xn gegeben mit Art der Verteilung. Gesucht: Verteilung von Zufallsvariable Y, die sich aus X i berechnen lässt. Beispiel: Welche Verteilung besitzt Y = X 1 X 1 + X 2 (48) falls X 1 und X 2 exponentiell verteilt mit Paramter λ und stochastisch unabhängig sind. 1. Wegen Unabhängigkeit der Variablen X 1 und X 2 besitzt P X die Dichte f(x 1, x 2 ) = f 1 (x 1 )f 2 (x 2 ). 2. M = (x 1, x 2 ); x 1 > und x 2 > Wertebereich von xn anhand von Verteilung ermitteln. 3. Gleichungen G(x) definieren: y 1 = x 1 x 1 + x 2 (49) y 2 = x 2 (5) 16

17 4. Funktionaldeterminante (J G (x)) der Abbildung G berechnen G 1 G (x) 1 x 1 xn (x) J G (x) = det..... (51) Gn (x) Gn x 1 xn (x) ( x ) 2 J G (x 1, x 2 ) = det (x 1 +x 2 ) 2 x = 2 1 (x 1 + x 2 ) 2 (52) 5. Umkehrabbildung G berechnen. Alle Zufallsvariablen werden werden mittels Funktionen verändert: z.b: y 1 = x 1 /x 2. Jede i-te Funktion nach x i auflösen. x1 = y 1 y 2 1 y 1 (53) x 2 = y 2 (54) 6. Gesuchte Funktion: g(y) = f(g (y)) 1 J G (G (y)) Setze für alle x i dementsprechend y i ein und multipliziere mit Kehrwehrt von Funktionaldeterminante. 7. Mit Marginaldichte g 1 (y 1 ) berechnen: g(y 1, y 2 ) = λ 2 e 1 y λ y 1 2 (1 y 1 ) 2 (55) g 1 (y 1 ) = λ λ y 1 y 2 e 1 y λ 1 dy 1 1 y 2 (56) 1 = λ λ m 1 y 1 (ε( )) (57) 1 1 y 1 = 1 (58) Da Mittelwert der ε-verteilung gerade Kehrwert des Paramters ist. 8. Folgerung: Dichte g 1 ist also die der Uniform-Verteilung (U(, 1)). 17