Mustererkennung: Wahrscheinlichkeitstheorie. D. Schlesinger () ME: Wahrscheinlichkeitstheorie 1 / 10

Transkript

1 Mustererkennung: Wahrscheinlichkeitstheorie D. Schlesinger () ME: Wahrscheinlichkeitstheorie 1 / 10

2 Definitionen (axiomatisch) Wahrscheinlichkeitsraum (Ω, σ, P), mit Ω Die Grundmenge, die Menge der elementaren Ereignisse, σ σ-algebra, P Wahrscheinlichkeitsmaß. σ-algebra über die Grundmenge Ω ist das System von Teilmengen von Ω, d.h. σ P(Ω) (P ist die Potenzmenge) mit: Ω σ A σ Ω/A σ n A i σ, i = 1,..., n A i σ σ ist bezüglich Kompliment-Bildung und abzählbarer Vereinigung abgeschlossen. Daraus folgt: σ, abzählbarer Schnitt σ (über De Morganschen Gesetz). Beispiele: σ = {, Ω} (kleinste) und σ = P(Ω) (größte) σ-algebren über Ω Die minimale σ-algebra über Ω, die A Ω enthält ist {, A, Ω/A, Ω} Ω diskret und endlich, σ = 2 Ω Ω = R, die σ-algebra der Borelschen Teilmengen (enthält u.a. alle Intervalle). i=1 D. Schlesinger () ME: Wahrscheinlichkeitstheorie 2 / 10

3 Definitionen (axiomatisch) Wahrscheinlichkeitsmaß P : σ [0, 1] ist ein Maß (Π) mit Normierung: P(Ω) = 1 σ-additivität: sei A i σ paarweise disjunkt, d.h. A i A i =. Dann ( ) P A i = P(A i ) Achtung! Es gibt Mengen, für die kein Maß existiert. Beispiele: Menge irrationaler Zahlen, Funktionsräume R (?) etc. Banach-Tarski-Paradoxon i i Definitionen (menschlich) praktisch relevante Spezialfälle: Menge der elementaren Ereignisse Ω ist gutartig, z.b. R n, endlich usw., σ = P(Ω) Ein (zusammengesetztes) Ereignis A Ω (Vereinigung der elementaren Ereignisse) Wahrscheinlichkeit P(A) = P(ω) ω A D. Schlesinger () ME: Wahrscheinlichkeitstheorie 3 / 10

4 Statistische Größen Allgemein: eine statistische Größe ξ ist eine Abbildung ξ : Ω E (E ist der Beobachtungsraum) mit bestimmten Eigenschaften. Spezialfall eine reellwertige statistische Größe ξ für einen Wahrscheinlichkeitsraum (Ω, σ, P) ist eine Abbildung ξ : Ω R wenn (immer erfüllt, wenn σ = P(Ω)). {ω : ξ(ω) r} σ r R Verteilungsfunktion einer statistischen Größe ξ ist F ξ (r) = P({ω : ξ(ω) r}) Wahrscheinlichkeitsverteilung einer diskreten statistischen Größe ξ : Ω Z ist p ξ (r) = P({ω : ξ(ω) = r}) Wahrscheinlichkeitsdichte einer kontinuierlichen statistischen Größe ξ : Ω R ist p ξ (r) = F ξ(r) r D. Schlesinger () ME: Wahrscheinlichkeitstheorie 4 / 10

5 Statistische Größen Bemerkung: Elementare Ereignisse sind keine Zahlen!!! Im Gegensatz dazu kann man statistische Größen addieren, multiplizieren usw. Mittelwert einer statistischen Größe: E P (ξ) = P(ω) ξ(ω) = ω Ω r ω:ξ(ω)=r P(ω) r = p ξ (r) r r Beispiel: Augenzahl eines Würfels. Grundmenge (6 Facetten) Ω = {a, b, c, d, e, f } Wahrscheinlichkeitsmaß P({a}) = 1/6, P({c, f }) = 1/3... Statistische Größe (Augenzahl) ξ(a) = 1, ξ(b) = 2... ξ(f ) = 6. Verteilungsfunktion F ξ (3) = 1/2, F ξ (4.5) = 2/3... Wahrscheinlichkeitsverteilung p ξ (1) = p ξ (2) =... = p ξ (6) = 1/6 Erwartungswert E P (ξ) = 3.5 Eine andere statistische Größe (Augenzahl 2 ) ξ (a) = 1, ξ (b) = 4... ξ (f ) = 36 Erwartungswert E P (ξ ) = D. Schlesinger () ME: Wahrscheinlichkeitstheorie 5 / 10

6 Statistische Größen Beispiel: Augenzahlen der zwei (unabhängigen) Würfel. Grundmenge (6 Facetten 6 Facetten) Ω = {a, b, c, d, e, f } {a, b, c, d, e, f } Wahrscheinlichkeitsmaß P({ab}) = 1/36, P({cd, fa}) = 1/18... Zwei statistischen Größen: Augenzahl des ersten Würfels ξ 1 (ab) = 1, ξ 1 (ac) = 1... ξ 1 (ef ) = 5... Augenzahl des zweiten Würfels ξ 2 (ab) = 2, ξ 2 (ac) = 3... ξ 2 (ef ) = 6... Wahrscheinlichkeitsverteilungen: p ξ1 (1) = p ξ1 (2) =... = p ξ1 (6) = 1/6 p ξ2 (1) = p ξ2 (2) =... = p ξ2 (6) = 1/6 Die neue statistische Größe (summe der Augenzahlen) ξ = ξ 1 + ξ 2 Die Wahrscheinlichkeitsverteilung p ξ ist nicht mehr gleichwahrscheinlich :-) p ξ (1, 2, 3, 4, 5, 6, 5, 4, 3, 2, 1) Erwartungswert E P (ξ) = 7 Generell für Erwartungswerte: E P (ξ 1 + ξ 2 ) = P(ω) (ξ ) 1 (ω) + ξ 2 (ω) = E P (ξ 1 ) + E P (ξ 2 ) ω Ω D. Schlesinger () ME: Wahrscheinlichkeitstheorie 6 / 10

7 Statistische Größen Mehrdimensionale (reellwertige) statistische Größen ξ : Ω R n Äquivalent (Einfachheit halber n = 2): ξ = (ξ 1, ξ 2 ) mit ξ 1 : Ω R und ξ 2 : Ω R Verteilungsfunktion: F ξ (r, s) = P({ω : ξ 1 (ω) r} {ω : ξ 2 (ω) s}) Verbundwahrscheinlichkeitsverteilung (diskret): p ξ=(ξ1,ξ 2 )(r, s) = P({ω : ξ 1 (ω) = r} {ω : ξ 2 (ω) = s}) Verbundwahrscheinlichkeitsdichte (kontinuierlich): p ξ=(ξ1,ξ 2 )(r, s) = F ξ(r, s) r s D. Schlesinger () ME: Wahrscheinlichkeitstheorie 7 / 10

8 Weitere Definitionen Zwei Ereignisse A Ω und B Ω sind unabhängig, wenn P(A B) = P(A) P(B) Interessant: Ereignisse A und B = Ω/B sind unabhängig, falls A und B unabhängig sind. Bedingte Wahrscheinlichkeit: P(A B) = P(A B) P(B) Eine andere Definition der Unabhängigkeit: A und B sind unabhängig, wenn P(A B) = P(A) bzw. P(B A) = P(B) (äquivalent, wenn P(B) 0 bzw. P(A) 0). Zwei statistische Größen sind unabhängig, wenn F ξ=(ξ1,ξ 2 )(r, s) = F ξ1 (r) F ξ2 (s) r, s Bayessche Formel: P(A B) = P(B A) P(A) P(B) D. Schlesinger () ME: Wahrscheinlichkeitstheorie 8 / 10

9 Weitere Definitionen (für statistische Größen) Kürzel: p(x, y) p ξ (x, y) Marginale Wahrscheinlichkeit: p(x) = p(x, y) Bedingte Wahrscheinlichkeit: Merke: p(x y) = 1. x y p(x y) = p(x, y) p(y) Unabhängige Wahrscheinlichkeitsverteilungen: p(x, y) = p(x) p(y) oder (analog zu Ereignissen) p(x y) = p(x) Interessant: In das Intervall [0, 1] werden zufällig und nacheinander 3 Punkte geworfen. Wie groß ist die Wahrscheinlichkeit, dass die Koordinate des dritten Punktes größer ist, als die der beiden ersten? D. Schlesinger () ME: Wahrscheinlichkeitstheorie 9 / 10

10 Erkennung Das Modell: Gegeben sei zwei statistische Größen. Typischerweise ist eine davon diskret (d.h. k K) und heißt Klasse. Die andere ist allgemein (sehr oft kontinuierlich, d.h. x R n ) und heißt Beobachtung. Gegeben sei die Verbundwahrscheinlichkeitsverteilung p(x, k). Da die k diskret ist, wird oft p(x, k) durch p(x, k) = p(k) p(x k) spezifiziert. Die Erkennungsaufgabe: man beobachtet x, man sage etwas über k welche Klasse hat die Beobachtung x verursacht. Schwierigkeiten (Fragen): Wie ist k anhand der x zu wählen? Die Wahrscheinlichkeitsverteilung ist oft nicht explizit angegeben dafür sorgen, dass das eine Wahrscheinlichkeitsverteilung ist. Die Menge K ist manchmal sehr groß (erinnere an Hopfield-Netze). Das Lernen: Das Wahrscheinlichkeitsmodell ist oft bis auf unbekannte freie Parameter definiert. Wie sind diese zu wählen? D. Schlesinger () ME: Wahrscheinlichkeitstheorie 10 / 10