10. Vorlesung. Grundlagen in Statistik. Seite 291. Martin-Luther-Universität Halle/Wittenberg

Transkript

1 . Vorlesung Grundlagen in Statistik Seite 29

2 Beispiel Gegeben: Termhäufigkeiten von Dokumenten Problemstellung der Sprachmodellierung Was sagen die Termhäufigkeiten über die Wahrscheinlichkeit eines Dokuments bzw. einer Menge von Dokumenten aus? Term/ Dokument T T2 T3 T4 T5 T6 D 2 D2 2 D3 D4 2 D5 3 Seite 292

3 Von Häufigkeiten zu Wahrscheinlichkeiten Eine Wahrscheinlichkeit kann als relative Häufigkeit eines Ereignisses interpretiert werden Im Beispiel: Spalten auf eins normalisieren Axiome von Wahrscheinlichkeiten Falls E nie auftreten kann, gilt: Falls E 2 immer auftritt, gilt: S ist die Menge aller möglichen Ereignisse: Wenn sich gegenseitig ausschließen Seite 293

4 Bedingte Wahrscheinlichkeiten Sei die Wahrscheinlichkeit für das Ereignis E, vorausgesetzt dass das Ereignis F schon eingetreten ist. Im Beispiel normalisieren der Spalten heißt: das Dokument wurde schon gewählt (gegebenes Ereignis); ein Term hat dann eine gegebene Wahrscheinlichkeit Pr[T D] Bayesche Regel: (invertieren von gegebenen Whr.) Seite 294

5 Zufallsvariablen Eine Zufallsvariable ist eine Funktion, die jedem Ereignis aus S eine Zahl zuweist. Im Beispiel: Term tritt in D auf => X=, sonst X= Wahrscheinlichkeitsverteilungsfunktion einer Zufallsvar. X ist diskret Wahrscheinlichkeitsmassenfunktion X ist kontinuierlich Wahrscheinlichkeitsdichtefunktion mit Seite 295

6 Verbundverteilung und Dichte Beziehung zwischen zwei oder mehreren Zufallsvariablen Im Beispiel: Auftreten von Termen und Dokumenten Verbundverteilung Randverteilung Diskret Kontinuierlich Bedingte Verteiltungen Seite 296

7 Bayesche Regel für Zufallsvariablen Bayesche Regel Interpretation Seite 297

8 Erwartungswert Der Erwartungswert einer Zufallsvariable X ist E[X] und gibt den durchschnittlichen Wert von X bei vielen Experimentwiederholungen an. Rechenregeln Für reelle Funktionen g() gilt Seite 298

9 Varianz Varianz gibt an, wie stark X um den Erwartungswert variiert Varianz ist das zweite Moment minus das Quadrat des ersten Moments Kovarianz beschreibt die Beziehung zwischen zwei Zufallsvariablen Korrelation ist normalisiert und zwischen - und Seite 299

10 Schwache Gesetz der großen Zahlen Sei eine Menge von unabhängigen Zufallsvariablen mit identischer Verteilung (iid), alle mit Erwartungswert und endlicher Varianz dann gilt für jedes Der Durchschnitt konvergiert gegen den Erwartungswert bei großen N Seite 3

11 Bestimmen von Parametern aus Stichproben Modelle für Wahrscheinlichkeitsverteilungen können durch Dichtefunktionen mit Parametern beschrieben werden Bespiele: Gauß-, Bernoulli-, Binomial-Verteilung,... Stichprobe kann als Trainingsdatensatz genutzt werden, um die unbekannten Parameter zu bestimmen Schätzmethoden Eingabe: Stichprobe Ausgabe: Parameterschätzung Beispiele: Maximum Likelihood, Bayes, Maximum Aposteriory,... Seite 3

12 Maximum Likelihood Schätzung Sei eine unabhängige, identisch verteilte Stichprobe (iid), deren Instanzen bezüglich einer Dichte mit unbekanntem Parameter verteilt sind Ziel: finde die Parametereinstellung, s.d. die Stichprobe am wahrscheinlichsten erzeugt wurde Likelihood der Stichprobe Logarithmus ändert das Maximum nicht Seite 32

13 Bernoulli Verteilung Binäre Zufallsvariable Wahrscheinlichkeit für x= ist durch Parameter und für x= durch gegeben Erwartungswert und Varianz Sei eine iid Stichprobe aus der geschätzt werden soll Ergebnis Seite 33

14 Bionomial Verteilung Wie oft kommt bei N Bernoulli-Experimenten eine Eins? Eine Menge von Ergebnissen von Bernoulli-Experimenten mit m Einsen hat eine Wahrscheinlichkeit proportional zu Die Anzahl von Möglichkeiten bei N Experimenten m Einsen zu bekommen aufaddieren Binomialverteilung Seite 34

15 Multinomiale Variablen Multinomiale Variable wählt einen Zustand aus K möglichen Zuständen aus Repräsentation als K-dimensionaler Bit-Vektor mit K- Null-Einträgen und einer Eins. K-dimensionaler Parameter-Vektor Multinomial-Verteilung Likelihood für iid Stichprobe Seite 35