Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Sprachtechnologie. Tobias Scheffer Thomas Vanck

Transkript

1 Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer Thomas Vanck

2 Statistik & Maschinelles Lernen Statistik: Deskriptive Statistik: Beschreibung (Tabellen, Diagramme, etc), Untersuchung von Eigenschaften von Daten (langweilig). Induktive Statistik oder auch Inferenzstatistik: Welche Schlussfolgerungen über die Realität lassen sich aus Daten ziehen? (spannend, maschinelles Lernen.) 2

3 Thomas Bayes An essay towards solving a problem in the doctrine of chances, 1764 veröffentlicht. 3

4 Frequentistische / Bayessche Wahrscheinlichkeit Frequentische Wahrscheinlichkeiten Beschreiben die Möglichkeit des Eintretens intrinsisch stochastischer Ereignisse (z.b. Teilchenzerfall). Bayessche, subjektive Wahrscheinlichkeiten Beschreiben die Möglichkeit des Eintretens von Ereignissen bezogen auf einen Grad von Informiertheit. Unsicherheit bedeutet hier Mangel an Information. Wie wahrscheinlich ist es, dass der Verdächtige das Opfer umgebracht hat? Neue Informationen (z.b. Fingerabdrücke) können diese subjektive Wahrscheinlichkeiten verändern. 4

5 Zufallsvariablen Ereignisraum Ω: Ist in der Regel R Zufallsvariable ist eine Abbildung Beispiel: und Ω = {1,2,3} X : Ω R X(ω) = 2ω Wahrscheinlichkeitsmaß P weist jedem Ereignis ω einen Wahrscheinlichkeit zu. D.h. P : Ω [0,1] Beispiel: P(1) = 1 4,P(2) = 1 2,P(3) = 1 4 (nennt man auch Wahrscheinlichkeitsverteilung) dann gilt für die konkrete Realisierung der Zufallsvariable X(3) = 6 P(X(ω) = 6) = 1 oder 2 P(X {4,6}) = = 3 4 5

6 Bedingte Wahrscheinlichkeiten Wie beeinflusst zusätzliche Information die Wahrscheinlichkeitsverteilung? Bedingte Wahrscheinlichkeit eines Ereignisses: Bedingte Verteilung: Randverteilung, Marginalisieren: 6

7 Konjunktion von Ereignissen Wahrscheinlichkeit für Eintreten mehrerer Ereignisse: Gemeinsame Verteilung zweier Zufallsvariablen: Gemeinsame Verteilung mehrerer Variablen: 7

8 Unabhängigkeit Zwei Zufallsvariablen sind unabhängig, wenn: Äquivalent dazu 8

9 Diskrete, kontinuierliche Verteilungen Diskrete Zufallsvariablen: Beispiel: Anzahl Köpfe bei 100 Münzwürfen. Kontinuierliche Zufallsvariablen besitzen Wahrscheinlichkeitsdichtefunktion f X, so dass: Verteilungsfunktion: Beispiel: IQ, Körpergrößen 9

10 Erwartungswert, Standardabweichung Erwartungswert einer Zufallsvariable: bzw Varianz: Erwartete quadrierte Abweichung von X von E(X) Standardabweichung: Erwartete Abweichung Rechenregeln: E(αX + βy) = αe(x) + βe(y) Var(αX + βy) = α 2 Var(X) + β 2 Var(Y) 10

11 Bayes Theorem Erklärung, Ursache für eine Beobachtung: P(Ursache): A-Priori-Wahrscheinlichkeit, Prior. P(Beobachtung Ursache): Likelihood. P(Ursache Beobachtung): A-Posteriori- Wahrscheinlichkeit, Posterior. 11

12 Bayes Theorem: Beispiel Die Erbtante ist tot. Bruder b und Schwester s sind verdächtig. DNS-Analyse der Spuren ergibt: P(DNS-Spuren Täter=b) = 0.98 P(DNS-Spuren Täter=s) = % aller Morde werden von Männern begangen: P(Täter=b) = 0.9, P(Täter=s) = 0.1. Bestimmen Sie: P(Täter=b DNS-Spuren), P(Täter=s DNS-Spuren). Plausibelste (Maximum-Likelihood-) Hypothese argmax t P(DNS-Spuren Täter=t) Wahrscheinlichste (Maximum-A-Posteriori-) Hypothese argmax t P(Täter=t DNS-Spuren) 12

13 Lernen und Vorhersage Lernen: Vorhersage: Warum Unterteilung in Suche nach einem Modell und Vorhersage mithilfe des Modells? 13

14 Bayessches Lernen und Vorhersage Gegeben: Trainingsdaten L, neue Instanz x. Gesucht: Wahrscheinlichkeit für Wert y für gegebenes x. Bayes-Hypothese: wahrscheinlichstes y. Minimiert Risiko einer falschen Vorhersage. Bayes-optimale Entscheidung. 14

15 Bayessches Lernen und Vorhersage Bayes-Hypothese: wahrscheinlichstes y. Minimiert Risiko einer falschen Vorhersage. Berechnet: Bayesian Model Averaging Vorhersage, gegeben Modell Modell gegeben Trainingsdaten Bayessches Lernen: Mitteln der Vorhersage über alle Modelle. Gewichtung: wie gut passt Modell zu Trainingsdaten. 15

16 Bayessches Lernen und Vorhersage Bayes-Hypothese: wahrscheinlichstes y, gegeben x und alle verfügbaren Daten. Weiter auflösen: Bayes Gleichung Posterior, A-Posteriori- Verteilung Likelihood, Wie gut passt Modell zu Daten? Prior, A-Priori- Verteilung Bayessche Regel: Posterior = Likelihood x Prior. Normierungskonstante 16

17 Bayessche Regel Bayes Gleichung Likelihood P(L θ). Wie wahrscheinlich wären die Trainingsdaten, wenn θ das richtige Modell wäre. Wie gut passt Modell zu den Daten. 17

18 Bayessche Regel Bayes Gleichung Prior P(θ). Wie wahrscheinlich ist Modell θ bevor wir irgendwelche Trainingsdaten gesehen haben. Annahmen über P(θ) drücken datenunabhängiges Vorwissen über Problem aus. 18

19 Binomialverteilte Zufallsvariablen Echte Wahrscheinlichkeiten für Ereignisse kennen wir nie. Mit Bayes Regel können wir Aussage über echte Wahrscheinlichkeit machen, gegeben Daten. Beispiel: Münzwurf. Wiederhole Münzwurfexperiment. Daten L: N k mal Kopf, N z mal Zahl. Likelihood: Binomialverteilung 19

20 Bayessche Regel Bayes Gleichung Prior P(θ). Beispiel Münzwurf: Gutes Modell für Vorwissen über θ: Beta-Verteilung. α k und α z sind Hyperparameter der Verteilung. 20

21 Beispiel Münzwurf: Beta-Verteilung Warum gerade diese Definition? Besondere Eigenschaft: Wenn wir den Beta-Prior in Bayes Gleichung einsetzen, dann: Posterior wieder Beta-verteilt. Interpretation der Hyperparameter: α k -1/ α z -1: wie oft im Leben haben wir bei Münzwurf schon Ergebnis Kopf/Zahl gesehen. 21

22 Bayessche Regel Bayes Gleichung Posterior P(θ L). Wie wahrscheinlich ist Modell θ, nachdem wir Daten L gesehen haben. Vorwissen P(θ ) und Trainingsdaten werden zu neuem Gesamtwissen P(θ L) integriert. 22

23 Bayessche Regel Bayes Gleichung Posterior P(θ L). Wie wahrscheinlich ist Modell θ, nachdem wir Daten L gesehen haben. Beispiel Münzwurf: Vorwissen Beta(θ α k, α z ) und Beobachtungen N k, N z werden zu Posterior Beta(θ α k +N k, α z +N z ). Beta-Verteilungen sind die konjugierten Verteilungen für binomiale Beobachtungen. 23

24 Beispiel Münzwurf: Beta-Verteilung Geburt Kopf, Zahl Kopf 24

25 Münzwurf: wahrscheinlichste Wahrscheinlichkeit Wahrscheinlichster Parameter θ. konstant Ableiten, Ableitung null setzen 25

26 Würfelwurf statt Münzwurf Münzwurf: 2 Ausgänge. Prior Beta-verteilt, Binomiale Likelihood, Posterior wieder Beta-verteilt. Modell für Prozesse mit binären Attributen. Würfelwurf: k Ausgänge (Text). Prior Dirichlet-verteilt, Likelihood Multinomial, Posterior wieder Dirichlet-verteilt. Modell für diskrete Prozesse mit mehrwertigen Attributen, z.b. Texte, Verweisdaten. 26

27 Multinomiale Zufallsvariablen Echte Wahrscheinlichkeiten für Ereignisse kennen wir nie. Mit Bayes Regel können wir Aussage über echte Wahrscheinlichkeit machen, gegeben Daten. Wörter eines Textes. Jedes Wort eines Textes wird ausgewürfelt. Wort j wird mit Wahrscheinlichkeit θ j gezogen. In Daten L kommt Wort j genau N j mal vor. Likelihood: Multinomialverteilung 27

28 Bayessche Regel Bayes Gleichung Prior P(θ). Beispiel Wörter eines Textes: Modell für Vorwissen über θ : Dirichlet-Verteilung. α j sind Hyperparameter der Verteilung. 28

29 Beispiel Text: Dirichlet-Verteilung Warum gerade diese Definition? Besondere Eigenschaft: Wenn wir den Dirichlet- Prior in Bayes Gleichung einsetzen, dann: Posterior wieder Dirichlet-verteilt. Interpretation der Hyperparameter: α j -1: wie oft im Leben haben wir bei schon Wort j gesehen. 29

30 MAP-Hypothese Um Risiko einer Fehlentscheidung zu minimieren: wähle Problem: In vielen Fällen gibt es keine geschlossene Lösung, explizite Integration über alle Modelle unpraktikabel. Maximum-A-Posteriori- (MAP-)Hypothese: wähle 30

31 MAP-Hypothese MAP-Hypothese: wähle Beispiel Münzwurf 31

32 MAP-Hypothese MAP-Hypothese: wähle Beispiel Text 32

33 ML-Hypothese Um MAP-Hypothese zu bestimmen müssen wir Posterior (Likelihood x Prior) kennen. Unmöglich, wenn kein Vorwissen (Prior) existiert. Maximum-Likelihood- (ML-)Hypothese: wähle Beispiel Münzwurf: Berücksichtigt nur Beobachtungen in L, kein Vorwissen. 33

34 Wahrscheinlichkeiten schätzen Binomiale Beobachtung (Münzwürfe): gerade behandelt, konjugierte Verteilung Beta. Multinomiale Verteilung: Diskrete Ereignisse, mehr als zwei Werte. Beispiel: Text, Folge diskreter Wörter. Geschlossene Lösung, konjugierte Verteilung Dirichlet. 34