Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayes sches Lernen. Niels Landwehr

Größe: px

Ab Seite anzeigen:

Download "Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayes sches Lernen. Niels Landwehr"

Karl Blau
vor 6 Jahren
Abrufe

1 Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Bayes sches Lernen Niels Landwehr

2 Überblick Grundkonzepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Bayes sche Vorhersage Münzwürfe Lineare Regression 2

3 Überblick Grundkonzepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Bayes sche Vorhersage Münzwürfe Lineare Regression 3

4 Statistik & Maschinelles Lernen Maschinelles Lernen: eng verwandt mit (induktiver) Statistik Zwei Gebiete in der Statistik: Deskriptive Statistik: Beschreibung, Untersuchung von Eigenschaften von Daten. Mittelwerte Varianzen Unterschiede zwischen Populationen Induktive Statistik: Welche Schlussfolgerungen über die Realität lassen sich aus Daten ziehen? Erklärungen für Beobachtungen Modellbildung Zusammenhänge, Muster in Daten 4

Thomas Bayes 1702-1761 An essay towards solving a problem in the doctrine of chances, 1764 veröffentlicht.

5 Thomas Bayes An essay towards solving a problem in the doctrine of chances, 1764 veröffentlicht. Arbeiten von Bayes grundlegend für induktive Statistik. Bayessche Wahrscheinlichkeiten wichtige Sichtweise auf Unsicherheit & Wahrscheinlichkeit 5

6 Frequentistische / Bayessche Wahrscheinlichkeit Frequentistische Wahrscheinlichkeiten Beschreiben die Möglichkeit des Eintretens intrinsisch stochastischer Ereignisse (z.b. Münzwurf). Definition über relative Häufigkeiten möglicher Ergebnisse eines wiederholbaren Versuches Wenn man eine faire Münze 1000 Mal wirft, wird etwa 500 Mal Kopf fallen In 1 Gramm Potassium-40 zerfallen pro Sekunde ca Atomkerne 6

7 Frequentistische / Bayessche Wahrscheinlichkeit Bayessche, subjektive Wahrscheinlichkeiten Grund der Unsicherheit ein Mangel an Informationen Wie wahrscheinlich ist es, dass der Verdächtige X das Opfer umgebracht hat? Neue Informationen (z.b. Fingerabdrücke) können diese subjektiven Wahrscheinlichkeiten verändern. Bayessche Sichtweise im maschinellen Lernen wichtiger Frequentistische Sichtweise auch manchmal verwendet, mathematisch äquivalent 7

8 Bayessche Wahrscheinlichkeiten im Maschinellen Lernen Modellbildung: Erklärungen für Beobachtungen finden Was ist das wahrscheinlichste Modell? Abwägen zwischen Vorwissen (a-priori Verteilung über Modelle) Evidenz (Daten, Beobachtungen) Bayessche Sichtweise: Evidenz (Daten) verändert subjektive Wahrscheinlichkeiten für Modelle (Erklärungen) A-posteriori Modellwahrscheinlichkeit, MAP Hypothese 8

9 Modellvorstellung beim Lernen Viele Verfahren des maschinellen Lernens basieren auf probabilistischen Überlegungen Wir wollen Modelle der Form y f( x) aus Trainingsdaten L {( x1, y1),...,( xn, yn) } lernen. Modellvorstellung beim Lernen: Jemand hat echtes Modell f * nach A-Priori Verteilung ( Prior ) p(f) gezogen f * ist nicht bekannt, aber p(f) reflektiert Vorwissen (was sind wahrscheinliche Modelle?) Trainingseingaben x i werden gezogen (unabhängig von f * ). * Klassenlabels y i werden nach p( yi xi, f ) gezogen (zum Beispiel: * 2 y i f ( x i ) i, ~ ( 0, ) Rauschterm). i Fragestellung Lernen: Gegeben L und p(f), was ist wahrscheinlichstes echtes Modell? Versuche, f * (ungefähr) zu rekonstruieren 9

10 Bayessche Regel Bayessche Regel: Beweis einfach: p( X Y) p( X Y) Definition bedingte Verteilung p( Y X ) p( X ) py ( ) p( X, Y) p( Y X ) p( X ) p( Y) p( Y) Produktregel Wichtige Grundeinsicht für das maschinelle Lernen: Erlaubt den Rückschluss auf Modellwahrscheinlichkeiten gegeben Wahrscheinlichkeiten von Beobachtungen

11 Bayessche Regel Modellwahrscheinlichkeit gegeben Daten und Vorwissen p( Modell Daten) Likelihood: wie gut erklärt Modell die Daten? Prior: wie wahrscheinlich ist Modell a priori? p( Daten Modell) p( Modell) p( Daten) p( Daten) konstant, unabhängig von Modell p( Daten Modell) p( Modell)

12 Wahrscheinlichstes Modell gegeben Daten Zentrale Problemstellung: wahrscheinlichstes Modell gegeben Daten. Gegeben sind angenommene a priori Verteilung p(f) beobachtete Daten L {( x, y ),...,( x, y )} 1 1 Frage: was ist das wahrscheinlichste Modell, gegeben die angenomme a priori Verteilung und die Daten? Sogenanntes MAP ( maximum a posteriori ) Modell. N N * f f p f L arg max ( ) arg max f f p( L f ) p( f ) pl ( ) arg max p( L f ) p( f ) Bayes'sche Regel pl ( ) unabhängig von f

13 Wahrscheinlichstes Modell gegeben Daten Um MAP Modell ausrechnen zu können, brauchen wir zwei Terme: p( L f ) Likelihood : Wahrscheinlichkeit der Daten gegeben Modell. Folgt aus Modelldefinition. Prior p( f) : A-priori Verteilung über Modelle. Annahme, soll meist Vorwissen ausdrücken. Beispiel Entscheidungsbaumlernen: Kleine Bäume sind oft besser als große Bäume. Wir sehen gleich verschiedene Beispiele.

14 Überblick Grundkonzepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Bayes sche Vorhersage Münzwürfe Lineare Regression 14

15 Modell für Münzwürfe schätzen Anwendung Bayes sche Regel an einfachem Beispiel: Modell für Münzwürfe ( binomialverteilte Daten ) schätzen. Münzwurf-Modell N Mal Münze werfen. Ergebnis des i-ten Münzwurfs: Kopf oder Zahl, Zufallsvariable y {0,1}. y i folgen Bernoulli-Verteilung: i py ( 1) y ~ Bern( y ) (1 ) y i i py ( 0) 1 i i Wahrscheinlichkeit für Kopf Wahrscheinlichkeit für Zahl y i 1 i Bernoulli-Verteilung Daten heissen auch binomialverteilt, weil die Anzahl der Kopfwürfe in N Münzwürfen binomialverteilt ist. 15

16 Modell für Münzwürfe schätzen Das Münzwurf-Modell sagt vorher, mit welcher Wahrscheinlichkeit bei einem Münzwurf Kopf fällt. Modell ist festgelegt durch einen einzigen Parameter: Wahrscheinlichkeit [0,1] für Kopfwurf. Abweichend von unserer Standardproblemstellung gibt es keine Instanzmerkmale. x i Wir möchten ein Münzwurfmodell aus Beobachtungen L { y,..., 1 y } N schätzen. Die echte Wahrscheinlichkeit für einen Kopfwurf kennen wir nie. Aber mit der Bayes schen Regel können wir probabilistische Aussagen über diese echte Wahrscheinlichkeit machen, gegeben Daten. 16

17 Bayes sche Regel Münzwürfe Ansatz mit Bayes scher Regel: Likelihood: wie wahrscheinlich sind Daten L { y,..., } 1 yn gegeben Modell? A-posteriori Verteilung über Modelle, charakterisiert wahrscheinliche Parameterwerte und verbleibende Ungewissheit p( L) p( L p( pl ( ) A-priori Verteilung über Modelle, repräsentiert Vorwissen: für wie wahrscheinlich halten wir faire/unfaire Münzen? Wahrscheinlichkeit der Daten, nur Normalisierer 17

Ähnliche Dokumente

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle iels Landwehr Überblick: Graphische Modelle Graphische Modelle: Werkzeug zur Modellierung einer Domäne mit verschiedenen