Vorlesung Maschinelles Lernen

Transkript

1 Prof. Dr. phil. Dr. rer. nat. habil. M.Schenke Vorlesung Maschinelles Lernen Basierend auf der Vorlesung und dem Buch»Methoden wissensbasierter Systeme«von Christoph Beierle und Gabriele Kern-Isberner

2 Was ist lernen? Adaptive Systeme; Aufgaben werden bei Wiederholung effizienter und effektiver abgearbeitet lernen basiert auf der Verarbeitung von Erlebnissen und Erfahrung lernen ist das aufnehmen, verarbeiten und nutzen von gegebenen Informationen Welche Lernstrategien? direkte Eingabe aus A gilt B B gilt (wenn ich den Stift los lasse (A), fällt er zu Boden (B)) neues aus altem lernen lernen aus Analogie (der Stift fällt hier zu Boden, also auch in Afrika) Grundaufbau eines Entscheidungsbaumes: Entscheidungbäume Wurzel Kante Kante Kante Knoten Knoten Knoten Blatt Blatt Zum Entscheidungsbaum: Entscheidungsbäume mit einer "Ja/Nein" Klassifikation, repräsentieren eine boolsche Funktion. Es gelten also folgende Regeln: Die Blätter des Baumes sind mit dem Wahrheitswert markiert, der als Ergebnis der Funktion zurückgeliefert werden soll, wenn das Blatt erreicht wird. Die inneren Knoten des Baumes sind mit einem Attribut markiert. Eine solche Markierung a repräsentiert eine Abfrage, welchen Wert das betrachtet Objekt für das Attribut hat. Die von einem mit a markierten Knoten ausgehenden Kanten sind mit den zu a möglichen Attributwerten markiert. 1

3 Aufgrund der folgenden Tabelle, entsteht ein Entscheidungsbaum (S106 ff.). Tabelle: Beispiel Attribute Kino- Attr. Preis Loge Wetter Warten Bes. Kat. Land Res. Gruppe besuch? X 1 hoch ja schlecht ja top AC int. ja Freunde ja X 2 mittel ja mittel nein mittel KO int. nein Paar ja X 3 mittel nein mittel ja mittel DR int. nein Freunde nein X 4 gering ja mittel ja mittel SF int. nein allein nein X 5 mittel ja mittel nein mittel DR int. nein Paar ja X 6 hoch ja schön nein top SF int. ja Freunde ja X 7 mittel ja schlecht nein mittel KO nat. nein Freunde ja X 8 mittel nein schlecht ja mittel AC int. nein Freunde ja X 9 gering ja schön nein mittel KO nat. nein Freunde nein X 10 mittel ja schön nein mittel KO int. nein Paar nein X 11 hoch ja mittel ja top DR int. nein Paar ja X 12 mittel nein schlecht ja mittel AC nat. nein allein nein X 13 hoch ja mittel ja mittel SF int. nein allein nein X 14 mittel ja schön ja top DR int. ja Freunde nein X 15 mittel ja schlecht nein mittel AC int. nein Paar ja Um erst einmal das Grundprinzip des Entscheidungsbaumes zu erläutern werden wir mit dem Attribut "Gruppe" anfangen. Als ersten Schritt kann man, einfach halber, die Attribute in positiv und negativ einteilen. +(ja) X 1, X 2, X 5, X 6, X 7, X 8, X 11, X 15 -(nein) X 3, X 4, X 9, X 10, X 12, X 13, X 14 Gruppe Nun also der Baum selber: Gruppe Freunde Paar allein +: 1, 6, 7, 8 -: 3, 9, 14 +: 2, 5, 11, 15 -: 10 +: -: 4, 12, 13 Anhand dieses Teilbaums Erkennt man, dass in diesem Beispiel "allein" nicht das Kino besucht wird. Für die Attribute "Freunde" und "Paar" muss man die Entscheidung noch weiter fortführen. Um den Baum also "wachsen" zu lassen, muss man weitere Attribute auswählen. - 2

4 Aber welches ist das passende Attribut? Um dies sinnvoll heraus zu bekommen muss man sich den Informationsgehalt eines Attributes anschauen. Bemerkungen: Exkurs in die Informationstheorie: Wie viel Information bekommt man durch die Wahl eines Attributes? Kinobesuch insgesamt: 7nein ; 8ja daraus folgt eine Verteilung von 7/15 und 8/15 daher kann man sagen, dass das Attribut "Kinobesuch" einen gesamt Informationsgehalt von: H( 7/15, 8/15) = - 7/15 log 7/15 8/15 log 8/15 =... zu beachten ist die Basis des Log. Wir nutzen hier keine 10ner Basis, sondern eine 2er Basis. Bemerkungen: Idee: Durch die Auswahl eines Attributes a und Zerlegung der Beispielmenge gemäß den Werten von a, entstehen neue Verteilungen. Wie ist a zu wählen, damit der Entropiegewinn maximiert wird? Ein kleines Beispiel an Hand von Würfeln. Die Wahrscheinlichkeit mit zwei von einander unabhängigen Würfeln eine 5 zu würfeln setzt sich folgendermaßen zusammen: p(s 1 + s 2 =5) =1/9 unter der Voraussetzung das wir s 1 kennen : p( s 1 + s 2 =5 s 1 =6) = 0. Da der erste Würfel ja bereits schon 6 ist, kann man im gesamt Ergebnis keine 5 mehr erreichen. Für unser Beispiel ergibt sich also eine gesamt Verteilung von: p(s 1 +s 2 =5) = i= 1 6 p (s 1 + s 2 =5 s n = i) p(s 1 =i) = = 1 9 3

5 Bemerkungen: Für unser Beispiel entsteht konkret also folgende Verteilung: Attribut Gruppe - Freunde 4/7, 3/7 - allein 0/3, 3/3 - Paar 4/5, 1/5 I(E Gruppe) p=(gruppe=freunde) I(Freunde) + p(gruppe=allein) I(allein) + p(gruppe=paar) I(Paar) = 7/15 H(4/7; 3/7) + 3/15 H(0/3; 3/3) + 5/15 H(4/5; 1/5) 0,7004 bit I(E) -I(E Gruppe) = -8/15 log 8/15-7/15 log 7/15 0,9968 bit Informationsgewinn für das Attribut Gruppe = 0,2964 bit Ist der Informationsgewinn 0, so ist die Information bereits bekannt. (Kurzes Beispiel: wenn ihr, in diesem Beispiel, sagt; ihr geht morgens nicht in das Kino, ist der Informationsgewinn bei der Aussage Ich gehe morgens nicht ins Kino, 0. Den die Information ist für euch nichts unbekanntes) Bemerkung: Eigene Rechenbeispiele: 4

6 Nachdem wir jetzt wissen, wie man den Informationsgehalt eines Attributes errechnet, schauen wir uns den Quellcode für die Erstellung eines solchen Entscheidungsbaumes an. Notizen: Die Funktion Choose Attribute arbeitet mit dem Informationsgehalt eines Attributes. Bemerkungen: 5

7 Konzepte Definition: Ein Konzept e ist eine Funktion c:m {0,1} über eine Grundmenge M. e ϵ M gehört zu c, wenn c(e) =1 Problem: Finde h (Hypothese) mit h(e) = c(e) für alle e ϵ E (Beispiele) h:m {0,1} Ist h(e)=1 für alle Beispiele e mit c(e)=1, so heißt h vollständig (bezüglich E). Ist h(e)=0 für alle Beispiele e mit c(e) =0, so heißt h korrekt. Definition: Ein Konzeptlernproblem hat folgende Bestandteile: - Eine Basissprache L E - Eine Konzeptsprache L C eine Menge von Charakteristischen Funktionen k: L E {0,1} - Ein zu lernendes Konzept c: L E {0,1} - Eine Menge P (positive Beispiele) c(e) =1 für alle e ϵ P - Eine Menge N (negative Beispiele) c(e)=0 für alle e ϵ N Bemerkungen: Beispiel: L E = Sportart x Art x Ort x Ebene x Tag Beschreibung der Konzeptsprache: An jeder Stelle des 5 Tupel lassen wir drei Arten von Einträgen zu: - Ø kein Eintrag zugelassen - Eintrag ein fester Eintrag -? alle Eintragungen zugelassen Bemerkungen: 6

8 L E als Menge aller 5 Tupel {(V,W,X,Y,Z) V ϵ {Fußball,...}, W ϵ {Einzel, }, X ϵ... } L C Konzeptsprache {M M Tiere } Sei T die Menge aller 5 Tupel Wie groß ist die Menge aller Möglichen Konzepte? 1. Schritt: Größe von T T= {Fußball, Hockey,, Zehnkampf } x {Einzel, Mannschaft} x {draußen, drinnen} x {national, Welt} x {Samstag, Sonntag} Die Größe von T= 5x2x2x2x= Schritt: Jedes mögliche Konzept entspricht einer Teilmenge von T. Davon existieren Bemerkungen: Die Mächtigkeit einer Konzeptsprache: L c = ( V +1 ) x ( W +1 ) x ( X +1 ) x ( Y +1 ) x ( Z +1 ) +1 = 6 x 3 x 3 x 3 x 3 +1 = 487 Bsp: { (Z,,?,?, So) } = leere Menge 7

9 L E Beispielsprache L C Konzeptsprache P Menge von pos. Bsp. N Menge von neg. Bsp. C Zielkonzept c ist Teilmenge von L E Ist c c L c? Wäre x 1, x 5 positiv x 2, x 3, x 4 negativ, so könnte das tatsächliche Konzept sein: Es werden genau die Sportereignisse mit Sport = Fußball oder Sport = Zehnkampf angeschaut. Dem entspricht eine Teilmenge von T: [(V,W,X,Y,Z) V= Fußball oder V = Zehnkampf} Dies ist allerdings nicht in L C. In LC müsste es die Form (A,?,?,?,?) mit A=? oder A = A ϵ {Fußball,, Zehnkampf}, haben. D.h. kann die Teilmenge von T nicht durch die Konzeptsprache L C beschrieben werden. oder Bemerkungen: 8

10 Beispielmenge: {F,Z} x W x X x Y x Z als wahres Konzept Spezieller: W = (F,?,?,?,?) und Y = ( Z,?,?,?,?) allgemeiner, bzw. das kleinste verallgemeinerte Konzept: (?,?,?,?,?) Definition: Seine h1, h 2 L C Hypothesen. Dann heißt h 1 spezieller als h 2 ( h 1 h 2 ), genau dann, wenn h 1 h 2 ist. h 1 heißt allgemeiner als h 2 ( h 1 h 2 ), genau dann, wenn h 2 h 1 {F, H,...,Z} {F} {H} {Z} A ist Sportart {A}und {A}? a b, b a a b, b c => a=b => a=c Definition: Sei h eine Hypothese (also ein Element unserer Konzeptsprache), dann heißt h vollständig bezüglich der Beispielmenge P N, wenn für jedes b P gilt b h ( b subsetq h ). Ferner heißt h korrekt bzgl. P N, wenn für jedes b N gilt b h ( h N = ) Die Hypothese h heißt Konsistent mit P N, wenn sie vollständig und korrekt ist. Vermutungen: 01. Zuschauer richtet sich nach "Mannschaft" 02. Zuschauer richtet sich nach "national" 03. Zuschauer richtet sich nach "Samstag" 04. Zuschauer richtet sich nach "Mannschaft", "national" 01. (?,Ma,?,?,?) P h N h= 02. (?,?,? nat,?) P h N h= 03. (?,?,?,?, Sa) P h N h 04. (?, Ma,?, nat,?) P h N h= Vollständig: 1-4 korrekt: 1,2,4 konsistent: 1,2,4 9

11 Konzepte, die mit x 1,...x 5 aus dem Sportbeispiel konsistent sind: (?, Ma,?, nat, Sa) spezieller (?, Ma,?,?, Sa) (?,Ma,?, nat, Sa) (?,?,?, nat, Sa) (?, Ma,?,?,?) (?,?,?, nat,?) allgemeiner innerhalb unserer Konzeptsprache sind diese 6 die möglichen Konzepte, alle anderen sind entweder nicht vollständig oder nicht korrekt. Definition: Eine Hypothese h L c ist eine spezielle Generalisierung einer Beispielmenge B (= N P ), wenn gilt 1. h ist konsistent zu B 2. sei h ' L c und h' konsistent zu B Dann ist nicht h'< h. Eine Hypothese h L c ist eine allgemeine Generalisierung von B, wenn gilt 1. h ist konsistent zu B 2. Sei h ' L c und h' konsistent zu B Dann ist nicht h< h' Das wahre Konzept liegt irgendwo zwischen (,,,, ) und (?,?,?,?,?) Beispiel: (,,,, ) (Fu, Ma, dra, nat, Sa) (Bo,?,?,?,?) (?,?,?,?, Sa) (?,?,?,?,?) Bemerkungen: 10

12 Definition: Der Versionenraum bzgl. der Beispielmenge B ist V B = { h h L C, h ist korrekt und vollständig bezüglich B} Satz: Seien S= { h h ist speziellste Generalisierung von B} G= { h h ist allgemeinste Generalisierung von B} Dann ist VB = { h L C es existiert h 0 S, h 1 G mit h 0 h h 1 } Definition: Ein Element M von L C heißt konsistent mit B= P N gdw. P M, M N = Definition: Ein Element M von L C heißt speziellste Vereinigung von B wenn: 1. M mit B konsistent 2. Für alle M 1, die mit B konsistent sind, gilt nicht M 1 M Ein M L C heißt generellste Verallgemeinerung von B, wenn: 1. M mit B konsistent 2. Für alle M1, damit B konsistent sind gilt nicht M M 1 Bemerkungen: 11

13 Beispiel: S 0 (,,,, ) G 6 (?,?,?,?,?) S 1 (Fu, Ma, dra, nat, Sa) G 1 =G 0 S 2 (Fu, Ma, dra, nat,sa) (Ha, Ma, dra, nat, Sa) nicht möglich kein Konzept! ebenfalls kein Konzept ist ({Fu, Ha}, dra, nat, Sa) hingegen ist S 2 (?, Ma, dra, nat, Sa) speziellste Verallgemeinerung G 2 =G 0 G 3 (?, ein,?,?,?) nicht konsistent G 3 (?, Ma,?,?,?) (?,?, dra,?,?) (?,?,?, nat,?) konsistent bis x3 konsistent! S 3 =S 2 x 1, x 2, x 3 S 4 (?, Ma,?, nat, Sa) G 4 (?, Ma,?,?,?) (?,?,?, nat,?) S 5 =S 4 G 5 =G 4 Konzepte im Versionenraum (?, Ma,?, nat, Sa) (?, Ma,?,?, Sa) (?, Ma,?, nat,?) (?,?,?, nat, Sa) (?, Ma,?,?,?) (?,?,?, nat,?) Bemerkungen: 12

14 Warenkorbanalyse (Beispiel auf Seite 151 im Beierle) Grundgesamtheit: Elemente heißen Items (Waren: z.b. Shampoo, Duschgel) t I Transaktionen (Einkäufe) { t 1, t 2, t 3,., t n } =T Menge der Transaktionen Definition: Sei X eine Menge von Items, dann ist support (x)= I {t i z i T, x t i } T Bemerkung: X 1 X 2 => support (x 2 ) support (x 1 ) Warum? x 1 x 2 Für alle t i x 2 t i => x 1 t i x 2 = { Seife; Shampoo} Definition: Seien X,Y Item-Mengen, dann ist support(x Y) = X Y = support ( X Y ),wobei Definition: Confidence (X Y) = Bemerkungen: {t T ( x y) t} {t T x t} ( x y) = support ( x) 13

15 Im Algorithmus: 1. Finde Menge mit hohem support (häufige Menge) 2. Finde darunter Regel mit hoher confidence {Shampoo, Duschgel} Shampoo Duschgel Duschgel Shampoo Definition: Item-Mengen mit support (x) minsupp heißen häufige Mengen. Eine häufige Menge M mit M =n heißt n-häufige Menge Bemerkung: Teilmengen von häufigen Mengen sind ebenfalls häufig. Obermengen von nicht häufigen Mengen, sind ebenfalls nicht häufig. Für unser Beispiel werden wir alles betrachten das einen minsupp = 0.4 und minconf = 0.7 hat. M 1 M 2 ; M 2 ist häufig, d.h. Supp ( M 2 min supp ) D.h. support (M 2 ) support(m 1 ) Also supp(m 1 minsupp) also ist M 1 häufig Bemerkungen: Um die vorhergehende Tabelle auszuwerten und daraus die Mengen zu finden, die für uns relevant sind, suchen wir alle C 2 -Mengen die einen support von min. 0.4 haben. L 1 = {A, B, C, D, E, J, L} L 2 ist ergibt also wie folgt: L 2 { {B,C}, {B,D}, {B,J}, {B,L}, {C,J}, {C,L}} Bemerkungen: 14

16 Nach L 2 interessiert uns natürlich noch L 3 L 3 besteht also nur aus L 3 ={{B,C,J}, {B,C,L}} Eine Menge L 4 gibt es nicht, da C 4 = L 4 = Bemerkungen: Um nun Assoziationsregeln für unseren Warenkorb aufzustellen, nutzen wir folgende Tabelle: Aus dieser Tabelle erfüllen allerdings nicht alle unsere Bedingung von minconf = 0.7. Am Ende bleibt nur eine Tabelle über, die für unser Beispiel stimmen kann. Bemerkungen: 15

17 Bayessche Netze ( ) ( ) ( ) ( ) Bayes Satz von Definition: Seien paarweise disjunkte (disjunkt = kein gemeinsames Element) Variablenmengen. Dann heißen ( ) ( ) ( ). bedingt unabhängig (modulo c), wenn gilt: Bemerkung: Ist, kommt der ursprüngliche Unabhängigkeitsbegriff heraus. Allgemein: ( ). Unabhängig heißt dann: ( ). Bei bedingter Unabhängigkeit gilt entsprechend: ( ) ( ). Definition: Seien paarweise disjunkte Variablenmengen. Dann separiert die Variablen in von den Variablen in, wenn jeder Weg von einem Knoten (Variable) aus zu einem Knoten aus B, einen Knoten aus enthält. Einfache Gesetze Symmetrie: (ungerichteter Graph) z.b.: ( ) ( ) ( ) Zerlegbarkeit: und Beweis: ( ) ( ) ( ) Schwache Vereinigung: A C B D Kontraktion: und A C D B Schnitt: und A D C B 16

18 Satz: Alle diese Aussagen über übertragen sich auf. Dabei ist für den»schnitt«die Zusatzbedingung nötig, dass alle Wahrscheinlichkeiten strikt positiv sind. Beispiel: trennende Menge Ausflug Wetter sonnig Gilt,? mit anderen Worten gilt: ( ) ( ) ( ) Schnitteigenschaft (mit leerem ) impliziert. Gilt? Mit anderen Worten: Gilt? Definition: Ein Graph heißt Abhängigkeitsgraph, wenn gilt: Er heißt Unabhängigkeitsgraph, wenn gilt: Ist, dann heißt der Graph perfekt. 17

19 Beispiel:»Münzen und Glocke«(Verteilung ohne perfekten Graphen) Münzwurf 1 Münzwurf 2 Glocke (wenn ) Elementarereignisse: Kopf1 Kopf2 Glocke ( ) ( ) ( ) ( ) ( ) (Wenn bekannt ist, wie sich die Glocke verhält, sind und funktional abghängig.) Es gilt, aber nicht. Versuch einen perfekten Graph zu zeichnen: C A B 18

20 Definition: Definition: Ein MARKOV-Graph (minimaler Unabhängigkeitsgraph) ist ein Unabhängigkeitsgraph, bei dem keine Kante entfernt werden kann, ohne dass die Eigenschaft verloren geht. Ein vollständiger Graph ist ein Graph, bei dem jedes Punktepaar durch eine Kante verbunden ist. Eine Clique in einem Graphen ist ein maximaler Teilgraph von G, der vollständig ist. Zum Beispiel: A B {{ } { } { } { }} D C Definition: Separatoren sind die Schnitte zwischen den Cliquen. Konstruktion von Markov-Graphen Fange mit vollständigem Graphen an. Nimm alle Kanten heraus, die unabhängige Variablenpaare bezeichnen, d. h. alle Paare mit { }. Dabei sei die Menge aller Knoten. Beispiel: Variablen { Berechne { } ( ) ( ) ( ) Das Resultat ist ein Markov-Graph ohne Kanten: 19

21 Beispiel:»Bestimmung der Markov-Graphen«Knoten: Beginn: vollständiger Graph: A B C Bei jeder Kante muss geprüft werden, ob diese dazugehört. Genauer: gilt? wenn ja, dann entfernen! : ( ) ( ) ( ) ( ) : zu zeigen ( ) ( ) ( ) ( ) ( ) ( ) 1. Schritt: ( ) 20

22 2. Schritt: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) A B C Beispiel:»Infektionen«A Direkte Ansteckung ist nur zwischen durch Kanten B D C verbundenen Individuen möglich. Definition der Wahrscheinlichkeiten daher nur auf Cliquen nötig. Cliquen: { } { } { } { } Man definiere: ( ) ( ) Daraus kann die Gesamtwahrscheinlichkeit folgendermaßen berechnet werden: ( ) ( ) ( ) { { 21

23 entsprechend für bzw.. da: Definition: Sei eine endliche Menge von Aussagenvariablen. Seien Teilmengen von mit Sei { }. { } { } { } { } { } { } Dann ist durch eine Verteilung definiert, wobei Dann heißt eine Potentialdarstellung von. Satz: Sei eine strikt positive Verteilung (d.h. alle Elementarereignisse haben ). Dann hat genau dann einen Unabhängigkeitsgraphen, wenn sich durch eine Potentialdarstellung mit Hilfe der Cliquen des Graphen darstellen lässt. Satz: Ist ein triangularisierter Unabhängigkeitsgraph zu einer Verteilung, so hat die Potentialdarstellung 22

24 Definition: Sei ein Graph. Ein Weg in ist eine Folge von Knoten, wobei für alle mit. Die Länge des Weges ist. Ist, so heißt der Weg Kreis. Definition: Sei ein Weg in. Dann heißt eine Kante mit und eine Sehne des Weges. Definition: Ein Weg (Graph) heißt triangularisiert, wenn in jedem Weg mit einer Länge von mindestens 2, eine Sehne existiert. Beispiele: B A D C Mit Sehne Dreiecke sind entstanden triangularisierter Graph A hat keine Sehne nicht triangularisiert B C E D Verfahren (1) Wähle Ordnung auf den Knoten des Graphen. B A C E D H F G Ordnung (Name, ) (2) Der Fill-in bezüglich ist so definiert: { Es gibt einen Weg von nach und alle Knoten auf diesem Weg sind in der Ordnung höher als } B A C E D F G H 23

25 Satz: Seien ein Graph und eine Ordnung auf. Dann ist ( ) triangularisiert. Ziel: Graphen mit möglichst wenig Kanten (d. h. später viel Unabhängigkeit bei den Verteilungen und daher weniger Daten zur Bestimmung der Verteilung nötig). Ziel: D. h. wenn ein triangularisierter Graph vorhanden ist, soll durch Fill-in keine zusätzliche Kante hinzukommen. Dies kann durch geeignete Wahl der Ordnung gewährleistet werden. Das bewirkt die maximal cardinality search. Schleife: Kleinster Knoten willkürlich gewählt. Bestimme unter allen Nachbarn des gegenwärtig kleinsten Knotens mit unmarkierten Nachbarn, denjenigen mit den meisten markierten Nachbarn. Dieser ist der neu einzufügende maximale Knoten. Falls es mehrere gibt, wähle willkürlich einen. 3 B 5 A C 1 4 E D 2 H 8 7 F G 6 willkürlich gewählt Satz: Ist triangularisiert und wird die Ordnung auf den Knoten durch maximal cardinality search konstruiert, dann ist der Fill-in leer,. 24

26 Triangularisierung nach MCS A 1. Wahl der Ordnung B C D E 2. Einfügen von Definition: Sei ein Graph. Der morale Graph von, wird dadurch konstruiert, dass folgende Knoten eingefügt werden. Für jeden knoten werden die Elternknoten zu einer Clique gemacht. Satz: Sei ein triangularisierter Unabhängigkeitsgraph zu einer Verteilung, so kann diese Verteilung dargestellt werden durch:. B A C E D H F G Cliquen: { } { } { } { } { } { } Separatoren: { } { } { } { } { } Nach Satz ist dann Darstellungsgewinn: Linke Seite Rechte Seite Gerichtete Graphen Definition: Ein Weg durch einen gerichteten Graphen ist eine Folge mit Für alle mit ist Ein Zyklus ist ein Weg mit. Ein DAG (Directed acyclic graph)ist ein gerichteter Graph ohne Zyklus. 25

27 Beispiel:»Holmes und Watson I«Glatte Straßenverhältnisse Holmes Unfall Watson Unfall Ist die Glätte unbekannt Ist die Glätte bekannt Unfallwahrscheinlichkeit voneinander abhängig Unfallwahrscheinlichkeit voneinander unabhängig Beispiel:»Holmes und Watson II«Watsons Garten nass W Regen R Holmes Garten nass H Gartensprenger S Erst unabhängig von. Wenn der Status von bekannt ist, werden und abhängig (nur Korrelation, keine kausale Abhängigkeit). Bayes-Netze A B C E D Eltern: { } Nachkommen von Nicht-Nachkommen von Definition: { } heißt Bayessches Netz Für alle gilt Paar aus Graphen und Wacheinlichkeitsverteilung Satz: Sei ein Bayessches Netz. Dann lässt sich die gemeinsame Verteilung wie folgt berechnen: ( ) 26

28 Satz: Sei eine Triangularisierung des moralen Graphen. Es seien die Cliquen von. Zu jedem wählen wir eine Clique mit { }. Dann sei ( ) ( ( ). Dann ist eine Potentialdarstellung von. { A } B C D E A Moraler Graph (ungerichtet) B C D E 2 B 1 A C 3 Maximum cardinality search Triangularisierung des moralen Graphen D 4 E 5 { } { } ( ) ( ) ( ) ( ) Cliquenbaum des Graphen: { } { } { } { } { } { } { } { } { } { } { } { } { } ( ) ( ) 27

29 Behauptung: Diese elf Werte reichen für die Berechnung aller Wahrscheinlichkeiten aus. ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 { } { } Konjunktion 2 { } { } { } 3 { } { } { } 28

30 Definition: Seien Teilmengen von (=Menge der Knoten) mit Dieses Mengensystem hat die (laufende Durchschnittseigenschaft) running intersection property (RIP), wenn gilt: ( ) Beispiel: ( ) Und für alle ex. mit und ( ) Satz: Bayessches Netz mit RIP. Dann gilt ( ) ( ) Beispiel: B A C E D F G H { } { } { } { } { } { } { } { } { } { } { } { } { } { } { } Problem, da nicht triangularisiert { } { } { } { } { } { } 29

31 mit triangularisiertem Graph B A C E D H F G { } { } { } { } { } { } { } { } { } { } { } { } { } { } { } { } { } { } Hilfssatz: Bezeichnungen wie oben. Dann gilt ( ) Beispiel: { } { } { } { } { } { } { } ( ) ( ) ( ) ( ) Nebenrechnung: ( ) ( ) ( ) { } ( ) ( ) ( ) 30

32 Satz: Bezeichnungen wie oben. Es sei. Das ist möglich aufgrund der RIP. Dann sei { und so ist ( ) eine Potentialdarstellung R S W H 1. Moraler Graph R S W H 2. Ordnung Einen Fill-in-Graph gibt es nicht, da der Graph triangularisiert ist 3. { } { } { } 4. { } 5. Cliquenbaum ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 31

33 Erzeugung des permanenten Cliquenbaums mit Potentialdarstellung Sei 1. Bilden den moralen Graphen von 2. Triangulation von : Bestimme mittels MCS eine (lineare) Ordnung auf den Knoten in und berechne den Fill-in-Graphen von. 3. Ordnung der Cliquen: Bestimme die Cliquen von und ordne sie nach den jeweils größten (gemäß der Ordnung ) in ihnen vorkommenden Knoten. Sei diese Ordnung. Sie erfüllt die fortlaufende Schnitteigenschaft RIP. 4. Bestimmung der Mengen und für : Bestimme für jedes ein so, dass (möglich wegen RIP). Gibt es mehrere mögliche, wähle eines von ihnen (beliebig, aber fest). wird dann Elternclique von genannt. 5. Bilde anhand der im vorigen Punkt festgelegten Eltern-Kind-Beziehungen einen Cliquenbaum. 6. Bestimme zu jedem eine Clique mit { } mit { }. 7. Definiere für ( ) 32

34 Cluster(-analyse) t LKW Limousine Sportwagen km/h Die Anzahl der Features (hier und ) entspricht auch der Anzahl an Dimensionen. Mit diesen Features können Durchschnitte berechnet und Abstände gemessen werden. Abstandsmessung: Definition: Sei eine Menge. Eine Abbildung heißt Metrik (Abstand) auf wenn gilt: Dreiecksgleichung: Fortsetzung der Thematik ab Seite 38! 33

35 Metriken allgemein Norm-Metriken 2 (1,2) 1 1 EUKLIDISCHE NORM Das ist die eigentliche EUKLIDISCHE NORM Bemerkungen: Voraussetzung: Wenn Längen gemessen werden können, dann auch Abstände.. Differenzen müssen gebildet werden können. City-Block, ( ) Einheitskreise Euklidisch, Tschebytschew, 34

36 Nominalskaliert Ausschlaggebend sind zwei Merkmale: Chaotische Metrik { Cluster repräsentiert durch Centroide Definition des Centroids für das Cluster Division definiert sind. Sonst sei willkürlich aus gewählt., falls Addition und 35

37 Typen von Algorithmen 1. bottom up Initial: Jedes Objekt ist eigenes Cluster Berechne das Centroid Gewicht des Clusters Beispiel: ( ) Suche Minimalabstand. Fasse die beiden Cluster mit diesem Minimalabstand zusammen. zu zusammengefasst:. ( ) Berechne die neuen Abstände für jedes ( ) Möglichkeiten für : 1) Normaler Mittelwert 2) 3) 4) 36

38 2. -means Verfahren Ziel: Objekte in Cluster packen. Initial: Centroide 1. Verfahren Für jedes suche das Centroid, das am dichtesten bei liegt. ist die Menge der, die am dichtesten bei liegen. Bilde zu jedem Cluster das neue Centroid und höre erst auf, wenn sich die Cluster nicht mehr verändern. 2. Verfahren Für jeden Punkt bestimme den Abstand zu den Centroiden und sieh nach, ob er im richtigen Cluster ist. Gegebenenfalls den Cluster wechseln (in den Cluster, dessen Centroid am nächsten liegt) und aufhören, wenn kein Wechsel mehr stattfinde 37

39 Clusteranalyse (Fortsetzung) Verfahren aus der deskriptiven Statistik, welches genutzt wird, wenn sehr wenig über die Daten bekannt ist. Ziel: Bildung von Klassen von Elementen mit ähnlichen Eigenschaften. Ähnlichkeit der Elemente wird über einen zu definierenden Abstand oder eine Ähnlichkeitsmatrix festgelegt. Grundlegendes Modell Gegeben Beobachtungen. Eine Gruppierung, bestehend aus Clustern, ist ein -Tupel. wobei disjunkte Teilmengen von { } mit { } ist. definiert die Indizes der Beobachtungen im -ten Cluster. Die Menge aller Gruppierungen, bestehend aus Clustern, bezeichnen wir mit. Beispiel: Beobachtungen { } { } { } Für jedes Cluster ist ein Repräsentant zu bestimmen. a) Im : Centroid (Clustermittelwert) des -ten Clusters ist die Anzahl der Beobachtungen in, oder b) Nicht im : eine Beobachtung wird als Repräsentant ausgewählt Für die Durchführung der Clusteranalyse benötigt man zu jedem Paar von Beobachtungen einen Abstand. Dieser Abstand beschreibt die Unähnlichkeit beider Beobachtungen. Die Abstände werden in der zusammengefasst. Die Distanzmatrix ist eine symmetrische Matrix, bei der auf den Hauptdiagonalen Nullen stehen. a) Beobachtungen stammen aus und sind metrisch skaliert: Abstandsbestimmung mit Hilfe einer Metrik bzw. Verallgemeinerungen. 38

40 Verschiedene Spezialfälle: 1) Euklidischer Abstand ( ) ( ) ( ) für 2) Gewichteter Euklidischer Abstand ( ) ( ) ( ) für (*) Mit heißen dann Gewichte der einzelnen Komponenten. 3) Mahalanobis-Abstand Abstand (*) mit und ist die empirische Kovarianzmatrix der Beobachtungen der Gruppierung, d.h. ( )( ) 4) City-Block-Metrik ( ) für 5) Quadrierter euklidischer Abstand ( ) für 6) Tschebytschew-Metrik ( ) für ( ) Für Einheitliche Skalierung wie in 2) bzw. 3) kann auch durch Standardisierung der Variablen erreicht werden. 39

41 b) Beobachtungen nominalskaliert Wir betrachten speziell nur Variable, die die Werte annehmen. Absolute Häufigkeiten unter den Komponenten der Vektoren und : 1) Varianz als additive, relative Distanz ( ) mit ( ) 2) Quadrierter euklidischer Abstand ( ) mit ( ) 3) Euklidischer Abstand ( ) mit ( ) 4) Musterdifferenz als multiplikative, relative Distanz ( ) mit ( ) 5) Distanzmaß von Lance and Willams ( ) mit ( ) c) Beobachtungen stammen nicht aus Werte sind so festzulegen, dass die folgenden drei Eigenschaften erfüllt sind: (1) (2) und (3) ist Repräsentant des Clusters. 40

42 Allgemeines Ziel der Clusteranalyse: Für vorgegebenes suchen wir eine Gruppierung, so dass die Summe der Distanzen in den Clustern Für, minimal wird. Bei großen Datenmengen ist die Suche nach globalem Minimum nicht realisierbar. Man begnügt sich mit einem lokalen Minimum. Als Vergleichswert kann dann die Gesamtsumme der Distanzen verwendet werden. Hierarchische Clusteranalyse Ziel: Aufbau einer Hierarchie von Gruppierungen, wobei von oben nach unten die Anzahl der Cluster wächst. Die Zahl der zu erzeugenden Cluster wird vorgegeben. Gruppierung zu Beginn Ziel jedes Schrittes Agglomerative Verfahren Jede Beobachtung bildet ein Cluster Zusammenfassen zweier Cluster Divisive Verfahren Ein Cluster, in dem alle Beobachtungen enthalten sind Aufsplittung eines Clusters in zwei neue Cluster Das Verfahren bricht ab, wenn die Zahl der Cluster erreicht ist. Agglomerative Verfahren besitzen höhere Praxisrelevanz und nur solche Verfahren werden im Weiteren betrachtet. bezeichne die Menge der Indizees der verbliebenen Cluster. Der Index des Clusters entspricht dem kleinsten Index der Beobachtungen dieses Clusters. 41

43 Algorithmus 1) belegen, { } { } { } für 2) Suche nach dem minimalen Wert der Distanzmatrix, konkret: Suche nach einem Paar, so dass { } Wird das Minimum für mehrere Paare ( für das und ggf. auch am kleinsten. ) angenommen, dann Wahl des Paares, 3) Fusion der Cluster und zum Cluster, Löschen des Clusters : { } 4) Neuberechnung der Abstände für Formel für in Abhängigkeit von entsprechend dem konkreten Verfahren 5) Neuberechnung des Gewichtes des Clusters l: 6) Falls, dann beende das Verfahren, andernfalls gehe zu 2). Es entsteht die Gruppierung. Formel für Schritt 4) bei speziellen Verfahren neu berechneter Abstand a) Nächster-Nachbar-Methode (Simple Linkage) { } Neigt zur Kontraktion von Clustern b) Entferntester-Nachbar-Methode (Complete Linkage) { } Neigt zur Dilatation (zum Auseinanderziehen) von Clustern c) Mittelwertmethode (Average Linkage) d) Methode des gewichteten Mittelwerts (Weighted Average Linkage) 42

44 weitere Verfahren nur für Daten aus und quadrierte euklidische Distanz, es werden Clusterzentren als Repräsentanten der Cluster angesehen, Neuberechnung der Distanzen daher als Distanzen zwischen den Clusterzentren e) Median-Verfahren Neues Zentrum des -ten Clusters ist der Median (ungewichteter Mittelwert) der alten Clusterzentren f) Centroid-Verfahren, wobei. Neues Zentrum des -ten Clusters ist der neue Schwerpunkt (gewichteter Mittelwert) des Clusters g) Ward-Verfahren (Minimalvarianzmethode) Führt zu einer minimalen Zunahme der Summe der Distanzen in den Clustern Das Dendrogramm stellt grafisch die Verschmelzung jeweils zweier Cluster in jedem Schritt und das Verschmelzungsniveau dar (Beispiel unten). Das Verschmelzungsniveau kann als oder als mittlere Distanz zwischen Beobachtungen des Clusters unddenen des Clusters festgelegt werden. 43

45 Beispiel: Simple-Linkage-Algorithmus für vorgegebene Distanzmatrix 1) Jedes der 5 Elemente ein Cluster: ({ } { } { } { } { }) { } { } { } { } 2) ({ } { } { } { }) { } 3) ({ } { } { }) { } 44

46 Partionierende Verfahren Algorithmus: Unterschied zu den agglomerativen Verfahren: es wird nur eine Gruppierung erzeugt. Gegebenenfalls nach der Durchführung eines partionierenden Verfahrens ein hierarchisches Verfahren durchführen, um Abhängigkeit der erhaltenen Cluster zu bestimmen. Anfangsgruppierung erforderlich eventuell durch hierarchisches Verfahren erstellen. Daten: mit. Wir behandeln nur die -means-methode nach Forgy ) Start mit einer Gruppierung 2) Bestimmung der Centroide 3) Für wird der minimale Abstand zu den Centroiden bestimmt: ( ) { ( )} und Der minimale Abstand wird für Centroid erreicht. Ist hier für das entsprechende, dann weiter mit 5). 4) Suche in 3) war erfolglos. Verfahren wird beendet und ist die gesuchte Gruppierung 5) wird dem -ten Cluster neu zugeordnet: { } { } fortsetzen mit 2). Die Bedingung in Schritt 3) ist dann erfüllt, wenn der Abstand von zu einem fremden Centroiden kleiner ist als zum eigenen Centroiden. Dann ist eine Neuzuordnung erforderlich. Das Ergebnis hängt von der Anfangsgruppierung ab. Das Verfahren kann mit verschiedenen Anfangsgruppierungen mehrfach durchgeführt werden Gruppierung mit kleinstem liefert Ergebnis. Für jeden Iterationsschritt gilt:. Damit liefert das Verfahren ein lokales Minimum von. Der -Means-Algorithmus neigt dazu, annähernd kugelförmige Cluster zu bilden. 45

47 Diskriminanzanalyse Ziel: Zuordnung von Objekten zu vorher festgelegten Gruppen Realisierung in zwei Schritten: 1) Mit Hilfe einer Lernstichprobe (Daten mit bekannter Gruppenzuordnung) wird optimale Diskriminanzfunktion ermittelt. 2) Wert der Diskriminanzfunktion für das einzuordnende Objekte liefert die gewünschte Zuordnung Anders als bei der Clusteranalyse werden die Gruppen vor der Zuordnung in Form einer Lernstichprobe vorgegeben, es ist die Verteilung der einzelnen Gruppen bekannt. Anwendungsbeispiele: Bilderkennung, Gesichtserkennung Barcode scannen Kreditwürdigkeit eines Kunden einer Bank einschätzen Herausfiltern von Spam-Mails Erkennen von Krankheiten Allgemeines Klassifikationsmodell für zwei Populationen Wir berücksichtigen hier Fehlklassifikationskosten zufälliger Vektor aus zufälliger Vektor aus zufälliger Vektor aus zur 1.Gruppe, Dichte zur 2.Gruppe, Dichte, der beobachtet wurde und zugeordnet werden soll Region der -ten Gruppe, disjunkt, Zuordnungsvorschrift: wird 1.Gruppe zugeordnet, wird 2.Gruppe zugeordnet. 46