Data Mining und Maschinelles Lernen

Transkript

1 Daa Mining und Maschinelles Lernen Aleander Hinneburg WS / Inhalsverzeichnis Daa Mining Einführung. Beispiel für Probabilisisches Modell Daa Mining Prozeß Beispiel: Polynom-Kurvenanpassung i

2 Daa Mining Einführung Daa Mining Einführung / Ziele und Moivaion Daa Mining is das Endecken von unbekannem, nüzlichem, ineressanem und versehbarem Wissen, Hypohesen, Faken in großen Daenmengen Daen wurden of nich für Daa Mining gesammel Daensammlungen wachsen sändig Geschiche Turning daa grave yards ino gold mines. Beginn mi Daenbank-Workshops Sei eigene Konferenzen, ACM SIGKDD, IEEE ICDM, SIAM SDM, European ECML/PKDD, PA-KDD Sei eigene Gesellschafen ACM SIG-KDD, GI-FG KDML Sei Konvergenz mi Maschinellem Lernen (NIPS, ICML), Informaion Rerieval (SIGIR, ECIR) und Compuaional Linguisics (ACL) Daa Mining Einführung / Möglichkeien und Unmöglichkeien Ziel: Modell der Wirklichkei Aren von Modellen Informaik-Modelle Eniy-Relaionship (ER) Modell, Relaionales Schema, Objekorierenieres (OO) Modell Daa Mining und Maschinelles Lernen Hidden Markov-Modell, Gaussisches Mischmodell Mehoden Versecke, nich-beobachee Variablen Trennung von relevanen Informaionen vom Rauschen Kompression: Probabilisische Modelle, Kodierungsheorie. Beispiel für Probabilisisches Modell Beispielmodell: Mischen von Früchen Probabilisisches Modell is ein Zufallsprozess, der die Erzeugung von Daen erklär. Zufallsprozess mi vorgegebenen Kisen p(f B): erzeuge einen Sack mi einer Früchemischung, der M Früche enhäl. Würfle Mischungsvereilung für Kisen: p n (B) Für alle M Früche wiederhole Wähle Kise k ensprechend p n (B) Ziehe Fruch aus Kise k nach p(f B = k) und lege sie (symbolisch) in den zu füllenenden Früchesack und wieder zurück in die Kise. Erzeuge auf diese Ar N Säcke mi Früchen

3 Geben seien N Säcke mi Früchen Frage: wie sind die Parameer der Vereilungen für die Kisen: p n (B) und p(f B)? Anwendung: Te-Mining, finde Themen in Dokumenen Beispiel: Synheische Daen Eperimen mi vorab bekannen Themen Wore sind Käschen mi den Nummern bis Themen sind Quer- und Längssreifen Worhäufigkeisvereilungen der Themen Grausufen Beispiel: Synheische Daen Generieren eines Dokumenes Würfle zufällige Themenmischung θ Für alle Wore des Dokumenes Würfle Nummer des Themas z ensprechend θ Würfle Wor w ensprechend z und Themenvereilung Beispiele für Worhäufigkeisvereilungen in Dokumenen Beispiel: Synheische Daen Laen Dirichle Allocaion (LDA) lern Themen ieraiv Themen, synheisch generiere Dokumene

4 Beispiel: Wikipedia-Dokumene LDA-Modell mi Themen, Wikipedia-Arikel Ordne Wörer eines Themas abseigend nach Worhäufigkei company marke business year produc governmen producion indusry service counry price sell economy large rade economic food make wine frui produce plan oil ea call mea dish include produc sugar milk drink waer park boa fishing lake fish beach camp ouris popular summer rail area foo resor visior film series show characer play make episode movie good release feaure elevision sar include sory role heory work human idea erm sudy view science concep form world argue social philosophy influence sociey sysem compuer user sofware nework daum signal design device version include suppor file machine applicaion ime mah number funcion code se space define give call elemen language problem follow poin algorihm form Beispiel: Wikipedia-Dokumene Dokumene mi sarkem Bezug zum Thema Nahrungsmiel Wore food make wine frui produce plan oil ea call mea dish include produc sugar milk drink Dokumene Hamburger Cassava Fish and chips Breakfas Tea Korean cuisine Moonshine French fries Caberne Sauvignon French cuisine Beer Chocolae Vegearianism Turkish cuisine Bread Soybean. Daa Mining Prozeß Daa Mining Prozeß hp:// hp://

5 Anwendungsaufgabe Aufgabe gelöß? Modellbildung Modellevaluaion Modellinerpreaion Daenauswahl und Vorverarbeiung Anwendungsgebiee Welche Effeke werden mi Gen-Epressionsdaen gemessen? Krebsforschung Wie kann man Akienkurse und Kennzahlen aus hisorischen Daen vorhersagen? Wirschaf Wie kann man Filme/Bücher/Musik Anwendern auf der Basis ihrer bisherigen Bewerungen empfehlen? Nefli-Price Welche Werbung pass zu gegebenen Inhalen von Web-Seien? Web-Suchmaschinen Wie kann man Indikaoren finden, die um Krankheien zu diagnosizieren? Diagnose von Herzkrankheien Beziehung zu Daa Mining Alle genannen Anwendungen können durch Wahrscheinlichkeisvereilungen von beobacheen und versecken Zufallsvariablen modellier werden Anwendung von probabilisischer Modellierung Formulierung von Fragen über Daen Enwicklung einer passenden Verbundvereilung Wie kann die Verbundvereilung berechne werden? Enwicklung von effizienen Algorihmen um Vereilung näherungsweise zu berechnen Typische Fragen: Sei (X, X, X ) ein Vekor von Zufallsvariablen und (,, ) ein konkree Realisierung Was is die Wahrscheinlichkei einer konkreen Realisierung? p(x =, X =, X =, ) Was is die impliziere Randvereilung? p(x, X ) Wie sehen bedinge Vereilungen aus, die berechne werden können? p(x, X X ) Was is der Erwarungswer einer Funkion von Zufallsvariablen? E[f(X, X )]

6 Kompleiäsprobleme und Kursziele Speichern und Berechnen der Verbundvereilung sind nich rivial Beispiel Angenommen Verbundvereilung beschreib binäre Variablen Naive Repräsenaion der Verbundvereilung muss Elemene speichern ( Terabye sind Bye) Ziele der Vorlesung Allgemeine effiziene Algorihmen um Verbundvereilungen handhabbar zu machen Kompake Repäsenaion durch Unabhängigkeisannahmen Approimaive Algorihmen Anwendung: Te-Mining Typen von Anwendungsaufgaben / Beschreiben und Reduzieren Was seck in den Daen? Beispiele Kundensegemenierung Konfekionsgrößen von Kleidung Themen in Dokumensammlungen Typen von Anwendungsaufgaben / Klassifizieren Gegeben Beispiele, lerne Mehode Objeke in Klassen/Kaegorien einzuordnen Beispiele Regression Treue Kunden / Wechselkunden Spam / normale s Auos Gegeben Beispiele, lerne Mehode einem Objek einen numerischen Wer zuzuweisen Beispiele Noen geben, Prüfungen beweren Bewerungen im Web

7 Typen von Anwendungsaufgaben / Vorhersage Gegeben eine Zeireihe, seze die Reihe sinnvoll for Beispiele Weervorhersage Anzahl den Anwesenden in der Vorlesung beim nächsen Termin Wichigkei eines Themas in den Veröffenlichungen im nächsen Jahr Zusammenhänge/Beziehungen/Kausaliäen Lerne aus den Daen: Regeln, Nezwerke, Themen/Konzepe Beispiele Kunden, die Buch X kaufen, kaufen auch Buch Y. Daenauswahl und Vorverarbeiung Daen müssen repräsenaiv sein Daen sollen kein unnöiges, leich enfernbares Rauschen enhalen Daen müssen informaiv sein Hilfsmiel Daenbanken und Daa Warehouses Normalisierungssandards, Redukion der Variabiliä Einfache Analysen und Wichungsschemaa Definiion von beschreibenden Aribuen (Feaure-Eracion) Modellbildung Wahl der Modellklasse, Aufbau der Pipeline Einsellen und Tunen der Parameer Wahl der Trainingsdaen Wahl der Trainingsmehoden Wahl der Iniialisierung des Trainings Modellevaluaion Schäzung des Modellfehler Pass das Modell überhaup auf die Daen? Konfidenzinervalle des Modellfehlers Vergleich mi Grundwahrhei (Goldsandard) Sysemaische Mehoden zur effekiven Ausnuzung der Daen Kreuz-Validierung

8 Leave-One-Ou Boosrap Permuaionsess Tes gegen Null-Hypohese Rolle des Advocaus Diaboli Modellinerpreaion Semanische Deuung des Modells Plausibiliäsvergleich der gelernen Ergebnisse mi Hinergrundwissen Analyse von Fehlschlägen Visualisierung, Verdichen von Informaionen Ehische Fragen Werden durch die Ergebnisse Reche verlez Persönlichkeisreche Urheber- und Daenschuzreche Verrauliche Informaionen Privacy Preserving Daa Mining Definiion neuer Begriffe Eche Beiräge in der Mehodik Soziale Implikaionen Missbrauchsszenarien. Beispiel: Polynom-Kurvenanpassung Probleme beim Daa Mining Wie sehen Daa Mining Modelle aus? Worin beseh das Lernen? Was sind die Schwierigkeien bei der Wahl der Parameer? Was is Overfiing? Einfluß der Modellkompleiä Einfluß der Daenmenge Regulierung der Kompleiä von Modellen beim Lernen Beispiel: Polynom-Kurvenanpassung Keine großen heoreischen Voraussezungen Viele Probleme lassen sich anschaulich erklären

9 Beispielproblem: Polynom-Kurvenanpassung Problemsellung: Gegeben numerische Eingabe, ordne eine numerische Ausgabe y zu. Beispieldaen: N Beobachungen = (,..., N ) T (geschrieben als Spalenvekor) mi zugehörigen Ausgabeweren = (,..., N ) T. Problemyp: Synheische Daen für Lernspiel n, n =,..., N gleichvereil in [, ]. berechne durch sin(π) plus Gaußvereiles Rauschen Ziel Modell: neuen Eingaben ˆ Ausgaben ˆ zuordnen. Synheische Daen für Lernbeispiel N = Ein- und Ausgaben Daen sind blaue Kreise Grüne Kurve sin(π) Modellklasse Modellklasse der Polynome vom Grad M Polynomfunkion der Form M is Ordnung des Polynoms Koeffizienen w = (w, w,..., w M ) T y(, w) = w + w + w +... w M M = M w j j () Polynomfunkion y(, w) is eine nichlineare Funkion bezüglich, aber eine lineare Funkion bezüglich der einzelnen Koeffizienen w j. j=

10 Fehlerfunkion Anpassen der Parameer des Modelles, die Koeffizienen w an Trainingsdaen Opimierungsproblem: minimiere Fehlerfunkion E( w) = Nichnegaive Größe N [y( n, w) n ] () n= Null, wenn Polynom alle Trainingspunke berühr Alernaive Fehlerfunkionen? Wie kann man ein Opimierungsproblem lösen? Geomerische Inerpreaion der Fehlerfunkion E( w) is Summe der quadrieren grünen Längeneinheien n y( n, w) n Ideen zur Lösung des Opimierungsproblems Fehlerfunkion is quadraisch in Koeffizienen w j Abbleiungen nach w j sind linear in w j. Abbleiung Null sezen Lösung eines Gleichungssysems Eindeuige Lösung w (abhängig von gegebenen Daen) Polynom y(, w ) gib die zugehörige Funkion (Modell) Modell-Auswahl Offene Frage Wie wird der Grad des Polynoms M gewähl? Beliebige Were für M =,,... sind möglich Erser Ansaz Probiere Were M =,,,

11 Ergebnisse / M = M = Visueller Eindruck: schleches Modell Ergebnisse / M = M = Visueller Eindruck: schleches Modell Ergebnisse / M = M = Visueller Eindruck: paß ganz gu, wenn auch nich zu % Ergebnisse / M = M =

12 Visueller Eindruck: paß zu %, Polynom sieh selsam aus Overfiing Evaluaion des Modells Modell zum Zuordnen von Ausgaben zu neuen Eingaben Tesdaen mi Daenpunken (gleiche synheische Erzeugung) Evaluaion Berechne für jeden Wer von M die Parameer w Berechne Fehlerfunkion E( w ) jeweils für Trainings- und Tesdaen Normalisierung des Fehlers, Roo-Mean-Square Fehler (RMS) Trainings- und Tesfehler RMS für Trainings- und Tesdaen Training Tes E RMS = E( w )/N () ERMS. M M liefer sinnvolle Ergebnisse Modell für M = verallgemeiner nich gu Diskussion / Ergebnisse sind parado Modell M = enhäl alle anderen Modelle als Spezialfall M = solle mindesens genauso gu abschneiden wie M = Annahme: sin(π) is beses Modell Taylor-Reihe von sin = n= enhäl alle höheren Poenzen ( ) n (n + )! n+ =! + für alle! also solle die Qualiä mi seigendem M besser werden

13 Diskussion / Inspekion der Lösungen für verschiedene M M = M = M = M = w.... w -... w w.. w -. w. w -. w. w -. w. Koeffizienen haben mi seigendem M größere Skalen Für M = wird das Rauschen migelern Kosen: kompliziere Oszillaionen zwischen den Daenpunken Abhängigkei von der Daenmenge Größere Daenmenge, weniger Overfiing Je mehr Daen, deso kompleere Modelle können gelern werden Heurisik Anzahl der Daenpunke solle größer als f Anzahl der Parameer sein, f = bis Mehr Daenpunke sind meis euer in Beschaffung Rechenkapaziä Abhängigkei von der Daenmenge Abnahme des Overfiing-Problems mi größeren Daenmengen N = Minimiere Fehlerfunkion () mi M =

14 Abhängigkei von der Daenmenge Abnahme des Overfiing-Problems mi größeren Daenmengen N = Minimiere Fehlerfunkion () mi M = Alernaiver Umgang mi Overfiing Abhängigkei der Modellkompleiä von Größe der Daenmenge is unbefriedigend Modellkompleiä solle dem Problem angepaß sein Bisheriger Lernansaz ensprich Maimum-Likelihood-Schäzer Bayessche Schäzer vermeiden Overfiing durch Regulierungsechniken Mean Poserior, MP Maimum Poserior, MAP Regulierung von Modellparameern Ziel Vermeide Lösungen mi großen Absoluweren (führ zu Oszillaionen) Idee Einführen eines Sraferms in die Fehlerfunkion Besraf große Absoluwere Ẽ( w) = w = w T w = w + w w M N [y( n, w) n ] + λ w () n= In Abhängigkei von λ is der zweie Term groß, wenn die Absoluwere der Parameer groß sind Lösungen mi Oszillaionen bekommen größeren Fehler zugewiesen Regulierung, Beispiele M =, ln λ =, ( λ =, ) ln λ =

15 Regulierung, Beispiele M =, ln λ =, ( λ = ) ln λ = Regulierung, Beispiele M =, ln λ =, ( λ = ) M = Is Modell ohne Regulierung Inspekion der Koeffizienen M = und Daenpunke ln λ = ln λ = ln λ = w... w.. -. w w w w.. -. w w w w... Regulierung reduzier Absoluwere der Parameer Parameer λ konrollier diesen Effek Einfluß der Regulierung auf Fehler M =, Daenpunke Trainingsdaen

16 Training Tes ERMS. ln λ Verfahren zum Lernen des Modells Einfache prakische Besimmung der Modellkompleiä Pariioniere Daen in Trainings-, Validierungs- und Tesdaen Nuze Trainingsdaen um Parameer w zu besimmen Nuze Validierungsdaen um Modellkompleiä zu besimmen (M oder λ) Nuze Tesdaen um Modellqualiä zu besimmen Relaiv verschwenderischer Umgang mi Daen, späer sparsamere Verfahren Bisher alles ad hoc per Inuiion eingeführ, späer alles auf solider Grundlage von Wahrscheinlichkeiheorie