Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen. Tobias Scheffer Michael Brückner

Transkript

1 Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Tobias Scheffer Michael Brückner

2 Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Übung: Mo 10:00-11: S18. Vorlesung: Mo 12:00-13: S18. Ausweichtermin für ausgefallene Veranstaltungen: Di 10:00-11: S19. 2

3 Organisation Webseite. Kalender. Vorlesungs- und Übungstermine. Blog: Ihre Fragen, Kommentare. Folien: Am Tag nach der Vorlesung im Netz. 3

4 Organisation Übungsaufgaben: Am Tag nach der Vorlesung im Netz. Werden in der darauffolgenden Übung besprochen. Sie können für einzelne Aufgaben votieren. Sie müssen für 2/3 der Aufgaben des Semesters votieren, um die Prüfung abzulegen. Sie rechnen votierte Aufgaben vor. Mündliche Prüfung am Ende des Semesters. 4

5 Literatur Chris Bishop: Pattern Recognition and Machine Learning. 30 Exemplare für Bibliothek bestellt. 5

6 Literatur 6 Eingescannte Kapitel.

7 Literatur 7

8 Maschinelles Lernen 2?! s v 8 = = 1 2 g gt t Umgebung Lern-Algorithmus Daten Modell

9 Maschinelles Lernen und Data Mining Große Datenbank Defekte bestimmter Gene beeinträchtigen Zellstoffwechselprozesse. Lern-Algorithmus In Ländern in denen im Winter Salz gestreut wird häufen sich Defekte der neuen Lichtmaschine. Bestimmte Muster in der Kommunikation deuten auf Hackerangriffe auf Server hin. 9

10 Maschinelles Lernen und Data Mining Es gibt eine indirekte Verbindung zwischen Parkinson und Viagra, die noch nie explizit untersucht wurde. Text-Archiv 30 Millionen Formulierungen treten in Spam häufiger auf als in Nicht-Spam Die Suchmaschinenanfragen von T. deuten darauf hin, dass er sich ein Auto kaufen will. Vielleicht interessiert in Werbung für Autos mehr als für Fahrräder. 10

11 Maschinelles Lernen und Data Mining 11

12 Maschinelles Lernen und Data Mining 12

13 Anwendungen: Modellierung von Risiken Kredit-Risiken, Versicherungs-Risiken. 13

14 Methoden: Entscheidungsbäume 14

15 Methoden: Entscheidungsbäume Einfach, effektiv, effizient. Schön interpretierbare Regeln. Liefert Klassifikation und Begründung dafür. Skalierbare Algorithmen für große Datenbanken. Klassifikation und Regression. 15

16 Anwendungen: Cross-/Upselling Entdecken von Mustern in Datenbanken. Welche Produkte ins Sortiment und wohin stellen? 16

17 Anwendungen: Empfehlungen Nutzer-Item-Empfehlungen. Zentrales Element vieler Geschäftsmodelle. 17

18 Anwendungen: Empfehlungen Netflix Prize: $ % Verbesserung gegenüber aktuellem Modell. 18

19 Anwendungen: Empfehlungen 19 Long-Tail-Produkte. Mass Customization.

20 Methoden: Matrix-Faktorisierung Finde latente Faktoren μ i so dass: x 1 x 2 x 3 x 4 Alice * Bob * *** Carol *** *** * David ** *** Eddie * Frank *** Affinität von Carol zu Merkmal μ i. μ 1 μ 2 μ 3 x 1 x 2 x 3 x 4 Alice σ1 μ 1 Bob σ 2 μ 2 Carol σ 3 μ 3 David Eddie Frank Gewicht von μ 2. Latente Merkmale μ i. Stärke von Merkmal μ 2 in Item x 3. Lernalgorithmus: fülle Matrizen mit Merkmalen, die Trainingsdaten möglichst dut rekonstruieren. Tracenorm-Regularisierung. 20

21 Anwendungen: Spam, Phishing, Angriffe Klassifikationsprobleme mit Gegenspieler. Gegenspieler verändert Verhalten in Reaktion auf gelernte Modelle. Maschinelles Lernen + Spieltheorie. 21

22 Anwendungen: Fraud, Intrusion Detection Fraud Detection: erkennen betrügerischer Transaktionen. 22

23 Anwendungen: Gesundheit Vorhersage: Medikament gegen gegebene Virus- Version wirksam? Vorhersage: Krankheitsverlauf in Abhängigkeit von Behandlungsparametern. 23

24 Anwendungen: Mustererkennung 24 Z.B. Handschrifterkennung.

25 Anwendungen: Mustererkennung 25 Z.B. Luftbild-/Radarbilder.

26 Anwendungen: natürliche Sprache Vorhersage, überwachtes Lernen. Textklassifikation. Informationsextraktion. Wortarterkennung, Parsen. Übersetzung. Unüberwachte Modellierung von Textsammlungen. Welche Dokumente gehören zusammen? Welche Themen gibt es? Wie entwickelt sich eine Dokumentensammlung? 26

27 Methoden: Kernel-Methoden Familie von Methoden für diskriminatives Lernen. Klassifikation, Verarbeitung von Sequenzen (Text), Bäumen (Parsen), Graphen (Web). y 1 y 2 y 3 y 4 Π t Φ(y t,y t+1) = exp { i w i tφ i(y t,y t+1) }. x 1 x 2 x 3 x 4 Π t Φ(x t,y t ) = exp { i w i t φ i (x t,y t ) }. Curiosity kills the cat min ½ w w C ( i ξ i + C u i γ i ξ i ) s.t. w T (φ(x i,y i ) φ (x i,y)) 1 - ξ i y y i i=1,,n ξ i 0 i=1,,n 27

28 Streifzug: Kernel-Methoden Familie von Methoden für diskriminatives Lernen. Klassifikation, Verarbeitung von Sequenzen (Text), Bäumen (Parsen), Graphen (Web). Beste bekannte Methoden für y 1 y 2 y 3 y 4 Π t Φ(y t,y t+1) = exp { i w i tφ i(y t,y t+1) }. x 1 viele x 2 Mustererkennungsaufgaben. x 3 x 4 Π t Φ(x t,y t ) = exp { i w i t φ i (x t,y t ) }. Curiosity kills the cat Parsieren, Eigennamenerkennung, Textklassifikation. min ½ w w C ( i ξ i + C u i γ i ξ i ) s.t. w T (φ(x i,y i ) φ (x i,y)) 1 - ξ i y y i i=1,,n ξ i 0 i=1,,n 28

29 Streifzug: Statistische Modelle Bayessche Statistik: Vorwissen + Beobachtungen Modell, dass verbleibende Ungewissheit charakterisiert. Sauberes, probabilistisches Modell. 29

30 Streifzug: Statistische Modelle Bayessche Statistik: Vorwissen + Beobachtungen Modell, dass verbleibende Ungewissheit charakterisiert. Sauberes, probabilistisches Modell. Flexibel, in extrem vielen Gebieten einsetzbar. Sprachverarbeitung, Übersetzung, Roboterlokalisierung, Elegante Modelle, schöne Algorithmen. Chinese Restaurant Processes. Dirichlet-Prozesse, Gaußsche Prozesse. Gibbs Sampling. 30

31 Wir stellen ein Studentische Mitarbeiter Gern im Zusammenhang mit Studien-/Diplomarbeit. Bitte sprechen Sie uns an. Wissenschaftliche Mitarbeiter, Promotionsstipendiaten. z.t. Drittmmittelprojekten mit Industriepartnern. Schreiben Sie am besten eine Diplomarbeit bei uns. 31