Wissensentdeckung in Datenbanken

Transkript

1 Wissensentdeckung in Datenbanken Probabilistische Nico Piatkowski und Uwe Ligges von 32

2 Überblick Was bisher geschah... Modellklassen Verlustfunktionen Numerische Optimierung Regularisierung Überanpassung SQL, Häufige Mengen SVM, xda, Bäume,... Heute 2 von 32

3 Überblick Was bisher geschah... Modellklassen Verlustfunktionen Numerische Optimierung Regularisierung Überanpassung SQL, Häufige Mengen SVM, xda, Bäume,... Heute 2 von 32

4 Überblick Wahrscheinlichkeiten Stochastische Abhängigkeiten Graphen Intuition Notation Anwendungsbeispiele 3 von 32

5 Erinnerung: Wahrscheinlichkeiten und Klassifikation Zufallsvariable X mit diskreter Domäne X Wahrscheinlichkeit: P(X = x) [0; 1] Normalisiert: x X P(X = x) = 1 Bedingte Wahrscheinlichkeit: P(Y =y,x=x) P(Y = y X = x) = P(X=x) SVM,Log.Regr.,Entscheidungsbäume,... Klassifikation mittels diskriminativem Modell Alternative: Generatives Modell: P(Y = y, X = x) 4 von 32

6 Erinnerung: Wahrscheinlichkeiten und Klassifikation Zufallsvariable X mit diskreter Domäne X Wahrscheinlichkeit: P(X = x) [0; 1] Normalisiert: x X P(X = x) = 1 Bedingte Wahrscheinlichkeit: P(Y =y,x=x) P(Y = y X = x) = P(X=x) SVM,Log.Regr.,Entscheidungsbäume,... Klassifikation mittels diskriminativem Modell Alternative: Generatives Modell: P(Y = y, X = x) 4 von 32

7 Erinnerung: Wahrscheinlichkeiten und Klassifikation Zufallsvariable X mit diskreter Domäne X Wahrscheinlichkeit: P(X = x) [0; 1] Normalisiert: x X P(X = x) = 1 Bedingte Wahrscheinlichkeit: P(Y =y,x=x) P(Y = y X = x) = P(X=x) SVM,Log.Regr.,Entscheidungsbäume,... Klassifikation mittels diskriminativem Modell Alternative: Generatives Modell: P(Y = y, X = x) 4 von 32

8 Exkurs: Korrelation vs. Abhängigkeit Hier: Achsen sind Domänen reelwertiger Zufallsvariablen X, Y 5 von 32

9 Abhängigkeiten zwischen Zufallsvariablen X, Y sind unabhängig, falls x X, y Y P(Y = y X = x) = P(Y = y) Unabhängigkeit kann auch nur für einige x S mit S X gelten!! x S, y Y P(Y = y X = x) = P(Y = y) oder in Abhängigkeit von dritter Variable W x X, y Y P(Y = y X = x, W = 1) = P(Y = y W = 1) Frage: Wie können alle Abhängigkeiten einer hochdimensionalen Zufallsvariable kompakt dargestellt (gespeichert) werden?? 6 von 32

10 Abhängigkeiten zwischen Zufallsvariablen X, Y sind unabhängig, falls x X, y Y P(Y = y X = x) = P(Y = y) Unabhängigkeit kann auch nur für einige x S mit S X gelten!! x S, y Y P(Y = y X = x) = P(Y = y) oder in Abhängigkeit von dritter Variable W x X, y Y P(Y = y X = x, W = 1) = P(Y = y W = 1) Frage: Wie können alle Abhängigkeiten einer hochdimensionalen Zufallsvariable kompakt dargestellt (gespeichert) werden?? 6 von 32

11 Abhängigkeiten zwischen Zufallsvariablen X, Y sind unabhängig, falls x X, y Y P(Y = y X = x) = P(Y = y) Unabhängigkeit kann auch nur für einige x S mit S X gelten!! x S, y Y P(Y = y X = x) = P(Y = y) oder in Abhängigkeit von dritter Variable W x X, y Y P(Y = y X = x, W = 1) = P(Y = y W = 1) Frage: Wie können alle Abhängigkeiten einer hochdimensionalen Zufallsvariable kompakt dargestellt (gespeichert) werden?? 6 von 32

12 Abhängigkeiten zwischen Zufallsvariablen X, Y sind unabhängig, falls x X, y Y P(Y = y X = x) = P(Y = y) Unabhängigkeit kann auch nur für einige x S mit S X gelten!! x S, y Y P(Y = y X = x) = P(Y = y) oder in Abhängigkeit von dritter Variable W x X, y Y P(Y = y X = x, W = 1) = P(Y = y W = 1) Frage: Wie können alle Abhängigkeiten einer hochdimensionalen Zufallsvariable kompakt dargestellt (gespeichert) werden?? 6 von 32

13 Graphen Möglicherweise wichtigstes abstraktes Werkzeug der Informatik Erlaubt Repräsentation beliebiger Beziehungen (Relationen) zwischen beliebigen Objekten Formal spezifiziert via G = (V, E) mit Knotenmenge V und Kantenmenge E Auch Zusatzinformationen möglich wie Knoten- oder Kantengewichte, Farben,... 7 von 32

14 Graphen Möglicherweise wichtigstes abstraktes Werkzeug der Informatik Erlaubt Repräsentation beliebiger Beziehungen (Relationen) zwischen beliebigen Objekten Formal spezifiziert via G = (V, E) mit Knotenmenge V und Kantenmenge E Auch Zusatzinformationen möglich wie Knoten- oder Kantengewichte, Farben,... 7 von 32

15 Probabilistische Graph G = (V, E), V -dimensionale Zufallsvariable X Indexierung der Zufallsvariable mittels Knoten(mengen) Kodiere Liste aller bedingten Unabhängigkeiten als Nachbarschaften in einem Graph Kantenmenge E entspricht bedingten Unabhängigkeiten gemäß Markov Eigenschaft: X v X V N (v) {v} X N (v) = x N (v) Für alle Knotenpaare v, u V gilt: Gibt es einen Pfad durch G auf dem alle Knoten unbeobachtet sind, so sind X v und X u nicht unabhängig (X v / X u ). 8 von 32

16 Probabilistische Graph G = (V, E), V -dimensionale Zufallsvariable X Indexierung der Zufallsvariable mittels Knoten(mengen) Kodiere Liste aller bedingten Unabhängigkeiten als Nachbarschaften in einem Graph Kantenmenge E entspricht bedingten Unabhängigkeiten gemäß Markov Eigenschaft: X v X V N (v) {v} X N (v) = x N (v) Für alle Knotenpaare v, u V gilt: Gibt es einen Pfad durch G auf dem alle Knoten unbeobachtet sind, so sind X v und X u nicht unabhängig (X v / X u ). 8 von 32

17 Probabilistische Graph G = (V, E), V -dimensionale Zufallsvariable X Indexierung der Zufallsvariable mittels Knoten(mengen) Kodiere Liste aller bedingten Unabhängigkeiten als Nachbarschaften in einem Graph Kantenmenge E entspricht bedingten Unabhängigkeiten gemäß Markov Eigenschaft: X v X V N (v) {v} X N (v) = x N (v) Für alle Knotenpaare v, u V gilt: Gibt es einen Pfad durch G auf dem alle Knoten unbeobachtet sind, so sind X v und X u nicht unabhängig (X v / X u ). 8 von 32

18 Probabilistische (II) Graph G = (V, E), V -dimensionale Zufallsvariable X Fakt: Wahrscheinlichkeits(dichte) faktorisiert über den (maximalen) Cliquen des Graph P(X = x) = 1 Z ψ C (x C ) C C(G) A V ist Clique ( {v, u} A {v, u} E) Z ist Summe über alle möglichen Werte von X Jedes ψ C X C R + mit diskretem Zustandsraum X C ist darstellbar als exp( β C, φ C ( ) ) Dichten der Form P(X = x) = 1 Z C C(G) exp( β C, φ C ( ) ) gehören zu einer Exponentialfamilie 9 von 32

19 Probabilistische (II) Graph G = (V, E), V -dimensionale Zufallsvariable X Fakt: Wahrscheinlichkeits(dichte) faktorisiert über den (maximalen) Cliquen des Graph P(X = x) = 1 Z ψ C (x C ) C C(G) A V ist Clique ( {v, u} A {v, u} E) Z ist Summe über alle möglichen Werte von X Jedes ψ C X C R + mit diskretem Zustandsraum X C ist darstellbar als exp( β C, φ C ( ) ) Dichten der Form P(X = x) = 1 Z C C(G) exp( β C, φ C ( ) ) gehören zu einer Exponentialfamilie 9 von 32

20 Probabilistische (II) Graph G = (V, E), V -dimensionale Zufallsvariable X Fakt: Wahrscheinlichkeits(dichte) faktorisiert über den (maximalen) Cliquen des Graph P(X = x) = 1 Z ψ C (x C ) C C(G) A V ist Clique ( {v, u} A {v, u} E) Z ist Summe über alle möglichen Werte von X Jedes ψ C X C R + mit diskretem Zustandsraum X C ist darstellbar als exp( β C, φ C ( ) ) Dichten der Form P(X = x) = 1 Z C C(G) exp( β C, φ C ( ) ) gehören zu einer Exponentialfamilie 9 von 32

21 Parameterlernen in Graphischen Modellen Gegeben Datensatz D Verlustfunktion: Negative mittlere log-likelihood l(β, D) = 1 log P β (x) D x D = 1 D = 1 D = ( 1 D x D x D log 1 Z log 1 Z β, φ(x) ) + x D C C(G) ψ C (x C ) C C(G) exp( β C, φ C (x C ) ) log Z Komplexität: #P-vollständig 10 von 32

22 Parameterlernen in Graphischen Modellen Gegeben Datensatz D Verlustfunktion: Negative mittlere log-likelihood l(β, D) = 1 log P β (x) D x D = 1 D = 1 D = ( 1 D x D x D log 1 Z log 1 Z β, φ(x) ) + x D C C(G) ψ C (x C ) C C(G) exp( β C, φ C (x C ) ) log Z Komplexität: #P-vollständig 10 von 32

23 Parameterlernen in Graphischen Modellen Gegeben Datensatz D Verlustfunktion: Negative mittlere log-likelihood l(β, D) = 1 log P β (x) D x D = 1 D = 1 D = ( 1 D x D x D log 1 Z log 1 Z β, φ(x) ) + x D C C(G) ψ C (x C ) C C(G) exp( β C, φ C (x C ) ) log Z Komplexität: #P-vollständig 10 von 32

24 Parameterlernen in Graphischen Modellen Gegeben Datensatz D Verlustfunktion: Negative mittlere log-likelihood l(β, D) = 1 log P β (x) D x D = 1 D = 1 D = ( 1 D x D x D log 1 Z log 1 Z β, φ(x) ) + x D C C(G) ψ C (x C ) C C(G) exp( β C, φ C (x C ) ) log Z Komplexität: #P-vollständig 10 von 32

25 Exkurs: Allgemeine Vorgehensweise bei Graphischen Modellen Gegeben Datensatz D 1 Modellselektion; [Hier: Wähle graphische Struktur (und φ)] 2 Aufteilen der Daten in Trainings und Testdaten 3 Lerne Modellparameter β auf den Trainingsdaten D (z.b. mit Gradientenabstieg) 4 Vorhersage beliebiger Variablen X U X V U auf Testdaten und berechne die Vorhersagegenauigkeit 5 Wiederhole Schritte 2-4 so oft wie möglich und berechne mittleren Vorhersagefehler 6 Entscheide ob Schritt 1 gut genug war.. 11 von 32

26 Exkurs: Allgemeine Vorgehensweise bei Graphischen Modellen Gegeben Datensatz D 1 Modellselektion; [Hier: Wähle graphische Struktur (und φ)] 2 Aufteilen der Daten in Trainings und Testdaten 3 Lerne Modellparameter β auf den Trainingsdaten D (z.b. mit Gradientenabstieg) 4 Vorhersage beliebiger Variablen X U X V U auf Testdaten und berechne die Vorhersagegenauigkeit 5 Wiederhole Schritte 2-4 so oft wie möglich und berechne mittleren Vorhersagefehler 6 Entscheide ob Schritt 1 gut genug war.. 11 von 32

27 Exkurs: Allgemeine Vorgehensweise bei Graphischen Modellen Gegeben Datensatz D 1 Modellselektion; [Hier: Wähle graphische Struktur (und φ)] 2 Aufteilen der Daten in Trainings und Testdaten 3 Lerne Modellparameter β auf den Trainingsdaten D (z.b. mit Gradientenabstieg) 4 Vorhersage beliebiger Variablen X U X V U auf Testdaten und berechne die Vorhersagegenauigkeit 5 Wiederhole Schritte 2-4 so oft wie möglich und berechne mittleren Vorhersagefehler 6 Entscheide ob Schritt 1 gut genug war.. 11 von 32

28 Exkurs: Allgemeine Vorgehensweise bei Graphischen Modellen Gegeben Datensatz D 1 Modellselektion; [Hier: Wähle graphische Struktur (und φ)] 2 Aufteilen der Daten in Trainings und Testdaten 3 Lerne Modellparameter β auf den Trainingsdaten D (z.b. mit Gradientenabstieg) 4 Vorhersage beliebiger Variablen X U X V U auf Testdaten und berechne die Vorhersagegenauigkeit 5 Wiederhole Schritte 2-4 so oft wie möglich und berechne mittleren Vorhersagefehler 6 Entscheide ob Schritt 1 gut genug war.. 11 von 32

29 Exkurs: Allgemeine Vorgehensweise bei Graphischen Modellen Gegeben Datensatz D 1 Modellselektion; [Hier: Wähle graphische Struktur (und φ)] 2 Aufteilen der Daten in Trainings und Testdaten 3 Lerne Modellparameter β auf den Trainingsdaten D (z.b. mit Gradientenabstieg) 4 Vorhersage beliebiger Variablen X U X V U auf Testdaten und berechne die Vorhersagegenauigkeit 5 Wiederhole Schritte 2-4 so oft wie möglich und berechne mittleren Vorhersagefehler 6 Entscheide ob Schritt 1 gut genug war.. 11 von 32

30 Exkurs: Allgemeine Vorgehensweise bei Graphischen Modellen Gegeben Datensatz D 1 Modellselektion; [Hier: Wähle graphische Struktur (und φ)] 2 Aufteilen der Daten in Trainings und Testdaten 3 Lerne Modellparameter β auf den Trainingsdaten D (z.b. mit Gradientenabstieg) 4 Vorhersage beliebiger Variablen X U X V U auf Testdaten und berechne die Vorhersagegenauigkeit 5 Wiederhole Schritte 2-4 so oft wie möglich und berechne mittleren Vorhersagefehler 6 Entscheide ob Schritt 1 gut genug war.. 11 von 32

31 Nutzung des Mobilfunknetzes Angemeldete Mobilfunkzelle ist dem Mobiltelefon bekannt. Idee: Modell der Zellnutzung über den Tag. Jeder Knoten t V entspricht der aktuellen Zelle zur Zeit t Zeitliche Auflösung ist fest, z.b.: 15min. Insgesamt: V = T = :00 00:15 00:15 00:30 00:30 00:45 00:45 01:00 01:00 01:15 23:30 23:45 23:45 00:00 12 von 32

32 Nutzung des Mobilfunknetzes Angemeldete Mobilfunkzelle ist dem Mobiltelefon bekannt. Idee: Modell der Zellnutzung über den Tag. Jeder Knoten t V entspricht der aktuellen Zelle zur Zeit t Zeitliche Auflösung ist fest, z.b.: 15min. Insgesamt: V = T = 96 t=1 t=2 t=3 t=4 t=5 t=t 1 t=t von 32

33 Netzwerkzellen (idealisiert) cell -1 cell -2 cell von 32

34 Netzwerkzellen (geschätzt) 15 von 32

35 Suffiziente Statistik für Netzwerkzellen Daten werden fortlaufend aufgezeichnet aber nur die suffiziente Statistik φ (D) muss gespeichert werden! Für Knoten t V und Kanten (i, i + 1) E: φ t (x) = φ (i,i+1) (x) = 1 {Zelle 1 Zeit t}... 1 {Zelle M Zeit t} 1 {Zelle 1 Zeit i} 1 {Zelle 1 Zeit i+1} 1 {Zelle 1 Zeit i} 1 {Zelle 2 Zeit i+1} 1 {Zelle M Zeit i} 1 {Zelle M Zeit i+1} 16 von 32

36 φ (D) Eine Farbe pro Zelle Minute des Tages 17 von 32

37 P (X t ) Eine Farbe pro Zelle Minute des Tages 18 von 32

38 P (X t X = grüne Zelle ) Eine Farbe pro Zelle Minute des Tages 19 von 32

39 Vorhersage Ergebnisse Accuracy [%] SVM MRF, time User A User B User C SVM hat mehr Daten : P (X, Y ) = P (Y X) P (X) MRF Klassifikation 20 von 32

40 Ressourcennutzung I Auf dem Gerät: Wiederholte Verbindungsversuche verbrauchen viel Energie Vorhersage der Netzverfügbarkeit verwenden um Datentransfers zu verschieben Beim Provider: Vorhersage der Gesamtauslastung von Mobilfunkzellen E [#Nutzer in Zelle i um Zeit t] = p u (x t = i) u Nutzer Vorhersage der Anzahl von Nutzern die im nächsten Zeitpunkt in eine bestimmte Zelle wechseln werden 21 von 32

41 Ressourcennutzung I Auf dem Gerät: Wiederholte Verbindungsversuche verbrauchen viel Energie Vorhersage der Netzverfügbarkeit verwenden um Datentransfers zu verschieben Beim Provider: Vorhersage der Gesamtauslastung von Mobilfunkzellen E [#Nutzer in Zelle i um Zeit t] = p u (x t = i) u Nutzer Vorhersage der Anzahl von Nutzern die im nächsten Zeitpunkt in eine bestimmte Zelle wechseln werden 21 von 32

42 Apps Vorhersage der App Nutzung ermöglicht: Verbesserte Ressourcennutzung Verbesserte Vorhersage verbleibender Ressourcen Installierte Apps sind immer bekannt t T Jede App läuft oder nicht (binärer Zustandsraum) Graph wird aus Daten bestimmt (nächste Woche) 22 von 32

43 Apps über die Zeit 23 von 32

44 App Modell 98.0% 96.0% 94.0% 92.0% 90.0% 88.0% 86.0% 84.0% 22:00 21:00 20:00 19:00 18:00 17:00 16:00 15:00 14:00 13:00 12:00 11:00 10:00 09:00 08:00 07:00 06:00 05:00 04:00 03:00 02:00 01:00 00:00 24 von 32

45 Smarte Ressourcennutzung Apps bestimmten den Ressourcenverbrauch (Batterie, Netzwerk) Vorhersage: offline-apps genutzt Trenne Internetverbindung oder Wechsel zu Netz mit geringerer Bandbreite Batterieverbrauch einzelner Apps geschätzt per Regression auf Gesamtverbrauch Vorhersage der App-Nutzung kann dann für eine verbessert Batterielaufzeitprognose verwendet werden (auch: E-Auto, Roboter, Drohnen, usw.) E [Batterie Nutzung zur Zeit t] = App P (App läuft um t) Batterie (App) 25 von 32

46 Smarte Ressourcennutzung Apps bestimmten den Ressourcenverbrauch (Batterie, Netzwerk) Vorhersage: offline-apps genutzt Trenne Internetverbindung oder Wechsel zu Netz mit geringerer Bandbreite Batterieverbrauch einzelner Apps geschätzt per Regression auf Gesamtverbrauch Vorhersage der App-Nutzung kann dann für eine verbessert Batterielaufzeitprognose verwendet werden (auch: E-Auto, Roboter, Drohnen, usw.) E [Batterie Nutzung zur Zeit t] = App P (App läuft um t) Batterie (App) 25 von 32

47 Smarte Geräte 26 von 32

48 Smarte Geräte 27 von 32

49 Straßennetze I Daten: Sensoren messen Verkehrsfluss und Verkehrsdichte Verstehen und verbessern des aktuellen Straßennetzes Unterstützung für Routenplanung Autobahn.NRW 28 von 32

50 Straßennetze II Daten: Sensoren messen Verkehrsfluss und Verkehrsdichte Verstehen und verbessern des aktuellen Straßennetzes Unterstützung für Routenplanung Stadt Dublin 29 von 32

51 Straßennetze III Daten: Sensoren messen Verkehrsfluss und Verkehrsdichte Verstehen und verbessern des aktuellen Straßennetzes Unterstützung für Routenplanung Idee: Graphisches Modell der Straßennutzung Graphische Struktur gegeben durch Straßennetz(!) G 0 Straßengraph wird für jeden Zeitpunkt repliziert G = G 1 G 2 G T Zustandsraum gegeben durch Auslastung der Straße 30 von 32

52 Güte STRF MRF 4NN 3NN 2NN 1NN RAND 31 von 32

53 Verbesserte Nutzung des Straßennetzes Durch Stau werden jedes Jahr Millionen EURO umgewandelt in Tonnen von CO2 Optimierung des Straßennetzes durch Minimierung der Stauwahrscheinlichkeit Verhindern von Staus durch frühe Vorhersagen und automatische Umleitungen Verwendung von Stauwahrscheinlichkeiten in Navigationssystemen. 32 von 32