Lineare Klassifikatoren (Kernel)

Transkript

1 Universität Potsdam Institut für Informatik Lehrstuhl Lineare Klassifikatoren (Kernel) Blaine Nelson, Christoph Sawade, Tobias Scheffer

2 Inhalt Kernel für strukturierte Datenräume String Kernel, Graph Kernel Hauptidee: Kernel-Lernen trennt Daten & Lernen Lernalgorithmus wird entwickelt, um eine gute Trennung der Klassen in einem Featureraum zu erreichen. Kernel-Funktion wird entwickelt, um paarweise Ähnlichkeiten zwischen Daten zu beschreiben. Diese entspricht dem Skalarprodukt im Featureraum. Diese Kernel Abstraktion ermöglicht es, auf nicht notwendigerweise numerischen Daten zu lernen. 2

3 Review: Kernelfunktionen Die Kernelfunktion k x, x = φ x T φ x berechnet das Produkt der Feature-Mappings zweier Instanzen. Kann oft ohne explizite Repräsentation der φ x berechnet werden. Beispiel: polynomieller Kernel: k poly x i, x j = x i T x j + 1 p Unendlich-dimensionale Feature-Mappings möglich Beispiel: RBF-Kernel: k RBF x i, x j = e γ x i x j 2 Für jede positiv-definite Kernelfunktion gibt es ein Feature-Mapping φ x, so dass k x, x = φ x T φ x. Für gegebene Kernel-Matrix liefert die Mercer Map ein Feature-Mapping. 3

4 Review: Polynomieller Kernel Kernel: k poly x i, x j = x i T x j + 1 p, 2D-Eingabe, p = 2. k poly x i, x j = x i T x j = x i1 x i2 x j1 x j2 + 1 = x 2 i1 x 2 j1 + x 2 i2 x j2 2 = x i1 x j1 + x i2 x j x i1 x j1 x i2 x j2 + 2x i1 x j1 + 2x i2 x j x j1 2 x j2 = 2 x i1 2 x i2 2x i1 x i2 2x i1 2x i2 1 φ x i T Alle Polynome 2. Grades über Eingabeattribute = x i x i 2x i 1 T x j x j 2x j 1 2x j1 x j2 2x j1 2x j2 1 φ x j 4

5 STRING KERNEL 5

6 Strings (Zeichenketten): Motivation Strings sind ein häufig auftretender nichtnumerischer Datentyp. Dokumente und s sind Strings. DNS und Protein-Sequenzen sind Strings. 6

7 String Kernels String eine Folge von Zeichen, die aus einem Alphabet Σ gebildet wird: s = s 1 s 2 s n mit s = n. Die Menge aller Strings ist Σ = s i:j = s i s i+1 s j. Σ n n N. Teilfolge: Sei i 0,1 n. Dann enthalte s i jene Buchstaben des Wortes s, für die der entsprechende Eintrag von i gleich 1 ist: zb, falls s= abcd dann s 1,0,0,1 = ad Ein String-Kernel ist eine reellwertige Funktion auf Σ Σ. Dieser Kernel muss positiv definit sein. Wir werden Kernel mit Hilfe des Featureraums der Substrings/Teilfolge entwerfen. 7

8 Bag-of-Words Kernel Für Textdaten nehmen wir als Featureraum die folgende Menge: X = 0,1 S ; dabei bezeichne S die Menge aller auftretenden Wörter. Dear Beneficiary, your address has been picked online in this years MICROSOFT CONSUMER AWARD as a Winner of One Hundred and Fifty Five Thousand Pounds Sterling Attribute Wort 1 kommt vor? Wort m kommt vor? m 1,000,000 Instanz x Address Beneficiary Friend Sterling Science Bag-of-Words Kernel berechnet die Anzahl der gemeinsamen Wörter zwischen zwei Texten. Kann dies effizient berechnet werden? 8

9 Spectrum Kernel In diesem Fall betrachten wir den Featureraum der alle möglichen Zeichenfolgen der Länge p enthält, die sich mit dem Alphabet Σ bilden lassen. φ s u ist dann die Anzahl wie oft u Σ p in dem String s enthalten ist. Der p-spectrum Kernel ist dann das Ergebnis κ p s, t = φ s u T φ t u u Σ p φ aa ab ba bb K aaab bbab aaaa baab aaab bbab aaaa baab aaab bbab aaaa baab

10 Spectrum Kernel Berechnung Der p-spectrum Kernel kann berechnet werden, ohne das explizite Feature-Mapping zu berechnen: s p+1 t p+1 κ p s, t = I s i:i+p 1 = t j:j+p 1 i=1 j=1 Diese Berechnung ist in O p s t. Mit Hilfe der Trie-Datenstruktur reduziert sich die Laufzeit zu O p max s, t. Natürlich können wir hier auch (gewichtete) Summen verschiedener solcher Kernel berechnen. 10

11 All-Subsequences Kernel Eine Teilfolge ist eine geordnete Teilmenge eines Strings Jede Teilfolge eines Strings s der Länge n wird eindeutig durch ein i 0,1 n indiziert. Die Teilfolge, die i entspricht, sei wie oben s i. Betrachten wir den Featureraum, der alle Zeichenfolgen der Alphabets Σ enthält. φ s u ist die Anzahl wie oft u Σ p als Teilfolge des Strings s auftritt. Man erhält den All-Subsequences Kernel als Ergebnis κ p s, t = φ s u T φ t u u Σ 11

12 All-Subsequences Kernel Der All-Subsequences Kernel ist gegeben durch κ p s, t = φ s u T φ t u u Σ wobei φ s u die Anzahl ist, wie oft u Σ p als Teilfolge des Strings s auftritt. φ a b aa ab ba bb aaa aab aba abb baa bab bba bbb aab bab bba Problem: es gibt min k in s. s k, Σk Teilfolgen der Länge 12

13 All-Subsequences Kernel Wie können wir die exponentielle Größe des expliziten Featureraum vermeiden? Der All-Subsequences Kernel lässt sich schreiben als κ s, t = I s i = t j i,j Bei dem Vergleich der Zeichenfolgen treten dabei zwei Möglichkeiten auf: Das letzte Zeichen von s wird nicht im Vergleich verwendet. Das letzte Zeichen von s wird im Vergleich verwendet. κ sσ, t = I s i = t j i,j κ s,t + I s i = u j u t=uσv i,j κ s,u 13

14 All-Subsequences Kernel κ s, t # gemeinsamer Teilfolgen zwischen s und t Ignoriere das letzte Zeichen von s Finde alle k, so dass t k = s n. # gemeinsamer Teilfolgen zwischen s 1:n 1 und t # gemeinsamer Teilfolgen zwischen s 1:n 1 und t 1:k 1 κ s 1:n 1, t + k:t k =s n κ s 1:n 1, t 1:k 1 14

15 All-Subsequences Kernel Basierend auf dieser Zerlegung, erhalten wir eine Rekursion mit den folgenden Startbedingungen: κ s, = 1 und κ, s = 1 für alle s und Rekursionsformeln κ s, t = κ s 1:n 1, t + κ s 1:n 1, t 1:k 1 k:t k =s n κ s, t = κ s, t 1:m 1 + κ s 1:k 1, t 1:m 1 k:s k =t m 1. Term entspricht dem Fall: ignorieren des letzten Zeichens 2. Term entspricht mögliche Auftreten des letzten Zeichens in dem anderen String Naive Rekursion ist noch exponentiell dynamische Programmierung 15

16 Lösung mit dynamischem Programmieren Anfangszustand: entspricht nur 1 Teilfolge m a c h i n e l 1 e 1 a 1 r 1 n 1 i 1 n 1 g 1 16

17 Lösung mit dynamischem Programmieren l stimmt mit keinem Zeichen in machine überein m a c h i n e l e 1 a 1 r 1 n 1 i 1 n 1 g 1 17

18 Lösung mit dynamischem Programmieren e stimmt mit dem letzten Zeichen in machine überein e m a c h i n e l e a 1 r 1 n 1 i 1 n 1 g 1 18

19 Lösung mit dynamischem Programmieren a stimmt mit dem 2. Zeichen in machine überein a m a c h i n e l e a r 1 n 1 i 1 n 1 g 1 19

20 Lösung mit dynamischem Programmieren r stimmt mit keinem Zeichen in machine überein m a c h i n e l e a r n 1 i 1 n 1 g 1 20

21 Lösung mit dynamischem Programmieren n stimmt mit dem 6. Zeichen in machine überein n & an m a c h i n e l e a r n i 1 n 1 g 1 21

22 Lösung mit dynamischem Programmieren i stimmt mit dem 5. Zeichen in machine überein i & ai m a c h i n e l e a r n i n 1 g 1 22

23 Lösung mit dynamischem Programmieren n stimmt mit dem 6. Zeichen in machine überein n in an & ain m a c h i n e l e a r n i n g 1 23

24 Lösung mit dynamischem Programmieren g stimmt mit keinem Zeichen in machine überein m a c h i n e l e a r n i n g

25 Lösung mit dynamischem Programmieren m a c h i n e l e a r n i n g Gesamtzahl der gemeinsamen Teilfolgen: 11 25

26 All-Subsequences Kernel Mit Caching von Teilergebnissen läuft diese dynamische Programmierlösung in O s t. AllSubseqKernel( s, t ) FOR j = 0: t : DP[0,j] = 1; FOR i = 1: s : last = 0; cache[0]=0; FOR k = 1: t : cache[k] = cache[last]; IF t k = s i THEN cache[k] += DP[i-1,k-1]; last = k; FOR k = 0: t : DP[i,k] = DP[i-1,k] + cache[k]; RETURN DP[ s, t ]; Hinweis: Strings sind 1-indiziert und DP & cache haben einen 0-Index für. 26

27 String Kernel Wie haben einige String Kernel gesehen, die effizient berechnet werden können (mit Hilfe der dynamischen Programmierung, Tries, etc.): Bag-of-Words Kernel p-spectrum Kernel All-Subsequences Kernel Viele andere Varianten existieren (Teilfolgen mit fester Länge, sprunggewichtete Teilfolgen, etc.) Wahl des Kernels hängt von dem anwendungsspezifischen Ähnlichkeitsbegriff ab. Kernel Normalisierung / Zentrierung sind üblich. 27

28 GRAPH KERNEL 28

29 Graphen: Motivation Graphen werden häufig verwendet um Objekte und ihre Beziehung zu einander zu modellieren: Bio-Informatik: Molekülbeziehungen Internet, soziale Netzwerke Zentrale Fragen: Wie ähnlich sind zwei Graphen? Wie ähnlich sind zwei Knoten innerhalb eines Graphen? 29

30 Betrachten wir eine Menge von Webseiten, deren Links den Kanten in einem Graphen entsprechen. Ein Kernel auf den Knoten des Graphen ist nützlich für das Lernen auf den verschiedenen Webseiten. Ein Kernel auf ganzen Graphen ist nützlich, um Komponenten des Internets zu vergleichen (zb. Domänen) 30 Graph Kernel: Beispiel

31 Graph Kernel: Beispiel Betrachten wir eine Menge von verschiedenen Stoffwechselwegen (Sequenzen von Interaktionen zwischen Molekülen) Ein Knoten-Kernel ist nützlich um die Ähnlichkeit verschiedener Moleküle zu messen. Ein Graph-Kernel ist ein nützlich um die Ähnlichkeit verschiedener Stoffwechselwege zu bestimmen. 31

32 Graphen: Definition Ein Graph G = V, E besteht aus einer Menge von Knoten v 1,, v n V, einer Menge von Kanten E V V. Datenstruktur zur Repräsentation von Graphen: Adjazenzmatrix: A = a ij, a i,j=1 ij = I v i, v j E n Adjazenzliste Inzidenzmatrix v 1 v 3 v 2 v 4 G 1 = V 1, E 1 V 1 = v 1,, v 4 A 1 = E 1 = v 1, v 1, v 1, v 2, v 2, v 3, v 4, v

33 Ähnlichkeit zwischen Graphen Zentrale Frage: Wie ähnlich sind sich zwei Graphen? 1. Möglichkeit: Zählen von Isomorphismen zwischen (Teil-) Graphen. v 1 v 2 v a v b v 3 v 5 v 4 v c v d v e G 1 = V 1, E 1 G 2 = V 2, E 2 33

34 Isomorphie von Graphen Isomorphismus: Zwei Graphen G 1 = V 1, E 1 & G 2 = V 2, E 2 sind isomorph, wenn eine bijektive Abbildung existiert, so dass f V 1 V 2 v i, v j E 1 f v i, f v j E 2 v 1 v 2 v a v b v 3 v 5 v 4 v c v d v e G 1 = V 1, E 1 G 2 = V 2, E 2 34

35 Isomorphie von Graphen Isomorphismus: Zwei Graphen G 1 = V 1, E 1 & G 2 = V 2, E 2 sind isomorph, wenn NP-hard! eine bijektive Abbildung existiert, so dass f V 1 V 2 v i, v j E 1 f v i, f v j E 2 v 1 v 2 v a v b v 3 v 5 v 4 v c v d v e G 1 = V 1, E 1 G 2 = V 2, E 2 35

36 Ähnlichkeit zwischen Graphen Zentrale Frage: Wie ähnlich sind sich zwei Graphen? 2. Möglichkeit: Zähle Anzahl gemeinsamer Wege in den Graphen. v 1 v 2 v a v b v 3 v 5 v 4 v c v d v e G 1 = V 1, E 1 G 2 = V 2, E 2 36

37 Gemeinsame Wege in Graphen Anzahl der Wege von einem Knoten zu jedem anderen der Länge 0 ist gleich der Anzahl der Knoten. v 1 v 3 v 1 v 3 v 2 v 4 v 2 v 4 G 1 = V 1, E 1 37

38 Gemeinsame Wege in Graphen Anzahl der Wege von einem Knoten zu jedem anderen der Länge 1 sind durch die Adjanzenzmatrix gegeben. 1 v 1 v 3 v 2 v 4 G 1 = V 1, E 1 Von v 1 v 2 A 1 = v 3 v v 1 v 2 v 3 v 4 Nach 38

39 Gemeinsame Wege in Graphen Anzahl der Wege von einem Knoten zu jedem anderen der Länge k sind durch die k-te Potenz der Adjanzenzmatrix gegeben. 1 v 1 v 3 v 2 v 4 G 1 = V 1, E 1 Von v 1 A 2 v 2 1 = v 3 v v 1 v 2 v 3 v 4 Nach 39

40 Gemeinsame Wege in Graphen Anzahl der Wege von einem Knoten zu jedem anderen der Länge k sind durch die k-te Potenz der Adjanzenzmatrix gegeben. Beweis? k 1 v 1 v 3 v 2 v 4 G 1 = V 1, E 1 A 1 k = Von v 1 v 2 v 3 v v 1 v 2 v 3 v 4 Nach k > 2 40

41 Gemeinsame Wege in Graphen Anzahl der Wege von einem Knoten zu jedem anderen der Länge k sind durch die k-te Potenz der Adjanzenzmatrix gegeben. k 1 v 1 v 3 v 2 v 4 G 1 = V 1, E 1 Von v 1 A k v 2 1 = v 3 v v 1 v 2 v 3 v 4 Nach k > 2 n Anzahl der Wege der Länge k: i,j=1 A k ij = 1 T A k 1 41

42 Gemeinsame Wege in Graphen Gemeinsame Wege sind durch Produkt-Graphen gegeben: G = V, E V = V 1 V 2 E = v, v, w, w v, w E 1 v, w E 2 a a1 a2 b 1 b1 b2 c 2 c1 c2 G 1 G 2 G 42

43 Ähnlichkeit zwischen Graphen Ähnlichkeit zwischen Graphen: Anzahl gemeinsamer Wege in den Graphen. a b c 1 2 a1 b1 c1 G 1 G 2 G a2 b2 c2 Von a1 a2 A 0 b1 = b2 c1 c a1 a2 b1 b2 c1 c2 Nach CP 0 = n i,j=1 A 0 ij = 6 43

44 Ähnlichkeit zwischen Graphen Ähnlichkeit zwischen Graphen: Anzahl gemeinsamer Wege in den Graphen. a b c a1 b1 c1 G 1 G 2 G a2 b2 c2 Von a1 a2 b1 A = b2 c1 c a1 a2 b1 b2 c1 c2 Nach CP 1 = CP 0 + n i,j=1 A 1 ij = = 12 44

45 Ähnlichkeit zwischen Graphen a b c Ähnlichkeit zwischen Graphen: Anzahl gemeinsamer Wege in den Graphen a1 b1 G 1 G 2 G c1 a2 b2 c2 Von a1 a2 A 2 b1 = b2 c1 c a1 a2 b1 b2 c1 c2 Nach CP 2 = CP 1 + n i,j=1 A 2 ij = = 16 45

46 Ähnlichkeit zwischen Graphen Ähnlichkeit zwischen Graphen: Anzahl gemeinsamer Wege in den Graphen. a b c G G 2 a1 b1 c1 G a2 b2 c2 Von a1 a2 A 3 b1 = b2 c1 c a1 a2 b1 b2 c1 c2 Nach CP 3 = CP 2 + n i,j=1 A 3 ij = = 16 46

47 Ähnlichkeit zwischen Graphen Ähnlichkeit zwischen Graphen: Anzahl gemeinsamer Wege in den Graphen. a b c G G 2 a1 b1 c1 G a2 b2 c2 CP = A k ij n k=0 i,j=1 Von a1 a2 A k b1 = b2 c1 c2 = a1 a2 b1 b2 c1 c2 Nach k > 2 47

48 Ähnlichkeit zwischen Graphen Ähnlichkeit zwischen Graphen: Anzahl gemeinsamer Wege in den Graphen. a b c G 1 Bei Zyklen, kann es unendlich viele Wege geben! 1 2 G 2 L n CP L = A k ij k=0 i,j=1 a1 b1 c1 G a2 b2 c2 Von a1 a2 A k b1 = b2 c1 c2 = 3 2 L L k 1 k 1 k a1 a2 b1 b2 c1 c2 Nach k > 2 48

49 Ähnlichkeit zwischen Graphen Ähnlichkeit zwischen Graphen: Anzahl gemeinsamer Wege in den Graphen. Bei Zyklen, kann es unendlich viele Wege geben! Einfluss von langen Pfaden heruntergewichten. Random-Walk Kernel k G 1, G 2 = k G 1, G 2 = n 1 λ k k A V 1 V 2 k=0 i,j=1 n 1 λ k V 1 V 2 k! k=0 i,j=1 A k ij ij = 1T I λa 1 1 V 1 V 2 = 1T exp λa 1 V 1 V 2 Kernel können mittels Sylvester Gleichungen in O n 3 berechnet werden. 49

50 Ähnlichkeit zwischen Knoten Ähnlichkeit zwischen Graphen: Gewichtete Anzahl gemeinsamer Wege in den Graphen. Annahme: Knoten sind ähnlich, wenn sie durch viele Wege verbunden sind. Random-Walk Kernel k v i, v j = λ k A k k v i, v j = k=1 k=1 λ k k! A k ij ij = I λa 1 = exp λa ij ij 50

51 Weitere Graph-Kernel Kürzeste-Wege Kernel Ein kürzester Weg zwischen allen Paaren von Knoten kann mit dem Floyd-Warshall-Algorithmus in O V 3 berechnet werden. Wir vergleichen dann alle Paare von kürzesten Wegen zwischen zwei Graphen in der Zeit O V 1 2 V 2 2. Teilbaum Kernel Idee: Benutze X = 0,1 S als Featureraum; wobei S die Menge aller verschiedener Bäume ist. Der Kernel kann für eine feste Höhe rekursiv berechnet werden. Größe Baume werden durch ihn runtergewichtet. 51

52 Zusammenfassung - strukturierte Kernel Kernelfunktionen sind ein Maß der Ähnlichkeit, um nicht-numerische Daten vergleichen zu können: String Kernel Sie zählen die Anzahl der gemeinsamen Teilzeichenfolgen zwischen 2 Strings. Graph Kernel Sie verwenden gemeinsame Strukturen zwischen Graphen als Basis für ihren Featureraum: Wege Gemeinsame-Wege Kernel, Random-Walk Kernel, Kürzeste-Wege Kernel Teilbäume Teilbaum Kernel Kernels sind auch auf andere Strukturen (zb. Bäume, Bilder,...) definiert Der Kernel wird je nach Anwendung ausgewählt. 52