Euklidische Distanzmatrizen. Andrei Grecu

Transkript

1 Euklidische Distanzmatrizen Andrei Grecu

2 Übersicht Motivation Definition und Problemstellung Algo 1: Semidefinite Programmierung Algo 2: Multidimensional Scaling Algo 3: Spring Embedder Algo 4: Genetischer Algorithmus Wiederholung

3 Motivation Molecular Conformation Problem Moleküle können nicht fotografiert werden Distanzen zwischen Atomen gemessen Nicht alle Distanzen messbar Wie schaut Molekül wirklich aus? Aus Distanzen Modell berechnen

4 Motivation Visualisierung von Dissimilarities Gegeben: gegenseitige Unterschiede Gesucht: Darstellung in 2d Kuh Pferd Katze Kuh Pferd Kuh Katze Katze Pferd

5 Definition Euklidische Distanzmatrix (EDM) D = d 2 ij ( ) ist eine EDM Genau dann, wenn gilt 2 ij i xj d = x 2 2 Wobei xi, i = 1,.., n Punkte aus r

6 Definition D ist genau dann eine EDM wenn das System lösbar ist und gilt Dx = e xi 0 x mit unbekannter Vektor.

7 Eigenschaften Diagonale Elemente sind 0 Symmetrisch Erfüllt Dreiecksungleichung

8 Probleme Nicht immer alle Elemente definiert. Daten nicht vorhanden, oder nicht messbar. Siehe Molecular Conformation Problem ?? 3 3? 0?? 3 1 0

9 Ansatz für Lösung Nullelemente in Diagonal einfügen Symmetrieeigenschaft ausnutzen Was geschieht jedoch mit Rest? ?? 3 3? 0?? ? 3 3?

10 Aufgaben Füllen der Unbekannten Elemente Semidefinite Programming Finden einer Darstellung in 2 Dimensionen Multidimensional Scaling Klassisches MDS Spring Embedder (+EDM füllen) Genetischer Algorithmus (+EDM füllen)

11 Semidefinite Programmierung Semidefinite Programmierung Erweiterung der Linearen Programmierung (LP) LP ist Sonderfall von Semidefiniter P. Viele Eigenschaften von LP auch für Semidefinite P.

12 Lineare Programmierung Lineare Funktion minimieren/maximieren unter linearen Beschränkungen min subject to T a x Bx 0 Es existieren bereits viele gute Algorithmen, wie z.b Simplex

13 Semidefinite Programmierung Nichtlineare Funktion von Matrizen minimieren/maximieren unter Beschränkung, dass Lösungsmatrix positiv semidefinit ist min f ( D) subject to B Es gibt gute Algorithmen wie Primal-Dual Interior Point Method. 0

14 Semidefinite Programmierung Positiv Semidefinit x xtdx 0 wobei beliebiger Vektor mit Einträgen ungleich 0

15 Visualisierung Matrix ist nun gefüllt mit Semidefiniter Programmierung Auffindung der Punkte, die Matrix erzeugen Visualisierung in 2d = auffinden eines Embeddings in 2d Lösung mit Multidimensional Scaling

16 Dimensionen Wenn EDM aus NxN Elemente, dann Embedding maximal N-1 Dimensionen. EDM kann weniger Dimensionen als Zeilen haben, denn Punkte die EDM erzeugten können weniger Dimensionen haben. Minimale Dimension wo EDM exakt darstellbar heißt minimales Embedding

17 Komplexität Auffinden vom minimalen Embedding ist NP schwer. Auffüllen von EDM ist ungewiss. In Sonderfällen garantierte polynomielle Laufzeit.

18 Komplexität Beweis: minimales Embedding ist NPschwer Subset Sum Problem Ist bekannt als NP-schwer Führe Subset Sum auf spezielles Embedding in 1 Dimension zurück Polynomieller Algorithmus löst Embedding löst Subset Sum polynomiell. Widerspruch

19 Komplexität Subset Sum Problem i i C j C Finde Subset sodass Summen gleich Interpretiere Elemente x C = Entsprechen Distanzen In linke Summe Distanzen nach links x j x, x i j

20 Komplexität In rechte Summe Distanzen nach rechts Löst spezielles Embedding Jeder Punkt hat Distanzen zu 2 Nachbarn (Kette) Eine Distanz = 0 (Anfangspunkt steht unter Endpunkt) ist nicht im enthalten C C Neues Problem: Finde sodass x x = i i C j C j 0

21 Komplexität Beispiel S = { } 1, 2, 2, 4, 3

22 Komplexität Lösung Für jede Kantenlänge vom Ursprung weg muss eine Kantenlänge wieder zurück, damit Pfad sich schließt. C = { 1, 2, 3 } S C = { 2, 4 }

23 Komplexität Polynomielles Algorithmus, dass minimum spezielles Embedding löst, löst auch Subset Sum Problem polynomiell Widerspruch

24 Multidimensional Scaling Klassisches MDS Berechnet erzeugende Punkte exakt in N Dimensionen beste Projektion in weniger Dimensionen Komplexität 3 ON ( )

25 Multidimensional Scaling Projektion auf principal Axis Jede Achse wird so gelegt, dass projizierte Punkte am weitesten auseinander liegen (maximale Varianz) Jede Achse liegt normal auf allen anderen Achsen georndet nach Varianz

26 Multidimensional Scaling Beispiel

27 Multidimensional Scaling Algorithmische Details Bringe in zerlegbarer Form, sodass Zerlege D D D = XX Rekonstruiere p wobei p 1,..., N Anzahl der gewünschten Dimensionen X T

28 Multidimensional Scaling D in zerlegbare Form bringen Konstruiere mit Zentriere mit 2 T ij ( xi xj) ( xi xj) 1 2 A aij = d 2 ij d = D = HAH 1 T H = I 11 H N N =

29 Multidimensional Scaling Nun gilt d = ( x x) ( x x) 2 T ij i j Wobei (Mittelwert) Wir definieren Somit erhalten wir Nun ist zerlegbar in Da x 1 N xi N i = 1 = x i = ( xi x) 2 T d ij = x i x j D D = XX T X = ( x, x,..., x ) 1 2 N T

30 Multidimensional Scaling Zerlegung von D Mittels Projektion Eigendecomposition V D = Wobei Matrix mit Eigenvektoren, diagonale Matrix mit Eigenwerten Da erhalten wir Für p-dimensionen VΛV T Λ ½ D = XX X T = X V = Λ ½ p p p V Λ

31 Multidimensional Scaling Für Beschreibung/Implementierung der Eigendecomposition siehe Numerical Recipes (Buch) CLAPACK (open source C library) Probleme von klassischen MDS Beste Projektion jedoch nicht beste Approximation MDS ist linear, Embedding Problem nicht

32 Neue Problemstellung Umwandlung in Graphen Interpretation als Adjazenzmatrix Knotenpositionen entsprechen den Punkten, die EDM generieren. Einträge in der Matrix = Kantenlänge. Keine Kante für unspezifizierte Einträge.

33 Spring Embedder Spring Embedder Knoten Kugeln Kanten Federn (Springs) Ruhelänge Feder = gewünschte Distanz Wenn nicht in Ruhelage - Federkraft

34 Spring Embedder Algorithmus System wird losgelassen Jeder Knoten wird in Richtung verschoben wo Summe der Federkräfte am geringsten. Iterativ berechnet

35 Spring Embedder Konvergenz Wenn keine Aktivität Lösung gefunden Lösung nicht immer globales Optimum Lokale Minima möglich

36 Spring Embedder Wenn alle Federn in Ruhezustand: Es existiert ein Embedding in der benutzten Dimension Algorithmus garantiert jedoch nicht globale Optima Es können viele Iterationen notwendig werden bis Konvergenz

37 Spring Embedder Lösungsgüte hängt von Dichte des Graphen ab SP SP+SSAB

38 Spring Embedder Verbrauchte Zeit hängt auch von Dichte ab SP SP+SSAB

39 Spring Embedder Verbesserung Zuerst werden Richtung für jeden Knoten berechnet. Zum Schluss wird jeder Knoten um eine bestimmte Schrittweite in Richtung verschoben. Schrittweite hängt von Richtungsänderung ab. Verbessert Laufzeit nicht Qualität

40 Spring Embedder Schrittweite Für jede Dimension Schrittweite einzeln. Falls gleiche Richtung wie vorher Schrittweite erhöhen Sonst Schrittweite verkleinern

41 Genetischer Algorithmus Genetischer Algorithmus Individuen - Lösungen Fitness Abweichung von optimaler Lösung Selektion Wählt beste Individuen Mutation Lösungen der Individuen werden verändert Vermehrung

42 Genetischer Algorithmus Endresultat Wenn nach einiger Zeit keine besseren Individuen erzeugt werden Wenn optimale Lösung gefunden Lösungsgüte hängt von Anzahl der Individuen ab je mehr desto besser

43 Vergleich + Spring Embedder liefert schnell gute Lösungen - Probleme von lokalen Minima + Genetischer Algorithmus hat weniger lokale Minima - Langsam

44 Molecular Conformation Von einen Molekül sind Distanzen zwischen Atomen bekannt Entspricht einer partiellen EDM Problem: die exakte Position der Atome im 3d Raum zu finden Entspricht EDM completion und graph realization Problem

45 Visualisierung von Dissimilarity Matrizen Stellt Beziehungen zwischen Entitäten her Beispiel Verkehr zwischen Personen Elementweise quadrierte Dissimilarity Matrizen sind partielle EDMs Problem: Hochdimensional Visualisierung 2-3 dimensional

46 Visualisierung von Dissimilarity Matrizen Entspricht EDM completion und graph realization mit minimum Embedding dimension fix auf 3 Meist nicht exakt lösbar Approximationen

47 Programme AGD Graph Drawing Library Spring Embedder XGobi Visualisierung von Daten in höheren Dimensionen XGvis Multidimensional Scaling

48 Wiederholung Motivation Euklidische Distanzmatrizen - Definition - Probleme Spring Embedder Genetischer Algorithmus Anwendungen näher Beschrieben