Ähnlichkeits- und Distanzmaße

Transkript

1 Ähnlichkeits- und Distanzmaße Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Ähnlichkeits- und Distanzmaße Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

2 Ähnlichkeits- und Distanzmaße Wichtige Maße für metrische Variablen Euklidische Distanz Manhattan (City-Block) Distanz Korrelation als Ähnlichkeitsmaß Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Ähnlichkeits- und Distanzmaße Der Fall q=1 führt auf die City-Block-Distanz (auch Manhattan- Distanz) und kann als robuste Version der Euklidischen Distanz interpretiert werden Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

3 Ähnlichkeits- und Distanzmaße Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Ähnlichkeits- und Distanzmaße Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

4 Zeitreihenbeispiel Biologie Messungen der Genexpression zum Beispiel an (aufeinander folgenden) Tagen Statistik Jedes Gen ist codiert durch einen Vektor der Länge. steep up: x 1 = (,, 5, 6) up: x = (/, /, 5/, 6/) down: x 3 = (6/, /, 3/, /) change: x = (.5, 3.5,.5, 1) Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Zeitreihenbeispiel Euklidischer Abstand Der Abstand zwischen zwei Vektoren ist die Wurzel der Summe der quadrierten Differenzen über alle Koordinaten. d ( x 1, x ) = ( - / ) + ( - / ) + E ( 5-5/ + 6 6/ = ) ( - ) 3 3/.598 steep up: x 1 = (,, 5, 6) up: x = (/, /, 5/, 6/) down: x 3 = (6/, /, 3/, /) change: x = (.5, 3.5,.5, 1) Matrix der paarweisen Abstände Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

5 Zeitreihenbeispiel Manhattan Abstand Der Abstand zwischen zwei Vektoren ist die Summe der absoluten (unquadrierten) Differenzen über alle Koordinaten dm( x1, x ) = -/ + - / + 5-5/ + 6-6/ = 51/ = steep up: x 1 = (,, 5, 6) up: x = (/, /, 5/, 6/) down: x 3 = (6/, /, 3/, /) change: x = (.5, 3.5,.5, 1) Matrix der paarweisen Abstände Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Zeitreihenbeispiel Korrelations-Abstand Der Abstand zwischen zwei Vektoren ist 1-ρ (oder 1- ρ ), wobei ρ die Pearson-Korrelation der beiden Vektoren ist d ( - )( - 16) ( - )( - 16) ( - )( - 16) ( - )( - 16) ( x 1, x C ) = 1 - ( - ) + ( - ) + ( 5- ) + ( 6- ) ( - ) + ( - ) + ( - ) + ( - ) steep up: x 1 = (,, 5, 6) up: x = (/, /, 5/, 6/) down: x 3 = (6/, /, 3/, /) change: x = (.5, 3.5,.5, 1) Matrix der paarweisen Abstände Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

6 Zeitreihenbeispiel Euklidisch Manhattan Korrelation Vergleich: Alle Abstände sind normalisiert auf das Intervall [,1] und dann gerundet. steep up up down change steep up up down change Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Clusteralgorithmen Im Folgenden betrachten wir nur agglomerative Verfahren, da einfacher und in Programmpaketen die Regel Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

7 Clusteralgorithmen Hierarchische Clusterverfahren benötigen Ähnlichkeits-/ Distanzmaße nicht nur für Paare von Objekten, sondern auch zwischen Gruppen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Clusteralgorithmen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

8 Clusteralgorithmen Bezeichnungen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Clusteralgorithmen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

9 Clusteralgorithmen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Clusteralgorithmen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

10 Clusteralgorithmen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Clusteralgorithmen Beschreibung des Dendrogramms Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

11 Clusteralgorithmen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Clusteralgorithmen Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

12 Clusteralgorithmen Hierarchisches Clustern: Zusammenfassung Visualisierung durch Dendrogramm: Vereinigte Cluster werden durch eine Linie verbunden. Breite (Höhe) der Verbindungslinie steht für Abstand der Cluster. Cluster mit kleinerer Varianz wird auf oberer (linker) Seite angeordnet. Diese Prozedur erzeugt eine Hierarchie von Partitionierungen, wobei die Anzahl der Cluster von 1 bis zur Anzahl der Objekte reicht. ABER: Parameter für Abstandsmatrix: n(n-1)/ Parameter für Dendrogramm: n-1 Hierarchisches Clustern bedeutet Informationsverlust! Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Zeitreihenbeispiel Euklidischer Abstand Ähnliche Werte werden zusammengruppiert Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund

13 Zeitreihenbeispiel Manhattan Abstand Ähnliche Werte werden zusammengruppiert (robust) Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund Zeitreihenbeispiel Korrelations-Abstand Ähnliche Trends werden zusammengruppiert Jörg Rahnenführer, Multivariate Verfahren, WS89, TU Dortmund