Erich Schubert, Arthur Zimek KDD Übung

Transkript

1 Hausaufgabe Distanzfunktionen Erich Schubert, Arthur Zimek Ludwig-Maximilians-Universität München KDD Übung

2 Distanzfunktionen Reflexiv: Distanz zu sich selbst ist 0 x = y d(x, y) = 0 Symmetrisch: Reihenfolge der Parameter ist egal d(x, y) = a d(y, x) = a Strikt: Nur identische Elemente haben Distanz 0 d(x, y) = 0 x = y Dreiecksungleichung: Der direkte Weg ist nie länger als ein Umweg d(x, y) d(x, z) + d(z, y)

3 Eine kleine Erinnerung... Ein ist kein Beweis.

4 Eine kleine Erinnerung... Ein ist kein Beweis.... aber ein Gegenbeispiel wiederlegt!

5 Eine kleine Erinnerung... Ein ist kein Beweis.... aber ein Gegenbeispiel wiederlegt! Wenn ihr etwas beweisen sollte, dann immer für alle Situationen, oder eben ein Gegenbeispiel. Ein Positivbeispiel bringt nichts!

6 Hausaufgabe Summe der Differenzen d(x, y) = n (x i y i ) i=1

7 Hausaufgabe Summe der Differenzen d(x, y) = n (x i y i ) i=1 d((0), (1)) = 1 darf aber nicht negativ werden! Gegenbeispiel!

8 Hausaufgabe Quadrierte Euklidische Distanz d(x, y) = n (x i y i ) 2 i=1

9 Hausaufgabe Quadrierte Euklidische Distanz d(x, y) = n (x i y i ) 2 i=1 Reflexiv, symmetrisch und strikt: offensichtlich. Aber Dreicksungleichung?

10 Hausaufgabe Quadrierte Euklidische Distanz d(x, y) = n (x i y i ) 2 i=1 Reflexiv, symmetrisch und strikt: offensichtlich. Aber Dreicksungleichung? Wie sieht es aus mit: o = (0, 0), p = (1, 0), q = (2, 0)? d(o, q) = 4 d(o, p) + d(p, q) = = 2

11 Hausaufgabe Quadrierte Euklidische Distanz d(x, y) = n (x i y i ) 2 i=1 Reflexiv, symmetrisch und strikt: offensichtlich. Aber Dreicksungleichung? Wie sieht es aus mit: o = (0, 0), p = (1, 0), q = (2, 0)? d(o, q) = 4 d(o, p) + d(p, q) = = 2 Quadrierte Euklidische Distanz ist nicht metrisch! (1-dimensionales Gegenbeispiel: 0, 1, 2)

12 Hausaufgabe Projizierte Euklidische Distanz d(x, y) = n 1 (x i y i ) 2 i=1

13 Hausaufgabe Projizierte Euklidische Distanz d(x, y) = n 1 (x i y i ) 2 i=1 Reflexiv und symmetrisch: offensichtlich. Dreiecksungleichung per Cauchy-Schwarzscher Ungleichung.

14 Hausaufgabe Projizierte Euklidische Distanz d(x, y) = n 1 (x i y i ) 2 i=1 Reflexiv und symmetrisch: offensichtlich. Dreiecksungleichung per Cauchy-Schwarzscher Ungleichung. Aber nicht strikt: die Dimension n wird ignoriert!

15 Hausaufgabe Konkordanz d(x, y) = n { 1 iff xi = y i i=1 0 iff x i y i

16 Hausaufgabe Konkordanz d(x, y) = n { 1 iff xi = y i i=1 0 iff x i y i d ist nicht reflexiv. Damit für uns keine Distanz oder Metrik.

17 Hausaufgabe Hamming-Distanz d(x, y) = n { 1 iff xi y i i=1 0 iff x i = y i

18 Hausaufgabe Hamming-Distanz d(x, y) = n { 1 iff xi y i i=1 0 iff x i = y i Diskordanz auf binären Vektoren. Anzahl der gesetzten Bits nach einer XOR-Verknüpfung der beiden Vektoren. Wichtige Metrik aus der Informationstheorie. Reflexivität, Strikheit, Symmetrie sind offensichtlich.

19 Hausaufgabe Hamming-Distanz Beweis der Dreiecksungleichung durch Fallunterscheidung auf den einzelnen Stellen (Dimensionen): d(x, y) + d(y, z) = =?? n n d(x i, y i ) + d(y i, z i ) i n (d(x i, y i ) + d(y i, z i )) i n d(x i, z i ) = d(x, z) i i Kernidee: wenn für jeden Summanden gilt, gilt es auch insgesamt! Also Fallunterscheidung.

20 Hausaufgabe Hamming-Distanz Beweis der Dreiecksungleichung durch Fallunterscheidung auf den einzelnen Stellen (Dimensionen): A) x i = y i y i = z i : d(x i, y i ) + d(y i, z i ) d(x i, z i ) d(x i, x i ) + d(y i, x i ) d(x i, x i )

21 Hausaufgabe Hamming-Distanz Beweis der Dreiecksungleichung durch Fallunterscheidung auf den einzelnen Stellen (Dimensionen): B) x i = y i x i z i : d(x i, y i ) + d(y i, z i ) d(x i, z i ) d(x i, x i ) + d(x i, z i ) d(x i, z i )

22 Hausaufgabe Hamming-Distanz Beweis der Dreiecksungleichung durch Fallunterscheidung auf den einzelnen Stellen (Dimensionen): C) x i = z i x i y i : d(x i, y i ) + d(y i, z i ) d(x i, z i ) d(x i, y i ) + d(y i, x i ) d(x i, x i )

23 Hausaufgabe Hamming-Distanz Beweis der Dreiecksungleichung durch Fallunterscheidung auf den einzelnen Stellen (Dimensionen): D) x i y i y i = z i : d(x i, y i ) + d(y i, z i ) d(x i, z i ) d(x i, y i ) + d(y i, y i ) d(x i, y i )

24 Hausaufgabe Hamming-Distanz Beweis der Dreiecksungleichung durch Fallunterscheidung auf den einzelnen Stellen (Dimensionen): E) x i y i y i z i x i z i : d(x i, y i ) + d(y i, z i ) d(x i, z i )

25 Hausaufgabe Hamming-Distanz Beweis der Dreiecksungleichung durch Fallunterscheidung auf den einzelnen Stellen (Dimensionen): Und damit gilt insgesamt: d(x, y) + d(y, z) = = n d(x i, y i ) + i n d(y i, z i ) n (d(x i, y i ) + d(y i, z i )) i n d(x i, z i ) = d(x, z) i i

26 Distanzfunktionen weitere Ein paar weitere für Distanzfunktionen (für zwei Mengen X, Y R n ), basierend auf einer bestehenden Distanzfunktion d : R n R n R + 0 : single-link(x, Y) = min x X,y Y d(x, y) average-link(x, Y) = 1 X Y x X,y Y d(x, y) complete-link(x, Y) = max x X,y Y d(x, y) Diese kommen im nächsten Kapitel, Clusteranalyse!

27 Distanzfunktionen weitere Es gibt hunderte an Distanzfunktionen. Für Zeitreihen: DTW, EDR, ERP, LCSS,... Für Text: Cosine und Normalisierungen davon Für Mengen basierend auf Schnitt, Vereinigung,... Für Clusters (z.b. single-link) Für Histogramme: histogram intersection, Earth movers distance, quadratische Formen Mit Normalisierung: Canberra,... Quadratische Formen / Bilinearformen: d(x, y) := x T My für positiv-definite (i.d.r. symmetrische) Matrix M. Auch eine Art Vorverarbeitung : eine passende Distanzfunktion auswählen!

28 Gegeben eine Pseudo-Metrik d auf der Menge A: d : A A R + 0. Definiere die Äquivalenzrelation so dass x y d(x, y) = 0. Sei A die Menge der Äquivalenzklassen von A bzgl.. d : A A R + 0 mit d (x, y ) := d(x, y) Eigenschaften?

29 Gegeben eine Pseudo-Metrik d auf der Menge A: d : A A R + 0. Definiere die Äquivalenzrelation so dass x y d(x, y) = 0. Sei A die Menge der Äquivalenzklassen von A bzgl.. d : A A R + 0 mit d (x, y ) := d(x, y) Eigenschaften? Wohldefiniert?

30 Zu zeigen: für alle z x, w y gilt d(z, w) = d(x, y).

31 Zu zeigen: für alle z x, w y gilt d(z, w) = d(x, y). Da z x und w y haben wir per Definition: z = x und d(z, x) = 0 w = y und d(w, y) = 0

32 Zu zeigen: für alle z x, w y gilt d(z, w) = d(x, y). Da z x und w y haben wir per Definition: z = x und d(z, x) = 0 w = y und d(w, y) = 0 Durch 1 anwenden Dreiecksungleichung erhalten wir: d(z, w) d(z, x) + d(x, w) d(x, y) d(x, z) + d(z, y)

33 Zu zeigen: für alle z x, w y gilt d(z, w) = d(x, y). Da z x und w y haben wir per Definition: z = x und d(z, x) = 0 w = y und d(w, y) = 0 Durch 2 anwenden Dreiecksungleichung erhalten wir: d(z, w) d(z, x) + d(x, y) + d(y, w) d(x, y) d(x, z) + d(z, w) + d(w, y)

34 Zu zeigen: für alle z x, w y gilt d(z, w) = d(x, y). Da z x und w y haben wir per Definition: z = x und d(z, x) = 0 w = y und d(w, y) = 0 Durch 2 anwenden Dreiecksungleichung erhalten wir: d(z, w) d(z, x) + d(x, y) + d(y, w) = d(x, y) d(x, y) d(x, z) + d(z, w) + d(w, y) = d(z, w)

35 Zu zeigen: für alle z x, w y gilt d(z, w) = d(x, y). Da z x und w y haben wir per Definition: z = x und d(z, x) = 0 w = y und d(w, y) = 0 Durch 2 anwenden Dreiecksungleichung erhalten wir: d(z, w) d(z, x) + d(x, y) + d(y, w) = d(x, y) d(x, y) d(x, z) + d(z, w) + d(w, y) = d(z, w) Distanzberechnungen auf den Äquivalenzklassen wohldefiniert: egal welchen Repräsentanten wir wählen, es kommt das gleiche Ergebnis für d heraus.

36 Zu zeigen (Striktheit): d (a, b ) = 0 a = b

37 Zu zeigen (Striktheit): d (a, b ) = 0 a = b d (a, b ) = 0 d(a, b) = 0 a b a = b

38 Zu zeigen (Striktheit): d (a, b ) = 0 a = b d (a, b ) = 0 d(a, b) = 0 a b a = b Reflexivität, Symmetrie und Dreickecksungleichung folgen trivial aus den Eigenschaften von d!

39 euclid xy ((r 1, x 1, y 1 ), (r 2, x 2, y 2 )) = (x 1 x 2 ) 2 + (y 1 y 2 ) 2 Datensatz ID x y Datensatz ID x y

40 euclid xy ((r 1, x 1, y 1 ), (r 2, x 2, y 2 )) = (x 1 x 2 ) 2 + (y 1 y 2 ) 2 Datensatz ID x y Datensatz ID x y Euklidische Distanz auf X Y. Metrik auf R 2 X Y, aber nur eine Pseudo-metric auf Datensatz ID X Y. Duplikate haben eine Distanz von 0!