Clustering. Methods Course: Gene Expression Data Analysis -Day Four. Rainer Spang

Transkript

1 Clustering Methods Course: Gene Expression Data Analysis -Day Four Rainer Spang

2 Eine Krankheit Drei alternative Therapien

3 Klinische Studie Im Mittel 75% 55% 35% Erfolg

4 Drei Subtypen der Krankheit A B C

5 A B C 100% 60% 65% 40% 40% 85% 10% 90% 5%

6 100% A 90% 91,7% B 85% C

7 Fazit Der Therapieerfolg ist angestiegen durch eine verbesserte Diagnose 91,7% 75% Ohne daß eine neue Therapie entwickelt wurde

8 Clustering Ziel: Gruppiere ähnliche Objekte in das gleiche Cluster und unähnliche Objekte in unterschiedliche Cluster Daten Clustering

9 Cluster von Genen Finde koregulierte Gene Funktionale Klassifikation von Genen Fasse Variablen ähnlichen Informationsgehalts zusammen Dimensionsreduktion Borrowing Information across Genes

10 Cluster von Arrays? Suchen nach a priori unbekannten Gruppierungen der Arrays Pathologie Beispiel: Arrays = Genexpressiosnprofile von Patienten Cluster = Potentielle Subentitäten einer Krankheit Kein Clustering-Problem: Rekonstruktion bekannter Gruppierungen der Arrays Diagnostik

11 Leukämie Chiaretti et al. (2004) Gene expression profile of adult T-cell acute lymphocytic leukemia identities distinct subsets of patients with different response to therapy and survival. Blood 103(7):2771-8

12 Analyse von Methoden vs. Analyse von Daten Hat man a priori gelabelte Daten, wie die B und T-ALL im Chiaretti Datensatz so ist man in einer Situation überwachten Lernens, und sollte die dafür vorhandenen Methoden einsetzen. Nichtsdestotrotz kann man das Verhalten von Clusteringverfahren in diesen Situationen analysieren Finden sie die Struktur wieder?

13 Clustering - Die Zutaten Zwei Dinge bestimmen das Ergebnis: Distanzmaß: Quantifizierung der (Un-)Ähnlichkeit der Objekte Cluster-Algorithmus: Verfahren, dass die Gruppierung basierend auf dem gewählten Distanzmaß durchführt

14 Der euklidische Abstand Expressionsprofile x = (x 1,, x n ), y = (y 1,, y n ) d E ( x, y) n i 1 ( x i y i 2 ) Die Luftlinie zwischen zwei Punkten Das Quadrat macht den Abstand sensibel gegen Ausreißer

15 Die Manhattan-Distanz Abstand, wenn nur parallel zu den Koordinatenachsen gelaufen werden darf (wie in den Straßen von Manhattan) d M ( x, y) n i 1 x i y i. Ausreißer fallen weniger ins Gewicht

16 Die Pearson-Korrelation. ) ( ) ( ) )( ( 1 ), ( i i i i i i i C y y x x y y x x y x d Die Pearson Korrelation beschreibt die lineare Abhängigkeit zweier Profile d c (x, y)= d c (ax+b, y), a > 0 Sie vergleicht den Verlauf

17 Beispiel: Clustering von Zeitreihen steep up: x1=(2,4,5,6) up: x2=(2/4,4/4,5/4,6/4) down: x3=(6/4,4/4,3/4,2/4) change: x4=(2.5,3.5,4.5,1)

18 Euklidischer Abstand Matrix of pairwise distances

19 Manhatten-Distanz Matrix of pairwise distances

20 Korrelations-Abstand Matrix of pairwise distances Aus d(x,y)=0 folgt nicht x=y Keine Metrik

21 Normalisierte Abstands-Skalen steep up up down change steep up up down change Euklid. Manh. Korr. Alle Distanzen wurden auf das Interval [0,10] normalisiert und gerundet

22 Standardeinheiten Transformiere die Daten auf Standardeinheiten x x ˆ ˆ Dann ergeben euklidische Distanz und Korrelation proportionale Abstände C 1 2 d ( x, x ) 2 nd ( x, x ) E

23 Cluster-Algorithmen Die Algorithmen sind Verfahren, die die Daten in Gruppen einteilen Sie bauen dabei auf den Distanzmaßen auf Wir diskutieren: Hierachichal Clustering K-Means-Clustering Partitioning around Medoids

24 Hierarchisches Clustern Zu Anfang bildet jedes Profil ein Cluster mit einem Element Berechne alle Abstände zwischen Profilen Suche das Paar mit dem kleinsten Abstand Vereinige es zu einem neuen Cluster Berechne die Abstände zwischen dem neuen Cluster und allen anderen Wiederhole bis nur noch 1 Cluster übrig bleibt.

25 Abstand zwischen Clustern Bisher hatten wir nur Abstandsmasse auf einzelnen Punkten diskutiert Beim hierarchischen Clustering werden aber auch Abstände von Clustern zu Punkten benötigt Wie werden diese definiert?

26 Linkage Berechne die Distanzen von allen Profilen in Cluster 1 zu allen Profilen in Cluster 2 Der Abstand der Cluster zu einander ist dann: Das Minimum der Abstände (single linkage) Der Mittelwert der Abstände (average linkage) Das Maximum der Abstände (complete linkage)

27 Dendrogramm Wenn zwei Cluster zusammengelegt werden, werden sie im Dendrogramm durch eine Klammer verbunden Die Höhe der Klammer entspricht dem Abstand der Cluster

28 Dendrogramm Das Dendrogramm wird oft über eine Heatmap geplotted Dazu müssen die Profile geordnet werden Beachte: Das Dendrogramm legt die Ordnung nicht eindeutig fest Man kann an allen Verzweigungen spiegeln Hierarchie ist nicht gleich Ordnung

29 Heatmap der Distanzen Die Distanzen der Cluster sind im Dendrogramm durch die Höhen der Äste repräsentiert Es gibt n(n-1)/2 Distanzen, aber nur n-1 Asthöhen Information geht verloren Alternativ kann man die Distanzen aller Profile in einer Heatmap darstellen Diese ist nur übersichtlich wenn die Profile günstig geordnet sind Dazu kann man wiederum das Dendrogramm verwenden

30 Hierarchien von Clusterings Der Algorithmus produzierte ein Dendrogramm aber noch kein Clustering Das Dendrogramm kann auf verschiedenen Levels geschnitten werden Jeder Schnitt definiert ein Clustering Der orange Schnitt generiert die drei Cluster (G1,G6,G5), (G2,G3), (G4) Der blaue Schnitt generiert vier Cluster (G1,G6),(G5), (G2,G3), (G4) Es entsteht eine Hierarchie von Clusterings

31 Euklidischer Abstand

32 Manhattan-Distanz

33 Korrelations-Abstand

34 Akute Lymphoblastische Leukämie bei Kinder Golub et al. Science 1999 aber das war kein Clustering-Problem, da die Subentitäten AML und ALL schon a priori bekannt waren

35 K-Means Clustering Die Anzahl K der Cluster muss gewählt werden Suche H Punkte zufällig aus, dies sind die ersten Zentroide Ordne jeden Punkt dem nächst gelegenen Zentroid zu

36 Iteration x x x x x x Bestimme die Zentroide der so entstandenen Cluster und ordne die Punkte wiederum dem nächstgelegenen Zentroid zu Iteriere bis alle Punkte im gleichen Cluster bleiben

37 Optimales Clustering Wir haben K-means Clustering als Algorithmus eingeführt Man kann es auch als ein Optimierungproblem definieren: Ordne die Profile den K-Clustern so zu, dass die folgende Funktion optimiert wird: K 1 W ( C) de ( xi, x j ) 2 k 1 C( i) C( j) k Der Algorithmus ist eine Heuristik zur Minimerung dieser Funktion Natürlich ist das Clustering nur optimal relativ zu dieser Objective Function Mann kann auch andere Objective Functions wählen und erhält andere Clusterings 2

38 Partioning around Medoids PAM Robustere Variante des K-Means Algorithmus durch eine andere Objective Funktion Die Cluster werden nicht durch Zentroide, sondern durch prototypische Datenpunkte (Medoide) repräsentiert Ziel ist es den Abstand zum nächsten Medoid über alle Punkte gleichzeitig zu minimieren Minimiert wird also die Objective Function

39 PAM Algorithmus Initialisierung: Suche zufällig K Prototypen (Medoide) Iteriere bis zur Konvergenz Swapping: Für alle Paare (i,j) bei denen i ein Medoid und j kein Medoid ist: Berechne den Unterschied in der Objective Funktion, der entstünde wenn man j zum Medoid an Stelle von i machte Führe das Swapping durch, wenn es günstig ist

40 Wie viele Cluster sind in den Daten? Für jeden Datenpunkt können wir die Silhouette s(i) berechnen: a(i) := Mittler Abstand von Punkt i zu allen Punkten im gleichen Cluster b(i) := min C d(i,c), wobei d(i,c) der mittlere Abstand von Punkt i zu allen Punkten in Cluster C ist. Das Minimum wird über alle Cluster in denen Punkt i nicht liegt genommen Bestes Konkurenzcluster - s(i) nahe 1 : Profil ist im richtigen Cluster s(i) nahe -1: Profil ist im falschen Cluster s(i) nahe 0: Profil kann sich nicht entscheiden

41 Silhouette Plot

42 Silhouette Plot In diesem Cluster gibt es Profile mit kleinem Silhouetten Score Alle Profile in diesem Cluster haben einen hohen Silhouetten Score T-cell Leukemia Chiaretti et al., 2004 Gibt es in Wirklichkeit drei Cluster in den Daten?

43 Silhouette Plot Nein! Die Aufteilung des oberen Clusters in zwei Cluster verschlechtert den Silhouetten Plot T-cell Leukemia Chiaretti et al., 2004

44 Kein Clustering Problem Sie wollen zu einem Referenzprofil die Profile suchen, die ihm am ähnlichsten sind Falscher Ansatz: Sie clustern alle Profile und schauen sich die Profile an, die im selben Cluster wie ihr Referenzprofil liegen Was man bekommt Was man gerne hätte

45 Screening Problem Sie wollen zu einem Referenzprofil die Profile suchen, die ihm am ähnlichsten sind Richtiger Ansatz: Sie berechnen die Abstände aller Profile zum Referenzprofil und sehen sich die Profile mit kleinstem Abstand an Clustering Screening

46 Self Fulfilling Prophecy Sie besitzen a priori label 2 Gruppen von Profilen - Wählen differentiell exprimierte Gene aus Clustern die Daten nur unter Einschluss dieser Gene Beobachten, dass die a priori Gruppen zusammen clustern Interpretieren dies als Bestätigung der a priori label Die Gruppen clustern unter umständen nur wegen der Genauswahl zusammen Zufällige Daten hätten dies auch getan

47 Self Fulfilling Prophecy Randomisierte Labels Clustering mit supervidierter Genselektion Ohne Genselektion

48 Nicht supervidierte Geneselektion Der Microarray hält Gene Nicht alle diese Gene zeigen sinnvolle Clustering Struktur Hybridisierungs-Artefakte produzieren oft kleine Veränderungen in allen Genen Normalisierung kann diese nicht immer eliminieren In den Distanzmaßen summieren sie sich auf Ansatz: Benutze nur stark variierende Gene zum Clustering

49 Clustering mit allen Genen B- und T-cell ALL Chiaretti et al., 2004

50 Clustering mit den Top 100 variabelsten Genen B- und T-cell ALL Chiaretti et al., 2004

51 Genselektion Gene 2 Gene 4 Problem: Unterschiedliche Gene induzieren ein unterschiedliches Clustering

52 Lymphome Gene und Profile von verschiedenen Lymphomen und lymphoiden Zellinen wurden geclustert Globales Clustering: Die bekannten Lymphom Entitäten bilden Cluster aus Genselktion: Der orange Block von Genen Clustert einen Teil der DLBCL Lymphome mit Keimzentrumszellinien und einen anderen Teil mit aktivierten B-Zellen Alizadeh et al Nature 2000

53 Acknowledgement Für diese Vorlesung habe ich Folien, Graphiken und Ideen ausgeliehen bei: Jörg Rahnenführer Tobias Müller Anja v. Heydebreck