Molekulare Bioinformatik

Transkript

1 Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck Molekulare Bioinformatik - Vorlesung 0

2 Wiederhohlung Die Entropie eines Systems X hängt von seiner Wahrscheinlichkeitsverteilung ab. H(X ) = N P i log 2 P i, i= Shannon-Entropie beschreibt als einzige Realisierung die Unkenntnis eines physikalischen Systems Der Informationsgehalt einer Nachricht ist die Differenz der Entropie vor und nach der Nachricht. Die Entropie wird in Bits gemessen. In der Informatik ist die Einheit Byte üblich, wobei gilt: Byte = 8Bits. 2 Molekulare Bioinformatik - Vorlesung 0

3 Beispiel: Informationsgehalt eines Buches Annahme: 2000 Zeichen pro Seite und 200 Seiten. 30 verschiedene Zeichen (mit Umlauten). Vorher: Alle Zeichen sind gleich wahrscheinlich. Damit ergibt sich eine Entropie von: 30 H(X ) = i= 30 log bit = 250kByte. Nach dem Lesen des Buches sind alle Zeichen bekannt. Der Informationsgewinn ist also 250kByte. = Wichtig ist, das es um die Kenntnis des physischen Systems und nicht um dessen Bedeutung geht. 3 Molekulare Bioinformatik - Vorlesung 0

4 Sequenz Motive Sequenzmotive: kurze, wiederkehrende Sequenzen auf der DNA mit eventueller biologischer Funktion. Meist sequenzspezifische Bindungsstellen, z.b. für Proteine wie Nukleasen oder Transkriptionsfaktoren. Wichtig für Analyse genetischer regulatorischer Netzwerke. Allerdings stimmen die Motive selten exakt überein. Die Sequenz, die in der Summe am wenigsten von den entsprechenden Mustern abweicht, wird Konsensussequenz genannt. 4 Molekulare Bioinformatik - Vorlesung 0

5 Sequenz Motive Beispielsequenz aus einem Review Verschiedene Sequenzen, an denen der Rox Transkriptionsfaktor auf dem Saccharomyces cerevisiae (Backhefe) Genome bindet. Konsensussequenz Häufigkeit der jeweiligen Base an der entsprechenden Position. 5 Molekulare Bioinformatik - Vorlesung 0

6 Informationsgehalt von Sequenz Motive Frage: Welche Information besitzen diese Motive? Frage: Welche Teile der Motive sind wichtiger? Annahme : Ohne Messung sind alle Basen gleich wahrscheinlich. Annahme 2: Jede Position ist unabhängig von den anderen. = Dann ist die Information im Sequenzmotiv gleich der Summe der Information über die Positionen i. 6 Molekulare Bioinformatik - Vorlesung 0

7 Informationsgehalt von Sequenz Motive Ohne Vorwissen: H i = Nach der Messung: f i b H i = b=a,c,g,t b=a,c,g,t 4 log 2 4 = 2bit. f i b log 2 f i b, ist Frequenz, mit der Base b an Position i auftaucht. = Die Information an Position i ist dann I i = 2 H i = 2 + b=a,c,g,t fb i log 2 fb i 7 Molekulare Bioinformatik - Vorlesung 0

8 Sequenz Logos Zur Darstellung des Informationsgewinns werden Sequenz Logos verwendet. Konsensussequenz Häufigkeit der jeweiligen Base an der entsprechenden Position. Sequenz Logo (Häufigkeit) Sequenz Logo (Informationsgehalt) Sequenz Logo (Informationsgehalt mit korrigierter Wahrscheinlichkeit) 8 Molekulare Bioinformatik - Vorlesung 0

9 Entropiekodierung Laut obigen Beispiel, benötigt ein Buch von 200 Seiten Länge circa 250 kbyte Speicher. Tatsächlich sind es deutlich mehr, da nicht nur 30 Buchstaben berücksichtigt werden müssen, sondern der komplette UTF-8 Zeichensatz (Sonderzeichen, Zahlen etc.). = Der benötigte Speicher richtet sich nicht nach dem eigentlichen Text. Statt dessen wird genug Speicher bereitgestellt, um alle möglichen UTF-8 Zeichenfolgen der selben Länge darzustellen. Entropiekodierung ist eine verlustfreie Methode zur Datenkompression. Dabei wird jedem Zeichen im Text eine unterschiedlich lange Bitfolge zugeordnet, die sich nach der Häufigkeit des Zeichen im Text richtet. 9 Molekulare Bioinformatik - Vorlesung 0

10 Entropiekodierung Entropieberechnungen führen meist zu nicht ganzzahligen Ergebnissen. Zum Speichern muss allerdings auf ganzzahlige Werte gerundet werden, wodurch man einen Teil der Komprimierung verliert. Es gibt daher zwei Klassen von Methoden: Kodierungsverfahren, die ganze Bits annehmen. 2 Rest. Im Allgemeinen hängt die Stärke der Kodierung vom Text ab. 0 Molekulare Bioinformatik - Vorlesung 0

11 Entropiekodierung mit ganzen Bits Shannon-Fano-Kodierung und Huffman-Kodierung wurde bereits in den 60ern beschrieben. Dabei liefert die Huffman-Kodierung bessere Ergebnisse. Beide Verfahren beruhen auf der Erstellung eines binären Baumes. Die Zeichen mit der jeweils niedrigsten Wahrscheinlichkeit werden zu einem Knoten zusammen gefasst. Dies wird wiederholt, bis alle Knoten an einer Wurzel zusammen fallen. Zur eigentlichen Kodierung wird dann allen Kanten Wert 0 bzw zugeordnet. Der Kode des jeweiligen Zeichens entspricht dann dem Weg zur Wurzel Molekulare Bioinformatik - Vorlesung 0

12 Beispiel Huffman-Kodierung Gegeben sei ein Text mit folgender Statistik: Zeichen # A 24 B 2 C 0 D 8 E 8 Dieser Text benötigt in UTF = 496bit Speicher. Die Entropie des Textes beträgt nur bit. 0 A 24 0 B C 0 0 D 8 6 E 8 2 Molekulare Bioinformatik - Vorlesung 0

13 Beispiel Huffman-Kodierung Gegeben sei ein Text mit folgender Statistik: Zeichen # Kode Länge A 24 0 B C D E 8 3 Dieser Text benötigt nur noch 38bit Speicher. Die bitweise Entropiekodierung nach Huffman ist also nicht optimal. 0 A 24 0 B C 0 0 D 8 6 E 8 3 Molekulare Bioinformatik - Vorlesung 0

14 Entropiekodierung wir meist im Zusammenspiel mit anderen Kodierungsverfahren verwendet, zum Beispiel der Burrows-Wheeler-Transformation. Gängige Standards die Entropiekodierung nutzen sind: ZIP, Bzip 2 JPEG 3 MP3 Arithmetische Kodierung nutzt variable Bitzahlen und kann damit potentiell bessere Ergebnisse liefern als die Huffman-Kodierung. 4 Molekulare Bioinformatik - Vorlesung 0

15 Optimierung Im Zusammenhang mit Entropie treffen wir oft auf Optimierungsprobleme: Welche Frage/Messung hat den größten Informationsgehalt? 2 Welche Beschreibung hat die geringste Entropie? 3 Wie beschreibt man Nebenbedingungen? 4 Welchen Zusammenhang gibt es zwischen Energie und Entropie? Die Methode der behandelt Optimierungsprobleme unter Randbedingungen. 5 Molekulare Bioinformatik - Vorlesung 0

16 Lagrange Formalismus Wir betrachten eine Funktion f (x, y) die wir maximieren wollen. Als Randbedingung soll gelten g(x, y) = c. Da f (x, y) stetig sein soll, suchen wir die Menge an Punkten, für die gilt f (x, y) max g(x,y)=c Die Höhenlinie von f (x, y) und g(x, y) sind immer tangential zueinander. Daraus folgt: x,y f (x, y) = λ x,y g(x, y). 6 Molekulare Bioinformatik - Vorlesung 0

17 Lagrange Formalismus Wir betrachten eine Funktion f (x, y) die wir maximieren wollen. Als Randbedingung soll gelten g(x, y) = c. Da f (x, y) stetig sein soll, suchen wir die Menge an Punkten, für die gilt f (x, y) max g(x,y)=c Die Höhenlinie von f (x, y) und g(x, y) sind dann immer tangential zueinander. Daraus folgt: x,y f (x, y) = λ x,y g(x, y). 7 Molekulare Bioinformatik - Vorlesung 0

18 Lagrange Formalismus Gesucht werden also diejenigen Punkte, die die folgenden Bedingungen erfüllen: x,y g(x, y) 0, 2 x,y f (x, y) = λ x,y g(x, y). Wir definieren die sogenannte Lagrangefunktion als: Λ(x, y, λ) := f (x, y) + λ(g(x, y) c). Damit sind die obigen Bedingungen äquivalent zu: x,y,λ Λ(x, yλ) = 0. Die Ableitung von Λ nach λ ergibt immer die Randbedingung. 8 Molekulare Bioinformatik - Vorlesung 0

19 Beispiel Wir hatten behauptet, dass die Entropie maximal ist, wenn alle Zustände gleich wahrscheinlich sind. f = H(X ) = i p i log 2 (p i ). Welche Randbedingung müssen wir dabei annehmen? Die Gesamtwahrscheinlichkeit aller Zustände ist gleich : p i =. i Damit ergibt sich die Lagrangefunktion als: Λ(X, λ) = ( ) p i log 2 (p i ) λ p i. i i 9 Molekulare Bioinformatik - Vorlesung 0

20 Beispiel Wir leiten zunächst nach λ ab: λ Λ = i p i. Es ergibt sich also wie gefordert die Randbedingung Die Ableitung nach einem beliebigen p i ergibt: pi Λ = log 2 (p i ) λ. Diese Bedingung ist genau dann Null, wenn gilt: p i = e λ. Das heißt, alle p i haben den gleichen Wert, also p i = /N 20 Molekulare Bioinformatik - Vorlesung 0

21 Zusammenfassung Wir haben Sequenz Motive kennengelernt und die zugehörigen Sequenz Logos. Als erste direkte Anwendung der Entropie haben wir ein Kompressionsverfahren besprochen, die Entropiekodierung. Wir haben die Methode der eingeführt, die es uns ermöglicht Probleme unter Randbedingungen zu lösen. 2 Molekulare Bioinformatik - Vorlesung 0