8.4 Suffixbäume. Anwendungen: Information Retrieval, Bioinformatik (Suche in Sequenzen) Veranschaulichung: DNA-Sequenzen

Transkript

1 8.4 Suffixbäume Ziel: Datenstruktur, die effiziente Operationen auf (langen) Zeichenketten unterstützt: - Suche Teilzeichenkette (Substring) - Präfix - längste sich wiederholende Zeichenkette -... Anwendungen: Information Retrieval, Bioinformatik (Suche in Sequenzen) hs / fub alp3-29-suffixbaum 1 Veranschaulichung: DNA-Sequenzen >chr17: ctctactaaaaaatacaaaaaattagccaggcgtggtggcaggcgcctgt agtcccagctacctgggaggctgaggcaggagaatggcatgaacccagga ggcagagcttgcagtgagtcgagatcgcgccactgcactccagcctgggc tacagagcgagactccgtctcaaaaaaaaaaaaaaaaagttaaggaacag tcccaaaacttgaacttacatcagatttggagttaactcatatcagattt ggagtcagccacctgtggactggagtccaactacattgtgtctcaggctc tgacatctaacccaggcagggatgagacttaattcactgtggtcttgcag tggcaaagtagaagcatggagaccaagcctttaaaactttctgactttgg tgttaacgttctgttcctcattttcccttctgtaacatagtgatgatgct gcgtgctctagttatatttatatttttatttttttgatacagggtctcac tctgtcacccaggctgagcgaggtggggcgatcacagctccctacagcct caaactcccggcttcaagcaatcctcccacctcagcctcctgaatagctg ggaccacaggcatgtgtcaccacgcccggctaactttatgttttactgct ctttgcagagcagggctaccccataggcagcgtgcctagagtggccaaac ctagctaagttttgatttttttttctagagagagggtctcgctaatgttg cccaggatggcctcaaactcctgcacgcaagcaagccttggcctcccaaa gtgctgagtttacaggcgtgagccaccgcgcccagcttctagttatcttt acagaattatttgcagcatatattattgactcgaattgcctcgatataaa aaagcactttttttttttcgaaactctattgcacaagctggagtgcagtg aggcaatctcggctcactgcaagctccgcctcccgggttcacgccattct cctgcctcagcctcctgagtagctgggattacaggcgcccaccgtgcggg Ausschnitt der DNA von Chromosom 17 Finde vorgegebene Muster Finde ähnliche Muster und andere hs / fub alp3-29-suffixbaum 2 1

2 Suche in Texten Naiver Algorithmus inakzeptabel: j tgacatctaacccaggcagggatgagacttaattcactgtggtcttgcag i agggatgagacttaa verschieben for (int i=0; i < text.length(); i++){ int j=0; while (j<muster.length() && text[i+j] == muster[j]) j++; if(j==muster.length()) return i; } return 1; //not found n=text.length(), m=muster.length(), dann O(m*n): inakzeptabel hs / fub alp3-29-suffixbaum 3 Suche in Texten Verbesserung durch Hilfsdatenstrukturen Vermeide unnötige Vergleiche a b a c a a b a c c a a b b Algorithmus von Knuth, Morris, Pratt: Berechne aus Muster M Fehlerfunktion f(j) für j=0..m.length()-1 Länge des längsten Präfix von M, das Suffix von M[0..j] ist. siehe etwa: Cormen et al.. Algorithms M[j] f[j] O(m+n) hs / fub alp3-29-suffixbaum 4 2

3 Suffixbaum Datenstruktur für Text, und zwar alle möglichen Suchmuster, die im Text enthalten sind. Zeichenkette : t= x1x xn Alle Suffixe von t: Das sind nicht alle Substrings, x1x xn aber jeder kommt als x2x xn Präfix eines der Suffixe vor. x3x4...xn... xn Suffixbaum = Patrica-Trie mit der "Schlüssel"-Menge aller Suffixe n kann SEHR groß sein => effiziente Externspeicherdatenstruktur? hs / fub alp3-29-suffixbaum 5 Trie mit Suffixen einer Zeichenkette Suffix-Trie (kein Patricia-Trie = Suffix Tree!) 7 [1,7] 3 O L [4,7] G... nach David Breton, David Huynh & Denis Ricard, McGill Univers. hs / fub alp3-29-suffixbaum 6 3

4 Verwirrende Terminologie... Digitalbaum allgemein: zeichenweiser Schlüsselvergleich entscheidet über Pfad im Baum. Digitalbaum speziell (Radix tree): Schlüssel in inneren Knoten und Blättern, zeichenweiser Schlüsselvergleich, keine Schlüsselordnung. Trie: Schlüssel nur in Blättern, geordnet nach Schlüsseln. Patricia Trie (Compressed Trie), (manchmal Patricia Tree): Redundanz eliminiert: jeder innere Knoten hat mindestens 2 Nachfolger. Suffix Trie: Trie, der alle Suffixe einer Zeichenkette enthält (eher unwichtig, kommt selten vor). Suffixbaum (Suffix Tree): Patricia Trie, der alle Suffixe einer Zeichenkette enthält, also: jeder innere Knoten mit 2 Nf. (wichtig) Suffix-Feld (Suffix Array): Felddarstellung eines Suffixbaums (nicht behandelt). hs / fub alp3-29-suffixbaum 7 Andere Darstellung: Kanten mit Teilstrings markiert. 4

5 Suffix Tree Eigenschaften Speicherplatz: bester Fall Zeichenketten der Länge n mit einem Zeichen: aaaaa...aaaaaaa a O(n) a... hs / fub alp3-29-suffixbaum 9 Suffixbaum Speicherplatz: schlechtester Fall Zeichenketten der Länge n mit n Zeichen: abcd..... xyz [1,n] [2,n] [2,n] n+(n-1)+(n-2) = O(n 2 ) Konstruktion in linearer Zeit möglich. hs / fub alp3-29-suffixbaum 10 5

6 Suffixbaum Operationen string = m i s s i s s i p p i Suche von Zeichenkette der Länge m: O(m) Wenn Mustersuche in innerem Knoten endet liefert Unterbaum alle Vorkommen des Musters. Bsp: "issi" hs / fub alp3-29-suffixbaum 11 Suffixbaum Längste wiederholt vorkommende Teilzeichenkette Pfadlänge: Summe der Substring-Längen Vorgänger eines Blattes mit maximaler Wurzelpfadlänge. Wurzelpfad liefert längste sich mindestens einmal wiederholendeteilzeichenkette, hs / fub alp3-29-suffixbaum 12 6

7 Suffixbäume Vielfältige Anwendungen Phrasensuche ( -> Google) Achtung: erlaubt einfaches Erkennen von Plagiaten! Kompression: Ziv-Lempel - Verfahren: Mehrfach vorkommende möglichst lange Substrings ersetzen. Nachteil nicht Update-fähig Zeichenkette verlängern: kein Problem Ändern von Zeichen -> Neuaufbau des Suffixbaums Gutes Buch Suffixbäumen: D. Gusfield: Algorithms on Strings, Trees and Sequences; Cambridge University Press, 1997 hs / fub alp3-29-suffixbaum 13 Alp3-Essentials Datenabstraktion Was ist das? Wie spezifiziert man Abstrakte Datentypen? Modellierende Spezifikation! Wie manifestiert sich DA in (besonders objektorientierten Programmiersprachen) Polymorphie Datenstrukturen Listen, Bäume, Graphen,... (siehe Übersicht Teil 2) Laufzeit: Zwischen O(n) und O(n 2 ) können Welten liegen... grobe Abschätzung oft ausreichend Sorgfältige Abwägen, welche Datenstruktur einem konkreten Problem angemessen ist. hs / fub alp3-29-suffixbaum 14 7