4.4 Anwendungen von Suffixbäumen und Suffix-Arrays

Transkript

1 4.4 Anwendungen von Suffixbäumen und Suffix-Arrays exakte Suche in unveränderlichen Texten (schon besprochen) inexakte Suche in unveränderlichen Texten Finden von Regelmäßigkeiten (z.b. längste Wiederholungen) Finden von Gemeinsamkeiten in Texten (z.b. längstes gemeinsames Teilwort) Datenkompression (Lempel-Ziv, Burrows-Wheelers) R. Stiebe: Textalgorithmen, WS 2003/04 275

2 Exakte Suche in unveränderlichen Texten Gegeben: unveränderlicher Text T, T = n. Nach einem Präprozessing mit Aufwand O(n) kann man für ein Suchwort P der Länge m folgende Fragen mit einem Aufwand von O(m) beantworten: Kommt P in T vor? Suche im Suffixbaum von T nach einem Pfad mit der Beschriftung P. Wie oft kommt P in T vor? Ermittle im Suffixbaum von T von den Blättern beginnend (bottom-up) für jeden Knoten die Anzahl der Blätter im Unterbaum. (Zeit O(n)) Die Anzahl der Vorkommen von P kann man am nächsten Knoten nach dem Pfad P ablesen. Welches ist das erste Vorkommen von P in T? Ermittle im Suffixbaum von T von den Blättern beginnend (bottom-up) für jeden Knoten das erste Vorkommen des zugehörigen Wortes. (Zeit O(n)) Das erste Vorkommen von P kann man am nächsten Knoten nach dem Pfad P ablesen. R. Stiebe: Textalgorithmen, WS 2003/04 276

3 Inexakte Suche in einem unveränderlichen Text Gegeben: unveränderlicher Text T, T = n; inexakte Suche nach Suchwort P, P = m. Alignment am Suffixbaum von T Von der Wurzel beginnend (top-down) berechne und speichere die Alignmentzeilen für die zu den Knoten gehörenden Teilwörter von T, bis optimales Alignment gefunden. In der Praxis gibt es noch viele offene Fragen, da große Teile des Suffixbaumes durchsucht werden müssen. R. Stiebe: Textalgorithmen, WS 2003/04 277

4 Längstes gemeinsames Teilwort Satz. Das längste gemeinsame Teilwort zweier Wörter S 1, S 2 kann mit einem Aufwand von O( S 1 + S 2 ) gefunden werden. 1. Konstruiere den gemeinsamen Suffixbaum von S 1 und S 2 2. Bestimme von den Blättern beginnend (bottom-up) für jeden Knoten, ob er zu einem Infix von S 1 bzw. S 2 gehört. 3. Finde von der Wurzel beginnend (top-down) den Knoten mit der größten String- Tiefe, der zu einem Infix von S 1 und zu einem Infix von S 2 gehört. Ähnliche Algorithmen existieren für zahlreiche ähnliche Probleme (längste Wiederholung, längtes Palindrom) R. Stiebe: Textalgorithmen, WS 2003/04 278

5 Gegeben: Text T, T = n Lempel-Ziv-Algorithmus (LZ77) Idee der Lempel-Ziv-Komprimierung T [1... i] sei bereits komprimiert. Längstes Präfix von T [i n], das in T [1... i] vorkommt, habe die Länge l i. Falls l i = 0, so speichere (0, T [i + 1]). Falls l i > 0, so speichere (p i, l i ), wobei p i das erste Vorkommen von T [i+1... i+l i ] in T [1... i] ist. Beispiel. Die Lempel-Ziv-Komprimierte für T = abaababaabaab ist (0, a)(0, b)(1, 1)(1, 3)(2, 5)(1, 2). Dekompression ist sehr einfach mit Aufwand O(n). R. Stiebe: Textalgorithmen, WS 2003/04 279

6 LZ77 Implementierung mit Suffixbäumen Ist der Suffixbaum von T (bzw. T [1... i]) bekannt, so kann (p i, l i ) mit einem Aufwand von O(l i ) bestimmt werden. Gesamtaufwand: i:l i wird bestimmt O(l i) = O(n). Üblich sind Methoden, die Suffixbäume für gleitende Fenster (sliding windows) konstruieren. Damit wird nur der Text T [i M i] für eine Konstante M berücksichtigt. R. Stiebe: Textalgorithmen, WS 2003/04 280

7 Burrows-Wheeler-Transformation transformiert ein Wort S# eineindeutig in ein Wort S gleicher Länge Grundlage: lexikografische Ordnung der Suffixe von S Transformation und Rücktransformation in linearer Zeit Bedeutung: S enthält oft lange Blöcke mit einem Symbol S kann gut komprimiert werden, implementiert in bzip2. R. Stiebe: Textalgorithmen, WS 2003/04 281

8 BW-Transformierte: Definition Definition. Es sei S Σ ein Wort mit S = n. Die Burrows-Wheeler- Transformierte von S ist das Wort S der Länge (n + 1) mit S [j] = S[A S [j] 1], wobei S[0] := #. Beispiel. Für S = abcabca erhalten wir: A S = (8, 7, 4, 1, 5, 2, 6, 3), S = a c c # a a b b Satz. Die Burrows-Wheeler-Transformierte von S kann in O(n) Schritten ermittelt werden. R. Stiebe: Textalgorithmen, WS 2003/04 282

9 Interpretation der BW-Transformierten Schreibe die zyklischen Permuationen von S# in lexikografischer Ordnung untereinander. Die letzte Spalte ergibt S. Beispiel. S = abcabca #abcabc a a#abcab c abca#ab c abcabca # bca#abc a bcabca# a ca#abca b cabca#a b R. Stiebe: Textalgorithmen, WS 2003/04 283

10 BW-Transformierte: Rücktransformation Satz. S kann aus S eindeutig bestimmt werden. Beweis. Von der Matrix der zyklischen Permutationen sind die erste Spalte S (Symbole von S in lexikografischer Ordnung) und die letzte Spalte (S ) bekannt. Bestimme S[i] wie folgt durch Induktion: i = 1: Die Position von # in S sei j. Dann ist S[1] das erste Symbol der j-ten Zeile. i i + 1: Die Zeile mit der Permutation S[i... n + 1]S[1... i 1] sei die j-te Zeile, die mit S[i] beginnt. Dann ist die Zeile mit der Permutation S[i n + 1]S[1... i] die j-te Zeile, die mit S[i] endet. R. Stiebe: Textalgorithmen, WS 2003/04 284

11 Rücktransformation in Linearzeit Definiere Array P über Σ {#} mit P [a] = b<a S# b. Definiere für a Σ {#} das Array V a der Größe S# a mit V a [i] = j : S [j] = a S [1... j] a = i. P und V a können in linearer Zeit bestimmt werden. In Schritt i sei Zeile j erreicht. S[i] = S[j] = a; Dann wird im Schritt i + 1 die Zeile V a [j P [a]] erreicht. R. Stiebe: Textalgorithmen, WS 2003/04 285

12 Rücktransformation: Beispiel S = acc#aabb P [#] = 0; P [a] = 1; P [b] = 4; P [c] = 6 V # = (4); V a = (1, 5, 6); V b = (7, 8); V c = (2, 3) S S # a a a b b c c a c c # a a b b Die Rücktransformation ergibt damit S = abcabca. R. Stiebe: Textalgorithmen, WS 2003/04 286