Suffixautomaten. Stringologie. Weitere mögliche Datenstrukturen, die uns Zugriff auf die Suffixe eines Suchtextes erlauben.

Transkript

1 Suffixautomaten Stringologie Suffix-Bäume Peter Leupold Weitere mögliche Datenstrukturen, die uns Zugriff auf die Suffixe eines Suchtextes erlauben. Etwas grösser als Suffix Arrays, dafür noch effizienterer Zugriff. Keine speziellen Suchalgorithmen notwendig. Universität Leipzig Vorlesung SS 2014 Der eines Strings ist der deterministische endliche Automat, der alle Suffixe dieses Strings erkennt, und bei dem verschiedene Pfade aus demselben Quellzustand stets in verschiedenen Endzuständen enden. P. Leupold Stringologie (1) P. Leupold Stringologie (2) für den String ababbb: Aufbau durch sukzessives Hinzufügen der Suffixe vom längsten an. Dabei nennen wir Kopf (des aktuell einzufügenden Suffix) das längste gemeinsame Präfix mit einem größeren Suffix, Gabelung den letzten Zustand des Kopfes und Schwanz den Rest des Suffixes. Die Endzustände haben als Ausgabe die Position des jeweiligen Suffixes. P. Leupold Stringologie (3) P. Leupold Stringologie (4)

2 Gabelungen sind alle Zustände mit mehr als einem Ausgang. Korrespondenz zu Lcp. Suffix-Trie(y,n) 1 M:= Neuer Automat; 2 for (i := 0; i < n; i + +) do 3 (fork, k) := Finde(initial(M), i); 4 p := fork; 5 for (j := k; j < n; j + +) do 6 q := Neuer-Zustand(); 7 Succ[p] := Succ[p] {(y[i], q)}; 8 p := q; 9 end 10 output[p] := i; 11 end 12 output[initial(m)] := n; 13 return M; P. Leupold Stringologie (5) P. Leupold Stringologie (6) Finde(p,k) Bei naivem Herangehen benötigt die Konstruktion eines quadratisch viel Zeit in der Länge des Strings. 1 while (k < n AND Target(p, y[k])) do 2 (p, k) := (Target(p, y[k]), k + 1); 3 end Nun analysieren wir die Funktion der Gabelungen. Sei av ein Suffix (des Textes) mit Kopf az. Dann ist z ein Präfix des Suffixes v (von av). Also können wir die zugehörige Gabelung ab z suchen statt vom Startzustand aus. P. Leupold Stringologie (7) P. Leupold Stringologie (8)

3 Suffix Links zum Finden der Gabelungen Der Suffix Link ist die Funktion s auf der Menge der Zustände, die definiert ist durch s(az) = z. Das Suffix Ziel eines Zustandes ist das Bild unter dem Suffix Link. Den Suffix Link speichern wir für jeden Zustand im Zeiger sl, der anfangs stets auf NIL gesetzt wird. P. Leupold Stringologie (9) P. Leupold Stringologie (10) Suffix-Trie-SL(y,n) 1 M:= Neuer Automat; 2 sl[initial(m)] := initial[m]; 3 (fork, k) := (initial(m), 0); 4 for (i := 0; i < n; i + +) do 5 k := max(k, i); 6 (fork, k) := Finde-SL(sl[fork], k); 7 p := fork; 8 for (j := k; j < n; j + +) do 9 q := Neuer-Zustand(); 10 Succ[p] := Succ[p] {(y[i], q)}; 11 p := q; 12 end 13 output[p] := i; 14 end 15 output[initial(m)] := n; 16 return M; P. Leupold Stringologie (11) Finde-SL(p,k) 1 while (k < n AND Target(p, y[k])) do 2 q := Target(p, y[k]); 3 (e, f ) := (p, q); 4 while (e initial(m) AND sl[f ] = NIL) do 5 sl[f ] := Target(sl[e], y[k]); 6 (e, f ) := (sl[e], sl[f ]); 7 end 8 if (sl[f ] = NIL) then 9 sl[f ] := initial(m); 10 end 11 (p, k) := (q, k + 1); 12 end P. Leupold Stringologie (12)

4 Der entsteht aus dem durch Löschen aller Zustände vom Grad eins, die nicht Endzustände sind. Für die Reduzierung auf linear viele Knoten bezahlen wir evtl. mit (insgesamt) quadratisch langen Namen der Transitionen. Darum: Dabei muss y stets mit vorliegen. P. Leupold Stringologie (13) P. Leupold Stringologie (14) Satz Der Suffixbaum eines Strings der Länge n hat zwischen n + 1 und 2n Knoten. Die Anzahl der Gabelungen liegt zwischen 1 und n. Es gibt genau n + 1 Endzustände. Jede Gabelung, die nicht Endzustand ist, hat mindestens zwei Kinder. Bei n + 1 Endzuständen ergibt das maximal n Gabelungen. Der Anfangszustand fällt in beide Klassen. Lemma In einem ist das Suffix-Ziel einer nichtleeren Gabelung stets eine Gabelung. Ist Gabelung au von Grad mindestens 2, dann sind verschiedene aub und auc Faktoren von y. Dasselbe gilt für u = s(au), das somit mindestens Grad 2 hat. Ist Gabelung au von Grad 1 und Endzustand, dann gibt es ein aub, das Faktor von y ist; zugleich ist au Suffix. Also ist auch ub Faktor und u ein Suffix. P. Leupold Stringologie (15) P. Leupold Stringologie (16)

5 Lemma Sei (p, q) eine Kante des Suffixbaumes von y mit Namen y[j... k 1]. Falls q eine Gabelung des Baumes ist, dann ist { δ(p, y[j k 1] falls p Anfangszutand, s(q) = δ(s(p), y[j... k 1]) sonst. Für den Anfangszustand gilt die Aussage per Definition. Sonst sei av der eindeutige Pfad zu p. Also ist δ(λ, v) = s(p) und δ(λ, v y[j... k 1]) = s(q). Da der Automat deterministisch ist, ist s(q) = δ(s(p), y[j... k 1]). Suffix ababbb wird durch Vergleiche vom Anfangszustand ab eingefügt. Es werden die Knoten 3 und 4 eingefügt. Der Kopf ist abab, der Schwanz bb. P. Leupold Stringologie (17) P. Leupold Stringologie (18) Zur Berechnung von s(3) fehlt der Knoten für bab. Also wird die Kante bababbb geteilt. Braucht nicht mehr Zeit als der Pfad lang ist. Einfügen von babbb. Der Kopf ist bab, der Schwanz bb. P. Leupold Stringologie (19) P. Leupold Stringologie (20)

6 Suffix-Automaten p := δ(s(t), v) P. Leupold Stringologie (21) P. Leupold Stringologie (22) Suffix-Automaten Der kompakte Suffixautomat lässt sich in O(n log Σ ) Zeit und O(n) Raum konstruieren. Er spart ca. 50% Platz gegenüber dem minimierten, nicht kompaktierten Automaten. P. Leupold Stringologie (23)