1.8 Shift-And-Algorithmus

Transkript

1 .8 Shift-And-Algorithmus nutzt durch Bitoperationen mögliche Parallelisierung Theoretischer Hintergrund: Nichtdeterministischer endlicher Automat Laufzeit: Θ(n), falls die Länge des Suchwortes nicht größer als die Länge eines Computerwortes (Byte) ist. Realzeitalgorithmus einfach auf inexakte Suche verallgemeinerbar (implementiert z.b. in agrep von Manber und Wu) R. Stiebe: Textalgorithmen, WS 23/4 87

2 Akzeptierung durch NEA Die Sprache Σ P, P = m, wird durch folgenden NEA akzeptiert. A P = (Σ, {,,..., m}, δ,, {m}) mit δ = {(i, P [i + ], i + ) : i < m} {(, x, ) : x Σ}. Beispiel. Für P = abcabba ergibt sich der folgende NEA: a b 2 c 3 a 4 b 5 b 6 a 7 Σ R. Stiebe: Textalgorithmen, WS 23/4 88

3 Idee des Shift-And-Algorithmus Voraussetzung: Ein Byte hat mindestens m Bits. Menge der erreichbaren Zustände wird durch ein Byte Z kodiert. Zustand i {, 2,..., m} durch T [... j] erreichbar in Z ist das i-te Bit von rechts. Präprozessing: Jedem Buchstaben x Σ wird ein Byte B[x] zugewiesen. In B[x] ist das i-te Bit von hinten P [i] = x Initialisierung: Z. Aktualisierung für Z an der Textstelle j Z ((Z<<) ) & B[T [j]], R. Stiebe: Textalgorithmen, WS 23/4 89

4 Algorithmus.3 Shift-And-Algorithmus Eingabe: Wörter P, T mit P = m, T = n Ausgabe: Menge S der Vorkommen von P in T () foreach x Σ (2) B[x] ; (3) for i to m (4) B[P [i]] B[P [i]] (<<(i )); (5) S ; Z ; (6) for j to n (7) Z ((Z<<) ) & B[T [j]]; (8) if Z & (<<(m )) then S S {j m + }; Satz. Es seien P und T Wörter über Σ mit P = m, T = n und Σ = σ, wobei m nicht größer als eine Byte-Länge ist. Der Shift-And-Algorithmus findet alle Vorkommen von P in T in einer Zeit von O(n) und benötigt für das Präprozessing eine Zeit von O(m + σ). R. Stiebe: Textalgorithmen, WS 23/4 9

5 Beispiel Für Σ = {a, b, c}, P = abcabba und T = abaabcabbab ergibt sich folgender Ablauf des Algorithmus (das rechteste Bit von Z ist unten). Das Ende eines Vorkommens erkennt man am 7. Bit von rechts. B a B b B c a b a a b c a b b a b R. Stiebe: Textalgorithmen, WS 23/4 9

6 Shift-Or-Algorithmus Zustand i {, 2,..., m} durch T [... j] erreichbar in Z ist das i-te Bit von rechts. Präprozessing: Jedem Buchstaben x Σ wird ein Byte B[x] zugewiesen. In B[x] ist das i-te Bit von hinten P [i] = x Initialisierung: Z. (alle Bits auf ) Aktualisierung für Z an der Textstelle j Z (Z<<) B[T [j]], Historisch erster Algorithmus (Baeza-Yates/Gonnet,989) wegen einfacherer Aktualisierungsregel etwas schneller als Shift-And R. Stiebe: Textalgorithmen, WS 23/4 92

7 .9 Algorithmen mit Suffixautomaten wie beim Boyer-Moore-Algorithmus Vergleich von rechts nach links Ausführung der Vergleiche, bis Textteil kein Infix des Suchwortes ist mittlere Laufzeit: Θ( n log m m ). Variante: Verwendung eines DEA (deterministic acyclic word graph) 2. Variante: Verwendung eines NEA (ähnlich zu Shift-And) R. Stiebe: Textalgorithmen, WS 23/4 93

8 Suffixautomaten Grundidee T [j +... k] sei ein Infix von P, T [j... k] sei kein Infix von P ein Vorkommen von P kann frühestens an der Stelle j + beginnen Verschiebung um m k + j Stellen möglich j Sollte an der Stelle k ein Vorkommen von P enden, so verschiebt man um. k P P T R. Stiebe: Textalgorithmen, WS 23/4 94

9 Suffixautomaten Definition. Es sei w ein Wort. Der Suffixautomat (auch DAWG für Directed Acyclic Word Graph) ist der minimale deterministische endliche Automat, dessen akzeptierte Sprache die Menge der Suffixe von w ist. Beispiel. Für P = abcabba ergibt sich der folgende DAWG von P r = abbacba: 8 a 9 c b b a b c a b b a c c R. Stiebe: Textalgorithmen, WS 23/4 95

10 Algorithmus.4 Backward DAWG Matching (BDM-Algorithmus) Eingabe: Wörter P, T über Σ mit P = m, T = n Ausgabe: Menge S der Vorkommen von P in T () Konstruiere den DAWG für P r A = (Σ, Z, δ, z, F ); (2) S ; z z ; k m; (3) while k n (4) j k; (5) while δ(z, T [j]) existiert (6) z δ(z, T [j]); j j ; (7) if j = k m then S S {k m + }; k k + ; (8) else k j + m; Satz. Algorithmus.4 findet alle Vorkommen von P in T. R. Stiebe: Textalgorithmen, WS 23/4 96

11 Backward DAWG Matching Laufzeit im schlechtesten Fall: Θ(m n). ( im Durchschnittsfall: Θ ) n l m m l m l m ist die mittlere Länge des längsten Teilwortes von P, das Suffix eines Wortes der Länge m ist. Man kann ) zeigen: l m log σ m, d.h. mittlere Laufzeit in der Größenordnung Θ. ( n logσ m m Es gibt Varianten mit linearer Laufzeit im schlechtesten Fall Präprozessing: Der DAWG eines Wortes der Länge m besitzt höchstens 2m Knoten und 4m Kanten und kann in Zeit O(m) konstruiert werden. (Konstruktion des DAWG ist dennoch recht aufwendig) R. Stiebe: Textalgorithmen, WS 23/4 97

12 Verbesserte Verschiebungsregel Idee: Verschiebe P bis zum Anfang des längsten gefundenen Präfixes von P. Präfix von P erreicht DAWG von P r ist im akzeptierenden Zustand Verschiebungen in der Regel größer, aber Test auf Endzustand kostet Zeit Beispiel. Für das Wort P = abcabba und die Textzeichen acab ergibt sich das längste Infix cab. Das längste Präfix ist aber ab, d.h. es ist eine Verschiebung um 7 2 = 5 möglich. R. Stiebe: Textalgorithmen, WS 23/4 98

13 Nichtdeterministische Suffix-Automaten Definition. Es sei w ein Wort. Der nichtdeterministische Suffixautomat (auch NDAWG) ist der minimale deterministische endliche Automat, dessen akzeptierte Sprache die Menge der Suffixe von w ist. Beispiel. Für P = abcabba ergibt sich der folgende NDAWG von P r = abbacba: a b 2 c 3 a 4 b 5 b 6 a 7 R. Stiebe: Textalgorithmen, WS 23/4 99

14 Implementierung mittels Bit-Arithmetik Byte Z: i-tes Bit von rechts ist Zustand (i ) erreichbar Gelesenes Wort ist Infix, solange Z. Präprozessing: für jedes x Σ konstruiere Byte B[x] In B[x] ist das i-te Bit von hinten genau dann, wenn P [i] = x gilt. Initialisierung: Z (<<(m + )) (setze die ersten m + Bits von rechts auf ) Aktualisierung: Z (Z>>) & B[T [j]]. R. Stiebe: Textalgorithmen, WS 23/4

15 Algorithmus.5 Backward NDAWG Matching (BNDM-Algorithmus) Eingabe: Wörter P, T mit P = m, T = n Ausgabe: Menge S der Vorkommen von P in T () foreach x Σ (2) B[x] ; (3) for i to m (4) B[P [i]] B[P [i]] (<<(i )); (5) S ; k m; (6) while k n (7) Z (<<(m + )) ; j k; while Z (8) Z (Z>>) & B[T [j]]; (9) if j = k m then S S {k m + }; k k + ; () else k j + m; Satz. Algorithmus.5 findet alle Vorkommen von P in T. R. Stiebe: Textalgorithmen, WS 23/4

16 . Karp-Rabin-Algorithmus benutzt Hash-Funktion Hash : Σ m N bestimmt mit einem Aufwand Θ(n) Positionen mit korrektem Hash-Wert Überprüfung der Kandidaten mit Aufwand O(mn) oder Implementierung als probabilistischer Algorithmus Verallgemeinerung auf zweidimensionale Bilder leicht möglich R. Stiebe: Textalgorithmen, WS 23/4 2

17 Wahl der Hash-Funktion Anforderungen an die Hash-Funktion gute Differenzierung (unterschiedliche Werte für ähnliche Wörter) Hash(T k+ ) in konstanter Zeit aus Hash(T k ) berechenbar, wobei T j = T [j... j + m ] O.B.d.A.: Σ = {,,..., σ } Wörter als Zahlen interpretiert. w = x x 2... x m x m H(w) = m x i σ m i Als Hash-Funktion eignet sich i= Hash q (w) = H(w) mod q, wobei q eine Primzahl mit O(log n) Bits ist. R. Stiebe: Textalgorithmen, WS 23/4 3

18 Für a, b Σ und α Σ m gilt H(αb) = H(aα) σ a σ m + b und folglich Hash q (αb) = (Hash q (aα) σ a (σ m mod q) + b) mod q. Hash q (T k+ ) = (Hash(T k ) σ T [k] s+t [k+m]) mod q, wobei s = σ m mod q. Hash q (T k+ ) kann mit konstanten Aufwand aus Hash q (T k ) berechnet werden. Wegen σ k mod q = (σ (σ k mod q)) mod q für alle k N kann man s mit einem Aufwand von Θ(m) berechnen. Analog können Hash q (P ) und Hash q (T ) mit einem Aufwand von Θ(m) berechnet werden. R. Stiebe: Textalgorithmen, WS 23/4 4

19 Algorithmus.6 Karp-Rabin-Algorithmus Eingabe: Wörter P, T über Σ = {,,..., σ } mit P = m, T = n Ausgabe: Menge C möglicher Vorkommen von P in T () C ; (2) Wähle eine Primzahl q; (3) s σ m mod q; h Hash q (P ); H Hash q (T [... m]); (4) if H = h then C C {}; (5) for k to n m (6) H (H σ T [k] s + T [k + m]) mod q; (7) if H = h then C C {k + }; R. Stiebe: Textalgorithmen, WS 23/4 5

20 Beispiel Es seien Σ = {,, 2, 3}, P = 333, T = Für q = bzw. q = 7 erhalten wir folgenden Ablauf. (Die Werte T k sind an die Stelle k + m = k + 4 geschrieben.) q Hash q (P ) σ m mod q q Es bleibt nach diesen beiden Läufen nur die Stelle 4 als mögliches Vorkommen. R. Stiebe: Textalgorithmen, WS 23/4 6

21 Varianten der Implementierung. Teste für jeden Kandidaten, ob ein Vorkommen von P vorliegt. Deterministischer Algorithmus, Laufzeit O(mn) 2. Wiederhole den Algorithmus k-mal mit unterschiedlichen Primzahlen q. Gib alle Kandidaten aus, die bei jedem Durchlauf gefunden wurden. Monte-Carlo-Algorithmus, Laufzeit O(kn). Fehlerwahrscheinlichkeit (für jede Eingabe): O(/n k ) bei zufälliger Wahl von q aus dem Intervall [,..., mn 2 ] 3. Teste, ob die Kandidatenliste C einen Fehler enthält (mit Aufwand O(n)). Wiederhole den Algorithmus solange, bis C keinen Fehler mehr enthält. Las-Vegas-Algorithmus, erwartete Laufzeit (für jede Eingabe): O(n) R. Stiebe: Textalgorithmen, WS 23/4 7

22 Test der Kandidatenliste in linearer Zeit Teile die geordnete Kandidatenliste C in geordnete Teillisten C, C 2,..., C r auf. Der Abstand zwischen benachbarten Elementen einer Liste C i ist höchstens m/2. Der Abstand vom letzten Element von C i zum ersten Element von C i+ ist größer als m/2. Ist C korrekt, so haben benachbarte Elemente in allen Listen die kleinste Periode von P als Abstand. Prüfe, ob in allen Listen alle Nachbarn den gleichen Abstand d haben. Wenn nicht, so liegt ein Fehler vor. Haben alle Nachbarn den gleichen Abstand d, so vergleiche in den Listen für den ersten Kandidaten komplett und für die restlichen Kandidaten nur die letzten d Stellen, bis ein Fehler gefunden ist oder alle Kandidaten geprüft sind. R. Stiebe: Textalgorithmen, WS 23/4 8