Algorithmen und Datenstrukturen - Algorithmen auf Zeichenreihen -

Transkript

1 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Algorithmen und Dtenstrukturen - Algorithmen uf Zeichenreihen - Alexnder Sczyr Technische Fkultät sczyr@techfk.uni-bielefeld.de Vorlesung, Universität Bielefeld, Winter 2014/ / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Kpitel 6: Algorithmen uf Zeichenreihen Dieses Kpitel eschäftigt sich mit Algorithmen uf Zeichenreihen. Wir lernen einige wichtige und erühmte Algorithmen zur Textsuche und Textkomprimierung kennen. Als neue Progrmmiermethode tucht die Idee der Effizienzveresserung durch eine Vorverreitungsphse uf, welche die Kenntnis nur eines von zwei Argumenten vorussetzt. 2 / 74

2 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Anwendungsgeiete Anwendungsgeiete Die Verreitung von Zeichenreihen ist ein wichtiges Teilgeiet der Informtik, z.b. Erstellen, Durchsuchen, Archivieren von Dokumenten Text-Kompression & Dtenkompression (uf llen digitlen Üertrgungswegen) Genomforschung: Genome, Gene; Proteindtennken Internet-Suchmschinen 3 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Frgestellungen Frgestellungen Suchen (Muster P in Text T ) Vergleichen (Text S gegen Text T ) Clustering und Klssifizierung von Mengen von Zeichenreihen Textkomprimierung (Text T t T, worin t weniger Speicherpltz elegt ls T ). Verschlüsselung 4 / 74

3 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Frgestellungen Logische Vrinten Exkte Suche oder Vergleich (J/Nein; lle Auftreten/ein Auftreten) Approximtive Suche oder Vergleich (kleine Aweichungen erlut ester Treffer gesucht) Prweiser vs. multipler Vergleich Einfche vs. multiple Mustersuche 5 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Frgestellungen Technische Vrinten z.b. ei der Mustersuche 1 eide P und T vriel: nive Verfhren 2 P eknnt, T vriel: generiere spezielles Suchverfhren ( Mtcher ) für M in wechselnden Texten T 3 P vriel, T (reltiv) stil: generiere Index-Struktur zum schnellen Durchsuchen für wechselnde P 6 / 74

4 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Frgestellungen z.b. eim Vergleichen 4 eide Texte etw gleich groß Vergleich üer volle Länge 5 este lokle Ähnlichkeit Ws ist die ähnlichste Tonfolge in zwei Musikstücken? 6 kleiner Aschnitt in lngem Text Ws ist die dzu ähnlichste Zeichenreihe, die drin vorkommt? 7 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Frgestellungen z.b. ei großen/komprimierten Texten 7 online/streming-verfhren: Text wird nur einml gelesen, von links nch rechts 8 residente Verfhren: gnzer Text muss gleichzeitig verfügr sein für Zugriffe in elieiger Folge 8 / 74

5 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Beispiele Mehr Beispiele zu Text-Editor: Finde lle Auftreten eines Wortes; ersetze durch ein nderes 2 Üersetzung von Progrmmiersprchen: Erkennung der lexiklischen Grundsymole der Sprche in Progrmmen (Lexiklische Anlyse ls 1. Stufe der Syntxnlyse) 3 Suche nch Stichworten im Werk von Shkespere; Suche nch DNS-Muster ( ACGTAACCTTA ) im menschlichen Genom (3.3 GB) 9 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Beispiele 4 Textvergleich geschrieener (?) Husufgen; Vergleich zweier orthologer Gene (ortholog: verwndt durch Astmmung) 5 Suche nch Rukopien von Musikstücken 6 Aussortieren von Zerfllsprodukten der RNS; (sie sind Teile längerer Sequenzen; siehe uch 3) 7 Komprimieren/Dekomprimieren uf Üertrgungswegen; Verschlten von Progrmmen ls Unix pipes ; Listlessness ei funktionlen Progrmmen 8 Komplexere Suchmusternfrgen, z. B. verteilte Repets im menschlichen Genom 10 / 74

6 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Effizienz Effizienz-Betrchtung zur exkten Suche Hier eine llgemeine Vorusetrchtung zur Effizienz noch hen wir keine Algorithmen gesehen. Sei die Länge des Musters P: P = m, und die Länge des Textes T: T = n. Ws wäre die worst-cse Effizienz einer exkten Suche? Untergrenze der worst-cse Effizienz: O(m + n), denn lle Zeichen im Muster/Text müssen mindestens einml gelesen werden. O(m n) ist trivil erreichr ei Vorverreitung von Muster oder Text muss der Generierungsufwnd gegen veresserten Suchufwnd gewogen werden (mortisierte Effizienz) 11 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Effizienz Die solute Untergrenze für ds Finden von P nch Vorverreitung von T ist O(m) ds wäre unhängig von der Größe des Textes! Eine Besonderheit wird wichtig ei sehr großen Texten: Größe des Index knn kritisch werden. Ds Loklitätsverhlten der Indexkonstruktion und der Suche spielt eine Rolle in Rechnern mit Cche-Architektur (Thrshing) 12 / 74

7 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Effizienz Konstnte Fktoren Der Vergleich zweier Zeichen ist chrkteristische Opertion Ansonsten wird kum etws gerechnet Konstnte Fktoren sind generell gering, symptotische Lufzeit ist hrtes Kriterium Ausnhme: Thrshing-Phänomene 13 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Grundlegende Definitionen Die Suche nch llen (exkten) Vorkommen eines Musters in einem Text ist ein Prolem, ds häufig uftritt (z.b. in Editoren, Dtennken etc.). Wir vereinren folgende Konventionen: Alphet Σ endlicher Zeichenvorrt Muster P = P[0..m 1] Σ m Text T = T [0..n 1] Σ n P[j] = Zeichen n der Position j P[..e] = Teilwort von P von is den Positionen und e Beispiel P = cde, P[0] =, P[3] = d, P[2..4] = cde. 14 / 74

8 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Nottion leeres Wort: ɛ Länge eines Wortes x: x Konktention zweier Wörter x und y: xy 15 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Präfix und Suffix Sei x = uvw, mit u, v, w. Dnn heißt u Präfix von x, v Teilwort von x und w Suffix von x. Bechte: c ht Präfixe ɛ,,, c und die Suffixe c, c, c, ɛ. 16 / 74

9 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Ds Prolem der exkten Suche Definition Ein Muster P kommt mit der Verschieung s im Text T vor, flls 0 s n m und T [s..(s + m 1)] = P[0..(m 1)] gilt. In diesem Fll nennen wir s eine gültige Verschieung. Ds Prolem der exkten Textsuche ist es, lle gültigen Verschieungen zu finden. Mn knn er z.b. uch sgen: Finde lle Suffixe von T, die P ls Präfix hen. Beispiel T = ielefeld oh ielefeld P = feld s = 5 und s = 18. Gültige Verschieungen: 17 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Wir entwickeln eine nive Lösung. Die nive Lösung des Prolems sieht so us: nive1 p t = [i i <- [0..length t - 1], p == tke (length p) (drop i t)] Diese Lösung ist offensichtlich NICHT effizient sie führt zum Aufwnd O(n 2 + 2nm) wegen der Aufrufe von drop. 18 / 74

10 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Besser ist die Vrinte nive2 p t = [i (i,w) <- zip [0..] (suffixes t), p == tke m w] where m = length p suffixes [] = [[]] suffixes (x:xs) = (x:xs) : suffixes xs Hier ist der worst-cse Aufwnd O(m n) 19 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Am Beispiel T = rkdrxs und P = rxs erkennt mn ds ineffiziente Vorgehen, insesondere wenn Text und Muster immer komplett verglichen werden: r k d r x s r x s r x s r x s r x s r x s r x s r x s r x s r x s 20 / 74

11 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Selst wenn Text und Muster zeichenweise von links nch rechts und nur is zum ersten Mismtch 1 verglichen werden, ist die worst-cse Zeiteffizienz des niven Algorithmus O ( n m ), z.b. wird für T = n, P = m der Vergleich p =... n m + 1 ml usgeführt und in jedem Test in werden m Zeichen verglichen. Wie knn mn den niven Algorithmus veressern? Idee 1: Üerspringe ein Teilwort w von T, flls klr ist, dss w P (BM-Algorithmus 1977). Idee 2: Merke Informtionen üer isherige Vergleiche und nutze diese, um neue, unnötige Vergleiche zu vermeiden (KMP-Algorithmus 1977). 1 Die zwei Zeichen stimmen nicht üerein. 21 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Der Boyer-Moore-Algorithmus Der BM-Algorithmus legt wie der nive Algorithmus ds Muster zunächst linksündig n den Text, vergleicht die Zeichen des Musters dnn er von rechts nch links mit den entsprechenden Zeichen des Textes. Beim ersten Mismtch enutzt er zwei Lufzeit-Heuristiken, um eine Verschieung des Musters nch rechts zu estimmen. Beispiel: T = RHABARBERBARBARA P = BARBIER 22 / 74

12 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Ergenis-Heuristik Eine Ergenis-Heuristik (uch mnchml nur ls Heuristik ezeichnet) findet ein gutes, er nicht unedingt optimles Ergenis. Lufzeit-Heuristik Eine Lufzeit-Heuristik findet immer ein korrektes Ergenis und versucht durch Akürzungen möglichst die Lufzeit zu drücken. 23 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Die d-chrcter Heuristik Flls eim Vergleich von P[0..m 1] und T [s..s + m 1] (von rechts nch links) ein Mismtch P[j] T [s + j] für ein j mit m 1 j 0 festgestellt wird, so schlägt die d-chrcter Heuristik BCH(T [s + j]) eine Verschieung des Musters um j k Positionen vor. Dei ist k der größte Index (0 k m 1) mit T [s + j] = P[k]. Wenn kein k mit T [s + j] = P[k] existiert, so sei k = 1. BCH knn ereits vor Beginn der Suche erechnet werden!! 24 / 74

13 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Gerucht wird: [ ] BCH T [s + j] [ ] BCH T [s + j] = 1, flls T [s + j] nicht in P { } = mx k P[k] = T [s + j] 0 k m 1 Berechnet wird im Vorus: BCH[] = mx 0 k m 1 { } k P[k] = [ ] Flls BCH T [s + j] = 1, so knn ds Muster um j 1 verschoen werden (siehe vorherige Folie). 25 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Einfcher gesgt: T [s + j] ist der d chrcter. Wir verschieen ds Muster so, dss ds Auftreten des d chrcter im Muster m weitesten rechts, lso P[k], unter T [s + j] liegt. Prolem: Wenn k > j, würde ds Muster nch links verschoen! Dher wird eine weitere Heuristik enötigt. 26 / 74

14 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Die good-suffix Heuristik Flls eim Vergleich von P[0..m 1] und T [s..s + m 1] (von rechts nch links) ein Mismtch P[j] T [s + j] für ein j mit m 1 j 0 festgestellt wird, so wird ds Muster so weit nch rechts geschoen, is ds eknnte Suffix T [s + j + 1..s + m 1] wieder uf ein Teilwort des Musters psst. 27 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Genuer: Flls ein Suffix von P mtcht, er ds nächste Zeichen links im Text nicht mtcht, dnn suche die m weitesten rechts stehende Stelle in P, n der ds mtchende Suffix uftritt, er ei dem ds nächste Zeichen links in P ein nderes ist (sonst würde es wieder nicht pssen). P knn dnn soweit nch rechts verschoen werden, dss die neue Stelle unter der lten zu liegen kommt. Flls ds mtchende Suffix nicht noch ml in P zu finden ist, dnn verschiee die linke Position von P üer die zuletzt etrchtete Position im Text hinus, so dss ein Prefix von P noch ds Suffix von P mtcht. Flls ds nicht zutrifft, dnn knn um die gnze Länge des Ptterns verschoen werden. Flls P gefunden wird, dnn knn dnch soweit verschoen werden, wie ds größte echte Prefix von P, ds mit einem Suffix von P üereinstimmt. Ansonsten knn um die Länge von P verschoen werden. 28 / 74

15 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Zusmmenspiel der Heuristiken Im Boyer-Moore-Algorithmus wird ds Muster um ds Mximum von eiden vorgeschlgenen Verschieungen verschoen. Es knn gezeigt werden, dss die Lufzeitkomplexität dnn im worst cse O(n + m) ist. 29 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Vorverreitung: Bd chrcter Heuristik: Good suffix Heuristik: Zusmmen Die Verschieespnnen eider Heuristiken werden vor durch Anlyse von P ermittelt und telliert BCH: [ 1..m 1] BCH() = k gdw. k ist rechtestes Auftreten von in P; oder BCH() = 1 GSH: [0..m 1] [ 1..m 1] GSH(j) = min(gsh (j), GSH (j)) GSH (j) = j + 1 mx r : P[r..r + (m 1) (j + 1)] = P[j + 1..m 1] sonst m GSH (j) = (m 1) mx q < ((m 1) j) : P[0..q] = P[(m 1) q..(m 1)] s = s + mx(j BCH(T [s + j]), GSH(j)) 30 / 74

16 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Beispiel Die d-chrcter Heuristik schlägt eine Verschieung von j k = (m 3) 5 = (12 3) 5 = 4 Positionen vor; dies ist im Fll () illustriert. Aus der Drstellung (c) wird ersichtlich, dss die good-suffix Heuristik eine Verschieung von 3 Positionen vorschlägt. Also wird ds Muster um mx{4, 3} = 4 Positionen nch rechts verschoen. d chrcter good suffix {}} {... w r i t t e n n o t i c e t h t... s r e m i n i s c e n c e ()... w r i t t e n n o t i c e t h t... s + 4 r e m i n i s c e n c e ()... w r i t t e n n o t i c e t h t... s + 3 r e m i n i s c e n c e (c) 31 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Ein Beispiel, in dem die Bd-Chrcter-Heuristik eine Verschieung nch links (negtiv) vorschlägt:... R H A B A R B E R B A R B A R A B R A... B I E R B A R rechtes Auftreten von t in P d chrcter t ergit Verschieung 3! Good suffix Heuristik: Verschieung / 74

17 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Wirksmkeit der Heuristiken: lnge gute Suffixe sind selten, in der Regel eruhen große Verschieungen uf der d-chrcter Heuristik 33 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Der Boyer-Moore-Horspool-Algorithmus Der BM-Algorithmus verdnkt seine Schnelligkeit vor llem der d-chrcter Heuristik. Dher wurde 1980 von Horspool eine Vereinfchung des BM-Algorithmus vorgeschlgen: Die d-chrcter Heuristik wird derrt modifiziert, dss sie immer eine positive Verschieung vorschlägt. Dmit wird die good-suffix Heuristik üerflüssig (und uch die Vorverreitung einfcher). 34 / 74

18 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Der Boyer-Moore-Horspool-Algorithmus Der BMH-Algorithmus geht in den meisten Fällen nlog zur isherigen d-chrcter Heuristik vor. Aer: Flls P[j] T [s + j] für ein j (0 j m 1) gilt, so wird s um m 1 k erhöht, woei k der größte Index zwischen 0 und m 2 ist mit T [s + m 1] = P[k]. Wenn kein k (0 k m 2) mit T [s + m 1] = P[k] existiert, so wird s um m erhöht. Ds Muster wird lso um ( ) λ T [s + m 1] = min ( {m} { m 1 k 0 k m 2, T [s + m 1] = P[k] verschoen. ( Wenn) ein Mtch gefunden wurde, dnn wird eenflls um λ T [s + m 1] verschoen. Vorverreitung: λ(c) für lle c Σ. }) 35 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Verhlten des BMH-Algorithmus ei einem Mismtch... g o l d e n f l e e c e o f... s r e m i n i s c e n c e... g o l d e n f l e e c e o f... s + 3 r e m i n i s c e n c e 36 / 74

19 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Verhlten des BMH-Algorithmus ei einem Treffer... g o l d e n f l e e c e o f... s f l e e c e... g o l d e n f l e e c e o f... s + 2 f l e e c e 37 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Boyer-Moore-Horspool Algorithmus in Hskell import Arry Eine hlherzige Lösung lmd :: String -> String -> Int -> Int lmd p t s = minimum (m:[m-1-k k <- [0..(m-2)], t!!(s+m-1) == p!!k]) where m = length p Mh :: String -> String -> [Int] Mh p t = mh 0 p t where mh i p t i > (length t)-(length p) = [] p == (tke (length p) (drop i t)) = i:(mh (i + lmd p t i) p t) otherwise = mh (i + lmd p t i) p t 38 / 74

20 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Kritik: 1 Die Repräsenttion von Muster und Text ls String sttt ls Arry verhindert ds Erreichen guter Effizienz. 2 Die Verschieefunktion λ wird nicht vor erechnet, sondern ei jedem Geruch neu. 3 Für die lokle Funktion mh sind p und t eknnt. Es ist unnötig, sie jedesml ls (unveränderte) Prmeter zu üergeen. 4 λ sollte lokle Funktion von mh sein, d uch dfür p und t konstnt sind. 5 Eine zentrle BMH-Idee ist, dss λ() für lle us [ A.. z ] erechnet wird. Ddurch wird λ unhängig von Text t!! 39 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Eine korrekte Lösung type SArr = Arry Int Chr mh:: SArr -> SArr -> [Int] mh p t = mhi 0 m where (_,m) = ounds p (_,n) = ounds t mhi i k i+m >n = [] k == 0 = [i t!i == p!0]++ mhi (i+shift!(t!(i+m))) m t!(i+k) == p!k = mhi i (k-1) otherwise = mhi (i+shift!(t!(i+m))) m shift :: Arry Chr Int shift = ccumarry min (m+1) ( A, z ) [(p!k,m-k) k <- [0..m-1]] 40 / 74

21 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Zum Aufruf mit zwei Strings tmh p t = mh (mk p) (mk t) where mk s = listarry (0,length s -1) s Zum seprt Angucken eine ent-loklisierte Kopie von shift shift :: SArr -> Arry Chr Int shift p = ccumarry min (m+1) ( A, z ) [(p!k,m-k) k <- [0..m-1]] where (_,m) = ounds p 41 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Der Knuth-Morris-Prtt-Algorithmus Der nive Algorithmus: r k d e r r k d r k r k d r r k d r r k d r r k d r r k d r etc. 42 / 74

22 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Ws zeigt uns eine genuere Anlyse des Vorgehens? Im zweiten und dritten Schritt wird ds Zeichen n Position 1 im Muster mit den Zeichen und r n der zweiten und dritten Position des Textes verglichen wird, owohl ereits nch dem positiven Vergleich von r klr sein musste, dss hier keine Üereinstimmung existieren knn. 43 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Der Knuth-Morris-Prtt-Algorithmus geht nch folgendem Schem vor: Wenn ein Teilwort (Präfix) des Musters ereits erknnt wurde, er dnn ein Mismtch uftritt, so ermittelt der Algorithmus ds längste Präfix dieses Teilwortes, ds gleichzeitig echtes Suffix dvon ist, und schiet ds Muster dnn so weit nch rechts, dss dieses Präfix n der isherigen Position des Suffixes liegt. r k d e r r k d r k r k d r r k d r r k d r r k d r r k d r r k d r r k d r r k d r Mn erkennt, dss hier nch dem Verschieen 2 zw. 4 zw. 1 unnötige Vergleiche vermieden wurden. 44 / 74

23 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Beispiel: Die Präfixfunktion π : {1, 2,..., m} {0, 1,..., m 1} für ein Muster P[0..m 1] ist definiert durch π[q] = mx{k : k < q und P[0..k 1] ist echtes Suffix von P[0..q 1]}. Sie lutet für unser Beispielwort P = rkdr: q P[q] r k d r π[q] Für q = 9 wäre ds entsprechende Teilmuster lso rkd. Ds längste Präfix, ds gleichzeitig echtes Suffix dvon ist, ist. Es ht die Länge 2, drum findet sich in der Telle n der Position q = 9 der Eintrg π[q] = 2. P wird so verschoen, dss P[π(q)] unter der Mismtch-Position in T steht, d. h. S S + q π[q]. 45 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Berechnung der Präfixfunktion für KMP Vorgehen: induktiv Annhme: Die Werte von π sind ereits für 1... q 1 erechnet. Gesucht: π[q] = mx{k k < q und P[0..k 1] ist echtes Suffix von P[0..q 1]}. Welche k kommen in Frge? lle echten Suffixe von P[0..q 2], die sich zu einem echten Suffix von P[0..q 1] erweitern lssen. 46 / 74

24 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression () 0 k 2 k q 2 q 1 x x k 1 k 1 Sei k 1 = π[q 1] + 1 Dnn ist π[q] = k 1 flls, P[k 1 1] = P[q 1]. 47 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression () ndernflls (y x): k 2 1 k 1 1 q 2 q 1 x y x k 2 k 2 k 2 Sei k 2 = π[k 1 1] + 1. Dnn ist π[q] = k 2, flls P[k 2 1] = P[q 1] und so weiter / 74

25 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Allgemein: k i = π[k i 1 1] + 1 = π[π[k i 2 1] + 1 1] + 1 = π[π[k i 2 1]] + 1 k i = π i [q 1] / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression KMP-Algorithmus in Hskell import Arry Eine hlherzige Lösung für KMP (einschließlich einer esonders peinlichen Implementierung von suffixes) Pi-Funktion für den KMP: pi :: String -> Arry Int Int pi p = rry (1,qmx) [ (q, mximum [ k k <- [0..q], (tke k p) elem (suffixes (tke q p)) ]) q <- [1..qmx] ] where qmx = (length p) 50 / 74

26 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Git lle echten Suffixe eines Worts inklusive des leeren Worts us: suffixes :: [] -> [[]] suffixes s = [ (drop n s) n <- [1..(length s)] ] Git die Stelle des ersten unterschiedlichen Zeichens in zwei gleich lngen Strings us: getq :: String -> String -> Int getq = getq 0 where getq i (:s) (:s) = if /= then i else getq (i+1) s s getq i [] [] = i 51 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Führt den KMP us: kmp :: String -> String -> [Int] kmp [] _ = error "ungueltiger Suchstring" kmp p t = kmp 0 p t where kmp i p t i > lt-m = [] q == m && k == 0 = i:kmp (i + m) p t q == m && k > 0 = i:kmp (i + m - k ) p t q < m && p!!q /= t!!(i+q) && q /= 0 = kmp (i + q - pq) p t q < m && p!!q /= t!!(i+q) && q == 0 = kmp (i+1) p t where q = getq p (tke m (drop i t)) k = pit!m pq = pit!q pit = pi p lt = length t m = length p 52 / 74

27 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Kritik: 1 Drstellung von Text und Muster ls String (sttt Arry) torpediert die Effizienz. 2 Suffixes hen wir in den Üungen schon elegnter implementiert diese Implementierung ist in O(n 2 )! 3 getq vergleicht im Muster jedesml von gnz vorne, ds stimmt nicht mit der KMP-Idee üerein. 4 kmp ls lokle Funktion von KMP rucht keine Prmeter p und t. 53 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Eine korrekte Implementierung von KMP type SArr = Arry Int Chr kmp p t = kmp 0 0 where (_,m) = ounds p (_,n) = ounds t kmp i q i+m > n = [] q == m+1 = i:kmp (i+q-pi!q) (pi!q) - i+q leit invrint! t!(i+q) == p!q = kmp i (q+1) - q rueckt vor q == 0 = kmp (i+1) 0 - i rueckt vor otherwise = kmp (i+q-pi!q) (pi!q) - i+q leit invrint! pi :: Arry Int Int pi = rry (0,m+1) ((0,0):(1,0):[(q,itertep (pi!(q-1)) q) q <- [2..m+1]]) where itertep 0 q = if p!0 == p!(q-1) then 1 else 0 itertep k q = if p!k == p!(q-1) then k+1 else itertep (pi!k) q 54 / 74

28 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Zum Aufruf von kmp mit zwei Strings tkmp p t = kmp (mk p) (mk t) where mk s = listarry (0,length s -1) s Ent-loklisierte Version von pi zum Reingucken pt p = pi where (_,m) = ounds p pi = rry (0,m+1) ((0,0):(1,0):[(q,itertep (pi!(q-1)) q) q <- [2..m+1]]) itertep 0 q = if p!0 == p!(q-1) then 1 else 0 itertep k q = if p!k == p!(q-1) then k+1 else itertep (pi!k) q mk s = listarry (0,length s -1) s 55 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Ein Wettrennen zwischen KMP und BMH 1. Stz: p = ccggt, t = tcgtggctgctgtgtttgcgccggcgttgctgcccgtccggtcxggct tkmp p t [53] (11975 reductions, cells) tmh p t [53] (7473 reductions, 9958 cells) 0:1 2. Stz: p =, t = tkmp p t [0,28] (10881 reductions, cells) tmh p t [0,28] (12374 reductions, cells) 1:0 3. Stz: p = WerdurchTesten, t = Progrmmeverstehenwilldermussschonsehrvielmessenundgnzgenuhinsehen tkmp p t [] (8068 reductions, cells) tmh p t [] (5979 reductions, 8064 cells) 0:1 Ergenis:... KMP : BMH 1: / 74

29 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Weitere Verfhren Auch eim KMP-Algorithmus wird ein Textuchste ei Mismtch mehrfch verglichen. Ein endlicher Automt dgegen mcht pro Üergng genu einen Vergleich! Ein Zwischenschritt uf dem Weg dorthin ist der Aho-Corsick-Automt. 57 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Aho-Corsick-Automt Bei mehr ls einem Muster ilden lle Präfixe ller Muster die Zustndsmenge des Aho-Corsick-Automten. Beispiel: P 1 = r, P 2 =, P 3 = rr. =, ε r r r r r r r r rr rr 58 / 74

30 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Aho-Corsick-Automt (2) Der Aho-Corsick-Automt knn nch mehreren Mustern gleichzeitig suchen. Die gestrichelten Üergänge gelten für den Mismtch. Nch einem Mismtch-Üergng wird ds gleiche Zeichen wieder gelesen. So können Ketten von Mismtch-Üergängen entstehen, ohne dss der Automt im Text fortschreitet. 59 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression KMP-Algorithmus ls AC-Automt mit Mismtch-Üergängen (ohne Kntenmrkierung; ohne Weitergehen im Text) Jeder Zustnd entspricht einem erknnten Präfix; die Nummer ist q us der π-telle = ε r r 3 r k rk 4 5 rk 6 d rkd 7 rkdr 11 rkdr 10 r rkd 9 rkd 8 Speicherpltz für den KMP-Automt: O( P ) für die Telle der Spontnüergänge. 60 / 74

31 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Vermeiden von Mismtch-Üergängen Bei einem Mismtch-Üergng ist der d chrcter im Text eknnt. Sei x dieser Buchste. Ds Üergngsdigrmm legt ereits fest, nch wie vielen Mismtch-Üergängen ein regulärer Üergng unter x möglich wird. Ein endlicher Automt mcht diesen Üergng direkt rucht er eine größere Üergngstelle. 61 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Trnsformtion des KMP-Automten in einen endlichen Automten (Zusmmenziehen der spontnten Üergänge, so dss ei jedem Üergng ein Zeichen gelesen wird) = ε 0 =,,k =, 1 =,r = 2 rkdr 11 k r r 3 rkdr 10 =,,k = r r k rk 4 5 rkd 9 rkd 8 rk 6 rkd 7 d =,,d = = =,r =, Speicherpltz für endlichen Automt: O( P ) für lle Komintionen von Zeichen und Zustnd. 62 / 74

32 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Index-sierte Verfhren Sehr große Texte, die sich selten ändern, können zu einem Index verreitet werden, in dem in O(m) oder O(m log n) gesucht werden knn suffix rry: O(m log n) suffix tree: O(m) enhnced suffix rry: O(m) Alle Indices ruchen O(n) Speicherpltz und können in O(n) Zeit konstruiert werden. Vorlesung Sequenznlyse 63 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Textkompression Verfhren zur Textkompression sind llgegenwärtig in Dtenüertrgung und Archivierung. Dei sollte mn nicht nur n sprchliche Texte denken, sondern uch Bilder und Messdten. Wir etrchten 2 Vrinten des Lempel-Ziv-Verfhrens. 64 / 74

33 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Grundidee: Sustitutionsverfhren A B A B B A komprimiert den Text mit der Sustitutionstlle A: B: Reduktion: 21 Zeichen Zeichen Proleme: Aufwnd zur Konstruktion der Telle Pltzedrf für die Telle Whl der Telle (nicht eindeutig) 65 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Grundidee Lempel-Ziv Die Telle wird on-the-fly ei der Kompression konstruiert Sie wird NICHT gespeichert, sondern sie wird ei der Dekompression rekonstruiert. 66 / 74

34 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Lempel-Ziv 1978 Die Telle enthält nummerierte Phrsen, initil nur (0, ) Der Text wird links rechts gelesen, und von der jeweils ktuellen Position us wird ds längste Teilwort w estimmt, ds ereits ls Phrse die Nummer sei i in der Telle steht, sowie der Folgeuchste x im Text die Codierung (i, x) usgegeen die neue Phrse (j, wx) eingetrgen 67 / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Beispiel Lempel-Ziv 1978 Kompression Einge: 0 : ε Je länger die Phrsen werden und je mehr sie sich wiederholen, desto stärker wird die Kompression. 68 / 74

35 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Beispiel Lempel-Ziv 1978 Dekompression Wir kennen nur ds Alphet {, } und den komprimierten Text C= Wir rekonstruieren gleichzeitig Text und Telle : ε / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Lempel-Ziv-Welch 1984 Eine Vereinfchung ergit sich, wenn mn nnimmt, dss lle Einzeluchsten ls Phrsen vorkommen: die Telle wird sttt mit (0, ) mit (i, i ) initilisiert für = (1,..., ) n jeder Position wird mit i, w, x wie zuvor die Phrsennummer i usgegeen ohne Buchste! die neue Phrse wx eingetrgen die Rekonstruktion der Telle enötigt nun etws Vorusschu. 70 / 74

36 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Lempel-Ziv-Welch 1984 Kompression / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression Lempel-Ziv-Welch 1984 Dekompression Im Schritt für 1 wird Phrse 3 eingetrgen. Dei wird 2 mitenutzt für den neuen Buchsten. Im Schritt für 3 wird Phrse 9 eingetrgen. Dei wird 9 mitenutzt für den neuen Buchsten! 72 / 74

37 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression 2. Beispiel LZW84 Kompression Zum Selermchen / 74 Algorithmen uf Zeichenreihen Grundlegende Definitionen BM-Algorithmus BMH-Algorithmus Der KMP-Algorithmus Weitere Verfhren Textkompression 2. Beispiel LZW84 Dekompression Zum Selermchen / 74