Mathematisches Praktikum - SoSe 2015

Transkript

1 Mathematisches Praktikum - SoSe 2015 Prof. Dr. Wolfgang Dahmen Felix Gruber, Igor Voulis Aufgabe 4 Bearbeitungszeit: drei Wochen (bis Freitag, 5. Juni 2015) Mathematischer Hintergrund: String-Matching-Algorithmen, Hash-Funktionen Elemente von C ++ : Schleifen, Funktionen, Vektoren (STL), Klassen, Doxygen Einleitung Bei vielen verschiedenen Problemstellungen ist es wichtig, einen vorgegebenen Text in einem anderen Text zu finden und seine Position zurück zu geben. Beispiele für Anwendungen sind das Suchen auf Webseiten oder das Aufspüren von Plagiaten. Algorithmen, die sich mit diesem Problem beschäftigen, sind die so genannten String-Matching-Algorithmen. In dieser Übung werden wir verschiedene String-Matching-Algorithmen implementieren und auch vergleichen. String-Matching-Algorithmen Das String-Matching-Problem besteht, grob gesprochen, darin, einen Text (Pattern) in einem anderen Text zu finden. Formal ausgedrückt betrachten wir folgendes Problem. Definition 1 (String-Matching Problem) Gegeben sei ein Alphabet Σ, ein Wort p = p 1 p 2... p k Σ k (Pattern) der Länge k N und ein Text T = T 1... T n Σ * der Länge n N. Hierbei bezeichnet Σ * die Menge aller Texte, die aus dem Alphabet Σ gebildet werden können. Das String-Matching Problem besteht darin, alle i {1,..., n} mit T i... T i+k 1 = p 1... p k zu finden. Grundlegend basieren die hier verwendeten Algorithmen darauf, das Pattern unter den Anfang des Textes zu schreiben und dann immer wieder die folgenden zwei Schritte durchzuführen: a.) Vergleiche: Vergleiche das Pattern mit dem Text b.) Verschiebe: Verschiebe das Pattern unter dem Text zur nächsten Position T : 1. Vergleiche P : 2. Verschiebe Abbildung 1: Allgemeine Vorgehensweise eines String-Matching-Algorithmus. Es stellt sich nun die Frage, wie man das Verschieben und das Vergleichen optimieren kann, um einen schnellen Algorithmus zu erhalten, welcher mit möglichst wenigen Vergleichen auskommt. Hierzu betrachten wir zunächst eine simple Version des Algorithmus. 1

2 Ein erster naiver Ansatz Unser erster naiver Ansatz vergleicht das Pattern jeweils von links nach rechts mit dem Text und verschiebt es anschließend um eine Position. Es ist leicht ersichtlich, dass dieses Vorgehen bei bestimmten Wörtern zu einer hohen Anzahl an Vergleichen führen kann. Derartige Wörter sind allerdings im Falle einer natürlichen Sprache eher selten, sodass der Algorithmus bereits eine relativ gute Laufzeit hat, welche jedoch noch stark verbessert werden kann. Beispiel 1 Wir betrachten den Text AABAAAABAAB und das Pattern AABAAB. Die Anwendung des naiven Algorithmus ist in Abbildung 2 dargestellt. A A B A A Abbildung 2: Beispiel 1: Suche mit dem naiven Algorithmus. Erfolgreiche Vergleiche sind fett markiert, fehlerhafte Vergleiche sind kursiv mit grauem Hintergrund dargestellt. Verbesserte Algorithmen Um den naiven Algorithmus zu verbessern, stellen wir uns folgende zwei Fragen: a.) Kann ich durch die Kenntnis des Patterns p Vergleiche einsparen? b.) Kann ich den Vergleich des Patterns mit dem Text vereinfachen? Die nun folgenden Algorithmen optimieren den naiven Algorithmus unter dem Gesichtspunkt jeweils einer der obigen Fragen. Knuth-Morris-Pratt-Algorithmus Der Knuth-Morris-Pratt-Algorithmus (KMP) wurde 1977[3] veröffentlicht und verbessert den naiven Algorithmus durch eine Patternanalyse. Die Idee hinter dem Algorithmus ist, dass wenn ein Teil des Pattern p welches erfolgreich verglichen wurde, ein Suffix besitzt das Präfix des Pattern ist, so kann man mit diesem Suffix starten und so die entsprechenden Vergleiche sparen. Somit wird zuerst für jeden Teilstring p 1... p i untersucht, was das längste echte Suffix ist, welches zugleich ein Präfix ist. Dazu wird eine Funktion f aufgestellt, die zu einer vorgegebenen Länge die Länge des Präfix angibt, das bereits bekannt ist. Setze f (0) =-1 Betrachte p [1]... p[i] mit i=1,...,k Finde l, so dass p[i-l +1]... p[i]=p [1]... p[l] mit l maximal und i-l >=1 Setze f(i)=l Die Suche startet wie die naive Suche, allerdings wird im Fall eines fehlerhaften Vergleichs oder eines erfolgreichen Fundes die nächste Position anders bestimmt. 2

3 Starte den Vergleich mit s =1 und i =1 ( s entspricht der aktuellen Position im Text, ab der verglichen wird, und i der Position im Pattern ) Vergleiche solange bis T[s+i -1]!= p[i] oder i=k gilt Setzte s=s+(i -1) -f(i -1) und i=f(i -1) +1 Starte den naechsten Vergleich Beispiel 2 Wir betrachten wieder den Text AABAAAABAAB und das Pattern AABAAB. Wir wollen den Knuth-Morris-Pratt Algorithmus anwenden, d.h. wir analysieren zunächst das Pattern, siehe Abbildung 3. In Abbildung 4 ist die Suche dargestellt. 0 AABAAB 1 A AABAAB 2 AA AABAAB 3 AAB AABAAB 4 AABA AABAAB 5 AABAA AABAAB 6 AABAAB AABAAB Abbildung 3: Pattern Analyse für den Knuth-Morris-Pratt Algorithmus. Erste Spalte: Länge des gefundenen Teils, zweite Spalte: entsprechender gefundener String und letzte Spalte: das Pattern selber. Fett makiert ist das Suffix des gefundenen Strigs, welches Präfix des Patterns ist. A A B A A Abbildung 4: Beispiel 2: Suche nach dem Wort AABAAB mit Hilfe des Knuth-Morris-Pratt Algorithmus. Erfolgreiche Vergleiche sind fett markiert, fehlerhafte Vergleiche sind kursiv mit grauem Hintergrund dargestellt. Boyer-Moore-Algorithmus Der nun folgende Algorithmus wurde 1977[1] von Boyer und Moore vorgestellt. Verglichen mit dem vorherigen Algorithmus wird das Pattern noch genauer untersucht. Wie zuvor beginnen wir am Anfang des Textes, vergleichen allerdings nicht von links nach rechts, sondern von rechts nach links. Wir beginnen also mit dem letzten Buchstaben des Patterns. Sobald eine Ungleichheit auftritt, gibt es zwei Möglichkeiten, das Pattern zu verschieben. Hierbei wird immer die maximale Verschiebung verwendet: Ist a der verglichene Buchstabe im Text, so wird im Pattern das letzte Vorkommen des Buchstaben a gesucht und das Pattern soweit verschoben, bis die beiden gleichen Buchstaben untereinander stehen, wobei allerdings immer mindestens um eine Position nach rechts verschoben wird. Entspricht das verglichene Endstück einem Teilwort des Patterns, so wird das Pattern soweit nach rechts verschoben, bis die beiden Teile übereinander liegen. Gibt es mehrere Teilworte, welche dem Endstück entsprechen, so wird das weiter hinten liegende ausgewählt. Falls keine der beiden Regeln greift, wird das Pattern um seine komplette Länge verschoben. Es kann vorkommen, dass die Regeln eine Verschiebung in negative Richtung empfehlen, dann wird immer um 1 verschoben. 3

4 Wie beim Knuth-Morris-Pratt-Algorithmus wird vor der eigentlichen Suche das Pattern analysiert und in einer Sprungtabelle gespeichert. Beispiel 3 Wir betrachten wieder den Text AABAAAABAAB und das Pattern AABAAB. Wir wollen den Boyer-Moore Algorithmus anwenden, d.h. wir analysieren zunächst das Pattern, siehe Abbildung 5. In Abbildung 6 ist die Suche dargestellt. A 1 B 0 0 AABAAB 1 B AABAAB 2 AB AABAAB 3 AAB AABAAB 4 BAAB AABAAB 5 ABAAB AABAAB 6 AABAAB AABAAB Abbildung 5: links: erste Regel (Position vom letzten Buchstaben aus gesehen), rechts: zweite Regel A A B A A Abbildung 6: Suche mit dem Boyer-Moore Algorithmus. Fett: erfolgreicher Vergleich, kursiv und grauer Hintergrund: fehlerhafter Vergleich Algorithmus mit Hash-Funktion Ziel der vorherigen Algorithmen war es, durch eine Analyse des Patterns die Anzahl an Vergleichen zu minimieren. Der nun folgende Algorithmus versucht, den Vergleich s i... s i+k 1 = p 1... p k so zu vereinfachen, dass möglichst schnell eine kleine Obermenge an möglichen Treffern generiert wird. Hierbei soll insbesondere nicht Buchstabe für Buchstabe verglichen werden. T : 1. Vergleiche P : 2. Verschiebe Abbildung 7: Allgemeine Vorgehensweise des Rabin-Karp Algoritmus. Hash-Funktionen Im Allgemeinen bilden Hash-Funktionen die Elemente aus einer (evtl. unendlich) großen Menge von Werten auf eine kleine Menge von Hash-Werten ab. Definition 2 (Hash-Funktion) Eine Abbildung h : S K heißt Hash-Funktion, wenn S K gilt. 4

5 In unserem Fall wäre dies z.b. eine Abbildung h : Σ i {0,..., 9} j, mit i, j N. In unserer Anwendung müssen wir schnell zwei Hash-Werte vergleichen. Hierzu verwenden wir sogenannte Hash-Tabellen. Definition 3 (Hash-Tabelle) Die Tabelle definiert durch die Abbildung t : K {0, 1} wird Hash-Tabelle genannt. Möchten wir p mit den Werten w 1,..., w n vergleichen, so berechnen wir die Hash-Werte der entsprechenden Eingaben und setzten t(h(p)) = 1. Nun können wir t(h(w i )) berechnen und überprüfen, ob dort eine 1 oder 0 steht. Das Setzen und Überprüfen ist verglichen mit dem direkten Vergleich der Hash-Werte sehr effizient. Es können allerdings Kollisionen auftreten: zwei Werte aus S können den gleichen Hash-Wert haben. Wir erhalten also lediglich eine Obermenge der eigentlichen Lösungsmenge. Rabin-Karp-Algorithmus Der Rabin-Karp-Algorithmus[2] wurde 1987 vorgestellt und verwendet zum Vergleich in Abbildung 7 eine Hash-Funktion h. Mit Hilfe der Hash-Funktion wird eine Liste von möglichen Treffern generiert, welche dann noch überprüft werden muss. Berechne h1 = h( p) und speichere h1 in einer Hashtabelle Fuer s=1,...,n-k+1 berechne h2 = h(t[s ]... T[s+k -1]) Vergleiche h1 und h2 mit Hilfe der Hashtabelle Vergleiche alle Treffer mit p Die entscheidene Frage ist, was eine geeignete Hash-Funktion ist. Wenn der Hashwert für jedes s komplett neu berechnet werden muss, ist anzunehmen, dass der Algorithmus nicht schneller läuft als der naive Algorithmus. Daher verlangen wir einen bestimmten Typ von Hashfunktionen. Definition 4 (Rolling-Hash-Funktion) Eine Hashfunktion h heißt rolling-hash-funktion, wenn es eine Funktion r : Σ Σ K gibt, die aus dem Hashwert zu w 1... w k und den Buchstaben w 1 und w k+1 den Hashwert zu w 2... w k+1 berechnen kann. Genauer gesagt soll folgende Identität gelten: h(w 2 w 3 w 4... w k+1 ) = r(w 1, w k+1, h(w 1 w 2 w 3... w k )) Folgende zwei Hash-Funktionen sind rolling-hash-funktionen. h 1 (w 1... w k ) = k char(w i ) i=1 h 2 (w 1... w k ) = k char(w i ) a k i i=1 mod z, wobei a eine Zahl und z eine Primzahl ist Bei der zweiten Hash-Funktion stellt sich die Frage, wie man die Funktion r(w 1, w k, h(w 1 w 2 w 3... w k 1 )) implementieren kann. Hierzu benötigen wir den Wert q := a k mod z. Damit lässt sich die roll-funktion wie folgt implementieren: r(w 1, w k+1, h old ) = (h old a + char(w k+1 ) + z (q char(w 1 ) mod z)) mod z 5

6 Suche nach mehreren Patterns Bei der Suche nach mehreren Patterns zeigt sich der Vorteil des Rabin-Karp-Algorithmus, wenn die Wörter eine ähnliche Länge haben. Durch die Sprungtabellen und Abbruchkriterien bei den ersten drei Verfahren kann man diese nicht parallel für die Suche nach mehreren Patterns verwenden, sondern muss nacheinander nach den entsprechenden Patterns suchen. Bei dem Rabin-Karp-Algorithmus sieht dies etwas anders aus. Haben wir mehrere Patterns, die gleich lang sind, so könnnen wir gleichzeitig nach den entsprechenden Hash-Werten suchen. Bei unterschiedlich langen Patterns, können wir die Patterns auf eine gemeinsame Länge kürzen und so schnell eine grobe Obermenge an möglichen Treffern generieren. Hierbei ist zu beachten, dass bei der Hashfunktion Kollisionen auftreten können. Daher verwenden wir eine Hash-Tabelle, in welcher statt 0 bzw. 1 eine Liste von Patterns steht, welche den gegebenen Hash-Wert besitzten. Aufgabe Ziel dieses Übungsblattes ist es mehrere Verfahren zum Finden von einem oder mehreren Strings in einem Text zu implementieren. Hierzu finden Sie eine Code-Basis, in der Sie an verschiedenen Stellen die Algorithmen implementieren sollen. Das Grundgerüst des Programms ist in den Dateien string_matching.cpp, algo.h, hash.h und util.h gegeben. Machen Sie sich vor allem mit der Klassenstruktur der Algorithmen vertraut. Um sich mit den Funktionen und Klassen vertraut zu machen, wurden die bereits implementierten Funktionen mit Doxygen 1 dokumentiert. Ihre Aufgabe ist es die Funktionen, die Sie implementieren, ebenfalls mit Doxygen zu dokumentieren. Algorithmen In der Datei algo.h ist das Grundgerüst für die Algorithmen gegeben. Es sollen die Funktionen zum Suchen von einem oder mehreren Pattern implementiert werden. Für die Suche nach einem Pattern sind dies die Funktionen Naiv :: find_single ( string &s, string &p, vector <int > & result ) KnuthMorrisPratt :: find_ single ( string & s, string & p, vector < int > & result ) BoyerMoore :: find_single ( string &s, string &p, vector <int > & result ) RabinKarp <H >:: find_single ( string &s, string &p, vector <int > & result ) Da ein Pattern öfters in einem Text vorkommen kann, werden die Positionen des ersten Buchstabens jedes Treffers in dem Vektor result gespeichert. Die Suche nach mehereren Pattern läuft für die Algorithmen Naiv, KnuthMorrisPratt und BoyerMoore ähnlich ab. Daher muss hierfür nur eine Funktion implementiert werden. Simple :: find_multiple ( string &s, vector < string > &p, vector < vector <int > > & result ) RabinKarp <H >:: find_multiple ( string &s, vector < string > &p, vector < vector <int > > & result ) In result wird das Endergebnis gespeichert, d.h. für das Pattern p[i] werden in result[i] die Positionen des ersten Buchstabens jedes Treffers gespeichert

7 Hashfunktionen Das Grundgerüst einer Hash-Funktion ist durch die Klasse RollingHash in der Datei hash.h gegeben. Die Aufgabe besteht nun darin, für die beiden Hash-Funktionen h 1 (HashSimple) und h 2 (HashBetter) zu implementieren. Hierzu soll eine Funktion zum Berechnen des kompletten Hashwertes und die Funktion r implementiert werden: HashSimple :: set ( string &s) HashSimple :: roll ( char &del, char & add ) HashBetter :: set ( string &s) HashBetter :: roll ( char &del, char & add ) Endergebnis Um das Endergebnis mit der korrekten Lösung zu vergleichen, wird am Ende der Suche nach mehreren Patterns die Funktion finish_multiple aufgerufen. Hierbei wird auch die Anzahl an Vergleichen mit der korrekten Lösung verglichen. Aus diesem Grund dürfen die Funktionen start, start_multiple, finish und finish_multiple nicht gelöscht werden. Doxygen Doxygen ist ein Programm, das dabei hilft eine umfangreiche Dokumentation zu einem Projekt zu erstellen. Hierzu muss der Code in einer bestimmten Art und Weise kommentiert sein. Doxygen kann nun diese Kommentare lesen und erstellt eine HTML-Dokumentation des Projektes. Ein Teil des Codes ist schon in der für Doxygen lesbaren Weise kommentiert. Um die Dokumentation zu erstellen gibt es die Datei doxyfile, welche die wichtigsten Parameter setzt, um die Dokumentation zu generieren. Erzeugt werden kann die HTML-Dokumentation mit dem Befehl doxygen doxyfile. Nachdem das Programm durchgelaufen ist, existiert ein Ordner doxygen/html. In diesem Ordner wurde die Datei index.html erstellt, welche mit einem Browser geöffnet werden kann. Um zu sehen wie beispielsweise eine Klasse dokumentiert werden kann, schauen wir uns die Dokumentation der Klasse HashList an: /** * \ brief Klasse zum Speichern von Daten in einer Hash - Tabelle. Ein Objekt der Klasse repraesentiert eine Liste von Elementen, wobei next immer auf das naechste Objekt der Liste zeigt. * \ param value Wert der an dieser Stelle gespeichert werden soll * \ param next Naechstes Element der Liste */ Dieser Kommentar muss unmittelbar vor der Klassendefinition stehe, damit Doxygen weiß, zu welcher Klasse er gehört. Nun gibt der Befehl \brief eine kurze Beschreibung der Klasse an. Mit \param werden alle Variablen der Klasse erklärt. Hierbei gibt der erste Wert nach \param den Namen der Variablen an und danach kommt die Beschreibung. Möchte man eine Methode erklären, verwendet man die selben Befehle, nur dass diesemal mit param die Funktionsparamenter erklärt werden. Ein weiterer Vorteil von Doxygen ist, dass man auch Latex-Befehle verwenden kann. So kann man zum Beispiel mit \f[... \f] eine Formel zum Text hinzufügen. Weitere Informationen zu Doxygen finden sich in der offiziellen Dokumentation

8 Literatur [1] Boyer, R. S. und J. S. Moore: A fast string searching algorithm. Communications of the ACM, 20(10): , [2] Karp, R. M. und M. O. Rabin: Efficient randomized pattern-matching algorithms. IBM Journal of Research and Development, 31(2): , [3] Knuth, D. E., J. H. Morris und V. R. Pratt: Fast Pattern Matching in Strings. SIAM Journal of Computing, 6(2): ,