Zeichenketten. Von Lisa Marie Dreier. Informatik 2 Programmiersysteme Martensstraße Erlangen

Transkript

1 Zeichenketten Von Lisa Marie Dreier Informatik 2 Programmiersysteme Martensstraße Erlangen

2 Inhalt! String-Matching-Algorithmen Allgemeines Naiver Ansatz Knuth-Morris-Pratt-Algorithmus Boyer-Moore-Algorithmus Rabin-Karp Verfahren! Manacher Algorithmus! Tries! Bibliotheksfunktionen! Quellen Hallo Welt für Fortgeschritten Thema Vortragender Folie 2

3 Allgemeines über String-Matching-Algorithmen! Problem: Suchbegriff in einer Zeichenkette finden! String Matching: Suche nach exakt dem Suchbegriff! Pattern Matching: Suche nach ähnlichem Muster! Benennungen: Zu durchsuchender Text t Suchbegriff = pattern p Länge des Musters/Suchbegriffs m Länge des zu durchsuchenden Textes n Hallo Welt für Fortgeschritten Thema Vortragender Folie 3

4 Naiver Ansatz Prinzip: 1) Suchbegriff am linken Textrand ausrichten und darunter schreiben 2) Von links nach rechts Suchbegriff mit Text Zeichen für Zeichen vergleichen 3) a) Bei Übereinstimmung: Suchbegriff gefunden! b) Sonst: Suchbegriff um eins nach rechts rutschen und bei Punkt 2 wieder beginnen Hallo Welt für Fortgeschritten Thema Vortragender Folie 4

5 Naiver Ansatz! ANANAS in ANANANANAS gesucht! Laufzeit: O(n*m), Worst-Case: O(n²) (falls m=n/2) Hallo Welt für Fortgeschritten Thema Vortragender Folie 5

6 Knuth-Morris-Pratt-Algorithmus! Verbesserte naive Suche: Suchstring oft um mehr als ein Zeichen nach rechts gerückt! O(n) Eigtl. O(n+m), aber da m <= n, ist m vernachlässigbar! Aber: Vorverarbeitung nötig! Tabelle aus Vorverarbeitung: an welche Stelle muss der String bewegt werden? Hallo Welt für Fortgeschritten Thema Vortragender Folie 6

7 Knuth-Morris-Pratt-Algorithmus! Prinzip der Suche: Springt bei Mismatch von aktueller Stelle bis zum Präfixteil, an dem das passende Suffix vorkommt Hallo Welt für Fortgeschritten Thema Vortragender Folie 7

8 Knuth-Morris-Pratt-Algorithmus! Vorverarbeitung: Aufstellen einer Tabelle, in der steht, ob das Suffix eine Wiederholung des Präfixes darstellt und die Länge dessen! ob das aktuelle Zeichen Teil einer Wiederholung eines Präfixes ist und, wenn ja, an welcher Stelle im Präfix es steht ababca a 0 ab 0 aba 1 abab 2 ababc 0 ababca 1 a -1 b 0 a 0 b 1 c 2 a 0 1 Hallo Welt für Fortgeschritten Thema Vortragender Folie 8

9 Knuth-Morris-Pratt-Algorithmus! Bsp: Suche ababca in abababcdababca a -1 b 0 a 0 b 1 c 2 a 0 1 Hallo Welt für Fortgeschritten Thema Vortragender Folie 9

10 Boyer-Moore-Algorithmus! String-Matching-Algorithmus! Ähnlich dem Knuth-Morris-Pratt-Algorithmus, allerdings Zeichenabgleich von rechts nach links und andere Verschiebungen! Prinzip der Suche: 1) Ausrichten des Suchworts am linken Rand des Textes 2) Von rechts nach links zeichenweiser Abgleich von Suchbegriff und Text 3) a) Bei Übereinstimmung: Wort gefunden! b) Ansonsten: Verschieben des Wortes um die maximale Distanz aus Bad-Character-Heuristik und Good-Suffix-Heuristik, beginne dann erneut bei Punkt 2 Hallo Welt für Fortgeschritten Thema Vortragender Folie 10

11 Boyer-Moore-Algorithmus: Bad-Character-Heuristik! Prinzip: Bei einem Mismatch verschiebt man das Suchwort zum am weitesten rechts liegenden Vorkommen des unpassenden Zeichens Ausnahme: Wenn der String nach links verschoben werden müsste, wird er stattdessen um eins nach rechts verschoben Hallo Welt für Fortgeschritten Thema Vortragender Folie 11

12 Boyer-Moore-Algorithmus: Bad-Character-Heuristik! Prinzip: Bei einem Mismatch verschiebt man das Suchwort zum am weitesten rechts liegenden Vorkommen des unpassenden Zeichens Ausnahme: Wenn der String nach links verschoben werden müsste, wird er stattdessen um eins nach rechts verschoben Bsp: Suche DABAB in EEEEABEEBBADBDABAB Hallo Welt für Fortgeschritten Thema Vortragender Folie 12

13 Boyer-Moore-Algorithmus: Good-Suffix-Heuristik! Mismatch erst nach ein paar bereits passenden Zeichen:! Prinzip: das Wort wird soweit nach rechts geschoben bis das bereits passende Suffix auf dem nächstfrüheren Vorkommen im Suchstring zu liegen kommt Hallo Welt für Fortgeschritten Thema Vortragender Folie 13

14 Boyer-Moore-Algorithmus: Good-Suffix-Heuristik! Mismatch erst nach ein paar bereits passenden Zeichen:! Prinzip: das Wort wird soweit nach rechts geschoben bis das bereits passende Suffix auf dem nächstfrüheren Vorkommen im Suchstring zu liegen kommt Bsp: Suche DABAB in EEEEABEEBBADBDABAB Hallo Welt für Fortgeschritten Thema Vortragender Folie 14

15 Boyer-Moore-Algorithmus: Vorverarbeitung! Speichert Tabellen für beide Heuristiken:! Bad-Character-Heuristik: Tabelle speichert für jedes Zeichen des Suchbegriffs die Position des letzten Vorkommens Prinzip: Durchgehen des Wortes von vorn nach hinten und dabei für jeden Buchstaben die aktuelle Position speichern oder überschreiben Suchstring: DABAB D A B Hallo Welt für Fortgeschritten Thema Vortragender Folie 15

16 Boyer-Moore-Algorithmus: Vorverarbeitung! Speichert Tabellen für beide Heuristiken:! Good-Suffix-Heuristik: Tabelle speichert für jedes Teilwort (mit dem der Suchbegriff endet) die Position des nächstfrüheren Vorkommens im Suchbegriff Tabelle ähnelt der Vorverarbeitungstabelle vom Knuth-Morris- Pratt-Algorithmus Suchstring: DABAB D A B A B Hallo Welt für Fortgeschritten Thema Vortragender Folie 16

17 Boyer-Moore-Algorithmus! Bsp: Suche DABAB in EEEEABEEBBADBDABAB D A B Bad-Character-Heuristik D A B A B Good-Suffix-Heuristik Hallo Welt für Fortgeschritten Thema Vortragender Folie 17

18 Boyer-Moore-Algorithmus! Laufzeitkomplexität: Average Case: O(n) Worst-Case: O(n*m) Best-Case: O(n/m)! gut bei großem Alphabet und wenigen Wiederholungen Hallo Welt für Fortgeschritten Thema Vortragender Folie 18

19 Rabin-Karp-Verfahren Prinzip:! Hasht den Suchbegriff und jeden Teilstring (mit passender Länge) des zu durchsuchenden Textes! Vergleicht Hash! Bei Übereinstimmung überprüfen, ob bei gleichem Hash tatsächlich das richtige Wort gefunden wurde Schnelligkeit durch rolling hash = Hash, der bei Veränderung eines Zeichens aus vorherigem Hash in O(1) berechnet werden kann Hallo Welt für Fortgeschritten Thema Vortragender Folie 19

20 Rabin-Karp-Verfahren! Hashfunktion: Vermeidet Kollisionen rolling Hash Ergebnis sollte fest definierte Grenzen (z.b. Integermaximum) nicht übersteigen Z.B. Rabin-Fingerprint Hallo Welt für Fortgeschritten Thema Vortragender Folie 20

21 Rabin-Karp-Verfahren Rabin-Fingerprint! Funktion: b⁰ * z 1 + b¹ * z b n * z n! Primzahl als Basis b! Vordefinierte Zahl für jedes Zeichen z i, z.b. Integer-Wert der ASCII-Repräsentation! Exponent besagt, an welcher Stelle das Zeichen steht Hallo Welt für Fortgeschritten Thema Vortragender Folie 21

22 Rabin-Karp-Verfahren! Bsp. : Suche mittels Rabin-Fingerprint ICH in ZEICHENKETTE! Funktion: b⁰ * z 1 + b¹ * z b n * z n! Basis b = 2, z i = Integerrepräsentation! ICH = 2 0 * * * 72 = 495! Erste 3 Zeichen des Wortes: ZEICHENKETTE! ZEI = 2 0 * * * 73 = 520 > 495 ZEI ICH => nächsten Teilstring berechnen 65 A 66 B 67 C 68 D 69 E 70 F 71 G 72 H 73 I 90 Z Hallo Welt für Fortgeschritten Thema Vortragender Folie 22

23 Rabin-Karp-Verfahren! Bsp. : Suche mittels Rabin-Fingerprint ICH in ZEICHENKETTE! Funktion: b⁰ * z 1 + b¹ * z b n * z n ;! Basis b = 2, z i = Integerrepräsentation! Zwischenergebnisse: ICH = 495; ZEI = 520! 5 Zeichen ab 2. Stelle: ZEICHENKETTE:! EIC = ( ZEI Z )/ * C = (520 90)/ * 67 = EIC ICH => nächsten Teilstring berechnen 65 A 66 B 67 C 68 D 69 E 70 F 71 G 72 H 73 I 90 Z Hallo Welt für Fortgeschritten Thema Vortragender Folie 23

24 Rabin-Karp-Verfahren! Bsp. : Suche mittels Rabin-Fingerprint ICH in ZEICHENKETTE! Funktion: b⁰ * z 1 + b¹ * z b n * z n ;! Basis b = 2, z i = Integerrepräsentation! Zwischenergebnisse: ICH = 495; EIC = 483! 5 Zeichen ab 2. Stelle: ZEICHENKETTE:! ICH = ( EIC E )/ * H = (483 69)/ * 72 = 495 = 495 Rücktransformation Überprüfen: ICH = ICH gefunden! 65 A 66 B 67 C 68 D 69 E 70 F 71 G 72 H 73 I 90 Z Hallo Welt für Fortgeschritten Thema Vortragender Folie 24

25 Rabin-Karp-Verfahren! Laufzeitkomplexität: Best-Case: O(n) Average Case: O(n) Worst-Case: O(n*m)! Eignet sich besonders für Suche nach Mehrfachvorkommen Hallo Welt für Fortgeschritten Thema Vortragender Folie 25

26 Vergleich der String-Matching-Algorithmen! Naiver Ansatz Best-Case: O(n*m), Average Case: O(n*m), Worst-Case: O(n²) Einfach zu verstehen! Knuth-Morris-Pratt-Algorithmus Best-Case: O(n), Average Case: O(n), Worst-Case: O(n) Gut bei kleinem Alphabet! Boyer-Moore-Algorithmus Best-Case: O(n/m), Average Case: O(n), Worst-Case: O(n*m) Gut bei großem Alphabet und wenigen Wiederholungen! Rabin-Karp-Algorithmus: Best-Case: O(n), Average Case: O(n), Worst-Case: O(n*m) Angewandt, wenn alle Vorkommen gesucht Hallo Welt für Fortgeschritten Thema Vortragender Folie 26

27 Manacher Algorithmus! Ziel: sucht das längste palindromische Teilwort in O(n) bzw. alle Palindrome im Wort w! Naiver Ansatz: Bei jedem Zeichen und Zwischenraum so lange zeichenweise gleichzeitg nach links und rechts laufen bis diese ungleich sind => Ende des Palindroms Das Beispiel abbabba führen wir an der Tafel aus Hallo Welt für Fortgeschritten Thema Vortragender Folie 27

28 Manacher Algorithmus! Ziel: sucht das längste palindromische Teilwort in O(n) bzw. alle Palindrome im Wort w! Prinzip: Füllzeichen am Anfang und nach jedem Zeichen von w einfügen => ergibt w Tabelle anlegen, aus der man für jedes Zeichen aus w die Länge des Palindroms mit diesem Zeichen als Zentrum ablesen kann von links nach rechts durchgehen und abprüfen, wie lange ein Palindrom mit dieser Stelle als Zentrum ist und das Ergebnis in die Tabelle eintragen Hallo Welt für Fortgeschritten Thema Vortragender Folie 28

29 Manacher Algorithmus! Abprüfen: Wenn das Zentrum nicht innerhalb eines bekannten, größeren Palindroms liegt: man geht vom Zentrum aus gleichzeitig nach rechts und links und vergleicht zeichenweise bis sie ungleich sind Ansonsten gibt es 3 Fälle: Hallo Welt für Fortgeschritten Thema Vortragender Folie 29

30 Manacher Algorithmus 1. Fall: i + P[i] < R! D.h. das linke Palindrom und das rechte Palindrom liegen aufgrund der Spiegeleigenschaft beide innerhalb des größeren => P[i ] = P[i] Hallo Welt für Fortgeschritten Thema Vortragender Folie 30

31 Manacher Algorithmus 1. Fall: i + P[i] < R! D.h. das linke Palindrom und das rechte Palindrom liegen aufgrund der Spiegeleigenschaft beide innerhalb des größeren => P[i ] = P[i] Hallo Welt für Fortgeschritten Thema Vortragender Folie 31

32 Manacher Algorithmus 2. Fall: i + P[i] > R! D.h. das linke Palindrom geht über den linken Rand des größeren Palindroms hinaus => Das rechte Palindrom geht genau bis zum rechten Rand Hallo Welt für Fortgeschritten Thema Vortragender Folie 32

33 Manacher Algorithmus 2. Fall: i + P[i] > R! D.h. das linke Palindrom geht über den linken Rand des größeren Palindroms hinaus! Aufgrund der Spiegeleigenschaft muss das rechte Palindrom mindestens bis zum rechten Rand des Palindroms gehen! Das rechte Palindrom kann aber nicht über den rechten Rand hinausgehen, da es sonst das größere Palindrom erweitern müsste => Das rechte Palindrom geht genau bis zum rechten Rand Hallo Welt für Fortgeschritten Thema Vortragender Folie 33

34 Manacher Algorithmus 3. Fall: i + P[i] = R! D.h. das linke Palindrom reicht genau bis zum linken Rand Das rechte Palindrom reicht mindestens bis zum rechten Rand => Es muss abgeprüft werden, ob es über den rechten Rand hinaus vergrößert werden kann, da die Spiegeleigenschaft dies nicht verhindert Hallo Welt für Fortgeschritten Thema Vortragender Folie 34

35 Trie! Problem: Ist Wort in Sprache enthalten?! Information Retrieval! Suchbaum für Strings! Laufzeit abhängig von der Implementierung zwischen O(m) und O( m * Σ )! Σ = Größe des Alphabets Quelle: wiki/file:trie.svg Hallo Welt für Fortgeschritten Thema Vortragender Folie 35

36 Trie! Wurzel = leerer String! ein Buchstabe je Kante! Markierungen an den Knoten, die besagen, ob in diesem Knoten ein Wort endet! gleiche Vorsilben werden nur einmal gespeichert => wenig Speicherbedarf Quelle: wiki/file:trie.svg Hallo Welt für Fortgeschritten Thema Vortragender Folie 36

37 Patricia Trie! Trie, der weniger Speicherplatz benötigt! steht für: Practical Algorithm to Retrieve Information Coded in Alphanumeric! Kante kann mehrere Buchstaben enthalten, wenn der Vater sonst nur ein Kind hätte Quelle: Hallo Welt für Fortgeschritten Thema Vortragender Folie 37

38 Bibliothksfunktionen in C++! size_t string::find(const string& str, size_t pos = 0)! size_t string::length()! string string::substr(size_t pos = 0, size_t len = npos)! string& string::append(const string& str)! string& string::erase(size_t pos, size_t len)! string& string::insert(size_t pos, const string& str) Hallo Welt für Fortgeschritten Thema Vortragender Folie 38

39 Bibliotheksfunktionen in C #include <ctype.h>! int islower(int c)! int isupper(int c)! int isalpha(int c)! int toupper(int c)! int tolower(int c) #include <string.h>! int strcmp(const char *s1, const char *s1)! char *strstr(const char *haystack, const char *needle) Hallo Welt für Fortgeschritten Thema Vortragender Folie 39

40 Bibliotheksfunktionen in Java! der Klasse String:! char charat(int index)! boolean contains(charsequence s)! boolean equalsignorecase(string anotherstring)! int length()! String [] split(string regex) //teilt String bei jedem regex! String trim() //entfernt \n, \t, etc. an Stringende und - anfang! Hallo Welt für Fortgeschritten Thema Vortragender Folie 40

41 Bibliotheksfunktionen in Java! der Klasse StringBuilder (im Paket java.lang.stringbuilder)! StringBuilder append(object obj) //hängt obj.tostring() //ans Ende des aufrufenden Strings! char charat(int index)! StringBuilder deletecharat(int index)! int indexof(string str) //erstes Vorkommen von str! StringBuilder reverse() //kehrt vorhandenen StringBuilder um! String tostring()! Hallo Welt für Fortgeschritten Thema Vortragender Folie 41

42 Quellen! Allgemein:! Folien der Hallo-Welt-Seminar von 2011, 2014 und 2015! Naiver String-Matching-Algorithmus:! Cormen, Thomas H., Introduction to algorithms, < erlangen/reader.action?docid= > (aufgerufen am ).! Knuth-Morris-Pratt-Algorithmus:! D. E. Knuth, J. H. Morris & V. R. Pratt: Fast Pattern Matching in Strings, SIAM Journal of Computing. 6 (2), 1977, ! (aufgerufen am ).! (aufgerufen am ).! (aufgerufen am ).! (aufgerufen am ). Hallo Welt für Fortgeschritten Thema Vortragender Folie 42

43 Quellen! Boyer-Moore-Algorithmus:! Boyer, Robert S. & Moore, J. Strother, A fast string searching algorithm, Communications of the ACM 20 (10), ! Charras, Christian & Lecroq, Thierry, Handbook of exact String Matching Algorithmus, < doi= &rep=rep1&type=pdf> (aufgerufen am ).! (aufgerufen am ).! (aufgerufen am ).! Rabin-Karp-Verfahren:! Karp, Richard M. & Rabin, Michael O., Efficient randomized pattern-matching algorithms, IBM Journal of Research and Development 31 (2), 1987, ! (aufgerufen am ).! (aufgerufen am ). Hallo Welt für Fortgeschritten Thema Vortragender Folie 43

44 Quellen! Manacher Algorithmus:! Manacher, Glenn, "A new linear-time "on-line" algorithm for finding the smallest initial palindrome of a string", Journal of the ACM 22 (3), 1975, ! (aufgerufen am 16.4).! (aufgerufen am 16.4).! Tries-Datenstrukturen:! Edward Fredkin, Trie Memory, Communications of the ACM, 3 (9) 1960, ! (aufgerufen am 16.4).! (aufgerufen am 16.4).! (aufgerufen am 16.4).! Bibliotheksfunktionen! Skiena, Steven S. & Revilla, Miguel A., Programming challenges. The programming contest training manual (New York 2003).! (aufgerufen am 16.4). Hallo Welt für Fortgeschritten Thema Vortragender Folie 44

45 Vielen Dank für eure Aufmerksamkeit Auch Katzen mögen Strings. (aufgerufen am ) Hallo Welt für Fortgeschritten Thema Vortragender Folie 45