Hallo Welt für Fortgeschrittene

Transkript

1 Hallo Welt für Fortgeschrittene Zeichenketten von Christopher Saloman Informatik 2 Programmiersysteme Martensstraße Erlangen

2 Übersicht 1. Was sind Zeichenketten und wofür braucht man sie? 2. Suchen nach Mustern in ZK (Pattern Matching) 2.1 BruteForce Algorithmus 2.2 Knuth-Morris-Pratt Algorithmus 2.3 Boyer-Moore Algorithmus 2.4 Karp-Rabin Algorithmus 3. Tries 3.1 Suffix Trie 3.2 Patricia Trie 4. Verschiedene Bibliotheksfunktionen Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 2

3 Was sind Zeichenketten Englische Übersetzung: string bzw. character string Im allgemeinen eine Folge von Zeichen aus einem definierten Zeichensatz Beispiele: Deutsche Schriftsprache Ich beherrsche die deutsche Sprache, aber sie gehorcht nicht immer. Alfred Polgar Maschinensprache DNA Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 3

4 Wieso ein Vortrag über Zeichenketten Verbreitung: Hauptinformationsträger Beinahe jede Information in Zeichenketten kodiert Datenflut effiziente Suchmöglichkeiten nötig Sicherheit: Häufigste Sicherheitslücke: Pufferüberläufe Grund: undurchdachte Anwendung von String - Funktionen Ein sicherer und effizienter Umgang mit Zeichenketten ist unerlässlich! (ausserdem im ICPC sehr hilfreich ;) ) Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 4

5 Speicherung von Zeichenketten Es gibt mehrere Möglichkeiten um Zeichenketten im Speicher abzulegen: Verkettete Liste aus chars Fortlaufende Speicherung mit Abschlusszeichen Fortlaufende Speicherung mit Längenangabe Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 5

6 Basis-Operationen Die Basisoperationen auf Zeichenketten sind: Kopieren ( strcpy() ) Ermitteln der Länge ( strlen() ) Verketten ( strcat() ) Bilden von Teilketten ( strtok() ) Suchen von Teilketten (strstr() + eigenes Kapitel) Suchen von einzelnen Zeichen (strchr() ) Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 6

7 Kodierung der Zeichen Wir wissen jetzt, wie man Zeichenketten bildet und speichert, doch was ist mit den Zeichen? Unterschiedliche Ansätze um Zeichen zu kodieren: ASCII (American Standard Code for Information Interchange) Unicode Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 7

8 Kodierung der Zeichen (ASCII) ASCII Zeichentabelle: <>:nicht druckbare Sonderzeichen Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 8

9 Kodierung der Zeichen (ASCII) Geschichte zu ASCII: Heutiger ASCII seit 1968 entwickelt, um Schriftzeichen in englischer Sprache darzustellen 7 Bit werden zum Kodieren benutzt 8tes Bit kann zur Fehlervermeidung verwendet werden Erweiterung auf 8Bit-Kodierung (Latin-1), um z.b. ä, ö, ü darstellen zu können 8 Bit allerdings immer noch zu wenig (264 mögliche Zeichen) Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 9

10 Kodierung der Zeichen (Unicode) Geschichte zu Unicode: Wurde entwickelt, weil ASCII zu eingeschränkt ist, und man einen einheitlichen Standard für jedes Schriftzeichen der Welt haben wollte 1991: Version (europäische, indische, nahöstliche Schriftzeichen) Stetige Weiterentwicklung bis Version vom April 2008 Kodiert mehr als Schriftzeichen Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 10

11 Verschiedene Unicode-Kodierungen UTF-8: Zeichen grundsätzlich mit 1 Byte kodiert Ist die am weitesten verbreitete Unicode-Form Besteht aus bis zu vier verketteten Bytes und kann alle Unicode Zeichen darstellen Weitere Bytes werden mit speziellen Anfangsbitfolgen zugeschaltet UTF-16: Zeichen grundsätzlich mit 2 Bytes kodiert Kann alle Zeichen der Basic Multilingual Pane standardmäßig darstellen Braucht nur Erweiterung für sehr exotische Zeichen Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 11

12 Verschiedene Unicode-Kodierungen UTF-32: Zeichen mit 4 Bytes kodiert Kann alle Zeichen ohne Erweiterungs-Bytes darstellen Hat Vorteile beim Rechnen und Suchen Nachteil: sehr hoher Speicheraufwand Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 12

13 Pattern-Matching Was versteht man unter Pattern-Matching? Als Pattern-Matching bezeichnet man das Suchen des Vorkommens eines Teilstrings (Pattern) in einer anderen (meist größeren) Zeichenkette (Haystack). Konsistente Variablenbezeichnung: i j n := Zeiger im Pattern; m := Länge des Patterns := Zeiger im Haystack (= zu durchsuchender String) := Länge des Haystacks Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 13

14 Erster Ansatz Vorüberlegungen: Gegeben: Pattern, Haystack Gesucht: Match erstes Zeichen des Patterns nacheinander mit den Zeichen des Haystacks vergleichen. Match: darauffolgende Zeichen des Haystacks mit denen des Patterns vergleichen Mismatch: Shift rechts und von vorne alle Zeichen getroffen: FERTIG Mismatch: Shift rechts Das ist die sog. Naive Suche bzw. der Brute - Force - Algorithmus Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 14

15 Naive Suche / Brute - Force - Algorithmus Haupteigenschaften: Einfach zu implementieren Vergleiche können in beliebiger Reihenfolge durchgeführt werden Benötigt keine Vorverarbeitungs-Phase Shiftet das Suchfenster bei Mismatch immer um genau eine Stelle nach rechts O(m*n) Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 15

16 NS / BF Beispiel-Implementierung in C void BruteForce(char *pattern, int m, char *haystack, int n) { int i, j; /* Suchen */ for (j = 0; j <= n m; ++j) { for (i = 0; i < m && pattern[i] == haystack[i + j]; ++i); if (i >= m) printf( Pattern gefunden an Stelle: %d\n, j); } } Beispiel an der Tafel Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 16

17 Zweiter Ansatz Vorüberlegung: Ist es wirklich notwendig, so oft zu shiften oder kann man Shifts auslassen? Erhöhung der Shiftweite Bereits verglichene Zeichen weiterverwenden Mismatch: kein Substring in Pattern, der auch in den bis zum Mismatch durchsuchten Zeichen enthalten ist: Shift bis nach Mismatch Substring in Pattern, der auch in den bis zum Mismatch durchsuchten Zeichen enthalten ist: Shift bis zum ersten Auftreten des Substrings im Haystack Das ist der Knuth - Morris - Pratt - Algorithmus Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 17

18 Knuth-Morris-Pratt Haupteigenschaften: Ist eine Optimierung des Brute - Force - Algorithmus Vergleicht von links nach rechts Benötigt Vorverarbeitung (mit O(m)): Nach Präfixen des Patterns in sich selbst suchen und Tabelle aufbauen, um weiter shiften zu können Suchphase dauert O(n+m) Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 18

19 KMP - Vorverarbeitung und Beispiel-Implementierung in C Für den KMP: Präfix Analyse des Patterns (Vorverarbeitung) Durchsuchen des Patterns nach Präfixen von sich selbst Tabelle[0] = 1; VglInd = 0; for (PatPos = 1; PatPos <= PatternLength 1; PatPos = PatPos + 1) { if (Pattern[PatPos] == Pattern[VglInd]) Tabelle[PatPos] = Tabelle[VglInd]; else Tabelle[PatPos] = VglInd; while ((VglInd >= 0) && (Pattern[PatPos]!= Pattern[VglInd])) VglInd = Tabelle[VglInd]; } Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 19

20 KMP - Suche Beispiel-Implementierung in C j = 0; i = 0; while ((i < m) && (j < n)) { while ((i >=0 ) && (Haystack[j]!= Pattern[i])) i = Tabelle[i]; j++; i++; } if (i == m) printf("pattern gefunden an Stelle: %d\n", j m); else printf("pattern nicht gefundnen!\n"); Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 20

21 KMP - Suche Nach Vorverarbeitung kann das Pattern effektiv gesucht werden Beispiel-Tool zu finden unter: Live-Beispiel Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 21

22 3. Ansatz Gibt es eine Methode, um noch mehr Shifts zu vermeiden? Pattern von rechts nach links durchsuchen Dieser Gedankengang führt zum Boyer-Moore-Algorithmus. Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 22

23 Boyer - Moore - Algorithmus Haupteigenschaften: Pattern wird unter den Text geschoben und dann von rechts nach links mit dem Text verglichen Mismatch: 2 Heuristiken um die Shiftlänge zu bestimmen: Bad - Character - Heuristik Good - Suffix Heuristik Beide Heuristiken machen einen Vorschlag für die Shiftlänge Maximum von beiden wird ermittelt und geshiftet Dieser Algorithmus wird als performantester für normale Suchen angesehen. Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 23

24 BM Bad Character - Heuristik Was ist die Bad - Character - Heuristik? Mismatch: Nicht passendes Zeichen noch einmal im Pattern? Nein: Ganzen Pattern bis hinter Mismatch verschieben Ja: Bis zum letzten Auftreten im Pattern verschieben Kann auch negative Shifts verursachen 2. Heuristik notwendig Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 24

25 BM Good - Suffix - Heuristik Was ist die Good - Suffix - Heuristik? Mismatch: Ein Substring aus bisher durchsuchten Zeichen nocheinmal im Pattern vorhanden? Ja: Pattern wird bis zum nocheinmal vorkommenden Substring verschoben Nein: Pattern kann komplett weitergeshiftet werden Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 25

26 BM Bad - Character - Heu. Beispiel-Implementierung in C Array[Größe des Alphabets] Vorintialisiert mit -1 Jede Stelle entspricht einem Buchstaben im Alphabet Jeweils das am weitesten rechts liegende Vorkommen des Buchstaben im Pattern wird an der jeweiligen Stelle gespeichert. void bminitocc(){ char a; int j; for (a=0; a<alphabetsize; a++) occ[a]= 1; for (j=0; j<m; j++){ a=pattern[j]; occ[a]=j; } } Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 26

27 BM Good - Suffix Heu. 1 Beispiel-Implementierung in C 2 Fälle bei der Vorverarbeitung zu beachten: Suffix ist komplett noch einmal im Pattern enthalten: void bmpreprocess1(){ int i=m, j=m+1; f[i]=j; while (i>0){ while (j<=m && p[i 1]!=p[j 1]){ if (s[j]==0) s[j]=j i; j=f[j]; } i ; j ; f[i]=j; } } Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 27

28 BM Good - Suffix Heu. 2 Beispiel-Implementierung in C Suffix ist nur teilweise noch einmal im Pattern enthalten: void bmpreprocess2() { int i, j; j=f[0]; for (i=0; i<=m; i++) { if (s[i]==0) s[i]=j; if (i==j) j=f[j]; } } Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 28

29 BM Warum nochmal 2 Good - Suffix - Heuristiken? Es gibt 2 Fälle wie man die bereits gematchte Zeichenfolge u weiterverwendet werden kann: Fall 1: u kommt noch einmal komplett im Pattern vor Fall 2: u kommt nur teilweise noch einmal im Pattern vor Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 29

30 BM - Algorithmus - Beispiel ausführliche Erklärung Live-Beispiel Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 30

31 4. Ansatz Gibt es eine Möglichkeit, die Vergleiche zu minimieren? Hashing Pattern wird zu Zahl Hashing des aktuellen Ausschnitts des Haystacks Zahl Ein Vergleich, egal wie lang Pattern Anforderung an die Hashfunktion: Gute Streuung für Strings Einfach Berechnung des neuen Musters aus dem Alten (es ändert sich nur ein Buchstabe) Daraus ergibt sich der Rabin - Karp - Algorithmus Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 31

32 Rabin - Karp - Algorithmus Haupteigenschaften: Funktioniert ähnlich wie der Brute - Force - Algorithmus Vergleicht alle Zeichen auf ein Mal Benötigt Vorverarbeitung um den Hashwert des Patterns zu berechnen O(m) Worst-Case: O(n*m) Average-Case O(n+m) Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 32

33 RK Hash Funktion Gute Hashfunktion für RK - Algorithmus: hash(pattern[0.. m 1]) = (pattern[0]*2^(m 1)+pattern[1]*2^(m 2)+ +pattern[m 1]*2^0) mod q // q sollte dabei möglichst groß sein (zb INT_MAX) Der Rehash für das nächste Suchfenster berechnet sich einfach aus: rehash(a,b,h) = ((h a*2m 1)*2+b) mod q a := zu entfernendes Zeichen (links) b := hinzuzufügendes Zeichen (rechts) h := Hashwert des vorherigen Suchfensters Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 33

34 Tries Was ist ein Trie? Ein Trie ist eine Baum-Struktur, um mehrere Wörter, bzw ganze Texte zu Speichern: Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 34

35 Tries Wofür braucht man Tries? Große, statische Texte durchsuchen schellstes Suchergebnis mit Tries Beispiele: Wörterbücher, Lexica, Bibel Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 35

36 Suffix - Tries Alle Suffixe eines Wortes werden in einem Trie gespeichert Im Endknoten steht die Position, an der der Substring gefunden werden kann Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 36

37 Suche in Suffix - Tries Die Suche ist denkbar einfach: Man steigt von der Wurzel aus ab ist ein Zeichen vom Pattern nicht erreichbar, gibt es das Wort nicht. Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 37

38 Patricia - Tries Practical Algorithm to Retrieve Information Coded in Alphanumeric Bei diesem speziellen Trie können die Kanten mehr als nur einen Buchstaben als Gewicht haben. Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 38

39 Bibliotheksfunktionen Algorithmus - Implementation nicht immer notwendig Biblitotheksfunktionen! Überblick: Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 39

40 C: strstr() #include <stdio.h> #include <string.h> int main() { char string[]="string to search"; char pattern[]="sear"; char *found = string; /* strstr gibt einen Pointer auf das gefundene Pattern in string zurück, falls das Zeichen gefunden wurde. Ansonsten NULL if (strstr(string, test)) puts("string found"); /* um ALLE Vorkommen im String zu finden */ while ((found = strstr(found,pattern))!=null){ printf( String found\n ); found = found + strlen(pattern); } } Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 40 */

41 C++: find() #include <string> size_type find(char a, size_t pos =0) const; //nach char suchen; wenn pos angegeben, Suchen ab Position x size_type find(const string& a, size_t pos =0) //nach String a suchen const; size_type find(const char* a, size_t pos =0) //nach char array suchen mit \0 am Ende const; size_type find(const char* a, size_t pos, size_t n) const; //nach char array ohne \0 am Ende suchen; Größe durch n festgelegt Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 41

42 Java: indexof() public int indexof(string str) //nach String suchen public int indexof(int ch) //nach char suchen public int indexof(string str, int fromindex) //nach String ab Stelle fromindex suchen public int indexof(int ch, int fromindex) //nach char ab Stelle fromindex suchen Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 42

43 Zusammenfassung Welcher Algorithmus ist zu verwenden? Abwägung: Komplexität Geschwindigkeit Speicherplatz Geschwindigkeit Was will ich? Einen Pattern in einem Text suchen Mehrere Pattern in einem Text suchen vllt. auch gleichzeitig Einen Pattern in mehreren Texten suchen (bzw in langen Texten) Muss ich den Algorithmus für mein Problem anpassen? Bibliotheksfunktion selber machen Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 43

44 Ende dmmmmmmp dmp dmp dmmmmmp dmmmmmp dmmmmb dmmmmb dmp dmp dmp dmp dmp dmp dmp dmp VMP dmp dmmmmmp dmmmp dmmmp dmp dmp dmp dmp dmp dmp dmp dmp dmp dmp dmp dmp.amp dmp dmp dmp dmmmmmp dmmmmmp dmp dmp dmmmmp" Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 44

45 Quellenverzeichnis Ascii, UTF-8, UTF-16, UTF-32 String-Matching-Algorithmus, Knuth-Morris-PrattAlgorithmus, Boyer-Moore-Algorithmus, Rabin-KarpAlgorithmus Trie, Suffixbaum, Patricia-Trie ching-4.pdf Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 45

46 Quellenverzeichnis Hallo Welt für Fortgeschrittene Zeichenketten Christopher Saloman Folie 46