Übersicht. Datenstrukturen und Algorithmen. Einführung (II) Einführung (I) Vorlesung 12: Hashing I (K11) Counting Sort. Joost-Pieter Katoen

Transkript

1 Übersicht Datenstrukturen und Algorithen Vorlesung 2: (K) Joost-Pieter Katoen Lehrstuhl für Inforatik 2 Software Modeling and Verification Group 4. Juni Joost-Pieter Katoen Datenstrukturen und Algorithen /38 Joost-Pieter Katoen Datenstrukturen und Algorithen 2/38 Einführung (I) Dictionary (Wörterbuch) Das Dictionary (auch: Map, assoziatives Array) speichert Inforationen, die jederzeit anhand ihres Schlüssels abgerufen werden können. Weiterhin: Die Daten sind dynaisch gespeichert. Eleent dictsearch(dict d, int k) gibt die in d zu Schlüssel k gespeicherten Inforationen zurück. void dictinsert(dict d, Eleent e) speichert Eleent e unter seine Schlüssel e.key in d. void dictdelete(dict d, Eleent e) löscht das Eleent e aus d, wobei e in d enthalten sein uss. Beispiel Syboltabelle eines Copilers, wobei die Schlüssel Strings (etwa Bezeichner) sind. Einführung (II) Proble Welche Datenstrukturen sind geeignet, u ein Dictionary zu ipleentieren? Heap: Einfügen und Löschen sind effizient. Aber was ist it Suche? Sortiertes Array/Liste: Einfügen ist i Worst-Case linear. Rot-Schwarz-Bau: Alle Operationen sind i Worst-Case logarithisch. Lösung Unter realistischen Annahen benötigt eine Hash-Tabelle i schnitt O() für alle Operationen. Joost-Pieter Katoen Datenstrukturen und Algorithen 3/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 4/38

2 Übersicht (I) Alloziere ein Array (die Direkte-Adressierungs-Tabelle), so dass es für jeden öglichen Schlüssel eine() Position gibt. Jedes Array-Eleent enthält einen Pointer auf die gespeicherte Inforation. Der Einfachheit halber vernachlässigen wir in der Vorlesung die zu den Schlüsseln gehörenden Inforationen. Mit Schlüsselenge U = {0,,..., n } ergibt sich: Eine Direkte-Adressierungs-Tabelle T[0..n-], wobei T[k] zu Schlüssel k gehört. datsearch(t, int k): return T[k]; datinsert(t, Eleent e): T[e.key] = e; datdelete(t, Eleent e): T[e.key] = null; Die Laufzeit jeder Operation ist i Worst-Case Θ(). Joost-Pieter Katoen Datenstrukturen und Algorithen 5/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 6/38 (II) Duplikate in Linearzeit erkennen Schlüsselenge 0 K 3 9 benutzte Schlüssel Direkte-Adressierungs-Tabelle T Schlüssel n = 0 U Alle Eleente seien ganze Zahlen zwischen 0 und k, wobei k Θ(n). bool checkduplicates(int E[n], int n, int k) { 2 int histogra[k] = 0; // "Direkte-Adressierungs-Tabelle" 3 for (int i = 0; i < n; i++) { 4 if (histogra[e[i]] > 0) { 5 return true; // Duplikat gefunden 6 } else { 7 histogra[e[i]]++; // Zähle Häufigkeit 8 } 9 } 0 return false; // keine Duplikate } Joost-Pieter Katoen Datenstrukturen und Algorithen 7/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 8/38

3 Idee. Berechne Häufigkeit 2. Berechne Position von x = Anzahl der Eleente x 3. Erzeuge Ausgabearray anhand dieser neuen Positionen Alle Eleente seien ganze Zahlen zwischen 0 und k, wobei k Θ(n). int[n] countsort(int E[n], int n, int k) { 2 int histogra[k] = 0; // "Direkte-Adressierungs-Tabelle" 3 for (int i = 0; i < n; i++) { 4 histogra[e[i]]++; // Zähle Häufigkeit 5 } 6 for (int i = ; i < k; i++) { // Berechne Position 7 histogra[i] = histogra[i] + histogra[i - ]; 8 } 9 // Erzeuge Ausgabe 0 int result[n]; for (int i = n - ; i >= 0; i--) { // stabil: rückwärts 2 histogra[e[i]]--; 3 result[histogra[e[i]]] = E[i]; 4 } 5 return result; 6 } Worst-Case Zeitkoplexität: Θ(n) Joost-Pieter Katoen Datenstrukturen und Algorithen 9/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 0/38 : Beispiel : Beispiel Eingabe Eingabe Histogra Histogra Positionen Ausgabe Joost-Pieter Katoen Datenstrukturen und Algorithen /38 Joost-Pieter Katoen Datenstrukturen und Algorithen /38

4 : Beispiel Eingabe Positionen Ausgabe Joost-Pieter Katoen Datenstrukturen und Algorithen /38 (II) Proble Wir sortieren also it Worst-Case Koplexität Θ(n), obwohl wir als untere Schranke Θ(n log n) bewiesen hatten? Lösung Dieser Algorithus ist nicht it Quicksort, Heapsort, usw. vergleichbar denn er basiert nicht auf Vergleich von Eleenten, sondern auf Häufigkeiten. Das funktioniert, inde wir Direkte-Adressierung (Einfügen, Suchen, Löschen in Θ()) ausnutzen. Hauptproble: Überäßiger Speicherbedarf für das Array. Zu Beispiel bei Strings it 20 Zeichen (5 bit/zeichen) als Schlüssel benötigt an = 2 00 Arrayeinträge. Können wir diesen riesigen Speicherbedarf vereiden und effizient bleiben? Ja! it Hashing. Joost-Pieter Katoen Datenstrukturen und Algorithen 2/38 Übersicht Hashing (I) Praktisch wird nur ein kleiner Teil der Schlüssel verwendet, d. h. K U. Bei Direkter-Adressierung ist der größte Teil von T verschwendet. Das Ziel von Hashing ist: Einen extre großen Schlüsselrau auf einen vernünftig kleinen Bereich von ganzen Zahlen abzubilden. Dass zwei Schlüssel auf die selbe Zahl abgebildet werden, soll öglichst unwahrscheinlich sein. Hashfunktion, Hashtabelle, Hashkollision Eine Hashfunktion bildet einen Schlüssel auf einen Index der Hashtabelle T ab: h : U { 0,,..., } für Tabellengröße und U = n. Wir sagen, dass h(k) der Hashwert des Schlüssels k ist. Das Auftreten von h(k) = h(k ) für k k nennt an eine Kollision. Joost-Pieter Katoen Datenstrukturen und Algorithen 3/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 4/38

5 Hashing (II) Schlüsselenge k 2 K benutzte Schlüssel U k k 4 k 3 k 5 Hashfunktion 0 Hashtabelle h(k ) h(k 2 ) = h(k 3 ) h(k 5 ) h(k 4 ) Kollision Wie finden wir, die einfach auszurechnen sind und Kollisionen iniieren? Wie behandeln wir dennoch auftretende Kollisionen? Joost-Pieter Katoen Datenstrukturen und Algorithen 5/38 Kollisionen: Das Geburtstagsparadoxon (I) Das liegt a Geburtstagsparadoxon Unsere Hashfunktion ag noch so gut sein, wir sollten auf Kollisionen vorbereitet sein! Die Wahrscheinlichkeit, dass dein Nachbar a selben Tag wie du Geburtstag hat ist 365 0,0027. Fragt an 23 Personen, wächst die Wahrscheinlichkeit auf ,063. Sind aber 23 Personen in eine Rau, dann haben zwei von ihnen den selben Geburtstag it Wahrscheinlichkeit ( ) 0,5 365 Joost-Pieter Katoen Datenstrukturen und Algorithen 6/38 Kollisionen: Das Geburtstagsparadoxon (II) Kollisionen: Das Geburtstagsparadoxon (III) Auf Hashing angewendet bedeutet das: Die Wahrscheinlichkeit keiner Kollision nach k Einfügevorgängen in einer -eleentigen Tabelle ist: Dieses Produkt geht gegen k + k i = i=0 Etwa bei = 365 ist die Wahrscheinlichkeit für k 50 praktisch 0. Wahrscheinlichkeit keiner Kollision Anzahl Einfügungen n Joost-Pieter Katoen Datenstrukturen und Algorithen 7/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 8/38

6 Übersicht Kollisionsauflösung durch (I) Idee Alle Schlüssel, die zu gleichen Hash führen, werden in einer verketteten Liste gespeichert. [Luhn 953] K k 2 U k k 4 k 3 k 5 k 7 k 6 0 k k 3 k 2 k 6 k 7 k 5 k 4 Joost-Pieter Katoen Datenstrukturen und Algorithen 9/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 20/38 Kollisionsauflösung durch (II) Kollisionsauflösung durch (III) Dictionary-Operationen bei (inforell) hcsearch(int k): Suche nach eine Eleent it Schlüssel k in der Liste T[h(k)]. hcinsert(eleent e): Setze Eleent e an das Ende der Liste T[h(e.key)]. hcdelete(eleent e): Lösche Eleent e aus der Liste T[h(e.key)]. Worst-Case Koplexität Angenoen, die Berechnung von h(k) ist recht effizient, etwa Θ(). Die Koplexität ist: Suche: Proportional zur Länge der Liste T [h(k)]. Einfügen: Konstant (ohne Überprüfung, ob das Eleent schon vorhanden ist). Löschen: Proportional zur Länge der Liste T [h(k)]. I Worst-Case haben alle Schüssel den selben Hashwert. Suche und Löschen hat dann die selbe Worst-Case Koplexität wie Listen: Θ(n). I Average-Case ist Hashing it aber dennoch effizient! Joost-Pieter Katoen Datenstrukturen und Algorithen 2/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 22/38

7 Average-Case-Analyse von (I) Average-Case-Analyse von (II) Annahen: Es gebe n ögliche Schlüssel und Hashtabellenpositionen, n. Gleichverteiltes Hashing: Jeder Schlüssel wird it gleicher Wahrscheinlichkeit und unabhängig von den anderen Schlüssel auf jedes der Slots abgebildet. Der Hashwert h(k) kann in konstanter Zeit berechnet werden. O, Θ, Ω erweitert Aus technischen Gründen erweitern wir die Definition von O, Θ und Ω auf Funktionen it zwei Paraetern. Beispielsweise ist g O(f ) gdw. c > 0, n 0, 0 it n n 0, 0 : 0 g(n, ) c f (n, ) Der Füllgrad der Hashtabelle T ist α(n, ) = n. Auch die durchschnittliche Länge der Liste T[h(k)] ist α Wieviele Eleente aus T[h(k)] üssen nun i Schnitt untersucht werden, u den Schlüssel k zu finden? Unterscheide erfolgreiche von erfolgloser Suche (wie in Vorlesung ). Joost-Pieter Katoen Datenstrukturen und Algorithen 23/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 24/38 Average-Case-Analyse von (III) Average-Case-Analyse von (IV) Erfolglose Suche Die erfolglose Suche benötigt Θ( + α) Zeit i Average-Case. Die erwartete Zeit, u Schlüssel k zu finden ist gerade die Zeit, u die Liste T[h(k)] zu durchsuchen. Die erwartete Länge dieser Liste ist α. Das Berechnen von h(k) benötige nur eine Zeiteinheit. Insgesat erhält an + α Zeiteinheiten i Durchschnitt. Erfolgreiche Suche Die erfolgreiche Suche benötigt i Average-Case auch Θ( + α). Sei k i der i-te eingefügte Schlüssel und A(k i ) die erwartete Zeit, u k i zu finden: A(k i ) = + Durchschnittliche Anzahl Schlüssel, die in T[h(k_i)] erst nach k i eingefügt wurden Annahe von gleichverteilte Hashing ergibt: A(k i ) = + Durchschnitt über alle n Einfügungen in die Hashtabelle: n j=i+ A(k i ) i= Joost-Pieter Katoen Datenstrukturen und Algorithen 25/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 26/38

8 Average-Case-Analyse von (IV) Die erwartete Anzahl an untersuchten Eleenten bei einer erfolgreichen Suche ist: + Sue aufteilen n i= = n i= = + n j=i+ + n i= j=i+ Vereinfachen (n i) Sue... n i= = + n(n ) n 2 = + n 2 = + α 2 α 2n Vereinfachen und dait in Θ( + α) Koplexität der Dictionary-Operationen it Vorausgesetzt die Anzahl der Einträge ist (wenigstens) proportional zu n, dann ist der Füllgrad α(n, ) = n O() = O(). Dait benötigen alle Operationen i Durchschnitt O(). Weil das auch Suche it einschließt, können wir i Average-Case it O(n) sortieren. Joost-Pieter Katoen Datenstrukturen und Algorithen 27/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 28/38 Übersicht Anwendungen von Digitale Zertifikate (SSL: sha bzw. d5) Digitale Signaturen in der Praxis unterschreibt an eist nicht die Nachricht, sondern ihren Hashwert Passwortverschlüsselung z.b. htpasswd (Apache): d5, sha und Mediawiki: d5 Verifikation von Downloads (üblich: d5) Versionskontrollsystee z.b. subversion: d5, git: sha Datenblockverifikation bei Filesharingprograen (wie Bittorrent) Joost-Pieter Katoen Datenstrukturen und Algorithen 29/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 30/38

9 Gängige (kryptographische) Hashfunktion Eine Hashfunktion bildet einen Schlüssel auf eine ganze Zahl (d. h. einen Index) ab. Was acht eine gute Hashfunktion aus? Die Hashfunktion h(k) sollte einfach zu berechnen sein, sie sollte surjektiv auf der Menge 0... sein, sie sollte alle Indizes it öglichst gleicher Häufigkeit verwenden, und ähnliche Schlüssel öglichst breit auf die Hashtabelle verteilen. Drei Basistechniken, eine gute Hashfunktion zu erhalten: Die Divisionsethode, die Multiplikationsethode, und universelles Hashing. Joost-Pieter Katoen Datenstrukturen und Algorithen 3/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 32/38 Divisionsethode Multiplikationsethode (I) Divisionsethode Hashfunktion: h(k) = k od Bei dieser Methode uss der Wert von sorgfältig gewählt werden. Für = 2 p ist h(k) einfach die letzte p Bits. Besser ist es, h(k) abhängig von ehreren Bits zu achen. Gute Wahl ist pri und nicht zu nah an einer Zweierpotenz. Beispiel Strings it 2000 Zeichen als Schlüssel. Wir erlauben durchschnittlich 3 Sondierungen für die erfolglose Suche. Wähle 2000/3 70. Nähe an 2000/3, Prizahl, und nicht in der Näje von Zweierpotenz Multiplikationsethode Hashfunktion: h(k) = (k c od ) für 0 < c < k c od ist der Nachkoateil von k c, d. h. k c k c. Knuth epfiehlt c ( 5 )/2 0,62. Der Wert von ist hier nicht kritisch. Joost-Pieter Katoen Datenstrukturen und Algorithen 33/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 34/38

10 Multiplikationsethode (II) Hashfunktion: h(k) = (k c od ). Das übliche Vorgehen nit = 2 p und c = s 2, wobei 0 < s < 2 w. Dann: w Berechne zunächst k s (= k c 2 w ). Teile durch 2 w, verwende nur die Nachkoastellen. Multipliziere it 2 p und verwende nur den ganzzahligen Anteil. w Bits Schlüssel k c 2 w p Bits extrahieren h(k) Universelles Hashing (I) Das größte Proble bei Hashing ist, dass es ier eine ungünstige Sequenz von Schlüsseln gibt, die auf den selben Slot abgebildet werden. Idee Wähle zufällig eine Hashfunktion aus einer gegebenen kleinen Menge H, unabhängig von den verwendeten Schlüsseln. Eine Menge ist universell, wenn der Anteil der Funktionen aus H, so dass k und k kollidieren ist H. d. h., die W lichkeit einer Kollision von k und k ist H H =. Für universelles Hashing ist die erwartete Länge der Liste T[k]. Gleich α, wenn k nicht in T enthalten ist. 2. Gleich +α, wenn k in T enthalten ist. Joost-Pieter Katoen Datenstrukturen und Algorithen 35/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 36/38 Universelles Hashing (II) Nächste Vorlesung Beispiel Definiere die Eleente der Klasse H von durch: h a,b (k) = ((a k + b) od p) od p sei Prizahl it p > und p > größter Schlüssel. Die ganzen Zahlen a ( a < p) und b (0 b < p) werden erst bei der Ausführung gewählt. Nächste Vorlesung Montag. Juni, 08:30 (Hörsaal H0). Bis dann! Donnerstag 7. Juni, 8:00: Präsenzübung Freittag 8. Juni: keine Vorlesung, ab 4:00 Inforatik Soerfest Die Klasse der obigen h a,b ist universell. Joost-Pieter Katoen Datenstrukturen und Algorithen 37/38 Joost-Pieter Katoen Datenstrukturen und Algorithen 38/38