4.4.1 Statisches perfektes Hashing. des Bildbereichs {0, 1,..., n 1} der Hashfunktionen und S U, S = m n, eine Menge von Schlüsseln.

Transkript

1 4.4 Perfektes Hashing Das Ziel des perfekten Hashings ist es, für eine Schlüsselmenge eine Hashfunktion zu finden, so dass keine Kollisionen auftreten. Die Größe der Hashtabelle soll dabei natürlich möglichst klein sein Statisches perfektes Hashing Sei U = {0, 1,..., p 1}, p prim, das Universum, n N die Größe des Bildbereichs {0, 1,..., n 1} der Hashfunktionen und S U, S = m n, eine Menge von Schlüsseln. Eine Hashfunktion h : U {0, 1,..., n 1} partitioniert S in Buckets B i = {x S; h(x) = i}, für i = 0, 1,..., n 1. EADS 4.4 Perfektes Hashing 125/600

2 0 h 0 B 0 n 1 B n 1 p 1 Hashfunktion h mit Buckets B i Abbildung 1: Veranschaulichung einer Hashfunktion h mit Buckets B i. EADS 4.4 Perfektes Hashing 126/600

3 Definition 33 H = H 2,n bezeichne die Klasse aller Funktionen mit h a,b : U {0, 1,..., n 1} h a,b (x) = ((a x + b) mod p) mod n für alle x U, wobei 0 < a < p und 0 b < p. Lemma 34 H ist universell, d.h. für alle x, y U mit x y gilt Pr[h(x) = h(y)] 1 n, wenn h zufällig und gleichverteilt aus H gewählt wird. EADS 4.4 Perfektes Hashing 127/600

4 Beweis: Sei h a,b (x) = h a,b (y) = i. Dann ist i = (ax + b) mod p = (ay + b) mod p }{{}}{{} α β (mod n) Sei α {0,..., p 1} fest. Dann gibt es in der obigen Kongruenz p/n 1 Möglichkeiten für β, nämlich da α β und x y gilt. β {i, i + n, i + 2n,... } \ {α}, EADS 128/600

5 Beweis: Also gibt es höchstens ( p ) p 1 = p n (( p 1 n ) ) p(p 1) n Möglichkeiten für das Paar (α, β). Jedes Paar (α, β) bestimmt aber genau ein Paar (a, b), da Z p ein Körper ist. Weil es insgesamt p(p 1) Paare (a, b) gibt und h uniform zufällig aus H ausgewählt wird, folgt Pr[h(x) = h(y)] für jedes Paar x, y U mit x y. p(p 1)/n p(p 1) = 1 n EADS 4.4 Perfektes Hashing 128/600

6 Lemma 35 Sei S U, S = m. Dann gilt: 1 E [ n 1 ( ) ] Bi 2 i=0 m(m 1) 2n 2 B i 2 ] n 1 E[ i=0 m(m 1) n + m 3 4 Pr[h a,b ist injektiv auf S] 1 n 1 Pr[ m(m 1) 2n B i 2 < 4m] > 1 2, falls m n i=0 EADS 4.4 Perfektes Hashing 129/600

7 Beweis: Definiere die Zufallsvariablen X {x,y} für alle {x, y} S gemäß X {x,y} = { 1 falls h(x) = h(y), 0 sonst. Wegen Lemma 34 gilt E[X {x,y} ] = Pr[h(x) = h(y)] 1/n für alle Paare {x, y} S. Weiter ist E [ n 1 ( ) ] Bi = {{x, y} S; h(x) = h(y)} 2 i=0 ( ) m 1 2 n. EADS 4.4 Perfektes Hashing 130/600

8 Beweis (Forts.): Da x 2 = 2 (x 2) + x für alle x N, folgt B i 2 ] = E n 1 E[ i=0 [ n 1 i=0 ( 2 ( Bi 2 (1) m(m 1) 2 + m. 2n ) ) ] + B i Aus der Markov-Ungleichung (Pr[X t] E[X] t für alle t > 0) folgt [ n 1 ( ) ] Bi Pr[h a,b nicht injektiv auf S] = Pr 1 2 (1) i=0 m(m 1) 2n. EADS 4.4 Perfektes Hashing 131/600

9 Beweis (Forts.): Für m n folgt aus (2), dass B i 2 ] m + m = 2m. n 1 E[ i=0 Also folgt, wiederum mit Hilfe der Markov-Ungleichung, dass [ n 1 ] Pr B i 2 > 4m 1 4m 2m = 1 2. i=0 EADS 4.4 Perfektes Hashing 132/600

10 Die Struktur der perfekten Hashtabelle nach Michael L. Fredman, János Komlós, Endre Szemerédi: Storing a sparse table with O(1) worst case access time, Journal of the ACM 31(3), p (1984) verwendet ein zweistufiges Hashverfahren. Für einen gegebenen Schlüssel x wird zunächst i = h(x) berechnet, um über den Tabellenplatz T [i], b i, B i und h i H 2, Bi 2 zu ermitteln. Dann wird im Tabellenplatz T [b i + h i (x)] nachgeschaut, ob x da abgespeichert ist. Falls ja, wird true ausgegeben und sonst false. Falls n 1 B i 2 < 4n i=0 ist, so wird nur O(n) Platz verwendet. EADS 4.4 Perfektes Hashing 133/600

11 0 h 0 h i b i B i 2 n 1 p 1 Zweistufige Hashtabelle nach Fredman, Komlós und Szemerédi bbildung 2: Aufbau der zweistufigen Hashtabelle von Fredman, Komlos und Szemeredi ingabe: S U, S = n EADS 4.4 Perfektes Hashing 134/600

12 Algorithmus für Hashtabelle nach FKS: Eingabe: S U, S = m n Ausgabe: Hashtabelle nach FKS 1. Wähle h H 2,n zufällig. Berechne h(x) für alle x S. 2. Falls i B i 2 4m, dann wiederhole Konstruiere die Mengen B i für alle 0 i < n. 4. for i = 0 to n 1 do (a) wähle h i H 2, Bi 2 zufällig (b) falls h i auf B i nicht injektiv ist, wiederhole (a) EADS 4.4 Perfektes Hashing 135/600

13 Ein Durchlauf der Schleife bestehend aus den Schritten 1. und 2. benötigt Zeit O(n). Gemäß Lemma 35 ist die Wahrscheinlichkeit, dass Schritt 1. wiederholt werden muss, 1/2 für jedes neue h. Die Anzahl der Schleifendurchläufe ist also geometrisch verteilt mit Erfolgswahrscheinlichkeit 1/2, und es ergibt sich E[# Schleifendurchläufe] 2. Also ist der Zeitaufwand für diese Schleife O(n). Schritt 3. kostet offensichtlich ebenfalls Zeit O(n). EADS 4.4 Perfektes Hashing 136/600

14 Für jedes i {0,..., n 1} gilt, ebenfalls gemäß Lemma 35, dass Pr[h i ist auf B i injektiv] 1 B i ( B i 1) 2 B i 2 > 1 2. Damit ist auch hier die erwartete Anzahl der Schleifendurchläufe 2 und damit der erwartete Zeitaufwand O( B i 2 ). Insgesamt ergibt sich damit für Schritt 4. wie auch für den gesamten Algorithmus ein Zeitaufwand von O(n). EADS 4.4 Perfektes Hashing 137/600

15 4.4.2 Dynamisches perfektes Hashing Sei U = {0,..., p 1} für eine Primzahl p. Zunächst einige mathematische Grundlagen. Definition 36 H k,n bezeichne in diesem Abschnitt die Klasse aller Polynome Z p [x] vom Grad < k, wobei mit a = (a 0,..., a k 1 ) U k k 1 h a (x) = a j x j mod p mod n für alle x U. j=0 EADS 4.4 Perfektes Hashing 138/600

16 Definition 37 Eine Klasse H von Hashfunktionen von U nach {0,..., n 1} heißt (c, k)-universell, falls für alle paarweise verschiedenen x 0, x 1,..., x k 1 U und für alle i 0, i 1,..., i k 1 {0,..., n 1} gilt, dass Pr[h(x 0 ) = i 0 h(x k 1 ) = i k 1 ] c n k, wenn h H gleichverteilt gewählt wird. EADS 4.4 Perfektes Hashing 139/600

17 Satz 38 H k,n ist (c, k)-universell mit c = (1 + n p )k. Beweis: Da Z p ein Körper ist, gibt es für jedes Tupel (y 0,..., y k 1 ) U k genau ein Tupel (a 0,..., a k 1 ) Z k p mit k 1 a j x j r = y r mod p für alle 0 r < k. j=0 Da es sich hier um eine Vandermonde-Matrix handelt, folgt, dass { a; h a (x r ) = i r mod n für alle 0 r < k} = {(y 0,..., y k 1 ) U k ; y r = i r mod n für alle 0 r < k} p k. n EADS 4.4 Perfektes Hashing 140/600

18 Beweis (Forts.): Da es insgesamt p k Möglichkeiten für a gibt, folgt p k 1 Pr[h(x r ) = i r für alle 0 r < k] n p k ( p = n ) k n p ( < 1 + n ) k p 1 n k 1 n k. EADS 4.4 Perfektes Hashing 141/600

19 Kuckuck-Hashing für dynamisches perfektes Hashing Kuckuck-Hashing arbeitet mit zwei Hashtabellen, T 1 und T 2, die je aus den Positionen {0,..., n 1} bestehen. Weiterhin benötigt es zwei (1 + δ, O(log n))-universelle Hashfunktionen h 1 und h 2 für ein genügend kleines δ > 0, die die Schlüsselmenge U auf {0,..., n 1} abbilden. Jeder Schlüssel x S wird entweder in Position h 1 (x) in T 1 oder in Position h 2 (x) in T 2 gespeichert, aber nicht in beiden. Die IsElement-Operation prüft einfach, ob x an einer der beiden Positionen gespeichert ist. EADS 4.4 Perfektes Hashing 142/600

20 Die Insert-Operation verwendet nun das Kuckucksprinzip, um neue Schlüssel einzufügen. Gegeben ein einzufügender Schlüssel x, wird zunächst versucht, x in T 1 [h 1 (x)] abzulegen. Ist das erfolgreich, sind wir fertig. Falls aber T 1 [h 1 (x)] bereits durch einen anderen Schlüssel y besetzt ist, nehmen wir y heraus und fügen stattdessen x in T 1 [h 1 (x)] ein. Danach versuchen wir, y in T 2 [h 2 (y)] unterzubringen. Gelingt das, sind wir wiederum fertig. Falls T 2 [h 2 (y)] bereits durch einen anderen Schlüssel z besetzt ist, nehmen wir z heraus und fügen stattdessen y in T 2 [h 2 (y)] ein. Danach versuchen wir, z in T 1 [h 1 (z)] unterzubringen, und so weiter, bis wir endlich den zuletzt angefassten Schlüssel untergebracht haben. Formal arbeitet die Insert-Operation wie folgt: EADS 4.4 Perfektes Hashing 143/600

21 if T 1 [h 1 (x)] = x then return fi repeat MaxLoop times (a) exchange x und T 1 [h 1 (x)] (b) if x = NIL then return fi (c) exchange x und T 2 [h 2 (x)] (d) if x = NIL then return fi od rehash(); Insert(x) EADS 4.4 Perfektes Hashing 144/600