Übersicht. Einführung Universelles Hashing Perfektes Hashing

Transkript

1 Hasing

2 Übersict Einfürung Universelles Hasing Perfektes Hasing 2

3 Das Wörterbuc-Problem Gegeben: Universum U = [0 N-1], wobei N eine natürlice Zal ist. Ziel: Verwalte Menge S U mit folgenden Operationen. Suce(x,S): Ist x S? Einfüge(x,S): Füge x zu S inzu, sofern noc nict voranden. Entferne(x,S): Entferne x aus S. 3

4 Triviale Implementierung Array A[0 N-1] wobei A[i] = 1 i S Jede Operation at Laufzeit O(1), aber der Platzbedarf ist Θ(N). A Ν 1 Ziel: Platzbedarf O( S ) ) und erwartete Laufzeit O(1). 4

5 Triviale Implementierung

6 Idee des Hasings Verwende ein Array der Länge O( S ). Berecne die Position, an der ein Element abgespeicert wird mit Hilfe einer Funktion aus dem Sclüssel. Universum Has-Tafel Has-Funktion U = [0 N-1] Array T[0 m-1] : U [0 m-1] Ein Element x S wird in T[(x)] gespeicert. 6

7 Idee des Hasings k 1 k 5 k 4 k 2 k 3 0 m 1 ( k 1 ) ( ) k 4 ( k ) ( ) = ( k 3 ) 2 k 5 7

8 Beispiel N = 100; U = [0 99]; m = 7; (x) = x mod 7; S = {3, 19, 22} Soll als näcstes 17 eingefügt gt werden,, so tritt eine Kollision auf, denn (17) = 3. 8

9 Kollisionsverwaltung Da m < U, gibt es Objekte, deren Sclüssel auf denselben Wert geast werden, d.., es gibt Sclüssel k 1,k2 mit k1 k2 und ( k1) = ( k2 ). Dieses wird Kollision genannt. Verwaltung von Kollision erfolgt durc Verkettung. Speicern Objekte, deren Sclüssel auf den Haswert abgebildet werden, in einer doppelt verketteten Liste T auf den Beginn der Liste. L. Dann verweist [ ] Insert, Delete, Searc jetzt mit Listenoperationen. 9

10 Kollisionsverwaltung k 1 k 1 k 5 k 4 k 2 k 3 k 4 k k 2 5 k 3 10

11 Offene Adressierung Hasing mit Kollisionsvermeidung weist Objekt mit gegebenen Sclüssel feste Position in Hastafel zu. Bei Hasing durc offene Adressierung wird Objekt mit Sclüssel keine feste Position zugewiesen. Position abängig von Sclüssel und bereits belegten Positionen in Hastafel. Für neues Objekt wird erste freie Position gesuct. Dazu wird Hastafel nac freier Position durcsuct. Reienfolge der Suce ängt vom Sclüssel des einzufügenden Objekts ab. 11

12 Offene Adressierung Laufzeit für Einfügen nur noc im Durcscnitt Θ(1). Entfernen von Objekten scwierig, desalb Anwendung von offener Adressierung oft nur, wenn Entfernen nict benötigt wird. 12

13 Offene Adressierung Hasfunktion legt für jeden Sclüssel fest, in welcer Reienfolge für Objekte mit diesem Sclüssel nac freier Position in Hastafel gesuct wird. Hasfunktion von der Form { 0, 1,,m 1} { 0, 1, K, 1} : U K m. m:=größe der Hastafel. Verlangen, dass für alle Sclüssel k die Folge ( ( k, 0),( k, 1), K,( k,m 1) ) eine Permutation der 0, 1, K,m 1 ist. Folge ( ) ( ( k, 0),( k, 1),,( k,m 1) ) K eißt Testfolge bei Sclüssel k. 13

14 Offene Adressierung

15 Lösungsmöglickeiten für Kollisionen Hasing mit Verkettung: T[i] entält eine Liste von Elementen. Hasing mit offener Adressierung: Statt einer Adresse für ein Element gibt es m viele, die der Reie nac ausprobiert werden. Universelles Hasing: Wäle eine Has-Funktion, so dass wenige Kollisionen entsteen. Kollisionen werden durc Verkettung aufgelöst. Perfektes Hasing: Wäle eine Has-Funktion, so dass keine Kollisionen entsteen. 15

16 Universelles Hasing Idee: Verwende eine Klasse H von Has-Funktionen. Die tatsäclic verwendete Has-Funktion H wird zufällig aus H gewält. Ziel: Für jedes S U soll die erwartete Laufzeit jeder Operation O(1 + β) sein, wobei β = S m der Lastfaktor der Tafel ist. Eigenscaft von H: Für zwei beliebige Elemente x,y U füren nur wenige H zu einer Kollision ((x) = (y)). 16

17 Universelles Hasing Definition: Seien N und m natürlice Zalen. Eine Klasse H { : [0 N-1] [0 m-1] } eißt universell, wenn für alle x,y U = [0 N-1], x y, gilt: { H : ( x) = ( y)} 1 H m Intuitiv: Ein zufällig gewältes ist genau so gut, als wenn die Tafelpositionen der Elemente zufällig gewält würden. 17

18 Eine universelle Klasse von Funktionen Seien N, m natürlice Zalen, wobei N prim ist. Für Zalen a {1,, N-1} und b {0,, N-1} sei a,b : U = [0 N-1] {0,, m-1} definiert durc: a,b (x) = ((ax + b) mod N) mod m Satz: H = { a,b (x) 1 a < N und 0 b < N} ist eine universelle Klasse von Has-Funktionen. 18

19 Beweis Betracte festes Paar x,y mit x y. a,b (x) = ((ax+b) mod N) mod m a,b (y) = ((ay+b) mod N) mod m 1. Paare (q,r) mit q = (ax+b) mod N und r = (ay+b) mod N durclaufen für variables a,b den gesamten Bereic 0 q,r < N mit q r -- q r : q = r impliziert a(x-y) = cn -- Versciedene Paare a,b ergeben versciedene Paare (q,r). (ax+b) mod N = q (ay+b) mod N = r (a x+b ) mod N = q (a y+b ) mod N = r implizieren (a-a )(x y) = cn 19

20 Beweis Festes Paar x,y mit x y. a,b (x) = ((ax+b) mod N) mod m a,b (y) = ((ay+b) mod N) mod m 2. Wieviele Paare (q,r) mit q = (ax+b) mod N und r = (ay+b) mod N werden auf die gleice Restklasse mod m abgebildet? Für festes q gibt es nur (N-1)m Zalen r, mit q mod m = r mod m und q r. { H : (x) = (y)} N(N-1)m = H m 20

21 Analyse der Operationen Annamen: 1. wird zufällig (gemäß Gleicverteilung) aus einer universellen Klasse H gewält. 2. Kollisionen werden durc Verkettung gelöst. Für H und x,y U sei δ ( x, y) = 1 0 ( x) = sonst ( y) und x y = y S δ ( x, S) δ ( x, y) ist die Anzal der von x versciedenen Elemente in T[(x)], wenn S gespeicert wird. 21

22 22 Analyse der Operationen Satz: Sei H eine universelle Klasse und S U = [0 N-1] mit S = n. 1. Für x U gilt: 2. Die erwartete Laufzeit einer Suce-, Einfüge bzw. Lösce-Operation ist O(1 + β), wobei β = nm der Lastfaktor ist S x m n S x m n S x H H 1) ( 1 1 )), ( (1 1 δ

23 23 Beweis = + = + S x m n H S x m n H m H H y x H y x H S x x S y S y H H S y H ) 1) ( (1 ) (1 ), ( ), ( )), ( (1 } \{ δ δ δ Folgt Folgt aus aus 1. 1.

24 Perfektes Hasing Wäle eine Has-Funktion, die für die abzuspeicernde Menge S injektiv ist. S sei im Voraus bekannt. Zweistufiges Hasverfaren 1. Die erste Stufe verteilt S auf kurze Listen. (Hasing mit Verkettung) 2. In der zweiten Stufe wird für jede Liste eine eigene injektive Has-Funktion benutzt. 24

25 Konstruktion von injektiven Hasfunktionen Sei U = [0 N-1] Für k {1,,N-1} sei k : U {0,,m-1} x ((kx) mod N ) mod m Sei S U. Kann k so gewält werden, dass k eingescränkt auf S injektiv ist? k eingescränkt auf S ist injektiv, wenn für alle x,y S, x y, gilt k (x) k (y) 25

26 Maß für Verletzung der Injektivität Für 0 i m-1 und 1 k N-1 sei b ik = { x S : k (x) = i } Dann gilt: { (x,y) S 2 : x y und k (x) = k (y) = i } = b ik (b ik 1) Definiere B k m = 1 i = 0 b ik ( b ik 1) B k misst, wie wenig injektiv k eingescränkt auf S ist. 26

27 Injektivität Lemma 1: k eingescränkt auf S ist injektiv B k < 2 Beweis: B k < 2 B k 1 b ik (b ik 1) {0,1} für alle i b ik {0,1} k eingescränkt auf S ist injektiv k eingescränkt auf S ist injektiv B k = 0 b ik {0,1} für alle i 27

28 Injektivität Lemma 2: Sei N Primzal, S U = [0 N-1] mit S = n. Dann gilt N 1 k = 1 B k 2 n( n 1) m ( N 1) Ist m > n(n-1), so existiert B k mit B k < 2, d.. es existiert ein k, das eingescränkt auf S injektiv ist. 28

29 29 Beweis von Lemma 2 Sei (x,y) S 2, x y, fest. Wie viele k mit k (x) = k (y) gibt es? = = = = = = = = = y x S y x k k N k m i k k N k m i ik ik y x k i y x y x S y x b b 2 ), ( )} ( ) ( : { } ) ( ) (, : ), {( 1) (

30 Beweis von Lemma 2 k ( x) = k ( y) (( kx)mod N)modm = (( ky)mod N)modm ( kxmod N ky mod N)modm = 0 k( x y)mod N = cm q = k(x-y) mod N -- versciedene k, k ergeben versciedene q, q. k(x-y) mod N = q k (x-y) mod N = q (k-k )(x-y) = c N -- nur (N-1)m viele q werden auf dieselbe Restklasse mod m abgebildet 30

31 Folgerungen Korollar 1: Es gibt mindestens (N-1)2 viele k mit B k 4n(n-1)m. Ein solces k an in erwarteter Zeit O(m+n) bestimmt werden. Beweis: Anname: ex. weniger als (N-1)2 viele k mit B k 4n(n-1)m. Dann ex. mindestens (N-1)2 viele k mit B k > 4n(n-1)m N 1 k = 1 B k > N 1 2 4n( n 1) m = N 1 2n( n m 1) Mit WSK ½ erfüllt ein zufällig gewältes k die Bedingung. Die erwartete Anzal der Versuce ist 2. 31

32 Folgerungen Korollar 2: a) Sei m = 2n(n-1)+1. Dann sind mindestens (N-1)2 der k injektiv auf S. Ein solces k findet man in erwarteter Zeit O(m+n)=O(n 2 ). b) Sei m = n. Dann gilt für mindestens (N-1)2 der k, dass B k 4(n-1). Ein solces k findet man in erwarteter Zeit O(n). 32

33 Zweistufiges Scema S U = [0 N-1] S = n = m Idee: Wende Kor. 2b an und teile S in Teilmengen der Größe O(n 12 ). Auf jede Teilmenge wende Kor. 2a an. 1. Wäle k mit B k 4(n-1) 4n. k : x ((kx) mod N ) mod n 2. W i = { x S : k (x) = i }, b i = W i, m i = 2b i (b i 1)+1 für 1 i n-1 Wäle k i so, dass k i : x ( k eingescränkt auf W i injektiv ist. i x mod N) mod m i 33

34 Zweistufiges Scema 3. = j <i s i m j Speicere x S in Tafelposition T[s i + j] wobei i = (k x mod N) mod n j = (k i x mod N) mod m i 0 W 0 (kx mod N) mod n S W 1 s 1 s n-1 W n-1 m-1 34

35 Platzbedarf für Has-Tafel und Has-Funktion m n 1 n 1 = mi = i= 0 i= 0 n + 8( n 1) (2b i ( b 9n i 1) + 1) = n + 2B k Zusätzlic brauct man Platz für die k i, m i und s i. Platzbedarf insgesamt O(n). 35

36 Zeitbedarf für den Aufbau Nac Kor. 2b kann k in erwarteter Zeit O(n) gefunden werden. Die W i, b i, m i, s i können in Zeit O(n) berecnet werden. Nac Kor. 2a kann jedes k i in erwarteter Zeit O(b i2 ) berecnet werden. Erwartete Gesamtlaufzeit: O n n + i= 0 2 bi = O( n + Bk ) = O( n) 36

37 Hauptergebnis Satz: Sei N eine Primzal und S U = [0 N-1] mit S = n. Für S kann eine perfekte Has-Tafel der Größe O(n) und eine Has-Funktion mit Zugriffszeit O(1) in erwarteter Zeit O(n) aufgebaut werden. 37