17. Hashing. Motivation. Naive Ideen. Bessere Idee? k(s) = s i b i

Transkript

1 Motivation 17. Hashing Hash Tabellen, Geburtstagsparadoxon, Hashfunktionen, Kollisionsauflösung durch Verketten, offenes Hashing, Sondieren Ziel: Tabelle aller n Studenten dieser Vorlesung Anforderung: Schneller Zugriff per Nae Naive Ideen Zuordnung Nae s = s 1 s 2... s ls zu Schlüssel k(s) = l s i=1 s i b i b gross genug, so dass verschiedene Naen verschiedene Schlüssel erhalten. Speichere jeden Datensatz an seine Index in eine grossen Array. Beispiel, it b = 100. Ascii-Werte s i. Anna Jacqueline Bessere Idee? Allokation eines Arrays der Länge ( > n). Zuordnung Nae s zu ( ls ) k (s) = s i b i od. i=1 Verschiedene Naen können nun denselben Schlüssel erhalten ( Kollision ). Und dann? Unrealistisch: erfordert zu grosse Arrays

2 Abschätzung Abschätzung Annahe: Urnen, n Kugeln (obda n ). n Kugeln werden gleichverteilt in Urnen gelegt. Vielleicht passieren Kollisionen ja fast nie. Wir schätzen ab Wie gross ist die Kollisionswahrscheinlichkeit? Sehr verwandte Frage: Bei wie vielen Personen (n) ist die Wahrscheinlichkeit, dass zwei a selben Tag ( = 365) Geburtstag haben grösser als 50%? Abschätzung P(keine Kollision) = 1 n+1 =! ( n)!. Sei a. Mit e x = 1 + x + x2 2! +... approxiiere 1 a e a. Dait: 1 ( 1 1 ) ( 1 2 ) ( 1 n 1 ) e 1+ +n 1 = e n(n 1) 2. Noenklatur Hashfunktion h: Abbildung aus der Menge der Schlüssel K auf die Indexenge {0, 1,..., 1 eines Arrays (Hashtabelle). h : K {0, 1,..., 1. Es ergibt sich P(Kollision) = 1 e n(n 1) 2. Meist K. Es gibt also k 1, k 2 K it h(k 1 ) = h(k 2 ) (Kollision). Eine Hashfunktion sollte die Menge der Schlüssel öglichst gleichässig auf die Positionen der Hashtabelle verteilen. Auflösung zu Geburtstagsparadoxon: Bei 23 Leuten ist die Wahrscheinlichkeit für Geburstagskollision 50.7%. Zahl stat von der leicht besseren Approxiation via Stirling Forel

3 Ipleentation Hashfunktion (String) in Java h b, (s) = ( l 1 ) s i b i od i=0 Behandlung von Kollisionen Beispiel = 7, K = {0,..., 500, h(k) = k od. Schlüssel 12, 53, 5, 15, 2,, 43 Verkettung der Überläufer int CoputeHash(int, String s) { int su = 0; int b = 1; for (int k = 0; k<s.length(); ++k){ su = (su + s.charat(k) b) % ; b = (b 31) % ; return su; Hashtabelle Überläufer Behandlung von Kollisionen Beispiel = 7, K = {0,..., 500, h(k) = k od. Schlüssel 12, 53, 5, 15, 2,, 43 Direkte Verkettung der Überläufer Hashtabelle Überläufer Algorithen zu Hashing it Verkettung contains(k) Durchsuche Liste an Position h(k) nach k. Gib wahr zurück, wenn gefunden, sonst falsch. put(k) Prüfe ob k in Liste an Position h(k). Falls nein, füge k a Ende der Liste ein. Andernfalls Fehlereldung. get(k) Prüfe ob k in Liste an Position h(k). Falls ja, gib die Daten zu Schlüssel k zurück. Andernfalls Fehlereldung reove(k) Durchsuche die Liste an Position h(k) nach k. Wenn Suche erfolgreich, entferne das entsprechende Listeneleent

4 Vor und Nachteile Offene Hashverfahren Vorteile der Strategie: Belegungsfaktoren α > 1 öglich Entfernen von Schlüsseln einfach Nachteile Speicherverbrauch der Verkettung Speichere die Überläufer direkt in der Hashtabelle it einer Sondierungsfunktion s(j, k) (0 j <, k K) Tabellenposition des Schlüssels entlang der Sondierungsfolge S(k) := (h(k) s(0, k) od,..., (h(k) s( 1, k)) od Algorithen zu Open Addressing contains(k) Durchlaufe Tabelleneinträge geäss S(k). Wird k gefunden, gib true zurück. Ist die Sondierungsfolge zu Ende oder eine leere Position erreicht, gib false zurück. put(k) Suche k in der Tabelle geäss S(k). Ist k nicht vorhanden, füge k an die erste freie Position in der Sondierungsfolge ein. Andernfalls Fehlereldung. get(k) Durchlaufe Tabelleneinträge geäss S(k). Wird k gefunden, gib die zu k gehörenden Daten zurück. Andernfalls Fehlereldung. reove(k) Suche k in der Tabelle geäss S(k). Wenn k gefunden, ersetze k durch den speziellen reoved key. Lineares Sondieren s(j, k) = j S(k) = (h(k) od, (h(k) 1) od,..., (h(k) + 1) od ) Beispiel = 7, K = {0,..., 500, h(k) = k od. Schlüssel 12, 53, 5, 15, 2,

5 Java Ipleentation: Tabelleneinträge public class Entry{ String key; // the key int value; // data Entry(String n, int v){ key = n; value = v; Java Ipleentation: Tabelle class Hashtable{ Entry[] data; // invariant: data.length = always a power of two int ; // data.length 1 int used; // used entries in data Entry epty; // special entry for deletion // constructor Hashtable(int size){ data = new Entry[size]; = size 1; epty = new Entry("",0); Java Ipleentation: Hashfunktion int CoputeHash(String s) { int su = 0; int b = 1; for (int k = 0; k<s.length(); ++k){ su = (su + s.charat(k) b) % ; b = (b 31) % ; return su; Java Ipleentation: Lineares Sondieren // linear probing, returns the index where the data set // containing key is stored or the index of an epty slot int probe(string key){ int h = CoputeHash(key); Entry e = data[h]; while (e!= null &&!key.equals(e.key)){ h = (+h 1) % ; e = data[h]; return h;

6 Java Ipleentation: Suchen // returns if the table contains a data set with key boolean contains(string key){ int h = probe(key); return data[h]!= null; // returns the value stored with the key int get(string key){ assert(contains(key)); int h = probe(key); return data[h].value; Java Ipleentation: Einfügen void put(string nae, int value){ assert(!contains(nae)); if (++used >= /2) // ax 50% load Resize(); int h = probe(nae); data[h] = new Entry(nae,value); Java Ipleentation: Resize Java Ipleentation: Löschen void Resize(){ Entry[] old = data; data = new Entry[data.length 2]; = data.length 1; // 2^k 1, reasonably "close" to prie for (int k = 0; k<old.length; ++k){ if (old[k]!= null && old[k]!= epty){ put(old[k].key, old[k].value); void reove(string key){ assert(contains(key)); int h = probe(key); data[h] = epty;

7 Diskussion Quadratisches Sondieren Beispiel α = 0.95 Erfolglose Suche betrachtet i Durchschnitt 200 Tabelleneinträge!? Grund für die schlechte Perforance?! Priäre Häufung: Ähnliche Hashaddressen haben ähnliche Sondierungsfolgen lange zusaenhängende belegte Bereiche. s(j, k) = j/2 2 ( 1) j S(k) = (h(k), h(k) + 1, h(k) 1, h(k) + 4, h(k) 4,... ) od Beispiel = 7, K = {0,..., 500, h(k) = k od. Schlüssel 12, 53, 5, 15, 2, Diskussion Beispiel α = 0.95 Erfolglose Suche betrachtet i Durchschnitt 22 Tabelleneinträge? Grund für die schlechte Perforance?! Sekundäre Häufung: Synonye k und k (it h(k) = h(k )) durchlaufen dieselbe Sondierungsfolge. Double Hashing Zwei Hashfunktionen h(k) und h (k). s(j, k) = j h (k). S(k) = (h(k) h (k), h(k) 2h (k),..., h(k) ( 1)h (k)) od Beispiel: = 7, K = {0,..., 500, h(k) = k od 7, h (k) = 1 + k od 5. Schlüssel 12, 53, 5, 15, 2,

8 Double Hashing Übersicht Sondierungsreihenfolge uss Perutation aller Hashadressen bilden. Also h (k) 0 und h (k) darf nicht teilen, z.b. garantiert it pri. h sollte unabhängig von h sein (Vereidung sekundärer Häufung). Unabhängigkeit gilt zu Beispiel, wenn h(k) = k od und h (k) = 1 + k od ( 2), Prizahl. α = 0.50 α = 0.90 α = 0.95 C n C n C n C n C n C n Separate Verkettung Direkte Verkettung Lineares Sondieren Quadratisches Sondieren Double Hashing : C n: Anzahl Schritte erfolgreiche Suche, C n : Anzahl Schritte erfolglose Suche, Belegungsgrad α Generische Hashtabellen in Java java.util.hashmap iport java.util.hashmap; // Abbildung String > Integer HashMap<String, Integer> ap = new HashMap<String,Integer>(); ap.put("abc",3); ap.put("xyz",100); int i = ap.get("abc"); // i = 3 int j = ap.get("xyz"); // j = 100 Generische Liste in Java java.util.list iport java.util.linkedlist; // es gibt auch ArrayList // Liste von Strings LinkedList<String> list = new LinkedList<String>(); list.add("abc"); list.add("xyz"); list.add(1,"123"); // Fuege 123 an Position 1 ein Syste.out.println(list.get(0)); // abc for (String s: list) // For auf Iterator der Liste Syste.out.println(s); // abc 123 xyz