sort hash uncompress merge & mark hash collisions

Transkript

1 Julian Arz, Timo Bingmann, Sebastian Schlag INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS hash sort... compress uncompress merge & mark hash collisions 1 KIT Julian Universität Arz, des Timo LandesBingmann, Baden-Württemberg Sebastian und Schlag nationales 3. Übung Forschungszentrum Algorithmen in der Helmholtz-Gemeinschaft I Institut für Theoretische Informatik

2 Organisatorisches 1. Programmieraufgabe Erwartet O(1)-Pager Abgabe über Praktomat: Codestyle und Kommentare! Plagiat = 0 Punkte 2 Julian Arz, Timo Bingmann, Sebastian Schlag

3 Hashtabellen: Beispielanwendung: Duplikaterkennung 3 Julian Arz, Timo Bingmann, Sebastian Schlag

4 Duplikaterkennung Problem: Gegeben: Folge A := a 1, a 2,..., a n von Zahlen Frage: Enthält A ein oder mehrere Duplikate a i = a j, i j? 4 Julian Arz, Timo Bingmann, Sebastian Schlag

5 Duplikaterkennung Problem: Gegeben: Folge A := a 1, a 2,..., a n von Zahlen Frage: Enthält A ein oder mehrere Duplikate a i = a j, i j? Ansatz 1: Löse Problem mit Sortieren Idee: Sortiere A A := a 1,..., a n. In A stehen Duplikate nebeneinander A von links nach rechts durchlesen liefert alle Duplikate Worst-Case Laufzeit: Ω(n log n) (siehe Vorlesung Sortieren & Co ) 4 Julian Arz, Timo Bingmann, Sebastian Schlag

6 Duplikaterkennung Problem: Gegeben: Folge A := a 1, a 2,..., a n von Zahlen Frage: Enthält A ein oder mehrere Duplikate a i = a j, i j? Ansatz 2: Verwende eine Hashtabelle H (mit verketteten Listen) Idee: Füge a 1,..., a n nacheinander in H ein Zahl schon drin: Duplikat erkannt! Laufzeit: Erwartet O(n) Bei zufälliger Hashfunktion und wenn H mindestens Ω(n) Slots hat 4 Julian Arz, Timo Bingmann, Sebastian Schlag

7 Erkennen von Duplikaten mittels Hashtabelle Beispiel Folge A := 9, 18, 42, 25, 33, 18, 104, Hashfunktion h(a) = a mod Julian Arz, Timo Bingmann, Sebastian Schlag

14 Erkennen von Duplikaten mittels Hashtabelle Beispiel Folge A := 9, 18, 42, 25, 33, 18, 104, Hashfunktion h(a) = a mod Schon enthalten! 5 Julian Arz, Timo Bingmann, Sebastian Schlag

15 Erkennen von Duplikaten mittels Hashtabelle Pseudocode 1: function hasduplicates(a : Sequence of N 0 ) : {true, false} 2: H := new HashTableWithChaining of N 0 with A slots 3: for all a A do 4: if H.find(a) NIL then return true 5: H.insert(a) 6: end do 7: return false 6 Julian Arz, Timo Bingmann, Sebastian Schlag

16 Erkennen von Duplikaten mittels Hashtabelle Laufzeitanalyse Zwei Schritte 1 Erzeugen der Hashtabelle 2 Finden und Einfügen aller a i aus A = a 1,..., a n 7 Julian Arz, Timo Bingmann, Sebastian Schlag

17 Erkennen von Duplikaten mittels Hashtabelle Laufzeitanalyse Zwei Schritte 1 Erzeugen der Hashtabelle Alle Slots mit Null-Zeiger initialisieren Zeit: O( A ), da Tabelle A Slots hat 2 Finden und Einfügen aller a i aus A = a 1,..., a n 7 Julian Arz, Timo Bingmann, Sebastian Schlag

18 Erkennen von Duplikaten mittels Hashtabelle Laufzeitanalyse Zwei Schritte 1 Erzeugen der Hashtabelle Alle Slots mit Null-Zeiger initialisieren Zeit: O( A ), da Tabelle A Slots hat 2 Finden und Einfügen aller a i aus A = a 1,..., a n Zeit pro Einfügen: O(1) Zeit pro H.find(a): O(Listenlänge) Aber: Erwartete Laufzeit O(1) Denn: Tabelle hat A Slots Hierzu Satz aus Vorlesung: erwartete Listenlänge O(1) Gesamtzeit für Finden und Einfügen: erwartet O( A ) 7 Julian Arz, Timo Bingmann, Sebastian Schlag

19 Bloom Filter Approximate Membership Tester 8 Julian Arz, Timo Bingmann, Sebastian Schlag

20 Bloom Filter Randomisierte Datenstruktur repräsentiert Menge M von n u-bit Elementen (mit Hilfe von m un Bits) Operationen: insert(key k) contains(key k) : bool 9 Julian Arz, Timo Bingmann, Sebastian Schlag

21 Bloom Filter Randomisierte Datenstruktur repräsentiert Menge M von n u-bit Elementen (mit Hilfe von m un Bits) Operationen: insert(key k) contains(key k) : bool Ergebnis einer contains-abfrage: false: k M true: k ist wahrscheinlich in M, false positive mit Wahrscheinlichkeit f + 9 Julian Arz, Timo Bingmann, Sebastian Schlag

22 Bloom Filter Randomisierte Datenstruktur repräsentiert Menge M von n u-bit Elementen (mit Hilfe von m un Bits) Operationen: insert(key k) contains(key k) : bool Ergebnis einer contains-abfrage: false: k M true: k ist wahrscheinlich in M, false positive mit Wahrscheinlichkeit f + Anwendungsbeispiele: Spellchecking Webcrawling Google Chrome Safe Browsing 9 Julian Arz, Timo Bingmann, Sebastian Schlag

23 Bloom Filter Randomisierte Datenstruktur n Elemente k 1 Hashfunktionen h i array A[0..., m 1] von Bits 10 Julian Arz, Timo Bingmann, Sebastian Schlag

24 Bloom Filter Randomisierte Datenstruktur n Elemente k 1 Hashfunktionen h i array A[0..., m 1] von Bits insert(x): 1 setze A[h i (x)] = 1 i {1,..., k} 10 Julian Arz, Timo Bingmann, Sebastian Schlag

25 Bloom Filter Randomisierte Datenstruktur n Elemente k 1 Hashfunktionen h i array A[0..., m 1] von Bits insert(x): 1 setze A[h i (x)] = 1 i {1,..., k} contains(x): 1 wenn A[h i (x)] = 1 i {1,..., k} true 2 sonst false 10 Julian Arz, Timo Bingmann, Sebastian Schlag

26 Bloom Filter Beispiel k = 4 Hashfunktionen m = 32 Bits Julian Arz, Timo Bingmann, Sebastian Schlag

27 Bloom Filter Beispiel insert(x 1 ): x Julian Arz, Timo Bingmann, Sebastian Schlag

28 Bloom Filter Beispiel contains(x 1 ) true x 1 M? Julian Arz, Timo Bingmann, Sebastian Schlag

29 Bloom Filter Beispiel contains(x 2 ) false x 2 M? Julian Arz, Timo Bingmann, Sebastian Schlag

30 Bloom Filter Beispiel insert(x 2 ) x Julian Arz, Timo Bingmann, Sebastian Schlag

31 Bloom Filter Beispiel contains(y) true, obwohl y M y M? Julian Arz, Timo Bingmann, Sebastian Schlag

32 Bloom Filter Wie wahrscheinlich sind false positives? Annahme: Hashfunktionen haben uniform gleichverteiltes Bild p: WK, dass ein Bit = 1 nach n Einfügungen p = 1 ( 1 1 m ) kn 17 Julian Arz, Timo Bingmann, Sebastian Schlag

37 Bloom Filter Wie wahrscheinlich sind false positives? Annahme: Hashfunktionen haben uniform gleichverteiltes Bild p: WK, dass ein Bit = 1 nach n Einfügungen p = 1 ( ) 1 1 kn ( (1 ) m = 1 1 m ) kn/m m 17 Julian Arz, Timo Bingmann, Sebastian Schlag

38 Bloom Filter Wie wahrscheinlich sind false positives? Annahme: Hashfunktionen haben uniform gleichverteiltes Bild p: WK, dass ein Bit = 1 nach n Einfügungen p = 1 ( ) 1 1 kn ( (1 ) m = 1 1 m ) kn/m m 1 e kn/m 17 Julian Arz, Timo Bingmann, Sebastian Schlag

39 Bloom Filter Wie wahrscheinlich sind false positives? Annahme: Hashfunktionen haben uniform gleichverteiltes Bild p: WK, dass ein Bit = 1 nach n Einfügungen p = 1 ( ) 1 1 kn ( (1 ) m = 1 1 m ) kn/m m 1 e kn/m WK für false positive WK, dass alle k Hash-Bits 1 sind f + ( 1 e kn/m) k 17 Julian Arz, Timo Bingmann, Sebastian Schlag

40 Bloom Filter Wie wahrscheinlich sind false positives? Annahme: Hashfunktionen haben uniform gleichverteiltes Bild p: WK, dass ein Bit = 1 nach n Einfügungen p = 1 ( ) 1 1 kn ( (1 ) m = 1 1 m ) kn/m m 1 e kn/m WK für false positive WK, dass alle k Hash-Bits 1 sind f + ( 1 e kn/m) k optimialer Wert für k := m n ln 2 17 Julian Arz, Timo Bingmann, Sebastian Schlag

41 Bloom Filter Rechenbeispiel Wahrscheinlichkeit für false positive: ( 1 e kn/m) k n = Objekte m = Bits wähle k = 7 Wahrscheinlichkeit für false positive < 1% Vorteile: viel kompaktere Repräsentation als Abspeichern von Objekten z.b. Strings, Webseiten, Hashwerte, Julian Arz, Timo Bingmann, Sebastian Schlag

42 Beispiel aus der Forschung: Verteilte Duplikaterkennung mit minimalem Kommunikationsvolumen [Sanders Schlag Müller IEEE BigData 2013] 19 Julian Arz, Timo Bingmann, Sebastian Schlag

43 Verteilte Duplikaterkennung Problem große, verteilt vorliegende Datenmenge 20 Julian Arz, Timo Bingmann, Sebastian Schlag

44 Verteilte Duplikaterkennung Problem große, verteilt vorliegende Datenmenge wenige Duplikate 20 Julian Arz, Timo Bingmann, Sebastian Schlag

45 Verteilte Duplikaterkennung Problem große, verteilt vorliegende Datenmenge wenige Duplikate Finde alle Duplikate so schnell wie möglich mit möglichst wenig Kommunikation?? 20 Julian Arz, Timo Bingmann, Sebastian Schlag

46 Verteilte Duplikaterkennung Problem große, verteilt vorliegende Datenmenge wenige Duplikate Finde alle Duplikate so schnell wie möglich mit möglichst wenig Kommunikation Anwendungsgebiete: SQL DISTINCT Inkonsistenzen in sehr großen, verteilten Datenbanken fundamentales Problem in der Komplexitätstheorie?? 20 Julian Arz, Timo Bingmann, Sebastian Schlag

47 Verteilte Duplikaterkennung Ein klassischer Ansatz Hash-basierte Repartitionierung: a q r h w i d n o c j p y b t g u e k z l x v d o m f s 21 Julian Arz, Timo Bingmann, Sebastian Schlag

48 Verteilte Duplikaterkennung Ein klassischer Ansatz Hash-basierte Repartitionierung: a q r h w i d n o c j p y b t g u e k z l x v d o m f s icdghmrxf o wy p lqkn tjabe suzv Problem: jedes Element muss 1x verschickt werden Kommunikation wird schnell zum Flaschenhals 22 Julian Arz, Timo Bingmann, Sebastian Schlag

49 Verteilte Duplikaterkennung Zentrale Idee Vorverarbeitung: identifiziere möglichst viele distikte Elemente starke Reduktion der zu betrachtenden Gesamtmenge Filter Phase Repartitionierung 23 Julian Arz, Timo Bingmann, Sebastian Schlag

50 Verteilte Duplikaterkennung Wie funktioniert die Filter-Phase? Single Shot Bloom Filter [Putze S Singler SEA 2007] k = 1 Hashfunktion false positives mit WK f + = n m für geringes f + riesiger Bloom Filter nötig? n elements 1 hash function defines 1 bits m bits 24 Julian Arz, Timo Bingmann, Sebastian Schlag

51 Verteilte Duplikaterkennung Wie funktioniert die Filter-Phase? Compressed Single Shot Bloom Filter [Putze S Singler SEA 2007] Für geringes f + riesiger Bloom Filter nötig? Nein! Bitarray kann optimal komprimiert werden 30 % weniger Speicherplatzverbauch als Bloom Filter n elements 1 hash function defines 1 bits m bits 25 Julian Arz, Timo Bingmann, Sebastian Schlag

52 Verteilte Duplikaterkennung Wie funktioniert die Filter-Phase? Distributed (Compressed) Single Shot Bloom Filter (dsbf) [Sanders Schlag Müller IEEE BigData 2013] n elements PE 1 PE 2 PE p m bits Bei Konstruktion k mal weniger Kommunikation als verteilter, normaler Bloom Filter 26 Julian Arz, Timo Bingmann, Sebastian Schlag

53 Verteilte Duplikaterkennung Wie funktioniert die Filter-Phase? Filtern distinkter Elemente mittels dsbf: hash sort... compress uncompress merge & mark hash collisions 27 Julian Arz, Timo Bingmann, Sebastian Schlag

54 Verteilte Duplikaterkennung Effiziente Implementierung Shared-Memory Parallelisierung der lokalen Operationen Sortieren/Mergen von Integer-Werten schnelle Kompression Tuning von Kommunikationsoperationen hash sort... compress uncompress merge & mark hash collisions 28 Julian Arz, Timo Bingmann, Sebastian Schlag

55 Verteilte Duplikaterkennung Experimentelle Ergebnisse Elementgröße u = 832 Bits Eingabedaten n = p 2 27 d.h. 13 GB pro Knoten keine Duplikate Running time [s] Number of nodes RePart 1dSBF RePart 1dSBF RePart 1dSBF RePart 1dSBF RePart 1dSBF communication computation 29 Julian Arz, Timo Bingmann, Sebastian Schlag

56 Verteilte Duplikaterkennung Experimentelle Ergebnisse Elementgröße u = 832 Bits p = 64 Knoten (1024 cores) Eingabedaten n = 2 33 αn Duplikate Running time per element of node [ns] Duplication factor α RePart 1dSBF RePart 1dSBF RePart 1dSBF RePart 1dSBF RePart 1dSBF RePart 1dSBF communication computation 30 Julian Arz, Timo Bingmann, Sebastian Schlag

57 Verteilte Duplikaterkennung Experimentelle Ergebnisse Kommunikationsvolumen: 31 Julian Arz, Timo Bingmann, Sebastian Schlag