Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Transkript

1 Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr

2 ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH

3 WHOAMI Java Entwickler seit 1996 PL bei mgm technology partners GmbH Schwerpunkt Big Data seit 2009

4

5 WAS IST HADOOP?

6 Open Source Implementierung zweier Whitepaper von Google: The Google File System MapReduce: Simplified Data Processing on Large Clusters

7 2 HAUPTKOMPONENTEN Hadoop Distributed File System - Ein skaliebares, fehlertolerantes und verteiltes Dateisystem MapReduce - Eine skalierbare, fehlertolerante und verteilte Ausführungsumgebung Zahlreiche Erweiterungen: Hbase, Hive, Pig,...

8 Es ist deutlich effizienter Programme zu den Daten zu bringen, als Daten zu den Programmen.

9 HADOOP IM EINSATZ Hadoop wird mittlerweile als ernsthafte Technologie akzeptiert.

10 2011 waren allein mit der Cloudera Hadoop Distribution 22 Cluster mit jeweils mindestens 1 PB Daten in Betrieb. Omer Trajman (Cloudera)

11 Durchschnittliche Clustergröße 2010: 60 Knoten Durchschnittliche Clustergröße 2011: 200 Knoten

12 Insgesamt Server Bis zu 4000 Server pro Cluster Gesamtkapazität 400 PB

13 Mehr als 100 Hadoop Cluster Größter Cluster hat über 100 PB Wachstum > 100 TB pro Tag

14 VORTEILE VON HADOOP Unbegrenzte Kapazität Sehr hoher Datendurchsatz Fehlertoleranz / Ausfallsicherheit Läuft auf Standardhardware

15 ABER HADOOP IST NICHT ECHTZEITFÄHIG

16

17 WAS IST SOLR? Solr ist ein standalone Such-Server mit REST-API basierend auf Lucene.

18 Indizierung per Volltext und Schema JSON und XML als Datenformat REST Schnittstelle per HTTP Basiert auf etablierter Lucene-Engine

19 KOMBINATION VON HADOOP UND SOLR

20 HADOOP CLUSTER

21 HADOOP CLUSTER MIT SOLR

22 HDFS ZUR DATENABLAGE Welches Datenformat ist geeignet? Wie Daten organisieren?

23 MÖGLICHE DATENFORMATE Strukturiert / Unstrukturiert Container: Hadoop Sequence-/Mapfiles, Binary, Text Einschränkungen des HDFS beachten!

24 STRUKTURIERTE DATENFORMATE CSV, JSON, XML, YAML Protocol Buffers, Thrift, Avro...

25 UNSTRUKTURIERTE DATENFORMATE Logfiles, PDF, HTML, Text,...

26 DATENORGANISATION Ein Dokument muss eindeutig adressiert werden können HDFS Blockgröße optimal nutzen Verwandte Daten möglichst nah beieinander speichern /logfiles/appname/2012/11/06/0001# Beispiel: Pfad zur Datei 0001 und Index innerhalb der Datei

27 ALTERNATIVE HBASE

28 HBASE Gut geeignet zu Speicherung strukturierter Daten Benötigt allerdings viel Hauptspeicher auf Datanodes

29 INDIZIERUNG IN SOLR Online während Datenannahme oder Offline

30 ONLINE-INDIZIERUNG Indizierung in Echtzeit Daten werden sofort gefunden Indizierung per REST-Request

31 OFFLINE-INDIZIERUNG Nutzung von MapReduce zur Indizierung Parallelisierung der Indizierung Sehr hoher Indizierungsdurchsatz Indizierung per Massendatenimport Lastet den Cluster stark aus

32 KOMBINATION BEIDER TECHNIKEN Bietet vorteile beider Ansätze Verhindert Diskrepanz zwischen Index und Datenbestand

33 PROBLEME DER SOLR- INTEGRATION

34 PROBLEM: SPEICHERBEDARF Solr benötigt viel Hauptspeicher Speicherbedarf abhängig von Dokumentstruktur

35 OPTIMIERUNG DES INDIZIERUNGSSCHEMAS DURCH... Speicherung von Feldern ohne diese zu indizieren Indizierung von Feldern ohne diese zu speichern Pfad im HDFS als Primärschlüssel kurz halten Reduzierung der Genauigkeit von Zeitstempeln

36 AUFTEILUNG IN TEILINDIZES Zweitnutzung der Datanodes des Hadoop Clusters Verteilung der Last Kapazität skaliert mit Datanodes Ausfallsicherheit

37 PROBLEM: MANAGEMENT DER SOLR-INSTANZEN Ausfälle erkennen Gleichmäßige Auslastung sicherstellen Indizes persistieren

38 HADOOP FUNKTIONALITÄT NUTZEN Cluster-Health mittels Hadoop ermitteln Über Hadoop-Server iterieren und Solr-Daten ermitteln

39 SOLR INFORMATIONEN Wie viele Indizes sind aktiv? Wie viele Dokumente indiziert? Sind indizes optimiert?

40 AKTIONEN ABLEITEN Indizes sichern Indizes einspielen Cluster ausbalancieren

41 BEISPIEL: SERVERAUSFALL 1. Hadop erkennt Ausfall 2. Ausgefallene Indizes werden identifiziert 3. Auswahl von Ersatzservern 4. Einspielen ausgefallener Indizes auf Ersatzservern

42 PROBLEM: SUCHANFRAGEN PARALLELISIEREN Suchanfragen müssen auf alle Solr Instanzen verteilt werden Konsoldierung der Treffer

43 VERTEILUNG DER SUCHANFRAGE Timeout-Handling notwendig Wenn möglich Minimierung der Anfragen durch intelligentes Sharding

44 TREFFERKONSOLIDIERUNG Sortierung der Treffer Treffermenge muss limitiert werden, um Speicherprobleme zu vermeiden

45 PROBLEM: AUSLESEN DER TREFFER IM HDFS Zugriff auf verteilte Daten im HDFS sehr langsam Auslesen großer Treffermengen in Echtzeit nicht möglich

46 PAGING DER TREFFER Es wird immer nur eine kleine Treffermenge ausgelesen und ausgeliefert Blätter-Performance kann durch Preloading im Hintergrund verbessert werden

47 GESAMTARCHITEKTUR

48

49 PERFORMANCE 13 Mrd. indizierte Logmeldungen 5 Felder pro Logmeldung indiziert 60 Teilindizes Indexgröße ca. 40 GB pro Teilindex

50 SOLR Antwortzeit einer Solr-Instanz: 1-2 Sekunden Gesamtzeit aller 60 Instanzen: 4-8 Sekunden Konsolidierung der Treffer: max. 1 Sekunde

51 HADOOP Auslesen von 50 Treffern aus dem HDFS: 1-2 Sekunden Random Access sehr langsam, daher Caching weiterer Treffer im Hintergrund

52 GESAMT Zeit zur Darstellung erster 50 Treffer: 6-11 Sekunden

53 FAZIT Beide Technologien ergänzen sich gut Produktivbetrieb seit 14 Monaten bisher ohne Ausfälle Sehr gute Nutzerakzeptanz

54 ABER Solr Integration sehr komplex Performance noch ausbaufähig Verfügbarkeit von Open Source Lösungen mit ähnlicher Funktionalität: Elastic Search

55 VIELEN DANK! Vortragsslides unter Blog Serie Scalable Log Data Management with Hadoop unter

56