Dehnbarer Begriff Verteiltes Suchen mit Elasticsearch

Transkript

1 Dehnbarer Begriff Verteiltes Suchen mit Elasticsearch Dr. Halil-Cem Gürsoy

2 ...über mich 15 Jahre Entwicklung und Beratung 'Software Architect' bei adesso AG, Dortmund Schwerpunkte > Enterprise Java (Spring) > 'Cloud' und Storage in der Cloud > Buildmanagement / CD

3 Elasticsearch Features und Eckpunkte Eine verteilte Suchengine Entwicklung seit 2010 Open Source (Apache 2) Aktuelle Version(en) > / (RC)

4 Elasticsearch Features und Eckpunkte Basiert auf Lucene (3.6.2 / 4.1) > Shards sind vollständige Lucene Indexe > Funktionsumfang von Lucene steht zur Verfügung Near Real Time -Suchen Konsistenz auf Dokumentenebene > Atomare Operationen auf Dokumentebene RESTful API

5 Einige Grundbegriffe Term > Ein Wert, der in ES indiziert wird > Texte werden in Term's aufgebrochen > Das wie hängt vom Analyzer ab Document > Ein JSON-Objekt wird im ES abgelegt >!= dem Original-Dokument Mapping > Analog einer Schema-Definition > Informationen welcher Typ / wie zu analysieren

6 Indexe und mehr... Es können mehrere Indexe aktiv sein Es können verschiedene Dokumententypen in einem Index indiziert werden Granulare Konfiguration auf Indexebene möglich > z.b. Speicherort und Clusterverhalten

7 Installation Archiv entpacken Binary starten fertig Java-Applikation $ elasticsearch -f $ curl -XGET { "ok" : true, "status" : 200, "name" : "DE-ADN-31543R1", "version" : { "number" : "0.20.6", "snapshot_build" : false, "tagline" : "You Know, for Search"

8 Zero Conf Kaum Konfiguration nötig YAML & API cluster.name: hgu-es node.name: "DE-ADN-31543R1" index.number_of_shards: 1 index.number_of_replicas: 0 discovery.zen.ping.multicast.enabled: false

9 Erste Schritte $ curl -XPOST ' -d '{ "user": "hgutwit", "postdate": " T12:00:00", "message": "Welcome to MC2013" ' { "ok":true, "_index":"tweets", "_type":"tweet", "_id":"_t2vberasyw7k84pofr7aq", "_version":1

10 Suchen... $ curl -XGET ' q=user:hgutwit&pretty=true' { "took" : 53, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "failed" : 0, "hits" : { "total" : 1, "max_score" : , "hits" : [ { "_index" : "tweets", "_type" : "tweet", "_id" : "_t2vberasyw7k84pofr7aq", "_score" : , "_source" : {"user": "hgutwit", "postdate": " T12:00:00", "message": "Welcome to MC2013" ]

11 Suchen... Suche über JSON Query Language oder über Query Parser $ curl -XPOST ' pretty=true' -d ' { "query" : { "bool" : { "must" : { "query_string" : { "query" : "(MC2013)" '

12 Und noch mehr... Suche über mehrere Indexe hinweg möglich: $ curl -XPOST ' pretty=true' -d ' {... ' Oder auf allen: $ curl -XPOST ' pretty=true' -d '...

13 Updates Dokumente werden auch mal aktualisiert Hinzufügen von Feldern zu einem bestehenden Dokument curl -XPOST 'localhost:9200/tweets/tweet/_z3xbdraszt7k84pofr7bv/_update' -d '{ "script" : "ctx._source.text = "newfield" ' Viele weitere Update-Möglichkeiten _version-feld

14 Löschen Löschen von ganzen Indexen $ curl -XDELETE ' (Ausschalten möglich) Oder Query-Basiert: $ curl -XDELETE ' q=message:mc2013'

15 Updates Dokumente werden auch mal aktualisiert Hinzufügen von Feldern zu einem bestehenden Dokument curl -XPOST 'localhost:9200/tweets/tweet/_z3xbdraszt7k84pofr7bv/_update' -d '{ "script" : "ctx._source.text = "newfield" ' Viele weitere Update-Möglichkeiten _version-feld

16 API's Elasticsearch bietet eine große Anzahl an REST-APIs zur > Indizierung > Suche > Verwaltung von Indexen > Verwaltung von Clustern, Nodes, Shards, Segmenten

17 Schemafreiheit & Mapping ES ist Schemafrei Dynamic Mapping > Dort wo notwendig kann konfiguriert werden Mapping Notwendig für Facetting, Sorting, Highlighting, Boosting Verschiedene Wege > API's (Update Mapping API) > Beim Anlegen eines Index > Index-Templates

18 Mapping Default Mapping des Tweets -Index: $ curl -XGET ' { "tweets" : { "tweet" : { "properties" : { "message" : { "type" : "string", "postdate" : { "type" : "date", "format" : "dateoptionaltime", "user" : { "type" : "string"

19 Beispiel-Mapping {... "mappings" : { "tweet" : { "properties" : { "user": { "type" : "string", "analyzer" : "standard", "message": { "type" : "string", "analyzer" : "standard", "boost" : 10.0, "postdate" : { "type" : "date", "format" : "YYYY-MM-dd"

20 Skalierung von Elasticsearch Hochverfügbarkeit durch konfigurierbare Anzahl von Replikas index.number_of_shards: 5 index.number_of_replicas: 2 Hier 5 Shards, je Shard zwei Replika Steuerung des Speicherortes der Replikas Rack-Awareness cluster.routing.allocation.awareness.attributes: rack_id Zone, Server usw. möglich

21 Skalierung Kein Loadbalancer notwendig Fällt ein Server (= n Shards) aus, werden Replikas der Shards auf anderen Servern primär...und es werden neue Replikas angelegt Spagat zw. Such-Performance, Indexing-Performance und Ausfallsicherheit > Write Concerns Anzahl der Shards lässt sich nicht nachträglich ändern > Aber # Replikas!

22

23 Discovery Quelle wiederkehrender Freuden Zen Multicast ist Problembelastet Besser: Unicast discovery.zen.ping.multicast.enabled: false discovery.zen.ping.timeout: 5s discovery.zen.ping.unicast.hosts: es-clust1:9300,esclust2:9300,es-clust3:9300 discovery.zen.minimum_master_nodes: 2 Port-Ranges in der Firewall beachten! > (auch bei Java Node-Clients)

24 River River sind Services zum Pullen von Daten von anderen Systemen Daten werden dann indiziert Unterstützt (bisher) > CouchDB > RabbitMQ > Twittter > Wikipedia Weitere in Community-Hand

25 Einige Lessons Learned Unicast statt Multicast Bulk imports und hohe Shard-Anzahl für hohen Index-Durchsatz > Asynchrone Bulk Updates führen schnell zum Overload! > Replikation bei initialen Indizierungen ausschalten Viele (kleinere) Server nehmen Hohe I/O-Performance (!) und viel Hauptspeicher N Shards / Server für Shard Scale Out Soft References vs. Weak References Mit Java 7 Indexing nicht stabil

26 Fragen? Vielen G+