Elasticsearch aus OPS-Sicht Teil1. Markus Rodi Karlsruhe,

Transkript

1 Elasticsearch aus OPS-Sicht Teil1 Markus Rodi Karlsruhe,

2 Agenda 1.Elasticsearch 2.VM & Storage 3.System 4.Konfigurationsparameter 5.Snapshot/Restore 2

3 Elasticsearch Cluster Mehrere Nodes Default Name elasticsearch (ändern!) Node Ist ein Single Server Identifiziert über Node Name Index Sammlung von Dokumenten Identifiziert über Index Name (lowercase!) Document Informationseinheit wird in JSON Format angegeben 3

4 Elasticsearch Shard & Replicas Ein Index kann in mehrere Shards aufgeteilt werden Shards können repliziert werden Primary Shard: Das Original Replica Shard: Die Kopie Default Einstellung ist 5 Primary Shards und 1 Replica => der Index besteht aus 5 Primary Shards und 5 Replica Shards 4

5 VM & Storage VM vs. Metal: Bare Metal ist bessere Wahl CPU: 8 Cores empfohlen Intel Xeon Processor E (12 Cores) Intel Xeon Processor E (8 Cores) RAM: 64GB pro Node 32GB maximal für Elasticsearch Heap => Java Ordinary Object Pointers sind bis ca. 32GB komprimiert 5

6 VM & Storage Storage: SSD's sind bevorzugt Dualer Storage für Kostenersparnis => SSD's für Indexierung => SATA für Ablage älterer Indices IO Scheduler anpassen => NOOP, Deadline bei SSD's => CFQ bei rotierenden Platten RAID 0 für maximale Performance => Daten auf verschiedene Platten schreiben über path Paramter 6

7 System max_file_descriptor auf min besser setzten curl -XGET "process" : { "refresh_interval_in_millis" : 1000, "id" : 7706, "max_file_descriptors" : 64000, "mlockall" : false } 7

8 System Virtual Memory: Elasticsearch verwendet mmapfs Limit erhöhen über 'sysctl -w vm.max_map_count=26144' In /etc/sysctl.conf persistieren Bei der Paketinstallation wird der Wert automatisch gesetzt 8

9 Konfigurationsparameter bootstrap.mlockall: ture Allokiert RAM um swappen zu verhindern discovery.zen.ping.multicast: false Keine Multicast Discovery mehr discovery.zen.ping.unicast: [node01,node02,..] Node IP's statisch angeben discovery.zen.ping_timeout: 3s (default) Bei langsamen Netzwerken erhöhen für Clusterstabilität 9

10 Konfigurationsparameter http.cors-enabled: true http.cors.allow-origin: /.*/ network.publish_host: x.x.x.x IP-Adresse, der Node im Cluster. Als Default erstes non-loopback Interface indices.memory.index_buffer_size: 10% (default) Allokiert prozentual RAM als index buffer, der gleichmäßig auf die Shards verteilt wird 10

11 Konfigurationsparameter index.translog.flush_threshold_ops: Default ist 'unlimited'. Commits vom Translog zu Lucene Instanzen index.refresh_interval: Default ist 1s. Für mehr Index-Performance erhöhen auf z.b. 5s cluster.routing.allocation.same_host:true Mehrere Nodes auf einer VM (Instanzen) vorhanden 11

12 Konfigurationsparameter Client Nodes: http.enabled: true node.master: false node.data: false - Client Nodes sind Teil des Clusters - Client Nodes übernehmen kein Cluster Management und halten keine Daten - Alle HTTP Abfragen laufen über die Client Nodes => Data Nodes werden entlastet (Query geht direkt an die Node mit den gesuchten Daten) 12

13 Konfigurationsparameter Dedizierter Master Node: node.data: false node.master: true - Empfohlen sind 3 Master Nodes - Es werden keine Index- oder Suchanfragen bearbeitet - Reduziert Cluster Instabilität 13

14 Snapshot/Restore Repository anlegen: $ curl -XPUT ' -d '{ "type": "fs", "settings": { "location": "/mount/backups/my_backup", "compress": true } }' 14

15 Snapshot/Restore Snapshot: $ curl -XPUT "localhost:9200/_snapshot/my_backup/snapshot_1?wait_for_completion=true" Restore: $ curl -XPOST "localhost:9200/_snapshot/my_backup/snapshot_1/_restore?wait_for_completion=tr ue" Snapshots und Restores sind inkrementel Weitere Plugins sind AWS, HDFS oder Azure 15

16 Quellen

17 Vielen Dank für Ihre Aufmerksamkeit! Kontakt Markus Rodi Linux System Engineer inovex GmbH Office Karlsruhe Ludwig-Erhard-Allee Karlsruhe Mobil 0173/ Mail mrodi@inovex.de 17

18 Backup