Florian Hopf Anwendungsfälle für

Transkript

1 Florian Hopf Anwendungsfälle für

2 Agenda

3 Vorbereitung

4 Installation # download archive wget elasticsearch/elasticsearch/elasticsearch zip # zip is for windows and linux unzip elasticsearch zip # on windows: elasticsearch.bat elasticsearch-1.4.4/bin/elasticsearch

5 Zugriff curl -XGET { "status" : 200, "name" : "Anomalito", "cluster_name" : "elasticsearch", "version" : { "number" : "1.4.4", "build_hash" : "c88f77ffc81301dfa9dfd81ca2232f09588bd512", "build_timestamp" : " T13:05:36Z", "build_snapshot" : false, "lucene_version" : "4.10.3", "tagline" : "You Know, for Search"

6 Document Store

7 Document { "title" : "Anwendungsfälle für Elasticsearch", "speaker" : "Florian Hopf", "date" : " T11:00:00.000Z", "tags" : ["Java", "Lucene"], "conference" : { "name" : "JavaLand", "city" : "Brühl"

8 Speichern curl -XPOST { "_index":"conferences", "_type":"talk", "_id":"gqjy7l8stxa3jlafx67_aw", "_version":1, "created":true

9 Speichern curl -XPOST { "_index":"conferences", "_type":"talk", "_id":"gqjy7l8stxa3jlafx67_aw", "_version":1, "created":true Index

10 Speichern curl -XPOST { "_index":"conferences", "_type":"talk", "_id":"gqjy7l8stxa3jlafx67_aw", "_version":1, "created":true Type

11 Lesen curl -XGET GqjY7l8sTxa3jLaFx67_aw?pretty=true { "_index" : "conferences", [...] "_source":{ "title" : "Anwendungsfälle für Elasticsearch", "speaker" : "Florian Hopf", "date" : " T11:00:00.000Z", "tags" : ["Java", "Lucene"], "conference" : { "name" : "JavaLand", "city" : "Brühl"

12 Sharding Aufteilen eines Index in mehrere Teile Default: 5 Shards pro Elasticsearch-Index Mehrere ES-Instanzen bilden einen Cluster Automatische Verteilung auf die Knoten

13 Sharding

14 Recap Einfache Speicherung von JSON-Dokumenten Index und Type Sharding für große Datenmengen Verteilung ist First-Class-Citizen

15 Nutzer Atlassian HipChat OpenCrowd

16 Volltextsuche

17

18

19 Suche per Parameter curl -XGET " {"took" : 73, [ ] "hits" : { [ ] "hits" : [ { [ ] "_score" : , "_source":{ "title" : "Anwendungsfälle für Elasticsearch", "tags" : ["Java", "Lucene"], [ ] ]

20 Query-DSL curl -XGET " -d' { "query": { "filtered": { "query": { "match": { "title": "elasticsearch", "filter": { "term": { "tags": "java" '

21 Query-DSL client.preparesearch("conferences").setquery(filteredquery( matchquery("title", "elasticsearch"), termfilter("tag", "java"))).execute().actionget();

22 Sprache curl -XGET " { [...], "hits" : { "total" : 0, "max_score" : null, "hits" : [ ]

23 Mapping curl -XDELETE " curl -XPUT " curl -XPUT " -d' { "properties": { "title": { "type": "string", "analyzer": "german" '

24 Sprache curl -XGET " { [...], "hits" : { "total" : 1, [...]

25 Was noch? Faceting/Aggregations Suggestions Highlighting Sortierung Pagination...

26 Recap Ausdrucksstarke Suchen über Query DSL Analyzing und Mapping Lucene bietet viele Search-Features

27 Users GitHub StackOverflow XING

28 Flexibler Cache

29 Setup Suche DB Anwendung

30 Nur Suche?

31 Queries DB Anwendung

32 Ergebnislisting curl -XPOST " " -d' { "filter": { "term": { "conference.city": "bühl" '

33 Geo-Suche Geo-Suche

34 Anwendungen Zeige nächste Filiale Filialsuche Sortierung Kleinanzeigen Filterung auf Nähe Social Media-Analysen

35 Document { "title" : "Anwendungsfälle für Elasticsearch", "speaker" : "Florian Hopf", "date" : " T15:35:00.000Z", "tags" : ["Java", "Lucene"], "conference" : { "name" : "JavaLand", "city" : "Brühl", "coordinates": { "lon": " ", "lat": " "

36 Mapping curl -XPUT " -d' { "properties": { [ ], "conference": { "type": "object", "properties": { "coordinates": { "type": "geo_point" '

37 Filterung curl -XPOST " -d' { "filter": { "geo_distance": { "conference.coordinates": { "lon": , "lat": , "distance": "300km", "distance_type": "arc" '

38 Recap Elasticsearch kann mehr als Volltext Ausgefeilte Geo-Algorithmen Sortierung nach Distanz Filterung nach Distanz oder Bereich Berechnung von Distanz

39 User FourSquare ursquare-now-uses-elastic-search-and-on-arelated-note-slashem-also-works-with-elasticsearch/ Gild

40 Logfile-Analyse Log-Analyse

41 Logfile-Analyse Zentralisierung Logs aus Anwendungen Zentralisierung Logs über Maschinen Auch ohne Zugriff Leichte Durchsuchbarkeit Real-Time-Analysis / Visualisierung Daten für alle!

42 Logfile-Analyse Einlesen Speicherung Logstash Elasticsearch Auswertung Kibana

43 Logfile-Analyse

44 Logstash-Config input { file { path => "/var/log/apache2/access.log" filter { grok { match => { message => "%{COMBINEDAPACHELOG" output { elasticsearch_http { host => "localhost"

45 Kibana

46 Recap Einlesen, Anreichern, Speichern von Logevents Zahlreiche Inputs in Logstash Konsolidierung Zentralisierung Auswertung

47 User CERN Bloomberg

48 Analytics Analytics

49 Analytics Auswertung auch großer Datenmengen Social Media Data Warehouse Aggregationen auf Feldern Datenkonsolidierung aus unterschiedlichen Quellen Visualisierung

50 Aggregations curl -XGET " -d' { "aggs" : { "hashtags" : { "terms" : { "field" : "hashtag.text" '

51 Aggregations "aggregations": { "hashtags": { "buckets": [ { "key": "dartlang", "doc_count": 229, { "key": "java", "doc_count": 216, [...]

52 Aggregations "aggs" : { "hashtags" : { "terms" : { "field" : "hashtag.text", "aggs" : { "hashtagusers" : { "terms" : { "field" : "user.screen_name"

53 Aggregations "key": "scala", "doc_count": 130, "hashtagusers": { "buckets": [ { "key": "jaceklaskowski", "doc_count": 74, { "key": "ManningBooks", "doc_count": 3, [...]

54 Visualisierung

55 Recap Auswertung großer Datenmengen Visualisierung Zahlreiche Aggregationen Bucket-Aggregations Metric-Aggregations

56 User Cogenta The Guardian -guardian

57 Agenda

58 Vielen

59 Images