Agenda. Anwendungsfälle. Integration in Java

Transkript

1 Florian

2 Agenda Anwendungsfälle Integration in Java

3 Agenda

4 Vorbereitung

5 Installation # download archive wget elasticsearch/elasticsearch/elasticsearch zip # zip is for windows and linux unzip elasticsearch zip # on windows: elasticsearch.bat elasticsearch-1.7.1/bin/elasticsearch

6 Zugriff curl -XGET { "status" : 200, "name" : "Bird-Man", "cluster_name" : "elasticsearch", "version" : { "number" : "1.7.1", "build_hash" : "b88f43fc40b0bcd7f173a1f9ee2e97816", "build_timestamp" : " T09:54:16Z", "build_snapshot" : false, "lucene_version" : "4.10.4", "tagline" : "You Know, for Search"

7 Document Store

8 Document { "title" : "Anwendungsfälle für Elasticsearch", "speaker" : "Florian Hopf", "date" : " T19:00:00.000Z", "tags" : ["Java", "Lucene"], "conference" : { "name" : "JUG-KL", "city" : "Kaiserslautern"

9 Speichern curl -XPOST { "_index":"conferences", "_type":"talk", "_id":"gqjy7l8stxa3jlafx67_aw", "_version":1, "created":true

10 Speichern curl -XPOST { "_index":"conferences", "_type":"talk", "_id":"gqjy7l8stxa3jlafx67_aw", "_version":1, "created":true Index

11 Speichern curl -XPOST { "_index":"conferences", "_type":"talk", "_id":"gqjy7l8stxa3jlafx67_aw", "_version":1, "created":true Type

12 Lesen curl -XGET GqjY7l8sTxa3jLaFx67_aw?pretty=true { "_index" : "conferences", [...] "_source":{ "title" : "Anwendungsfälle für Elasticsearch", "speaker" : "Florian Hopf", "date" : " T19:00:00.000Z", "tags" : ["Java", "Lucene"], "conference" : { "name" : "JUG-KL", "city" : "Kaiserslautern"

13 Sharding Aufteilen eines Index in mehrere Teile Default: 5 Shards pro Elasticsearch-Index Mehrere ES-Instanzen bilden einen Cluster Automatische Verteilung auf die Knoten

14 Sharding

15 Recap Einfache Speicherung von JSON-Dokumenten Index und Type Sharding für große Datenmengen Verteilung ist First-Class-Citizen

16 Nutzer Atlassian HipChat OpenCrowd

17 Volltextsuche

18

19

20 Suche per Parameter curl -XGET " {"took" : 73, [ ] "hits" : { [ ] "hits" : [ { [ ] "_score" : , "_source":{ "title" : "Anwendungsfälle für Elasticsearch", "tags" : ["Java", "Lucene"], [ ] ]

21 Query-DSL curl -XGET " -d' { "query": { "filtered": { "query": { "match": { "title": "elasticsearch", "filter": { "term": { "tags": "java" '

22 Sprache curl -XGET " { [...], "hits" : { "total" : 0, "max_score" : null, "hits" : [ ]

23 Mapping curl -XDELETE " curl -XPUT " curl -XPUT " -d' { "properties": { "title": { "type": "string", "analyzer": "german" '

24 Sprache curl -XGET " { [...], "hits" : { "total" : 1, [...]

25 Was noch? Faceting/Aggregations Suggestions Highlighting Sortierung Pagination...

26 Recap Ausdrucksstarke Suchen über Query DSL Analyzing und Mapping Lucene bietet viele Search-Features

27 Users GitHub StackOverflow XING

28 Flexibler Cache

29 Setup Suche DB Anwendung

30 Nur Suche?

31 Queries DB Anwendung

32 Ergebnislisting curl -XPOST " " -d' { "filter": { "term": { "tags": "java" '

33 Geo-Suche Geo-Suche

34 Anwendungen Zeige nächste Filiale Filialsuche Sortierung Kleinanzeigen Filterung auf Nähe Social Media-Analysen

35 Document { "title" : "Anwendungsfälle für Elasticsearch", "speaker" : "Florian Hopf", "date" : " T19:00:00.000Z", "tags" : ["Java", "Lucene"], "conference" : { "name" : "JUG-KL", "city" : "Kaiserslautern", "coordinates": { "lon": " ", "lat": " "

36 Mapping curl -XPUT " -d' { "properties": { [ ], "conference": { "type": "object", "properties": { "coordinates": { "type": "geo_point" '

37 Filterung curl -XPOST " -d' { "filter": { "geo_distance": { "conference.coordinates": { "lon": , "lat": , "distance": "100km", "distance_type": "arc" '

38 Recap Elasticsearch kann mehr als Volltext Ausgefeilte Geo-Algorithmen Sortierung nach Distanz Filterung nach Distanz oder Bereich Berechnung von Distanz

39 User FourSquare ursquare-now-uses-elastic-search-and-on-arelated-note-slashem-also-works-with-elasticsearch/ Gild

40 Logfile-Analyse Log-Analyse

41 Logfile-Analyse Zentralisierung Logs aus Anwendungen Zentralisierung Logs über Maschinen Auch ohne Zugriff Leichte Durchsuchbarkeit Real-Time-Analysis / Visualisierung Daten für alle!

42 Logfile-Analyse Einlesen Speicherung Logstash Elasticsearch Auswertung Kibana

43 Logfile-Analyse

44 Logstash-Config input { file { path => "/var/log/apache2/access.log" filter { grok { match => { message => "%{COMBINEDAPACHELOG" output { elasticsearch_http { host => "localhost"

45 Kibana

46 Recap Einlesen, Anreichern, Speichern von Logevents Zahlreiche Inputs in Logstash Konsolidierung Zentralisierung Auswertung

47 User CERN Bloomberg

48 Analytics Analytics

49 Analytics Auswertung auch großer Datenmengen Social Media Data Warehouse Aggregationen auf Feldern Datenkonsolidierung aus unterschiedlichen Quellen Visualisierung

50 Aggregations curl -XGET " -d' { "aggs" : { "hashtags" : { "terms" : { "field" : "hashtag.text" '

51 Aggregations "aggregations": { "hashtags": { "buckets": [ { "key": "dartlang", "doc_count": 229, { "key": "java", "doc_count": 216, [...]

52 Aggregations "aggs" : { "hashtags" : { "terms" : { "field" : "hashtag.text", "aggs" : { "hashtagusers" : { "terms" : { "field" : "user.screen_name"

53 Aggregations "key": "scala", "doc_count": 130, "hashtagusers": { "buckets": [ { "key": "jaceklaskowski", "doc_count": 74, { "key": "ManningBooks", "doc_count": 3, [...]

54 Visualisierung

55 Recap Auswertung großer Datenmengen Visualisierung Zahlreiche Aggregationen Bucket-Aggregations Metric-Aggregations

56 User Cogenta The Guardian -guardian

57 Agenda

58

59 Verteilung

60 Suche im Cluster

61 Suche im Cluster

62 Suche im Cluster

63 Standard-Client

64 Java! dependencies { compile group: 'org.elasticsearch', name: 'elasticsearch', version: '1.6.0'

65 Java! TransportAddress address = new InetSocketTransportAddress("localhost", 9300); Client client = new TransportClient(). addtransportaddress(address);

66 Suche per Query DSL curl -XPOST " -d' { "query": { "filtered": { "query": { "match": { "title": "elasticsearch", "filter": { "term": { "publisher.name": "manning" '

67 Suche über Java-Client SearchResponse searchresponse = client.preparesearch("library").setquery(filteredquery( matchquery("title", "elasticsearch"), termfilter("publisher.name", "manning"))).execute().actionget(); assertequals(1, searchresponse.gethits().gettotalhits()); SearchHit hit = searchresponse.gethits().getat(0); assertequals("elasticsearch in Action", hit.getsource().get("title"));

68 Indizierung über Java-Client XContentBuilder jsonbuilder = jsonbuilder().startobject().field("title", "Elasticsearch").field("author", "Florian Hopf").startObject("publisher").field("name", "dpunkt").endobject().endobject(); client.prepareindex("library", "book").setsource(jsonbuilder).execute().actionget();

69 Indizierung über Java-Client

70 Transport-Client Verbindet sich mit bestehendem Cluster Seed-Urls zur Erzeugung TransportAddress address = new InetSocketTransportAddress("localhost", 9300); Client client = new TransportClient(). addtransportaddress(address);

71 Transport-Client

72 Node-Client Node node = nodebuilder().client(true).node(); Client client = node.client();

73 Node-Client Startet eigenen Knoten Anwendung wird Teil des Clusters Node node = nodebuilder().client(true).node(); Client client = node.client();

74 Node-Client

75 Standard-Client Volle API-Unterstützung Effiziente Kommunikation Node-Client Cluster-State spart unnötige Hops

76 Standard-Client Gotchas Elasticsearch-Version Client == Server Node-Client Bei Start und Stop wird Cluster-State übertragen Speicherverbrauch Elasticsearch-Dependency

77 Jest Http Client

78 Jest

79 Jest dependencies { compile group: 'io.searchbox', name: 'jest', Version: '0.1.6'

80 Client JestClientFactory factory = new JestClientFactory(); factory.sethttpclientconfig(new HttpClientConfig.Builder(" JestClient client = factory.getobject();

81 Suche mit Jest String query = jsonstringthatmagicallyappears; Search search = new Search.Builder(query).addIndex("library").build(); SearchResult result = client.execute(search); assertequals(integer.valueof(1), result.gettotal());

82 Suche mit Jest JsonObject jsonobject = result.getjsonobject(); JsonObject hitsobj = jsonobject.getasjsonobject("hits"); JsonArray hits = hitsobj.getasjsonarray("hits"); JsonObject hit = hits.get(0).getasjsonobject(); //... more boring code

83 Suche mit Jest public class Book { private String title; private List<String> author; private Publisher publisher; public Publisher getpublisher() { return publisher; public void setpublisher(publisher publisher) { this.publisher = publisher; // more code

84 Suche mit Jest Book book = result.getfirsthit(book.class).source; assertequals("elasticsearch in Action", book.gettitle());

85 Jest Alternative HTTP-Implementierung Queries als String oder per ElasticsearchBuilder Indizieren und Suchen per Java-Beans

86 Spring Data Elasticsearch

87 Spring Data Abstraktionen für Data-Stores Spezialitäten bleiben erhalten Dynamische Repository-Implementierung Populäre Implementierungen Spring Data JPA Spring Data MongoDB

88 Dependency dependencies { compile group: 'org.springframework.data', name: 'spring-data-elasticsearch', version: '1.2.0.RELEASE'

89 indexname = "library", type = "book") public class Book { private private private private String id; String title; List<String> author; Publisher publisher; // more code

90 Repository public interface BookRepository extends ElasticsearchCrudRepository<Book, String> { public Iterable<Book> findbytitle(string title);

91 Configuration <elasticsearch:node-client id="client" /> <bean name="elasticsearchtemplate" class="o.s.d.elasticsearch.core.elasticsearchtemplate"> <constructor-arg name="client" ref="client"/> </bean> <elasticsearch:repositories base-package="de.fhopf.elasticsearch.springdata" />

92 Indexing Book book = new Book(); book.settitle("elasticsearch"); book.setauthor(arrays.aslist("florian Hopf")); book.setpublisher(new Publisher("dpunkt")); repository.save(book);

93 Searching Iterable<Book> books = repository.findall(); books = repository.findbytitle("elasticsearch");

94 Recap Abstraktion über Elasticsearch Entity-Beans Dynamische Repository-Implementierung Junges Projekt

95 Recap Standard-Client Jest Node- oder Transport-Client Http-Client mit Java-Bean-Unterstützung Spring-Data-Elasticsearch Annotationzentrierte Konfiguration, dynamische Repository-Implementierungen

96 JVM? Clojure: Elastisch Groovy: elasticsearch-groovy Standard-Client oder HTTP Standard-Client, Closure-Unterstützung Scala: große Auswahl, z.b. elastic4s Standard-Client, Type-Safety

97 Links

98 Weitere Infos

99 Vielen

100 Images