Search Evolution von Lucene zu Solr und ElasticSearch. Florian

Größe: px

Ab Seite anzeigen:

Download "Search Evolution von Lucene zu Solr und ElasticSearch. Florian"

Frida Britta Kranz
vor 5 Jahren
Abrufe

1 Search Evolution von Lucene zu Solr und ElasticSearch Florian

4 Index Indizieren Index Suchen

5 Index Term Document Id

6 Analyzing Such Evolution Von Lucene zu Solr und ElasticSearch Verteiltes Suchen mit Elasticsearch

7 Analyzing Such Evolution Von Lucene zu Solr und ElasticSearch Verteiltes Suchen mit Elasticsearch. Tokenization Term Document Id Such Evolution Von Lucene zu Solr und ElasticSearch Verteiltes 2 Suchen 2 mit 2 Elasticsearch 2

8 Analyzing Such Evolution Von Lucene zu Solr und ElasticSearch. Tokenization 2. Lowercasing Verteiltes Suchen mit Elasticsearch Term Document Id such evolution von lucene zu solr und elasticsearch,2 verteiltes 2 suchen 2 mit 2

9 Analyzing Such Evolution Von Lucene zu Solr und ElasticSearch. Tokenization 2. Lowercasing 3. Stemming Verteiltes Suchen mit Elasticsearch Term Document Id such,2 evolution von luc zu solr und elasticsearch,2 verteilt 2 mit 2

11 Inverted Index

12 Analyzer

13 Query Syntax datenbank OR DB title:elasticsearch "apache lucene" speaker:hopp~ elastic* AND date:[20300 TO ]

14 Relevance

15 Documents Document Fieldtitle title Fieldtitle date Field speaker title title Integration Name ganz Such-Evolution einfach Value mit Apache Value Camel Name Value Value Integration Name ganzflorian einfach ValueHopf mit Apache Value Camel

16 Attributes Store YES NO

17 Attributes Index ANALYZED YES NO

18 Attributes Index ANALYZED TextField YES StringField NO StoredField

19 Indexing Document doc = new Document(); doc.add(new TextField( "title", "Suchen und Finden mit Lucene und Solr", Field.Store.YES)); doc.add(new StoredField( "speaker", "Florian Hopf")); doc.add(new StringField( "date", " ", Field.Store.YES));

20 Indexing Directory dir = FSDirectory.open( new File("/tmp/testindex")); IndexWriterConfig config = new IndexWriterConfig( Version.LUCENE_43, new GermanAnalyzer(Version.LUCENE_43)); IndexWriter writer = new IndexWriter(dir, config); writer.adddocument(doc); writer.commit();

21 Searching QueryParser parser = new QueryParser( Version.LUCENE_43, "title", new GermanAnalyzer(Version.LUCENE_43)); Query query = parser.parse("suche");

22 Searching IndexReader reader = IndexReader.open(dir); IndexSearcher searcher = new IndexSearcher(reader); TopDocs result = searcher.search(query, 0); assertequals(, result.totalhits); int id = result.scoredocs[0].doc; Document doc = searcher.doc(id); String title = doc.get("title"); assertequals( "Suchen und Finden mit Lucene und Solr", title);

25 Webapp XML, JSON, JavaBin, Ruby,... Client http Solr Lucene

26 Schema schema.xml Field Types Fields

27 Schema <fieldtype name="text_de" class="solr.textfield"> <analyzer> <tokenizer class="solr.standardtokenizerfactory"/> <filter class="solr.lowercasefilterfactory"/> <filter class="solr.germanlightstemfilterfactory"/> </analyzer> </fieldtype>

28 Schema <fields> <field name="title" type="text_de" indexed="true" stored="true"/> <field name="speaker" type="string" indexed="true" stored="true" multivalued="true"/> <field name="date" type="date" indexed="true" stored="true"/> [...] </fields>

29 Indexing SolrServer server = new HttpSolrServer(" SolrInputDocument document = new SolrInputDocument(); document.addfield("title", "Suchen und Finden mit Lucene und Solr"); document.addfield("speaker", "Florian Hopf"); server.add(document); server.commit();

30 Searching SolrQuery solrquery = new SolrQuery("suche"); solrquery.setrequesthandler("/jug"); QueryResponse response = server.query(solrquery); assertequals(, response.getresults().size()); SolrDocument result = response.getresults().get(0); assertequals( "Suchen und Finden mit Lucene und Solr", result.get("title")); assertequals( "Florian Hopf", result.getfirstvalue("speaker"));

32 Faceting... solrquery.setfacet(true); solrquery.addfacetfield("speaker"); QueryResponse response = server.query(solrquery); List<FacetField.Count> speakerfacet = response.getfacetfield("speaker").getvalues(); assertequals(, speakerfacet.get(0).getcount()); assertequals("florian Hopf", speakerfacet.get(0).getname());

34 Indexing curl -XPOST \ ' -d '{ "speaker" : "Florian Hopf", "date" : " T9:5:00", "title" : "Suchen und Finden mit Lucene und Solr" }' {"ok":true,"_index":"jug","_type":"talk", "_id":"celtdivqrgsvly_dbzvjw","_version":}

35 Mapping curl -XPUT \ ' -d '{ "talk" : { "properties" : { "title" : { "type" : "string", "analyzer" : "german" } } } }'

36 Searching curl -XGET \ ' {...}, "hits":{"total":,"max_score": , "hits":[{..., "_score": , "_source" : { "speaker" : "Florian Hopf", "date" : " T9:5:00", "title": "Suchen und Finden mit Lucene und Solr" } } }

37 Searching curl -XGET ' -d '{ "query" : { "query_string" : {"query" : "suche"} }, "facets" : { "tags" : { "terms" : {"field" : "speaker"} } } }'

38 Verteilung

39 Verteilung

http://lucene.apache.org http://lucene.apache.org/solr/ http://elasticsearch.

41 Images

Ähnliche Dokumente

Search Evolution von Lucene zu Solr und ElasticSearch

Search Evolution von Lucene zu Solr und ElasticSearch 20.06.2013 Florian Hopf @fhopf http://www.florian-hopf.de Index Indizieren Index Suchen Index Term Document Id Analyzing http://www.flickr.com/photos/quinnanya/5196951914/