Hibernate und Elasticsearch Von 0 auf 100 in 40 Minuten

Größe: px

Ab Seite anzeigen:

Download "Hibernate und Elasticsearch Von 0 auf 100 in 40 Minuten"

Paula Bäcker
vor 6 Jahren
Abrufe

1 1 Hibernate und Elasticsearch Von 0 auf 100 in 40 Minuten Gunnar Morling, Red Hat

2 2 Gunnar Morling Opensource-Softwareentwickler bei Red Hat Div. Hibernate-Projekte Spec Lead für Bean Validation 2.0 Andere Projekte: ModiTect,

3 3 "Wir brauchen eine Suchfunktion" Sehr gute Treffer Smart (fehlertolerant...)

4 4 Wie umsetzen? SQL hat LIKE? SELECT * FROM PRODUCT p WHERE LOWERCASE(p.title) LIKE %:1% OR LOWERCASE(p.title) LIKE %:2% OR LOWERCASE(p.title) LIKE %:3% OR LOWERCASE(p.description) LIKE %:1% OR LOWERCASE(p.description) LIKE %:2% OR LOWERCASE(p.description) LIKE %:3% OR... ;

5 5 Wie umsetzen? Ja, aber... Flexionen, Normalisierung, Stop-Worte Synonyme, Abkürzungen Unscharfe Suche Ergebnissortierung

6 6 Wie umsetzen? Ja, aber... Flexionen, Normalisierung, Stop-Worte Synonyme, Abkürzungen Unscharfe Suche Ergebnissortierung SELECT * FROM PRODUCT p WHERE LOWERCASE(p.title) LIKE %:1% OR LOWERCASE(p.title) LIKE %:2% OR LOWERCASE(p.title) LIKE %:3% OR LOWERCASE(p.description) LIKE %:1% OR LOWERCASE(p.description) LIKE %:2% OR LOWERCASE(p.description) LIKE %:3% OR... ;

7 7 Wie umsetzen? Invertierter Index Text zerlegen ("tokenisation") Index erstellen: Token Enthaltende Dokumente Suche: Relevanzbasierte Sortierung

8 8 Lucene + Elasticsearch Apache Lucene DIE Java-Library für Volltextsuche Feature-reich, anpassbar Hohe Performanz Elasticsearch "Search as a Service" Basiert auf Lucene Scale-out Architektur REST API

9 9 Index-Synchronisation?!??? JPA-Anwendung

10 10 Index-Synchronisation?! Indexstruktur synchron halten Update des Index in Elasticsearch bei Datenänderungen JSON erzeugen Typumwandlungen Assoziationen/Denormalisierungen Mapping von Suchergebnissen

11 11 Hibernate Search Anwendung ORM Hibernate Search DB Volltext-Index

12 12 Hibernate Search Integriert Hibernate und Lucene Traditionell: Eigene Verwaltung des Lucene-Index Dateisystem Infinispan Unter Java SE and EE Kein neues Projekt :)

13 13 Beispiel

14 14 Ein Beispiel Entity-Modell

15 15.1 Demo

16 15.2 Ein Beispiel pom.xml <dependency> <groupid>org.hibernate</groupid> <artifactid>hibernate-search-orm</artifactid> <version>5.7.0.final</version> </dependency> <dependency> <groupid>org.hibernate</groupid> <artifactid>hibernate-search-elasticsearch</artifactid> <version>5.7.0.final</version> </dependency>

17 15.3 Ein Beispiel persistence.xml <persistence xmlns=" version="2.1"> <persistence-unit name="videogamepu" transaction-type="resource_local"> <provider>org.hibernate.jpa.hibernatepersistenceprovider</provider> <properties> <property name="hibernate.connection.url" value="..." /> <property name="hibernate.search.default.indexmanager" value="elasticsearch" /> <property name="hibernate.search.default.elasticsearch.host" value=" /> <property name="h.s.default.elasticsearch.index_schema_management_strategy" value="create" /> </properties> </persistence-unit> </persistence>

18 15.4 Ein = "videogame") public class VideoGame { curl -v -XGET 'host/videogame/_search?pretty=true' \ -d '{ "query" : { "match_all" : {} } public long public String public String public int public Date publishingdate;... }} {... "hits": [ { "_index": "videogame", "_type": "org.hibernate.....videogame", "_id": "5", "_score": 1.0, "_source": { "rating": 8, "release": " T23:00:00Z", "description": "The Samurai is...", "title": "Revenge of the Samurai" } },... ]

19 15.5 Ein Beispiel Embeddable = "videogame") public class VideoGame public @IndexedEmbedded public List<String> tags;... { } "rating": 8, "description": "The Samurai is mad and takes revenge", "release": " T23:00:00Z", "title": "Revenge of the Samurai", "tags": [ "action", "real-time", "anime" ], "publisher": { "name": "Samurai Games, Inc.", "address": "12 Main Road" public class Publisher public String public String address;

20 15.6 Ein Beispiel = "videogame") public class VideoGame public List<Character> public class Character { public String public String specialpower;... { } "rating": 5, "description": "7 Ninjas live in a castle", "release": " T22:00:00Z", "title": "Ninja Castle", "publisher": { "name": "Samurai Games, Inc.", "address": "12 Main Road" }, "characters": [ { "nickname": "Frank", "specialpower": "Sleeping" }, { "nickname": "Dash", "specialpower": "Running" }, { "nickname": "Luigi", "specialpower": "Plumbing" } ]

21 16 Abfragen Hibernate Search Query DSL Weitere: wildcard, range, boolean, fuzzy, phrase, spatial FullTextQuery query = ftem.createfulltextquery( qb.spatial().onfield( "location" ).within( 100, Unit.KM ).oflatitude( 24.0d ).andlongitude( 32.0d ).createquery(), Restaurant.class );

22 17 Native Abfragen JSON-Syntax FullTextQuery query = ftem.createfulltextquery( ElasticsearchQueries.fromJson( "{" + "'query': {" + "'bool' : {" + "'must' : [" + "{ 'match' : { 'title' : 'samurai' } }," + "{ 'match' : { 'publisher.name' : 'games' } }" + "]" + "} } }" ), VideoGame.class );

23 18 Projektionen FullTextQuery query = ftem.createfulltextquery( ElasticsearchQueries.fromQueryString( "title:sam* OR description:sam*" ), VideoGame.class ).setprojection( "title", "publisher.name", "release" );

24 19 Vorteile Date und Index synchron Sichere, automatische Index-Updates Automatisches Mapping JSON-Mapping Typkonvertierungen Transparente Denormalisierung Managed Entities aus Abfragen Gute Performance (Bulk-Requests)

25 20 Vorteile Entkopplung Einfache Konfiguration mittels Annotationen Keine direkten Aufrufe des ES API nötig Einfacher Backendwechsel Entkopplung von Komponenten zur Laufzeit

26 21 Was sonst noch? Analyzer Faceting Re-indexing per Batch Mandatenfähigkeit Konfigurations-DSL Support für Java 8 / Hibernate ORM 5.2

27 22 Status Tech Preview in Hibernate Search 5.6/5.7 Indexierung verschiedenster Feldtypen, Embeddables etc. Diverse Abfrage-Möglichkeiten Viele Tests der bestehenden Testsuite erfolgreich

28 23 Nächste Schritte 5.8: Unterstützung für Elasticsearch 5 Feedback sammeln in 5.x Hibernate Search 6 Abstraktion von Lucene in API und SPI Query DSL verallgemeinern 6.x: Solr-Unterstützung

29 24 Feedback Website: hibernate.org/search Beispielprojekt: github.com/hibernate/hibernate-demos Hibernate-Blog: in.relation.to

30 25

Ähnliche Dokumente

Hibernate Search. Unterstützung laufender Java Projekte. Perfect Match Rent-a-team Coaching on the project Inhouse Outsourcing

Hibernate Search. Unterstützung laufender Java Projekte. Perfect Match Rent-a-team Coaching on the project Inhouse Outsourcing Orientation in Objects GmbH Weinheimer Str. 68 68309 Mannheim Version: 1.0 www.oio.de info@oio.de Java, XML und Open Source seit 1998 ) Software Factory ) ) Object Rangers ) ) Competence Center) Schlüsselfertige