Infinispan - NoSQL für den Enterprise Java Alltag

Transkript

1 Infinispan - NoSQL für den Enterprise Java Alltag Version: 1.1 Orientation in Objects GmbH Weinheimer Str Mannheim info@oio.de Wer schnell und einfach in bestehende Enterprise Java Anwendungen eine NoSQL-Datastore integrieren möchte dem bietet JBoss mit dem Projekt Infinispan eine Lösung an. Die Session zeigt wie man mit NoSQL als komplementärem Denkansatz und Infinispan als elegantem Werkzeug auch im "relational dominierten - Umfeld" Performanz und Verfügbarkeit von Anwendungen verbessern kann. Infinispan ist das NoSQL-Datastore-Projekt aus dem Hause JBoss und als distributed transactional gemäß JSR-107 umgesetzt. Gliederung NoSQL und Java EE Infinispan Integrationsszenarien Zusammenfassung 2 1

2 Gliederung NoSQL und Java EE Infinispan Integrationsszenarien Zusammenfassung 3 NoSQL vs. Java EE NoSQL Datenspeicher ohne festgelegte Tabellenschemata skalieren horizontal keine strenge Spezifikation( viele gut diskutierte/erprobte Konzepte) viele Implementierungen auf verschiedenen Konzepten basierend Java EE strenge Spezifikation einer Softwarearchitektur transaktionsbasierte Ausführung von Java-Komponenten auf transkaktionsbasiertem Konzept beruhende Teilstandards JTA/JCA/JPA/JMS/JDBC Horizontale Skalierung als Konzept für High Availability Antwortzeiten Ausfall von Knoten (insbesondere gedacht für Web-Anwendungen) 4 2

3 NoSQL Dokumentenorientierte Datenbanken Graphendatenbanken Key-Value-Stores Diskbasiert RAM- Sortierte Key-Value-Stores Eventually Consistent Stores MultivalueDatenbanken Objektdatenbanken Spaltenorientierte Datenbank 5 CAP-Theorem (nach E. Brewer PODC Symposium 2000) Consistency roughly meaning that all clients of a data store get responses to requests that make sense. For example, if Client A writes 1 then 2 to location X, Client B cannot read 2 followed by 1. Availability all operations on a data store eventually return successfully. We say that a data store is available for, e.g. write operations. Partition tolerance The network will be allowed to lose arbitrarily many messages sent from one node to another if the network stops delivering messages between two sets of servers, will the system continue to work correctly? 6 3

4 CA vs. PA Consistency JTA Availability n.a. BASE JTA Partion Tolerance 7 Data Grid vs. Distributed DBMS Consistency Data Grid Availability n.a. BASE Distributed DBMS Partion Tolerance 8 4

5 CA va. CP Partitionswahrscheinlichkeit BASE Datenmenge Vertikale Skalierung Java EE Durchsatz/Verfügbarkeit 9 Elastic Data Grid für Java EE Niedrige Latenzzeit RAM 100fach schneller als Disk Horizontal skalierbar Elastisch Knoten können kontrolliert ein/ausgeschaltet werden optionaler ACID Support Read Commited/Repeatable Read Standardisiertes API JSR 107(347) Appserver Servlet Data Grid JSR 107 EJB Node 1 JSR 107 Node 1 Node 2 JSF Node 2 JSR 107 Secondary Store Node 3 Node

6 Java Distributed HashTable Standard JSR 107 javax.cache.manager javax.cache. ähnlich java.util.concurrentmap javax.cache.loader javax.cache.writer javax.cache..listener @Defaults.. 11 Distributed HashTable nicht in JSR 107 Standardisierte Konfiguration Asychrone Bearbeitung mit Futures Nonblocking add/remove Clustering Details der Zustandsverteilung Replikation Synchron/Asychron 12 6

7 Loader 1. Get Loader 2. load Secondary Store 13 Writer 1. Put Writer 2. store Secondary Store 14 7

8 Expiration get Y put M X I D F 15 Gliederung NoSQL und Java EE Infinispan Integrationsszenarien Zusammenfassung 16 8

9 Infinispan Key-Value-Store Distributed HashTable(JSR 107/347) Transactional (JTA) Low-latency (RAM) Optional persist to disk Open Source Data Grid Plattform (LGPL) JBoss/Red Hat Java and Scala Nicht nur für die JVM gedacht in verschiedenen Modi einsetzbar Embedded Client/Server(Data Grid) Availability Consistency Infinispan n.a. BASE Distributed DBs Partion Tolerance 17 Local Embedded Mode UI 0./3. Query 4. Read 1. get 2. Read Secondary Store 18 9

10 Local Embedded Mode II Code in der gleiche VM wie infinispan wenig Konfigurationsarbeit Mit default Einstellungen DefaultManager cachemanager = new DefaultManager(); <String, String> cache = cachemanager.get(); Mit eigenen Einstellungen z.b: Clustereinstellungen DefaultManager cachemanager = new DefaultManager( oioinfinispan-config.xml"); <String, String> cache = cachemanager.get(); 19 Infinispan und Java EE Clustering UI 0./4. Query UI 0. Update 5. get 1. get 2. Read A 1.x Store A1 Secondary Store 20 10

11 Clustered Embedded Mode UI 0./4. Query UI n. UI n+k. 5. put 2. get 3./6. load/store Secondary Store 21 Replication 0. query 2. Put Replicate Replicate 1. Store Secondary Store 22 11

12 Invalidation 3. query 0. query 4. get 1. Put Invalidate Invalidate 2. Store 5. load Secondary Store 23 Distribution [numowner=2] 0. query 2. get Copy 1. Read Secondary Store 24 12

13 Client/Server Mode JSE Non Java Plenty Hotrod JVM JVM memcached Load/Store Secondary Store 25 Client/Server Mode II Schneller starten und beenden Bessere tuning von Hardware und JVM Data Grid kann von mehreren Applikation benutzt werden Starten des Servers erfordet die Angabe des Protokolls C:\infinispan FINAL\bin>startServer.bat -r hotrod Unterstützte Protokolle Memcached Hot Rod Infinispan REST interface org.infinispan.client.hotrod.remotemanager RemoteManager rcm = new RemoteManager(" "); Remote remotecace = rcm.get(); String key = "hello"; remotecace.put(key, "world"); 26 13

14 Client/Server Remoting Remote Endpoint Protokoll Smart Routing Load Balancing Memcached Text - Vordefinierte Liste ReSTful Text - http Loadbalancer HotRod Binary + Dynamische Topologie Groovy JVM 27 Store 1. Put Store 2. store Secondary Store 28 14

15 Eviction get Y put M X D F I Memorymeter Strategie z.b. LRU 29 Storage JPA Store Implementierung von JPA 2.0 Speicherung auf eine DB mit definiertem Schema Key muss die Id der Keine generierten Ids <String, User> users = cachemanager.get("myjpa"); // configured for User entity class users.put("raytsang", new User()); <Integer, Teacher> teachers = cachemanager.get("myjpa"); // cannot do this when this cache is configured to use a JPA cache store teachers.put(1, new Teacher()); 30 15

16 Storage JPA Store <named name="vehicle"> <loaders passivation="false" shared="true" preload="true"> <jpastore persistenceunitname="org.infinispan.loaders.jpa.confi gurationtest" entityclassname="org.infinispan.loaders.jpa.entity.us er" /> </loaders> </named> 31 Gliederung NoSQL und Java EE Infinispan Integrationsszenarien Zusammenfassung 32 16

17 DI-Container Integration DI Container RemoteConnector TransactionIntereptor Service DAO Store 33 Spring Integration seit Spring 3.1 Abstraktion Infinispan Provider vorhanden Integration mit Spring DI für cache managers und caches <bean id="cachemanager" class="org.infinispan.spring.provider.springembeddedmanagerfactor ybean" p:configurationfilelocation="classpath:meta-inf/oio-infinispanconfig.xml"> </bean> Aktive Unterstützung <cache:annotation-driven /> Deklarative public List<Nachricht> findalleungelesenenachrichten() { } 34 17

18 Spring key=#"projektid") public List<Nachricht> findnachrichtenfuerprojekt(biginteger projektid) { } Deklarative = "nachrichten", allentries = true) public void nachrichtmarkieren(biginteger nachrichtid, boolean ungelesen) { } 35 CDI Konfiguration und Injizierung des Infinispan Partielle Unterstützung vom JSR 107 Annotationen private <String, String> Remote<String, String> remote; 36 18

19 CDI ElementType.PARAMETER, Nachrichten {} public class Creator // cache // cache public Configuration specialcfg() { return new ConfigurationBuilder().eviction().strategy(EvictionStrategy.LRU).maxEntries(10).build(); } } 37 CDI Injizierung des eigenen s public class <String, String> nachrichten; } 38 19

20 OR/M Integration Java Virtual Machine Anwendung Transient Transient Transient Transient Transient PersistenceManager 1.Level Transaction Instanz Instanz Instanz 2.Level Connection QueryFacility DB Entity Instanz Instanz Instanz Instanz Query Timestamp 39 Hibernate second level cache Entity Key der Primärschlüssel kann lokal(default) oder repliziert sein Replizierter ist nicht empfohlen Query Key ist query-name und Parameter Hash kann lokal(default) oder repliziert sein Bei repliziertem aufpassen Timestamps Cahe Asynchrone Replikation(default) Keine eviction/expiration 40 20

21 Hibernate second level cache JTA Transaktion Manager Hibernate soll/muss JTA Manager nutzen. <property name="hibernate.cache.use_second_level_cache" value="true"/> <property name="hibernate.cache.use_query_cache" value="true"/> <property name="hibernate.cache.region.factory_class" value="org.hibernate.cache.infinispan.infinispanregionfactory"/ > <property name="hibernate.cache.infinispan.cfg" value="/oioinfinispan-config.xml"/> <property name="hibernate.transaction.manager_lookup_class" value="org.hibernate.transaction.jbosstsstandalonetransactionma nagerlookup"/> 41 Gliederung NoSQL und Java EE Infinispan Integrationsszenarien Zusammenfassung 42 21

22 NoSQL-Design Prinzipien Schnelles, horizontal skalierendes Speichern und Skalieren von ständig wachsenden Immutable-Data (Fakten) Die primäre Schreiboperation ist das Hinzufügen von Fakten Vermeidung der Komplexität des CAP Theorems durch Neuberechnung aller Queries aus den Fakten Verwendung von inkrementellen Query-Algorithmen um die Antwortzeit zu verringern 43 Infinispan Ausblick Map/Reduce Support Versioned Entries Support Eventual Consistency (7.0?) Optimierungen: Transaktionen Locking RPC 44 22

23 Vielen Dank für ihre Aufmerksamkeit! Orientation in Objects GmbH Weinheimer Str Mannheim Fragen??? Orientation Objects GmbH Weinheimer Str Mannheim