Enterprise NoSQL mit der MarkLogic-Datenbank

Transkript

1 Enterprise NoSQL mit der MarkLogic-Datenbank

2 Andreas Esser Jahrgang Verheiratet, 2 Söhne (10 und 12 Jahre). Entwickler, Architekt, Projektleiter, Scrum Master, Berater und technischer Autor. Gründer und Geschäftsführer der Tripons GmbH.

3 Tripons GmbH in Bern Schlüsseltechnologien für die Digitalisierung. Partner von MarkLogic.

4 #1 Enterprise NoSQL Database. Einzige NoSQL-Datenbank für alle Arten von Daten. Einzige NoSQL-Datenbank, die für den Einsatz in der US-Regierung zertifiziert ist.

5 Datenbank für alle Daten: strukturiert, semi-strukturiert, unstrukturiert, graphische, Streams Universeller Index, Enterprise Search, Features semantische Abfragen (RDF, SPARQL) Echtzeitalarme Bitemporale Datenhaltung

6 Cloud: Voll skalierbar und elastisch Echtzeitanalyse über Petabytes und >100 Mio. Dokumente Performance Indexsuche <100 msek Native Hadoop-Integration (kein ETL) Geo-Clustering (weltweit)

7 Flexible Datenmodelle Kontinuierliches Refactoring von Datenmodellen möglich Agility JSON- und XML-native Datenbank Java- und JavaScript-Client-API Server-Side-JavaScript (Google V8)

8 Einzige NoSQL-Datenbank mit NIAP- Common-Criteria-Zertifizierung Rollen-basierte Zugriffskontrolle ACID-Transaktionen (auch XA) Security Hochverfügbarkeit Live-Backup, inkrementelles Backup, Desaster-Recovery

9 Details

10 Details

11 Anwendungsfälle JP Morgan Chase Derivate-Handelsplattform Deutsche Bank Globaler «Trade Store» HealthCare.gov Marktplatz & Data Hub Aetna Insurance Human-Resources-Daten-Hub BBC Dynamische Inhalte in grossem Umfang

12 JPMorgan Chase Derivate-Handelsplattform Kernstück des globalen Handelssystems für Derivate Situation alt Langer ETL-Prozess FRONT-OFFICE-SYSTEME INDIVIDUALANWENDUNG SYBASE ASE SYBASE IQ REPORTING

13 JPMorgan Chase Derivate-Handelsplattform Kernstück des globalen Handelssystems für Derivate FRONT OFFICE SYSTEME Single Golden Copy WORKFLOW- KOMPONENTEN RECONCILIATION, CLEARANCE, SETTLEMENT WARUM MARKLOGIC? Unternehmenskritische Anforderungen Unstrukturierte Daten ungeeignet für relationale Modellierung Echtzeitverarbeitung statt langsamem ETL REPORTING Starke Konsolidierung möglich («Single Golden Copy») Einfache und übersichtliche Architektur SYBASE IQ Details

14 JPMorgan Chase Derivate-Handelsplattform Kernstück des globalen Handelssystems für Derivate FRONT OFFICE SYSTEME Single Golden Copy Die Ergebnisse WORKFLOW- KOMPONENTEN RECONCILIATION, CLEARANCE, SETTLEMENT REPORTING WARUM MARKLOGIC? Konsolidiert «Single Golden Copy» der Handelsdaten; 1 DB statt 20 Unternehmenskritische Anforderungen Unstrukturierte Daten ungeeignet für relationale Modellierung Ersetzt langsames ETL Schnell Inserts/s, komplexe Requests/s, Trades/Tag Flexibel Stark vereinfachte Architektur erleichtert Lifecycle Effizient 1 DBA statt 5 10 DBA Sicher Keine Ausfälle, keine Datenverluste Details Starke Konsolidierung möglich («Single Golden Copy») Einfache und übersichtliche Architektur SYBASE IQ

15 Deutsche Bank Globaler «Trade Store» Integrierte Daten und Aufbereitung der Trade-Metadaten TRADING SYSTEMS DODD FRANK RECORDS RETENTION POST-TRADE PROCESSING INTERNATIONAL FINANCIAL REPORTING WARUM MARKLOGIC? Aufwändiges ETL, zu komplex Zu langsame Entwicklung mit relationalem Modell Strukturierte und unstrukturierte Daten Schnellere Datenintegration CANCEL, CORRECT, AMEND TRANSACTIONS Unternehmenskritische Anforderungen

16 Deutsche Bank Globaler «Trade Store» Integrierte Daten und Aufbereitung der Trade-Metadaten TRADING SYSTEMS DODD FRANK RECORDS RETENTION CANCEL, CORRECT, AMEND TRANSACTIONS POST-TRADE PROCESSING Die Ergebnisse INTERNATIONAL FINANCIAL REPORTING Zeitnah Nach 6 Monaten erste Auslieferung an Produktion Flexibel Integration von über 30 Handelssystemen WARUM MARKLOGIC? Aufwändiges ETL, zu komplex Zu langsame Entwicklung mit relationalem Modell Strukturierte und unstrukturierte Daten Schnellere Datenintegration Kosteneffektiv Simple Anpassung der Kapazitäten an das Wachstum Unternehmenskritisch Sichere und konsistente Transaktionen Unternehmenskritische Anforderungen

17 HealthCare.gov Marktplatz & Data Hub Datenintegration, integrierter Marktplatz HEALTH INSURERS HEALTHCARE.GOV WARUM MARKLOGIC? Datenmodell in Oracle zu starr ETL braucht zu viel Zeit Strukturierte und unstrukturierte Daten Skalierbarkeit und 100% Datensicherheit INCOME & ELIGIBILITY DATA SERVICES HUB STATE EXCHANGES Datenänderungen flexibel unterstützen IRS definierte Sicherheitsanforderungen Details

18 HealthCare.gov Marktplatz & Data Hub Datenintegration, integrierter Marktplatz HEALTH INSURERS INCOME & ELIGIBILITY Die Ergebnisse HEALTHCARE.GOV Zeitnah Zeitvorgabe des US-Kongresses für Auslieferung erfüllt Skalierbar bis zu gleichzeitige Benutzer Schnell Transaktionen pro Sekunde Sicher DATA Kein SERVICES Datenverlust HUB und keine STATE Sicherheitslücke EXCHANGES WARUM MARKLOGIC? Erfolg Mehr als 11 Mio. Bürger aufgeschaltet Details Datenmodell in Oracle zu starr ETL braucht zu viel Zeit Strukturierte und unstrukturierte Daten Skalierbarkeit und 100% Datensicherheit Datenänderungen flexibel unterstützen IRS definierte Sicherheitsanforderungen

19 Aetna Insurance Human-Resources-Daten-Hub Integrierte HR-Daten, hoch skalierbare und schnelle Real-time-Bereitstellung 140+ DATEN-FEEDS HR DATA HUB 50+ SYSTEME WARUM MARKLOGIC? Massiver und zu komplexer ETL-Aufwand MITARBEITER- DATEN LOHNABRECHNUNGS- DATEN BEWERTUNGS- DATEN ANDERE SYSTEME REAL-TIME-ANWENDUNG REAL-TIME-ANWENDUNG REAL-TIME-ANWENDUNG BATCH-ANALYSEN Flexibilität für zukünftige Änderungen Zeit- und Kostendruck Hohe Enterprise Anforderungen, an Sicherheit Zugriffskonzept Hochverfügbarkeit Nachprüfbarkeit

20 Aetna Insurance Human-Resources-Daten-Hub Integrierte HR-Daten, hoch skalierbare und schnelle Real-time-Bereitstellung 140+ DATEN-FEEDS HR DATA HUB 50+ SYSTEME MITARBEITER- DATEN LOHNABRECHNUNGS- DATEN BEWERTUNGS- DATEN ANDERE SYSTEME Die Ergebnisse REAL-TIME-ANWENDUNG Flexibilität hoch-komplexe Ein- und Ausgabe der Daten Skalierbar Täglicher Durchsatz von mehr als 50 GB Daten REAL-TIME-ANWENDUNG Agil Umsetzung in 1 Jahr, statt in 5 Jahren REAL-TIME-ANWENDUNG BATCH-ANALYSEN WARUM MARKLOGIC? Massiver und zu komplexer ETL-Aufwand Flexibilität für zukünftige Änderungen Zeit- und Kostendruck Hohe Enterprise Anforderungen, an Sicherheit Nachhaltig Maximale Wiederverwendbarkeit und Konsistenz Zugriffskonzept Erfolg MarkLogic bildet die neue Datenschicht für alle HR-Daten Hochverfügbarkeit Nachprüfbarkeit

21 BBC Dynamische Inhalte in grossem Umfang Integrierte Daten, unterschiedlichste Geräte WARUM MARKLOGIC? Vielfache Inhalte (z.b. Videos, redaktionelle und statistische Daten) Kurze Entwicklungszeit, um den festen Zeitplan zur Olympiade einzuhalten Skalierbarkeit für die Unterstützung von zehntausenden Transaktionen pro Sekunde Offene Standards (z.b. jedes Gerät, zu jeder Zeit, an jedem Ort) UPDATES IN ECHTZEIT ABSPIELEN MULTI-SCREEN- INTERAKTIONEN EINE DATENSCHICHT FÜR ALLE GERÄTE Details

22 BBC Dynamische Inhalte in grossem Umfang Integrierte Daten, unterschiedlichste Geräte Die Ergebnisse WARUM MARKLOGIC? Vielfache Inhalte (z.b. Videos, redaktionelle und statistische Daten) Skalierbar Am Tag mit höchstem Durchsatz 2.8 Petabyte Daten Schnell Transaktionen pro Sekunde, 55 Mio. Aufrufe Zuverlässig Keine Ausfälle oder eingeschränkte Erreichbarkeit Erfolg Personalisierte, prämierte Abdeckung der olympischen Spiele Kurze Entwicklungszeit, um den festen Zeitplan zur Olympiade einzuhalten Skalierbarkeit für die Unterstützung von zehntausenden Transaktionen pro Sekunde Offene Standards (z.b. jedes Gerät, zu jeder Zeit, an jedem Ort) Details UPDATES IN ECHTZEIT ABSPIELEN MULTI-SCREEN- INTERAKTIONEN EINE DATENSCHICHT FÜR ALLE GERÄTE

23 Fragen & Antworten

24 Vielen Dank! Andreas Esser Tripons GmbH Schwarztorstrasse Bern Schweiz T M andreas.esser@tripons.com