vfabric-daten Big Data Schnell und flexibel

Größe: px

Ab Seite anzeigen:

Download "vfabric-daten Big Data Schnell und flexibel"

Silke Kurzmann
vor 8 Jahren
Abrufe

2 Im Mittelpunkt: Daten Jeden Morgen wache ich auf und frage mich: Wie kann ich den Datenfluss optimieren, Daten besser verwalten, Daten besser analysieren? Rollin L. Ford Executive Vice President und CIO Walmart Stores Daten sind in der Zukunft das wichtigste Element des E-Commerce. Unserer Meinung nach sind Daten unsere wichtigste Ressource. Dan Schulman Group President American Express 2

Ford Executive Vice President und CIO Walmart Stores Daten sind in der Zukunft das wichtigste

3 Trends, die IT-Neuerungen vorantreiben Cloud-Bereitstellung As a Service -Lösung Virtualisierung Neue Anwendungstypen Mobile Geräte, SaaS, soziale Netzwerke Frühzeitiges und häufiges Release von Anwendungen Entwicklerproduktivität Neue Anwendungs-Frameworks führen zu erhöhter Anwendungsentwicklung Datenvolumen Weborientierung führt zu exponentiellem Datenvolumen Reduzierte Latenz und neue Datentypen 3

Anwendungen Entwicklerproduktivität Neue Anwendungs-Frameworks führen zu erhöhter

4 Hohes Datenaufkommen fordert neue Herangehensweise an das Datenmanagement Datenbanken müssen nicht mehr nur herkömmliche Anwendungsanforderungen erfüllen, bei denen eine Universallösung eingesetzt werden kann. Neue Datentypen Herkömmliche Anwendungen Allgegenwart von Geräten Echtzeiterwartungen Neue Anwendungen stellen zusätzliche Anforderungen an die Datenbank. 4

5 Datenbank wird ausgedehnt Big Data Petabyte vs. Gigabyte BI-Demokratisierung 5

6 Big Data: Schnellere Verarbeitung immer größerer Datenmengen Neue Datenquellen Analysen/Business Intelligence Interaktiv PB Verteilte Verarbeitung GB Herkömmliches Data Warehouse Echtzeit Vorhandene Datenquellen 6

Intelligence Interaktiv PB Verteilte Verarbeitung GB

7 Big Data und schnelle Daten: Telekommunikation Anwendungsbeispiel Aufzeichnung von Anrufdaten Standortbasiertes Marketing PB GB Echtzeit- Daten-Grid Herkömmliches Data Warehouse Abrechnung in Echtzeit 7

Standortbasiertes Marketing PB GB Echtzeit-

8 Datenbank wird ausgedehnt Schnelle Daten Erwartungsgemäß niedrige Latenz Horizontale Skalierung Big Data Petabyte vs. Gigabyte BI-Demokratisierung 8

9 Schnelle Daten: niedrige Latenz, skalierbar und konsistent Herkömmliche Anwendung Eingeschränkte Skalierung: Hunderte/Tausende Anwender Cloud-Anwendungsära Cloud-Skalierung: Tausende/MILLIONEN Anwender Webserver Webserver Webserver Webserver Webserver Webserver Anw.- Server Anw.- Server Anw.- Server Anw.- Server Anw.- Server Anw.- Server Verteilte In-Memory-Daten-Fabric Cloud DC1 DC2 Aktiv/Aktiv 9

Anwender Webserver Webserver Webserver Webserver Webserver Webserver Anw.- Server Anw.

10 Anwendungsbeispiel Ereignisgesteuerte Risikound Preiskalkulation Die Herausforderung: Kosten/entgangene Möglichkeiten durch verzögerte Batch-Verarbeitung Flexibles Echtzeitsystem erforderlich Altes Batch-System: Preis- und Risikokalkulation nachts Probleme bei der Einhaltung behördlicher Auflagen Neues Online-DBMS-System: Verarbeitung der Ereigniserkennung Nur 43 von Prioritätsprodukten verwaltet Händlerabfragen ~25 Minuten 10

Preis- und Risikokalkulation nachts Probleme bei der Einhaltung behördlicher Auflagen Neues

11 Anwendungsbeispiel Ereignisgesteuerte Risikound Preiskalkulation Der Durchbruch für dieses Tools kam, als wir entschieden haben, die Ereigniserkennungslogik in unsere Preismodelle zu implementieren. Derek Joyce Chief Business Technologist for Equity Derivatives JPMorgan Investment Bank 11 Ereignis-Workstation Ereigniserkennung in Echtzeit komplexe Prioritätsprodukte in weniger als 3 Minuten verwaltet Erfüllung der behördlichen Auflagen Händlerabfragen ~3 Sekunden 8 Blades

Derek Joyce Chief Business Technologist for Equity Derivatives JPMorgan Investment Bank 11 Ereignis-Workstation

12 Anwendungsbeispiel Mainframe-Migration Reales Anwendungsbeispiel: auf Mainframe basierende nächtliche Batch-Ausführung Auf Mainframe basierende, nächtliche Batch-Ausführung für Kundenkontoabstimmung Min CPU nicht verfügbar 75% CPU aktiv 15% E/A-Wartezeit 9% Mainframe COTS-Cluster Batch wird nun in 60 Sekunden ausgeführt. 93% Netzwerkwartezeit! Zeit kann durch höhere Netzwerkbandbreite weiter reduziert werden. 12

0 60 120 CPU nicht verfügbar 75% CPU aktiv 15% E/A-Wartezeit 9% Mainframe COTS-Cluster Batch wird nun in

13 Datenbank wird ausgedehnt Schnelle Daten Erwartungsgemäß niedrige Latenz Horizontale Skalierung Big Data Petabyte vs. Gigabyte BI-Demokratisierung Flexible Daten Daten unterschiedlicher Struktur Entwicklerproduktivität 13

14 Flexible Daten: Entwickler führen neue Datentypen ein Relational Dokumentspeicher Schlüssel-Wert Grafikspeicher Objektspeicher Blob-Speicher Strukturierte Daten Daten unterschiedlicher Struktur 14

15 Spring Data: Eliminierung der Komplexität durch Abstraktion Ihre Anwendung REST Spring Data Commons JPA JDBC Hadoop GemFire Redis MongoDB Neo4j HBase Relational Dokumentspeicher Schlüssel-Wert Graphenspeicher Objektspeicher Blob-Speicher 15

GemFire Redis MongoDB Neo4j HBase Relational

16 Datenbank wird ausgedehnt Schnelle Daten Erwartungsgemäß niedrige Latenz Horizontale Skalierung Big Data Petabyte vs. Gigabyte BI-Demokratisierung Flexible Daten Daten unterschiedlicher Struktur Entwicklerproduktivität Cloud-Bereitstellung Virtualisiert As a Service -Lösung 16

Gigabyte BI-Demokratisierung Flexible Daten Daten unterschiedlicher

17 Datenprobleme, die durch die Cloud behoben werden Datenbank-Wildwuchs Lange Vorlaufzeit DB-Optimierung für Virtualisierung Unternehmens-IT Schatten-IT Datenbankbereitstellung oder Klonanforderung Vorlaufzeit von Wochen Server- und Storage- Bereitstellung Datenbankimplementierung und -optimierung Tausende nicht ausreichend verwalteter und sicherer Datenbanken Schwierige Umsetzung von Richtlinien und Compliance Datenbankvorgänge nicht komplett automatisiert Lange Vorlaufzeit für Datenbankservices für Entwickler Datenbank nicht für virtualisierte Umgebungen mit dynamischen Ressourcen ausgelegt DBA optimiert Datenbanken für spezielles Setup 17

ausreichend verwalteter und sicherer Datenbanken Schwierige Umsetzung von Richtlinien und Compliance Datenbankvorgänge nicht komplett automatisiert Lange

18 vfabric Data Director Anw. Anw. Anw. Anw. Anw. Anw. Anw. Anw. DBAs Bereitstellung vfabric Data Director Grafische Benutzeroberfläche/API Backup, Wiederherstellung und Klonen Verfügbarkeit und Überwachung Benachrichtigungen und Warnungen Dashboard und Berichte Ressourcenmanagement Sicherheitsmanagement Cloud- Betrieb Self-Service-Plattform für Datenbankbereitstellung und Cloud- Automatisierung vsphere-optimierte PostgreSQL-Datenbank Entwickler Setzt auf vsphere- Plattform auf vsphere Ermöglicht Database as a Service für Ihre Cloud 18

Anw. DBAs Bereitstellung vfabric Data Director Grafische Benutzeroberfläche/API Backup, Wiederherstellung und Klonen Verfügbarkeit und

19 Datenbank wird ausgedehnt Schnelle Daten Erwartungsgemäß niedrige Latenz Horizontale Skalierung Big Data Petabyte vs. Gigabyte BI-Demokratisierung Flexible Daten Daten unterschiedlicher Struktur Entwicklerproduktivität Cloud-Bereitstellung Virtualisiert As a Service - Lösung 21

20 Big Data Schnell und Flexibel Viele Big Data- Verarbeitung Schnell OLTP- Workloads Flexibel Dokument Objekt Big Data- Analysen Analytische Workloads Schlüssel/Wert OSS Relational Cloud-Bereitstellungsmodell Data as a Service für Private und Public Clouds 22

Analysen Analytische Workloads Schlüssel/Wert OSS Relational

21 Big Data Schnell und Flexibel Viele Big Data- Verarbeitung Schnell OLTP- Workloads Flexibel Dokument Serengeti Objekt GemFire Big Data- Analysen Analytische Workloads Schlüssel/Wert OSS Relational vpostgres Cloud-Bereitstellungsmodell Data as a Service für Private und Public Clouds 23

Ähnliche Dokumente

Big, Bigger, CRM: Warum Sie auch im Kundenmanagement eine Big-Data-Strategie brauchen

Big, Bigger, CRM: Warum Sie auch im Kundenmanagement eine Big-Data-Strategie brauchen 01000111101001110111001100110110011001 Volumen 10 x Steigerung des Datenvolumens alle fünf Jahre Big Data Entstehung