Oracle Big Data Technologien Ein Überblick

Transkript

1 <Insert Picture Here> Oracle Big Data Technologien Ein Überblick Jürgen Vester Oracle Deutschland B.V. & Co KG

2 Um was geht es bei Big Data? Bei Big Data sprechen wir eine Klasse von Daten an, die in der Vergangenheit NICHT oder nur sehr selten Ziel ausgiebiger Analysen und Auswertungen war.

3 Was ist Big Data? Daten, die in der Regel unstrukturiert oder wenig strukturiert sind und gleichzeitig meist eine sehr geringe Informationsdichte aufweisen. Die Menge der Daten ist dabei oft so groß, dass sich eine wirtschaftliche Begründung, diese Daten in relationalen DBs zu speichern, kaum geben lässt. Eigene Speicherungsform ausserhalb eines RDBMS Entwicklungs-Framework, um Programme zu entwickeln, die diese Daten erfassen, verarbeiten und auswerten. Eigene Entwicklungsplattform

4 Big Data Die Suche nach Trüffeln! Der Programmierer MapReduce (der Sucher, Das Programm) Datenquelle

5 NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce" vor. Google stellt "BigTable" vor. Amazon stellt "Dynamo" vor. Oracle NoSQL Database "memcachedb" Key-Value-Store als "Cache" für RDBMS Erste NoSQL OpenSource Projekte Erste NoSQL Einsätze in großen Unternehmen

6 NoSQL: Was ist das? Not-only-SQL (2009) Sammelbegriff für nichtrelationale Datenbanken, die massiv parallelisierbar und verteilt sind weitgehend ohne Datenmodell arbeiten die Datenkonsistenz nicht zwingend durchsetzen sehr entwicklerspezifisch sind Derzeit noch keine Standardisierung vorhanden Keine Abfragesprache (eben "NoSQL") Massive Produktvielfalt (über 122 auf nosql-database.org) Produkte nur schwer vergleichbar

7 NoSQL Technologie im Einsatz Sozialen Netzwerke selbst LinkedIn, Facebook, Xing, Google+, Twitter Soziale Netzwerke als Datenlieferant Facebook-Export laden und verarbeiten Personalisierung Amazon, Ebay, Yahoo, Internetzentrische Dienste Beispiele: TinyURL, bit.ly Sensordaten

8 NoSQL und SQL im Kontext erfassen verarbeiten auswerten Höchste Verfügbarkeit Höchstes Transaktionsvolumen Flexible Strukturen Durchsatz In-Place Verarbeitung Viele Datenquellen Umfassende Analyse Daten-"Veredelung" Agile Fortentwicklung Skalierbarkeit Ergebnisse in Echtzeit

9 NoSQL und SQL im Kontext Unstructured Schema-less Oracle NoSQL DB Schema Oracle RDBMS Information Density Erfassen Verarbeiten Auswerten

10 Oracle NoSQL Database Key-Value Datenhaltung Basiert auf BerkeleyDB JE HA Konsistenz und Persistenz konfigurierbar ACID-Transaktionen Extrem skalier- und parallelisierbar Hochverfügbarkeit per Replikation Transparentes Loadbalancing Einfache Installation und Einrichtung

11 Was ist ein "Key-Value-Store"? Key = Index Key-Value Store CUSTOMERS Key Value Zeilen Datenstrukturen sind nicht selbstbeschreibend Im wesentlichen eine zweispaltige Tabelle "KEY" und "VALUE" VALUE kann auch ein komplexes Objekt sein Die Anwendung kennt die Datenstrukturen nicht selbstbeschreibend Joins zu anderen Key-Value Stores allein durch die Anwendung Einfache Zugriffe: GET, PUT, DELETE Einfach parallelisierbar

12 NoSQL Anwendungstopologie Webserver Webserver Load balancer Webserver Application Server Application Server NoSQLDB Treiber Application Server NoSQLDB Treiber Storage Nodes R M R Partition 1 Partition 2 Partition 3

13 Topologie Oracle NoSQL Datenbank Ein einfaches Beispiel

14 Oracle NoSQL in Aktion

15 NoSQL und SQL im Kontext Unstructured HDFS Hadoop Schema-less Oracle NoSQL DB Oracle Loader for Hadoop Schema Oracle RDBMS Information Density Erfassen Verarbeiten Auswerten

16 Hadoop: Was ist das? "Shared Nothing" Compute Architecture Doug Cutting, gilt als Erfinder von Hadoop Beeinflusst durch Entwicklungen bei Google und Yahoo Batchorientiert API gesteuert Definition und Aufteilung der Teilaufgaben ist Sache des Entwicklers Massive Parallelisierung in extrem großen Clustern Automatische Behandlung eines Knoten-Ausfalls

17 Hadoop in Aktion: Datenanalyse NameNode "Weiss, wo die Daten liegen" Client / Program Aggregate berechnen Aggregierte Ergebnisse JobTracker Verteilung von Teilaufgaben DataNodes Ausführung der Teilaufgaben

18 MapReduce: Was ist das? MapReduce is a software framework introduced by Google to support distributed computing on large data sets on clusters of computers. [ Ein Hadoop-Cluster führt MapReduce-Programme aus Ein Reducer erhält Daten von einem Mapper Mapper und Reducer arbeiten massiv parallel Nahezu alle Programmiersprachen denkbar Ein Beispiel

19 MapReduce: Ein Beispiel Input Reader The cloud is water vapor. But is water vapor useful? But it is! Map process Map process the, 1 cloud, 1 is, 1 water, 1 vapor, 1 but, 1 is, 1 water, 1 vapor, 1 useful, 1 but, 1 it, 1 is, 1 Partition, Compare, Redistribute the, 1 cloud, 1 is, 1 is, 1 is, 1 but, 1 but, 1 water,1 vapor, 1 water, 1 vapor, 1 it, 1 useful, 1

20 MapReduce: Ein Beispiel the, 1 cloud, 1 is, 1 is, 1 is, 1 but, 1 but, 1 water,1 vapor, 1 water, 1 vapor, 1 it, 1 useful, 1 Reducer Reducer the, 1 cloud, 1 is, 3 but, 2 water, 2 vapor, 2 it, 1 useful, 1 Consolidate and Write the, 1 cloud, 1 water, 2 is, 3 but, 2 vapor, 2 it, 1 useful, 1

21 NoSQL und SQL im Kontext Unstructured HDFS Hadoop Schema-less Oracle NoSQL DB Oracle Loader for Hadoop Schema Oracle RDBMS Information Density Erfassen Verarbeiten Auswerten

22 Oracle Loader for Hadoop OLH ist als MapReduce-Job implementiert Typischerweise letzter Schritt der Jobkette Keinerlei Programmierung Alle Einstellungen erfolgen in einer XML-Datei Format der Datei HDFS-Pfad der Datei Datenbank-Connection Ausgabeformat des Oracle Loader :

23 Oracle Loader for Hadoop im Einsatz Ein Beispiel Oracle NoSQL DB Key/Value Paare MapReduce Zwischenergebnis im HDFS Oracle Loader for Hadoop Delimited Files in HDFS MapReduce

24 Cloudera / OLH

25 Weitere Big Data Konnektoren Oracle Loader for Hadoop Daten aus einem Hadoop Cluster direkt in die Oracle-Datenbank laden Oracle Direct Connector for Hadoop HDFS Direkter Zugriff auf das HDFS für die Oracle-Datenbank Oracle Data Integrator (ODI) Application Adapter Hadoop Einbinden eines Hadoop Jobs in einen ODI-Prozess Oracle R Connector for Hadoop (ORCH) Ausführen von R-Prozessen direkt im Hadoop Cluster per MapReduce

26 NoSQL und SQL im Kontext weiter denken... Unstructured HDFS Hadoop Schema-less Oracle NoSQL DB Oracle Loader for Hadoop Schema Oracle (OLTP) Oracle (DW) Information Density Erfassen Verarbeiten Auswerten

27 NoSQL und SQL im Kontext weiter denken... Unstructured HDFS Hadoop Schema-less Schema Oracle NoSQL DB Oracle (OLTP) Oracle Loader for Hadoop Oracle Data Integrator Oracle (DW) Oracle Analytics Mining R Spatial Graph OBI EE Information Density Erfassen Verarbeiten Auswerten

28 Oracle Engineered Systems Unstructured Schema-less Schema Big Data Appliance Exadata Exaly ytics Information Density Erfassen Verarbeiten Auswerten

29 Weitere Informationen Oracle NoSQL DB Doku, Software, Overview Cloudera HDFS Distribution Oracle Loader for Hadoop Oracle Big Data Connectors Oracle R Enterprise

30

31 Oracle R Enterprise Beispiel

32 Was ist R? Open-Source Skriptsprache und Laufzeitumgebung Statistische Berechnungen Data Mining Grafische Aufbereitung Frei verfügbar: Projekt startete 1994 Derzeit ca. 2 Mio Nutzer weltweit Besondere Verbreitung im akademischen Umfeld Aber auch im Unternehmenseinsatz Erweiterbar durch Zusatzpakete Zahlreiche OpenSource Pakete verfügbar: Bioinformatik, Räumliche Statistik und Mining, Marktanalyse, Lineare und nichtlineare Modelle

33 Was hat Oracle mit R zu tun? R bietet umfangreiche, mächtige Operationen auf Daten an R arbeitet datei- bzw. hauptspeicherorientiert Ohne weiteres kein Zugriff auf Daten im RDBMS Typischerweise Kopieren der Daten in Dateien oder Memory Nicht mehr möglich bei großen Datenmengen Gebraucht wird die Integration zwischen der Mächtigkeit von R der Zuverlässigkeit der Oracle-Datenbank.

34 Oracle Produkte basierend auf R Oracle Distribution of R R-Support für Oracle-Kunden, Integration in Oracle Linux, spezielle Performance-Bibliotheken Funktional identisch zum Open Source R Kostenloser Download Oracle R Enterprise Teil der Advanced Analytics Option Enge Integration mit der Datenbank: Transparency Layer R arbeitet direkt auf Daten in der Datenbank Transparente Ausführung von R-Funktionen in der Datenbank Der Anwender bleibt komplett "in der Welt von R"