Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Transkript

1 DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE

2 Themen Big Data Buzz Word oder eine neue Dimension und Möglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork Connectors in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca

3 Big Data Ökosystem <Insert Picture Here>

4 Big Data Appliance Mögliches Szenario Oracle Big Data Appliance Oracle Big Data Connectors InfiniBand Oracle Exadata InfiniBand Oracle Exalytics Acquire Organize Analyze

5 Warum eine Hadoop Appliance? Zeit zum Aufbau? Optimierungsaufwand? Kosten und Aufwand für Wartung?

6 Big Data Appliance <Insert Picture Here> Hardware Überblick

7 Oracle Big Data Appliance Hardware 18 Sun X4270 M2 Servers per Rack 864 GB RAM 216 cores 648 TB storage 40 Gb/s InfiniBand Fabric Inter-rack Connectivity Inter-node Connectivity 10 Gb/s Ethernet Connectivity Data center connectivity Full Rack Configuration Only

8 BDA Node Sun Fire X4270 M2 Processors 2 Six-Core Intel Xeon X5675 Processors (3.06 GHz) Memory 48GB (6 * 8GB) expandable to 96 GB or 144 Disks Disk Controller Network Remote Management Power Supplies 12 x 3 TB 7.2K RPM High Capacity SAS (hot-swap) Disk Controller HBA with 512MB Battery Backed Cache 2 InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA) 4 Embedded Gigabit Ethernet Ports ILOM with 1 Gigabit Ethernet port Redundant Hot-Swappable power supplies and fans

9 Memory Expansion Kit Optionale Erweiterung für einzelne Knoten in der BDA (z.b. dem Name Node) Änderung der Konfiguration der X4270 M2 von 48GB zu entweder 96Gb (12 x 8 GB) oder 144 GB (18 x 8 GB) Kann für Alle oder Einzelne Knoten gelten (Name Node, HBase master etc.)

10 InfiniBand Network Sun 4x QDR (40Gb/s) InfiniBand switches Immer ein Subnet Manager ist aktiv 2 leaf switches (32 port QDR gateway switch) für die Leafverknüpfung Ein Port für die Erweiterung auf andere EXA-Maschinen Einzelne Server Jeder Server hat einen Dual-port QDR (40Gb/s) IB HCA Dient der Vernetzung der Leafs untereinander und mit dem Name Node Vorverdrahtet

11 Horizontale Erweiterung Vernetzung mehrer Racks durch InfiniBand Exadata Anschluss ebenfalls durch InfiniBand

12 Oracle Big Data Appliance <Insert Picture Here> Software Überblick

13 Oracle Big Data Appliance Software Software vor-installiert und optimiert für eine optimale Performance: Oracle Linux 5.6 Java Hotspot VM Cloudera CDH Cloudera Manager Open Source R Distribution Oracle NoSQL Database CE Oracle Big Data Connectors* * Separate linzenzpflichtige Software, kann vorinstalliert unf konfiguriert werden

14 Aktuelle Details unter: Cloudera CDH Cloudera CDH 3 enthält: Apache Hadoop Apache Hive Apache Pig Apache HBase Apache Zookeeper Apache Flume Apache Sqoop Apache Mahout Apache Whirr Apache Oozie Fuse-DFS Hue

15 Hadoop Software Layout (Masters) 2 3 Node 1: M: Name Node, Balancer & HBase Master S: HDFS Data Node, NoSQL DB Storage Node* Node 2: M: Secondary Name Node, Cloudera Manager, Zookeeper, MySQL Slave S: HDFS Data Node, NoSQL DB Storage Node* Node 3: M: JobTracker, MySQL Master, ODI Agent, Hive Server S: HDFS Data Node, NoSQL DB Storage Node* 1 * Optionale Konfiguration

16 Oracle NoSQL DB Eine verteilte, hoch skalierbare Key-Value Datenbank Einfaches Daten Model Key-Value Paar mit major+sub-key Read/insert/update/delete Operationen Skalierbarkeit Dynamische Partitionierung und Verteilung Optimierter Daten Zugriff über dietreiber Hoch Verfügbarkeit Ein oder mehrere Replicate Disaster recovery über die Replicate Kein single point of failure Transparentes load balancing Es wird vom Master oder einem Replicat gelesen Die Treiber berücksichtigen die Netzwerk-Topologie und die Latenzzeiten Application NoSQLDB Driver Storage Nodes Data Center A Application NoSQLDB Driver Storage Nodes Data Center B

17 NoSQL Konfiguration (Optional für die BDA) NoSQL DB Master Node Replicat Vor-Konfiguriert mit dreifacher Replikation

18 Zusammenfassung <Insert Picture Here>

19 Big Data Appliance Big Data fürs gesamte Unternehmen Optimiert und Vollständig Alles was man zur Speicherung und Integration von Daten mit geringer Informationsdichte braucht Integration mit Oracle Exadata Erweiterung des DWH Einfach und schnell einsetzbar Riskoarme, einfache und schnelle Einführung Ein Ansprechpartner Für den Support der gesamten Lösung

20 Kontakt und mehr Informationen Oracle Data Warehouse Community Mitglied werden Viele kostenlose Seminare und Events Download Server: Nächste deutschsprachige Oracle DWH Konferenz: März 2013 Kassel

21