Copyright 2013, Oracle and/or its affiliates. All rights reserved.

Transkript

1 1

2 Big Data Integration in das Oracle Data Warehouse Michael Künzner Principal Sales Consultant DATA WAREHOUSE

3 Agenda Big Data Integration in das DWH Übersicht Big Data Architektur für eine Integration Komponenten für eine Integration Lösungen für eine Integration 3

4 Big Data Integration in das Oracle Data Warehouse Übersicht 4

5 Was hat uns bisher interessiert? Verkauf + Marketing Verkauf + operative Planung Finanzen Konstruktion + Technik Service Beschaffungs Management Produktion Informations - Technologie 5

6 Warum und wie Big Data jetzt? Beiläufig entstehende Daten Maschinen-generierte Massendaten Kommunikations-Daten Geo-Daten Low Density-Daten Was sind interessante Daten Wie sind sie zu speichern Welche Analysetechnik / Verfahren Welche Kosten entstehen? 1. Neue Geschäftsideen 2. Bessere Einsichten 6

7 Big Data: Chancen eine Auswahl Automobil Versicherungen Handel Sensoren an vielen Stellen / Jederzeit-Kommunikation über Sim-Karten Individuelle Wartungsplan-Angebote an Kunden Zusätzliche Informationen über die Art der Verwendung eines Fahrzeugs / Extras Weiterentwicklung des Produkts: Auto Geo-Information über die Art und Vorkommen von Verkehr Verkehrsplanung, Infrastruktur Einbeziehen von Textdokumenten in die Wissens- und Entscheidungsbasis Brief- und Mailverkehr Hinzuziehen von zusätzlichen Informationen z. B. von sozialen Medien Individualisierte Angebote Genauere Risikobewertung Mehr Informationen über den konkreten Kunden / Lebenssituationen Zielgeriechtete Angebote für Kunden in speziellen Lebenslagen Neue Wege für Marketing und Direktwerbung 7

8 Beispiele für Big Data Anwendungsfälle AUTOMOTIVE Auto sensors reporting location, problems HIGH TECHNOLOGY / INDUSTRIAL MFG. Mfg quality Warranty analysis OIL & GAS Drilling exploration sensor analysis Was sind die Merkmale dieser neuen COMMUNICATIONS Location-based advertising LIFE SCIENCES Clinical trials Genomics Games Adjust to player behavior In-Game Ads Retail / CPG Sentiment analysis Hot products Daten? Optimized Marketing MEDIA/ ENTERTAINMENT Viewers / advertising effectiveness Cross Sell TRAVEL & TRANSPORTATION Sensor optimal analysis traffic flows for Customer sentiment FINANCIAL SERVICES Risk & portfolio analysis New products Volume, Velocity, Variety ON-LINE SERVICES / SOCIAL MEDIA People & career matching Web-site optimization Diese Eigenschaften überfordern bestehende System-Architekturen UTILITIES Smart analysis Meter network for capacity, EDUCATION & RESEARCH Experiment sensor analysis HEALTH CARE Patient sensors, monitoring, EHRs Quality of care LAW ENFORCEMENT & DEFENSE Threat analysis - social media monitoring, photo analysis 8

9 Fahnungserfolg durch massenhaftes Sammeln von Daten Abscannen von allen KFZ-Kennzeichen an 7 Autobahnabschnitten über mehrere Monate hinweg Hinzuziehen von Verbindungsdaten der Mobilfunkmasten 9

10 Big Data Integration in das Oracle Data Warehouse Architektur 10

11 Wie kommt man zu einer Big Data Architektur Schrittweise Erweiterung der bestehenden Analyse-Landschaft Schritt 0: Ausgangssituation ist die bestehende DWH - Infrastruktur Schritt 1: zusätzliche Analysen auf bestehende Daten Schritt 2: Lösungen für Data Variety and Volume implementieren Schritt 3: Lösungen für Data Velocity implementieren Schritt 4: Neue Muster finden und analysieren Ziel Business Value 11

12 0: Bestehende DWH - Infrastruktur High Density Data Oracle Database Oracle BI Enterprise Edition Dashboard Ad-Hoc Query Acquire Organize Analyze Decide 12

13 1: zusätzliche Analysen auf bestehende Daten High Density Data Oracle Database Spatial and Graph Oracle BI Enterprise Edition Dashboard Ad-Hoc Query Churn Locality Advanced Analytics Acquire Organize Analyze Decide 13

14 2: Lösungen für Data Variety and Volume Low Density Batch Data High Density Data Hadoop Aggregate Pre-Analyze Oracle Database Spatial and Graph Advanced Analytics Oracle BI Enterprise Edition Dashboard Ad-Hoc Query Churn Locality Relationship Comments Acquire Organize Analyze Decide 14

15 3: Lösungen für Data Velocity Low Density Batch Data Streaming Data High Density Data Hadoop Aggregate Pre-Analyze Event Processing Oracle Database Spatial and Graph Advanced Analytics Model Oracle BI Enterprise Edition Real Time Decisions Dashboard Ad-Hoc Query Churn Locality Relationship Comments Recommend Act Act Acquire Organize Analyze Decide 15

16 4: Neue Muster finden und analysieren Endeca Information Discovery Low Density Batch Data Streaming Data High Density Data Hadoop Aggregate Pre-Analyze Event Processing Oracle Database Spatial and Graph Advanced Analytics Model Oracle BI Enterprise Edition Real Time Decisions Dashboard Ad-Hoc Query Churn Locality Relationship Comments Recommend Act Act Discover Acquire Organize Analyze Decide 16

17 Oracle Engineered Systems Simplify IT Simplify Big Data Oracle Big Data Appliance InfiniBand Oracle Exadata InfiniBand Oracle Exalytics Acquire Organize Analyze Decide Dashboard Ad-Hoc Query Churn Locality Relationship Comments Recommend Act Discover 17

18 In-Database Analytics Oracle Big Data Platform Oracle Big Data Appliance Optimized for Hadoop, R, and NoSQL Processing Oracle Big Data Connectors Oracle Exadata System of Record Optimized for DW/OLTP Oracle Exalytics Optimized for Analytics & In-Memory Workloads Oracle Event Processing Hadoop Open Source R Oracle NoSQL Database Applications Oracle Big Data Connectors Oracle Data Integrator Oracle Advanced Analytics Data Warehouse Oracle Database Oracle Enterprise Performance Management Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery Embeds Times Ten Stream Acquire Organize Discover & Analyze Real Time Decisions 18

19 Big Data Integration in das Oracle Data Warehouse Komponenten 19

20 Oracle Big Data Appliance Vorinstallierte Hadoop- Komponenten Hohe Performance des Hadoop Frameworks Integriert mit Exadata Geringeres TCO for Big Data-Szenarien 20

21 Hadoop mit der Oracle Datenbank integrieren Oracle Big Data Connectors Oracle Loader for Hadoop Oracle SQL Connector for Hadoop Distributed File System (HDFS) Oracle Data Integrator Application Adapter for Hadoop Oracle R Connector for Hadoop 21

22 Big Data - Daten in die Datenbank importieren Oracle Loader for Hadoop Pre-Processing in Hadoop und anschliessendes Laden MAP MAP MAP SHUFFLE /SORT REDUCE REDUCE Schnell und effizient MAP REDUCE Online / offline Modus MAP MAP SHUFFLE /SORT REDUCE REDUCE 22

23 Direct Access from Oracle Database Oracle SQL Connector for Hadoop Distributed File System (HDFS) SQL Abfrage auf HDFS HDFS Oracle Datenbank SQL Abfrage Externe Tabellensicht aus der Datenbank heraus SQL Abfragen aus der Datenbank heraus und sofortiges Laden in die Datenbank Infini Band DCH DCH DCH Externe Tabelle HDFS Client 23

24 Simplifying MapReduce Oracle Data Integrator Application Adaptor for Hadoop Generieren für Map Reduce Aufrufen Steueren und Verwalten des gesamten Prozesses Laden der Daten in die Warehouse Datenbank Oracle Data Integrator Oracle Loader for Hadoop 24

25 Big Data Analysis benutzt R On Hadoop Oracle R Connector for Hadoop Native R MapReduce Native R HDFS Access Client / Host R Engine ORCH Oracle Big Data Appliance R Engine ORCH Oracle Exadata Verbesserte Produktivität Schneller, skalierbarer Hadoop Cluster Software MapReduce Nodes HDFS R Engine 25

26 Big Data Integration in das Oracle Data Warehouse Lösungen 26

27 Exemplarischer Aufbau einer Big Data Lösung Beispiel Kundenbindung und Soziale Medien Klassische Churn Analyse im Data Warehouse sozialen Daten (Twitter) und Beziehungsinformationen (Facebook) hinzufügen Beziehungen zwischen Kunden analysieren: Beeinflusser finden Erkenntnisse eines neuen Bindungsmusters in Echtzeit anwenden Erhöhung Business Value 27

28 Welche Kunden wollen abwandern? Risiko-Kandidaten herausfinden Mustern erkennen: Welcher Kundentyp wird am ehesten zur Konkurrenz abwandern Abwanderung Welches sind die Key- Kunden? Klassische Data Mining Technologie 28

29 Oracle Advanced Analytics Oracle Data Mining + Oracle R DWH - Datenbank 12 Algorithmen Extreme Performance durch Einbettung in die Oracle Datenbank GUI fur Data Scientists Bestehender Datenpool im Data Warehouse wird ausgewertet Usage Data Build Deploy Score Kunde A: 0.49 Kunde B: 0.25 Abwanderungs- Wahrscheinlichkeit Acquire Organize Analyze Decide 29

30 Den Kunden besser verstehen Welche zusätzlichen interessanten Datenbestände über die Kunden gibt es? Daten einlagern und sie für Analyse-Zwecke bereithalten Beziehungen zwischen Kunden feststellen: Influencer Identifizieren Wer kommuniziert mit wem? Welcher Kundentyp kommuniziert wie? Abwanderung Soziale Daten Neue Fakten 30

31 Oracle Big Data Appliance Big Data Beschaffung und Organization Vorinstallierter Cluster für Massendaten - HDFS oder - Oracle nosql DB Sun Oracle Hardware Cloudera CDH Extrem skalierbares Auswerte-Instrumentarium mit MapReduce / Hadoop - Framework Twitter Daten Facebook Daten Interne Log Daten Acquire Collect Sessionize Aggregate Organize Günstiger Massenspeicher z. B. HDFS Kunde A: Kunde B: Influencer 31

32 Oracle Big Data Connectors Bereitstellen der Ergbnisse in der relational Datenbank und verbinden mit bestehenden Analyseergebnissen Günstiger Massenspeicher z. B. HDFS Customer A: Customer B: Customer A: Customer B: DWH - Datenbank Key-Kunde Hohe Performance Sichere Umgebung Cust A: 0.49 Cust B: 0.25 Influencer Kosten-effizient Acquire Organize 32

33 Oracle Advanced Analytics Oracle R Enterprise Oracle R integriert in der Datenbank No SQL Database gut für operative Einzelnzugriffe Modell-Entwicklung aus zusammengeführten Informationen Open Source Skalierung und hohe Performance auf für große Datenmengen Customer A: Customer B: Cust A: 0.49 Cust B: 0.25 R 0.49 Model 0.25 A B D C Mittlerweile weit verbreitet Organize Analyze Decide 33

34 Real-Time Retention Entscheidungen Umsetzung des gelernten Modells in operative Prozesse Reagieren in realen Situationen Berücksichtigung von Influencern Key Kunden Reagieren in Echtzeit Abwanderung Neue Prozesse Soziale Daten Neue Fakten 34

35 Oracle RTD und Oracle NoSQL Datenbank Selbst lernende Geschäftsregeln Integriert in operative Anwendungen (CRM) Zugriff auf permanent weiterentwickelte Kundenprofile Tweet anreichern Ereigniesse schnelle Kommunikation Tweet Angebote Ideen Entscheidungen Modell B A D C Analyze Decide 35

36 Zusammenfassung Big Data für Unternehmen Optimiert und Vollständige Gesamtlösung Alles, was man benötigt, um Massendaten mit mehr weichen Informationen zu speichern Integriertes Gesamt-Set (auch mit Oracle Exadata) Schnell einsetzbar Installation and Setup Single Vendor Support Oracle Support für alle Komponenten 36

37 Dilbert zu BIG Data 37

38 38

39 39