Copyright 2016, Oracle and/or its affiliates. All rights reserved. 1

Transkript

3 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. Copyright 2016, Oracle and/or its affiliates. All rights reserved. 4

5 Steckbrief OD Presales bei Oracle in Potsdam seit 3 Jahren Middleware Datenbank Hintergrund Naturwissenschaftlerin (Biologie, Mathematik, Copyright 2016, Oracle and/or its affiliates. All rights reserved. 6

6 T O B I A S L A U B E o Java-Projekte seit 10 Jahre o BI und DWH seit 8 Jahren o Hadoop+ seit 5 Jahren o Head of Business Intelligence o Principal Consultant o o Ich bin motiviert Daten zu analysieren und zu verstehen neue Technologien zu verwenden mit und für unsere Kunden tolle Lösungen zu finden virtual7 GmbH Tobias Laube Zeppelinstraße Karlsruhe tobias.laube@virtual7.de

7 W A S W I R M A C H E N

8 virtual7 GmbH Geschäftsbereiche Beratungs- und Softwarepartner gegründet 1996 Unternehmergeführt ORACLE Middleware Services ORACLE Datenbank Services ORACLE-/Java-Entwicklung ORACLE Support Services ORACLE Lizenzberatung/-vertrieb W E R W I R S I N D

9 KARLSRUHE 45 Mitarbeiter Development & Consulting Sales Marketing Finance Human Resources Infrastructure & Support MÜNCHEN 10 Mitarbeiter Development & Consulting Sales & Business Dev. PFÄFFIKON Neue Geschäftsstelle seit 11/2015 TIMISOARA 15 Mitarbeiter Development & Consulting Human Resources 7 0 E X P E R T E N 4 S T A N D O R T E 1 T E A M

10 W A S I S T B I G D A T A? E I N P R O B L E M L Ö S E R. VELOCITY Bereitstellungs- bzw. Auswertungszeit VOLUME Datenmenge-/volumen VARIETY Datenvielfalt (Semi-)Structured

11 W A S I S T B I G D A T A? N E U E G E S C H Ä F T S F E L D E R. BEISPIELE IT Services Social Media Search Marketing (Targeting) Ecommerce

12 BI Abstraction and Query Generation for Advanced Analysis Tools F Ö D E R I E R T E A R C H I T E K T U R B I + D W H + B I G D A T A Security Data Sources Staging Layer Foundation Layer Syndicated External Access and Performance Layer Operational Systems Master Data Operational Data Store Multimedia Data Load Big Data Warehouse and Analytics Unstructured Data ETL, Messaging and Metadata

13 P R O J E K T : S E N S O R D A T E N A N A L Y S E Red Power" by Scott Robinson is licensed under CC BY

14 P R O J E K T : S E N S O R D A T E N A N A L Y S E FAKTEN AUSSAGE > Geräte Messungen alle 5 Sekunden ~ 140 Messwerte pro Messung Wir haben Datenvolumen Wir haben genug Bandbreite Wir haben genug Speicherplatz 2 Standleitungen 100 Mbit/s (Backup) Verschlüsselung benötigt Anbindung mittels GPRS (64 kbit/s) 5 MB Datenvolumen pro Monat (GPRS)

15 P R O J E K T : S E N S O R D A T E N A N A L Y S E o Messungen als JSON im Big DWH o Die Struktur passt zu den Daten. o Das Datenvolumen ist geringer als XML oder CSV. o Im Projekt wurde ein Binärformat verwendet, im Aufbau der JSON-Struktur ähnlich. o Abrechnungen und Stammdaten als Tabellen im DWH o Integration mit anderen Daten einfacher für DWH o Automatismen wie Materialized Views gewünscht o Analyse in BI und mit Data Mining tendenziell einfacher

18 90% Datenaufbereitung versus 10% Datenanalyse Big Data s dirty little secret is that 90% of time spent Mo Di Mi Do Fr Sa So on a project is devoted to preparing data After all the preparation work, there isn t enough time left to do sophisticated analytics on it Datenaufbereitung Datenaufbereitung Datenaufbereitung Datenaufbereitung 8-12 Datenaufbereitung Datenaufbereitung Datenaufbereitung Datenaufbereitung Datenaufbereitung Thomas H. Davenport Datenanalyse Copyright 2016, Oracle and/or its affiliates. All rights reserved. 28

20 Automatisierung der Datenaufbereitung mit BDP CS Vorbereitung Datenimport Normalisierung und Bereinigung Schema Detektierung Duplikate identifizieren Erkennung sensitiver Daten Anreicherung Daten Profiling Klassifizierung Daten Anreicherung Extraktion von Attributen Publishing Restful API Quellen und Ziel Definition Auf Abruf Geplantes Publishing Export Formate Monitoring Interaktive Dashboards Automatisierte Alerts User Policies und System Controls Wieder verwendbare Daten Policies Security Controls Job Detail Views Copyright 2016, Oracle and/or its affiliates. All rights reserved. 30

21 Datenquelle Oracle Storage Cloud externe Cloud Services externe URLs Dateiformate: JSON Text Excel, Word Dateien kommaseparierte Dateien.html,.xml.pdf Log Dateien 1. Vorbereitung 2. Anreicherung 3. Publishing 4. Monitoring Copyright 2016, Oracle and/or its affiliates. All rights reserved. 31

22 Oracle Storage Cloud Service Oracle Database as a Service 1. Vorbereitung 2. Anreicherung 3. Publishing 4. Monitoring Exadata as a Service coming soon: directly to BICS Externe Webservices Externe URLs Copyright 2016, Oracle and/or its affiliates. All rights reserved. 32

23 Integration mit BICS BDP-CS BICS Publishen nach Oracle BICS Pre-integrierte RESTful Service Konnektivität Single Sign On Access für alle Dienste in der Oracle Cloud Key Benefits Self Service Zugriff auch durch nicht-technische Nutzer Cloud basierte Anwendungen brauchen weniger IT Support für On-Premise Technologie Accelerated Value Nutzer können auf präparierte Daten schneller zugreifen Copyright 2016, Oracle and/or its affiliates. All rights reserved. 33

26 Blending, Relationship Discovery und Custom Knowledge CSV Datenaufbereitung im Self Service ohne Programmierkenntnisse in the hands of the data experts Tabellendaten ETL Processing JSON Click Stream Logs Publish Data Visualization Enterprise Reporting Wiederverwendbares Transform Script Automatisieren & Operationalisieren Copyright 2016, Oracle and/or its affiliates. All rights reserved.

55 Datenfluss CSV Tabellendaten JSON Click Stream Logs Knowledge Service Maßgefertigter Knowledge Import Publish Database as a Service Access Business Intelligence Cloud Service Schema as a Service coming soon Copyright 2016, Oracle and/or its affiliates. All rights reserved.

56 O R A C L E B U S I N E S S I N T E L L I G E N C E C L O U D S E R V I C E 66

57 A R B E I T S S C H R I T T E o Datenprüfung in SQL Workshop, Modeler oder SQLDeveloper o optional: Erstellung Views o optional: Erstellung und Verknüpfung Dimensionen o Erstellung dimensionales Modell o Analyse der Daten

58 A N L A G E D I M E N S I O N E N ( O P T I O N A L )

59 B U S I N E S S I N T E L L I G E N C E C L O U D S E R V I C E

64 B U S I N E S S I N T E L L I G E N C E C L O U D S E R V I C E GEODATEN ANBINDEN IN OBICS ion1s

67 L E H R E N o Im (Online) Modeler sind nur Equi-Joins möglich o Beim Nutzung des Data Loaders können Spaltennamen mit Sonderzeichen erstellt werden \ufeff (?!) o werden Spaltennamen mit angelegt Case-sensitiv o außerdem wird der Nutzer nicht informiert, wenn als Spaltenname ein Name wie Timestamp oder ähnliches verwendet wird o Die Anlage von Views erspart Stress bei der Arbeit mit dem (Online) Modeler o Die Erzeugung eines Trial-Accounts für Big Data Preperation Cloud Service dauert o lohnt sich allerdings!

68 F R A G E N A N T W O R T E N