Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Transkript

1 <Insert Picture Here> DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle

2 Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell -Big Data

3 Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement Any Source BI Server Data Integration Layer Information Layer Architecture Concept Enterprise Information Layer User View Layer Interactive Dashboards Data Integration Real Time & Batch Data Management Concept Operational Data Layer Data Quality Rules Checks&Monitoring Reference Data Models Dynamic Data Marts ROLAP MOLAP BI Apps Controlling HR Sales Reporting & Publishing Ad-hoc Analysis DWH Logistic Utilities Oracle Database Management System Metadata Utilities Business Catalogue Technical Auditing Marketing Financial Scorecards Server Operating Storage Cluster System Hierarchy Hierarchie Optimized Optimiertes Network Netzwerk Exadata / Database Machine / Exalytics Big Data Solution Lifecycle Management Concept DWH System Monitoring Utilities DWH Security Utilities DWH Backup / Recovery Concept Concept Framework Office Integration Mobile

4 Performance und Kosten im Data Warehouse optimieren mit Exadata Paradigmenwechsel Mix aus Software+Hardware Smart Scan Storage Index High-Performance-Komponenten Infiniband Flashspeicher bis zu 2 TB RAM 25/50 GB/sec IO Kostengünstiger High-Performance Storage > 300 TB pro Box Hybrid Columnar Compression

5 Big Data: Potentielle Anwendungsfälle Aufgabenstellung Neue Daten Lösungen Healthcare Teures Gesundheitssystem Produktion Personeller Support Remote Erfassung von Patientendaten, Krankenverläufe etc Sensoren an Maschinen und Anlagen Genauere+günstigere Medikation Weniger Krankenhausaufenthalte Remote Support Ausfallvorhersagen Location Based Services Öffentlicher Dienst Bürger-Angebote Retail Marketing Realtime Bewegungsdaten potentieller Kunden Bevölkerungsstatistiken Soziale Netzwerke / Medien Geo-bezogenes Marketing, Verkehrsanalysen Individualisierte Dienste Kostensenkung Stimmungsanalysen Genauere Segmentierungen

6 Big Data: Herausforderungen SOCIAL BLOG SMART METER Datenmengen Schnelligkeit bei Entstehung Unterschiedlichkeit Business Value

7 Big Data: Infrastructur Anforderungen Acquire Organize Analyze Unvorhersehbares Auftreten Hohe Datenmengen Flexible Daten-Strukturen Arbeiten mit vielen Servereinheiten Abfragen mit extrem hohen Daten-Durchsatz Bearbeitung am Speicherplatz Hohe Parallelisierung Komplexe statistische Analysen Agile Berichtsentwicklung Massive Skalierung Real Time Ergebnisse

8 Heutige Lösungen sind isoliert und handgemacht Data Variety Unstructured Schema-less Distributed File Systems (z. B. HDFS) HDFS Transaction (Key- Oracle Value)Stores (Cassandra) NoSQL DB Hadoop MapReduce Solutions (Hadoop MapReduce) Oracle Loader for R Hadoop NoSQL Flexible Specialized Developer Centric Schema RDBMS (OLTP) Home Grown ETL ETL Advanced Home RDBMS Analytics Advanced Grown (DW) BI Analytics SQL Trusted Secure Administered Information Density Acquire Organize Analyze

9 Oracle s integrierte Software Lösung Data Variety Unstructured Schema-less Schema HDFS Oracle NoSQL DB Oracle (OLTP) Hadoop Oracle Hadoop Loader Oracle Data Integrator Oracle MapReduce Oracle (DW) Oracle Analytics Mining R Spatial Graph OBI EE Information Density Acquire Organize Analyze

10 Oracle Engineered Systems Data Variety Unstructured Exalytics Schema-less Big Data Appliance Schema Exadata Database Machine Information Density Acquire Organize Analyze

11 Oracle Integrated Software Stack DATA VARIETY INFORMATION DENSITY HDFS Oracle NoSQL DB Oracle Database HADOOP (MapReduce) Oracle Loader for HADOOP In-DB MapReduce Oracle Data Integrator Data Warehouse ACQUIRE ORGANIZE ANALYZE In-DB Mining In-DB R OBIEE Advanced Analytics DECIDE InfiniBand InfiniBand

12 R Statistische Programmiersprache Open source Sprache und Entwicklungsumgebung Geeignet für statistische Berechnungen und graphische Darstellung der Ergebnisse Endbenutzertaugliche Graphiken Erweiterbar

13 Oracle R Enterprise Lösung Vorher Kleine Modelle oft nur auf Benutzer Laptops Oracle R Modelle laufen in der skalierbaren Datenbank Große Datenmengen können verarbeitet werden Nutzt die Performance der Oracle DB und von Exadata Gleicher Code nur schneller

14

15 Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement Any Source BI Server Data Integration Layer Information Layer Architecture Concept Enterprise Information Layer User View Layer Interactive Dashboards Data Integration Real Time & Batch Data Management Concept Operational Data Layer Data Quality Rules Checks&Monitoring Reference Data Models Dynamic Data Marts ROLAP MOLAP BI Apps Controlling HR Sales Reporting & Publishing Ad-hoc Analysis DWH Logistic Utilities Oracle Database Management System Metadata Utilities Business Catalogue Technical Auditing Marketing Financial Scorecards Server Operating Storage Cluster System Hierarchy Hierarchie Optimized Optimiertes Network Netzwerk Exadata / Database Machine / Exalytics Big Data Solution Lifecycle Management Concept DWH System Monitoring Utilities DWH Security Utilities DWH Backup / Recovery Concept Concept Framework Office Integration Mobile

16