Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS. Carsten Herbe DOAG Konferenz November 2014

Größe: px
Ab Seite anzeigen:

Download "Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS. Carsten Herbe DOAG Konferenz November 2014"

Transkript

1 Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS Carsten Herbe DOAG Konferenz November 2014

2 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence Themenbereiche Enterprise DWH Data Modeling & Integration & ETL Architecture: DWH & Data Marts Hadoop & Columnar DBs Data Quality & Data Masking Analytics Predictive Models, Data Mining & Statistics Social Media Analytics Customer Intelligence Scorecarding Fraud & AML Über metafinanz metafinanz gehört seit fast 25 Jahren zu den erfahrensten Software- und Beratungshäusern mit Fokus auf die Versicherungsbranche. Mit einem Jahresumsatz von 270 Mio. EUR und über 450 Mitarbeitern entwickeln wir für unsere Kunden intelligente zukunftsorientierte Lösungen für komplexe Herausforderungen Insurance Reporting Standard & Adhoc Reporting Dashboarding BI Office Integration Mobile BI & In-memory SAS Trainings for Business Analysts BI & Risk Risk Solvency II (Standard & internal Model) Regulatory Reporting Compliance Risk Management Ihr Kontakt : Carsten Herbe Head of Data Warehousing Mehr als 10 Jahre DWH-Erfahrung Oracle & OWB Expertise Certified Hadoop Developer mail phone Data Mart Offload nach Hadoop Seite 2

3 Agenda 1 Motivation 6 Anbindung BI Tool 2 Exkurs Hadoop 7 Offload Prozess 3 Architektur 8 Performance-Analyse 4 Schema Design 9 Fazit 5 Hive Metadaten & SQL Engine Data Mart Offload nach Hadoop Seite 3

4 1. Motivation

5 Platzt Ihr DWH aus allen Nähten? Data Mart Offload nach Hadoop Seite 5

6 Warten Ihre BI-Nutzer ewig? Data Mart Offload nach Hadoop Seite 6

7 Obwohl Sie im DWH alles richtig gemacht haben? Data Mart Offload nach Hadoop Seite 7

8 Sie suchen dringend eine Lösung die dem Kostendruck standhält? Data Mart Offload nach Hadoop Seite 8

9 2. Exkurs Hadoop

10 Apache Hadoop ist ein Framework für die verteilte Speicherung und Verarbeitung großer Datenmengen basierend auf Konzepten von Google. Was ist Hadoop? Hadoop MapReduce Skalierbare Rechenkapazität Hadoop Distributed FileSystem (HDFS) Skalierbare Speicherkapazität Data Mart Offload nach Hadoop Seite 10

11 Das Hadoop-Ökosystem besteht aus einer Vielzahl von Tools und Frameworks und wird ständig durch neue Projekte erweitert. Cascalog Oryx Crunch ORCFiles Big Data Connectors Big SQL SequenceFiles Kafaka HttpFS FuseDFS Data Mart Offload nach Hadoop Seite 11

12 Auch wenn man strukturierte Daten in Hadoop speichern kann Hadoop ist keine relationale Datenbank. Hadoop ist keine relationale Datenbank! Hadoop Un-, teil- oder strukturierte Daten Schema on Read Write Once Read Many Geringe Datenintegrität Beliebig linear skalierbar Relationale Datenbank Nur strukturierte (relationale) Daten Schema on Write Write Read Update Many Times Hohe Datenintegrität Nicht (eingeschränkt) linear skalierbar Data Mart Offload nach Hadoop Seite 12

13 3. Architektur

14 Der Data Mart wird komplett nach Hadoop kopiert und stehen dort mit kompletter Historie dem BI Tool zur Verfügung. In der DB bleibt nur der aktuelle Zeitraum (z.b. 1-3 Jahre). DWH Architektur mit Datamart in Hadoop RDBMS OLTP OLTP Staging Core DWH Datamart Datamart Reporting Files Hadoop Data Mart Offload nach Hadoop Seite 14

15 Design, Prozesse und Anbindung an das BI Tool werden in diesem Vortrag beschrieben. Eine Beschreibung des Aufbaus einer Hadoop Infrastruktur würde den Rahmen sprengen. Was ist zu tun? Hadoop Infrastruktur Aufbau Hadoop Cluster Konfiguration SQL Engine/Security Backup Aufbau Betrieb Schema Design in HDFS Logisches Daten/Datei-Modell Partitionierung (für ETL und Abfragen) Physikalische Speicherung (File Format, Komprimierung) Offload Prozess Hinzufügen/ Replacement bestehender Daten Einbindung ETL Prozess Verfügbarkeit für das Reporting Anbindung BI Tool Bereitstellung Metadaten (Tabellen, Spalten, ) Auswahl Hadoop SQL Engine (Hive, Impala, ) Anbindung Hadoop als Datenquelle an das BI Tool Data Mart Offload nach Hadoop Seite 15

16 Einfluss können wir über die Dateiformate inkl. Kompression, die Modellierung des Schema Designs und Auswahl der SQL Engine nehmen. Schichtenmodell ETL Tool BI Tool Gesetzt SQL Engine Auswahl Hive Metadaten Gesetzt: Hive als Quasistandard File Schema Design Modellierung File Format & Kompression Auswahl HDFS Gesetzt Data Mart Offload nach Hadoop Seite 16

17 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 4. Schema Design

18 Speed Ratio Die Wahl des Codecs ist immer ein Trade-off zwischen Kompression und Geschwindigkeit. Non-Splittable Codes können mit Containern verwendet werden. Kompression File Format & Kompression Codes Algorithmus Fokus Splittable Bemerkungen BZIP2 Burrows-Wheeler Ratio J ZLIB DEFLATE Ratio N Beste Kompression, aber am langsamsten Hadoop Standard Gute Kompression, aber langsam GZIP DEFLATE Ratio N LZO Variante von LZ77 Speed mit Index Snappy LZ77 Speed N Wrapper um ZLIB Gute Kompression, aber langsam GNU GPL, daher extra zu installieren Schnell Oft verwendet LZ4 Variante von LZ77 Speed N Schnell Data Mart Offload nach Hadoop Seite 18

19 Dateiformate beinhalten teilweise selbstbeschreibende Metadaten und sind auch komprimiert splittable. Die Toolunterstützung ist aber unterschiedlich. Dateiformate File Format & Kompression Zeilenorientiert Textformat (TSV/CSV) Sequence Files AVRO Spaltenorientiert RCFile (row columnar) ORC (optimized row columnar) Parquet Data Mart Offload nach Hadoop Seite 19

20 Beim Schema Design in HDFS kann man das Star Schema übernehmen oder es in ein denormalisiertes Result Set transformieren. Schema Design: Star Schema vs Result Set File Schema Design Star Schema 1:1 Übernahme des relationalen Datenmodells aus der DB. Keine Anpassung der Zugriffsschicht im BI Tool. Viele Joins bei Abfragen. Kleine Dimensionen kleine Dateien. Result Set Transformation notwendig: Denormalisierung des Star Schemas. Anpassung der Zugriffsschicht im BI Tool. Keine Joins bei Abfragen. Höherer Speicherbedarf. Einfach umsetzbar Performance-orientiert Data Mart Offload nach Hadoop Seite 20

21 Die Partitionierung muss ein einfaches Aktualisieren ( Replacement ) neuer Daten ermöglichen und idealerweise für eine gute Abfrageperformance sorgen. Partitionierung: Laden & Abfragen File Schema Design Fakten Partitionierung nach (fachlichen) Zeitscheiben Beim Load: Aktuelle Partition löschen & neu laden (Korrekturen) Oder anhängen der neuen Daten (keine Korrekturen) Dimensionen Partitionierung nach fachlichen Kriterien (z.b. Mandant) Beim Load: i.d.r. Komplett-Load Partitions-/Datei-Größen beachten: Nicht zu klein im Vergleich zur HDFS-Blockgröße (128 MB)! Load Frequenz nach Use Case (e.g. Historische Daten) Data Mart Offload nach Hadoop Seite 21

22 Partitionierung wird durch geschachtelte Verzeichnisse abgebildet. Der Benutzer muss dafür sorgen, dass in den Verzeichnissen auch nur passende Daten sind! Partitionierung: Funktionsweise File Format & Kompression CREATE TABLE dim_kunde ( id INT, name STRING, stadt STRING,... ) PARTITION BY ( land STRING, region STRING ); /dim_kunde/land=de/region=n /dim_kunde/land=de/region=w /dim_kunde/land=de/region=o /dim_kunde/land=de/region=s /dim_kunde/land=fr/region=n... Data Mart Offload nach Hadoop Seite 22

23 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 5. Hive Metadaten & SQL Engine

24 Hive ist eine SQL Engine mit HiveQL als Abfragesprache plus einer Metadatenverwaltung für relationale Daten in HDFS. Hive Hive Metadaten = Metadaten (Tabellen) + HiveQL (SQL) Hive Metadaten = Quasistandard (Pig, Impala, ) Hive Metadaten = Schema-on-Read Konsistenz Manuell sicherzustellen Data Mart Offload nach Hadoop Seite 24

25 Metadaten können für bestehende Dateien definiert werden. INSERT und SELECT funktionieren wie gewohnt, UPDATE und DELETE gibt es nicht. Hive Beispiele CREATE TABLE dim_kunde ( id INT, name STRING, stadt STRING, alter INT,... ) PARTITION BY ( land STRING, region STRING ); INSERT INTO TABLE dim_kunde SELECT... FROM stg_kunde; SELECT region, avg(alter) FROM dim_kunde WHERE land = DE GROUP BY region ; SQL Engine Data Mart Offload nach Hadoop Seite 25

26 Hive generiert einen oder mehreren MapReduce-Jobs. Impala nutzt eigene in-memory Komponenten für die Ausführung, aber auch die Hive Metadaten. SQL Engines Hive & Impala SQL Engine Map Reduce Map Reduce... HDFS in-memory Operation in-memory Operation in-memory Operation... Impala HDFS Data Mart Offload nach Hadoop Seite 26

27 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 6. Anbindung BI Tool

28 Selbst wenn die Datenmodelle in DB und HIVE identisch sind, hat man verschiedene Connections, welche sich i.d.r. nicht vom User im Report tauschen. Anbindung BI Tool BI Tool BI Tool Datamart Connection Physical Model RDBMS Logical Model Report A Hadoop Ggfs. unterschiedlich Identisch Identisch Physical Logical Connection Model Model Report A HIVE Teilmenge an Reports Ggfs. doppelte Pflege Fokus auf Ad-hoc Analysen Historische Reports Data Mart Offload nach Hadoop Seite 28

29 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 7. Offload Prozess

30 Im Offload Prozess werden die aktuellen Partitionen gelöscht und dann die Daten geladen. Hohe Parallelität kann sehr hohe Last auf der DB erzeugen! Offload Prozess ETL Tool Nutzung bestehender Technologien Integrierte Prozesse Ggfs. Performance- Probleme (ETL Server) Ggfs. Lizenzkosten Sqoop Hadoop Komponente Keine Lizenzkosten Einfache Benutzung File Transfer ETL Tool Keine Online-Verbindung Cluster-DB notwendig Komplexer Prozess: Datei erzeugen, transferieren, laden Unterschiedliche Tools Einfachste Integration Performant und einfach umzusetzen Notlösung ETL in Hadoop mit Hive Data Mart Offload nach Hadoop Seite 30

31 Sqoop ist von der Architektur her in erster Linie ein Client-Tool zum Datenaustausch zwischen HDFS und verschiedenen Datenbanken. Sqoop Architektur ETL Tool Sqoop client Reads metadata submits job Relational Database Document Based Systems sqoop import -connect --username scott --table SCOTT.EMP --where 'rownum=1' --hive-import $ Map Job delimited text Hadoop Hive Data Mart Offload nach Hadoop Seite 31

32 8. Performance-Analyse

33 Als Teststellung haben wir ein Subset (1 Fakt, 9 Dimensionen) des TPC-DS Benchmarks verwendet. Auf dem Cluster lief CDH4 mit Hive 0.10 und Impala Teststellung Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 33

34 Alle Test-Kombinationen und weitere Fragestellungen wurden im Rahmen einer Masterarbeit detailliert untersucht. Masterarbeit Real-time SQL on Hadoop Download bald unter hadoop.metafinanz.de Data Mart Offload nach Hadoop Seite 34

35 Gesparter Speicherplatz Faktentabelle (400GB) und Ladezeit. Snappy liefert die besten Zeiten und zusammen mit Parquet auch nur leicht schlechtere Kompression als GZIP. Load-Performance Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 35

36 Punkt oberhalb der Linie bedeutet Hive mit Star Schema ist schneller, unterhalb der Linie bedeutet Hive mit Resultset ist schneller. Parquet ist minimal schnelle als Sequence Files. Hive: Resultset schneller als Star Schema Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 36

37 Punkt oberhalb der Linie bedeutet Star Schema ist schneller, unterhalb der Linie bedeutet Resultset ist schneller. Parquet ist schneller als Sequence Files. Impala: Star Schema schneller als Resultset Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 37

38 Parquet ist zwar etwas CPU intensiver als die meisten anderen Formate, verbraucht dafür aber deutlich weniger Speicher. Impala: CPU vs. Memory Trade-off Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 38

39 Geometric Mean (in seconds) Alle Komponenten entwickeln sich ständig weiter, neue Technologien (z.b. Spark SQL) kommen hinzu. Cloudera Single-User respose time/impala times faster than (Lower bars are better) Impala 1.4 Presto Spark SQL Tez x 6.5x 13.0x 2.1x 9.8x 7.0x 3.8x 6.3x 7.2x Interactive Reporting Analytics q19, q42, q52, q63, q68, q73, q98 q3, q7, q27, q43, q53, q89 q34, q46, q59, q79, ss_max Data Mart Offload nach Hadoop Seite 39

40 9. Fazit

41 Datentransfer mit Sqoop, Speicherplatzoptimierte Speicherung mit Star Schema, Parquet Files mit Snappy-Codec und Hive als SQL Engine für Batchauswertungen. Beispiel DWH Architektur mit Datamart in Hadoop RDBMS OLTP OLTP Staging Core DWH Datamart Datamart Files Data-Transfer mit Sqoop Aufbereitung mit Hive Prozesssteuerung durch ETL Tool Hadoop Star Schema Fakten partitioniert nach Zeit Parquet-Files mit Snappy-Codec Hive Metadaten Reporting SQL Engine Impala Data Mart Offload nach Hadoop Seite 41

42 Hier ist auch der Staging Bereich nach Hadoop ausgelagert. Hier können die Daten aufbereitet und geprüft werden. Man profitiert von der massiv parallelen Verarbeitung. DWH Architektur: Staging & Data Mart in Hadoop RDBMS OLTP Staging Core DWH Datamart Datamart Reporting Hadoop OLTP Files Data Mart Offload nach Hadoop Seite 42

43 metafinanz unterstützt Ihre Kunden bei Einführung von Hadoop end-to-end: Von Entscheidung und Konzeption bis hin zu Einführung und Optimierung. DECIDE PLAN BUILD OPTIMIZE metafinanz ist herstellerunabhängig, erfahren, kompetent, zuverlässig und lieferfähig metafinanz Consulting Leistungen rund um Data Warehouse und Enterprise Information Management Businessanalyse, Systemauswahl und Integrationskonzept Gesamtheitliche IT Architektur Strategie und Designkonzeption (IT Strategie) Customizing von Big Data Lösungen für Ihre besonderen Business Anforderungen (Zukunftsfähigkeit) DWH Configuration & Optimierung für mehr Leistungsfähigkeit (Effizienzpotential) Vorstudie Hadoop-Strategie DWH Cost Savings Dokumentenverarbeitung Identifikation Use Cases Tool-/Distributor-Auswahl & Architektur Projekt- und Betriebs-Setup Data Mart Offload (hist. Daten) ETL-Offload: Staging Calculation Offload Dokumentenarchivierung Volltextsuche Textanalyse Log-File-Analysen Click-Stream-Analyse Web-Anwendungen Security Analytics (Server-Logs, Firewall-Logs, ) DWH-Metadaten, wie und wozu Seite 43

44 Interesse? Austausch? Livedemo des Datenfluss-Datamart? Treffen Sie uns an unserem Stand und gewinnen ein ipad Mini!

45 Herzlichen Dank! metafinanz Informationssysteme GmbH Leopoldstr. 146 Phone: Fax: Mehr zu Data Warehousing & Hadoop Besuchen Sie uns auch auf:

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Datenaustausch Hadoop & Oracle DB. DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Carsten Herbe metafinanz Informationssysteme GmbH

Datenaustausch Hadoop & Oracle DB. DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Carsten Herbe metafinanz Informationssysteme GmbH DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Carsten Herbe metafinanz Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT.

Mehr

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014

Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014 Hadoop in a Nutshell Einführung HDFS und MapReduce Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis

Mehr

DWH-Metadaten Wie und wozu. Clemens Albrecht metafinanz Informationssysteme GmbH

DWH-Metadaten Wie und wozu. Clemens Albrecht metafinanz Informationssysteme GmbH DWH-Metadaten Wie und wozu Clemens Albrecht metafinanz Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence

Mehr

Hadoop & Spark. Carsten Herbe. 8. CC-Partner Fachtagung 2015

Hadoop & Spark. Carsten Herbe. 8. CC-Partner Fachtagung 2015 Hadoop & Spark Carsten Herbe 8. CC-Partner Fachtagung 2015 29.04.2015 Daten & Fakten 25 Jahre Erfahrung, Qualität & Serviceorientierung garantieren zufriedene Kunden & konstantes Wachstum 25 Jahre am Markt

Mehr

Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH

Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel Carsten Herbe metafinanz Informationssysteme GmbH In unserer Business Line Business Intelligence & Risk gibt es fünf Bereiche: Risk,

Mehr

Hadoop Projekte Besonderheiten & Vorgehensweise. Oracle/metafinanz Roadshow Februar 2014

Hadoop Projekte Besonderheiten & Vorgehensweise. Oracle/metafinanz Roadshow Februar 2014 Hadoop Projekte Besonderheiten & Vorgehensweise Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe Hadoop Demo HDFS, Pig & Hive in Action Oracle DWH Konferenz 2014 Carsten Herbe Wir wollen eine semi-strukturierte Textdatei in Hadoop verarbeiten und so aufbereiten, dass man die Daten relational speichern

Mehr

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen

Mehr

Spark das neue MapReduce?

Spark das neue MapReduce? Spark das neue MapReduce? Oracle Data Warehouse Konferenz 2015 Carsten Herbe Business Intelligence Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT Themenbereiche

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards

Mehr

Hadoop & SQL Wie Hadoop um SQL erweitert werden kann. Oracle/metafinanz Roadshow 11./18. Februar

Hadoop & SQL Wie Hadoop um SQL erweitert werden kann. Oracle/metafinanz Roadshow 11./18. Februar Hadoop & SQL Wie Hadoop um SQL erweitert werden kann Oracle/metafinanz Roadshow 11./18. Februar Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services

Mehr

Spark das neue MapReduce?

Spark das neue MapReduce? Spark das neue MapReduce? Oracle Data Warehouse Konferenz 2015 Carsten Herbe Business Intelligence Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT Themenbereiche

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Hadoop Ecosystem Vorstellung der Komponenten. Oracle/metafinanz Roadshow Februar 2014

Hadoop Ecosystem Vorstellung der Komponenten. Oracle/metafinanz Roadshow Februar 2014 Hadoop Ecosystem Vorstellung der Komponenten Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die Herausforderungen

Mehr

Historisierung mit Flashback Database Archive (FDA)

Historisierung mit Flashback Database Archive (FDA) Historisierung mit Flashback Database Archive (FDA) DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Wolfgang Tanzer metafinanz Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen

Mehr

Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?

Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke? Hans-Peter Zorn Inovex GmbH Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke? War nicht BigData das gleiche NoSQL? Data Lake = Keine Struktur? flickr/matthewthecoolguy Oder gar ein Hadump? flickr/autohistorian

Mehr

Hadoop & IT-Strategie Ein Spagat zwischen Innovation und Kosten Geht das überhaupt? DOAG 2014

Hadoop & IT-Strategie Ein Spagat zwischen Innovation und Kosten Geht das überhaupt? DOAG 2014 Hadoop & IT-Strategie Ein Spagat zwischen Innovation und Kosten Geht das überhaupt? DOAG 2014 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business

Mehr

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS AGENDA VISUAL ANALYTICS 9:00 09:30 Das datengetriebene Unternehmen: Big Data Analytics mit SAS die digitale Transformation: Handlungsfelder für IT

Mehr

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer Big in Azure Ein Beispiel mit HD Insight Ralf Stemmer Agenda owas ist Big? Was ist HD Insight? owelche Probleme kann man damit lösen? odemo Was ist Big? Was ist HD Insight? Datenexplosion - Rasanter Zuwachs

Mehr

Step 0: Bestehende Analyse-Plattform

Step 0: Bestehende Analyse-Plattform Die Themen 09:30-09:45 Einführung in das Thema (Oracle) 09:45-10:15 Hadoop in a Nutshell (metafinanz) 10:15-10:45 Hadoop Ecosystem (metafinanz) 10:45-11:00 Pause 11:00-11:30 BigData Architektur-Szenarien

Mehr

BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004

BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004 BIW - Überblick Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004 Annegret Warnecke Senior Sales Consultant Oracle Deutschland GmbH Berlin Agenda Überblick

Mehr

Datawarehouse Architekturen. Einheitliche Unternehmenssicht

Datawarehouse Architekturen. Einheitliche Unternehmenssicht Datawarehouse Architekturen Einheitliche Unternehmenssicht Was ist Datawarehousing? Welches sind die Key Words? Was bedeuten sie? DATA PROFILING STAGING AREA OWB ETL OMB*PLUS SAS DI DATA WAREHOUSE DATA

Mehr

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?

Mehr

Data Warehouse schnell gemacht Performanceaspekte im Oracle DWH

Data Warehouse schnell gemacht Performanceaspekte im Oracle DWH Data Warehouse schnell gemacht Performanceaspekte im Oracle DWH Dani Schnider Principal Consultant Business Intelligence BI Trilogie, Zürich/Basel 25./26. November 2009 Basel Baden Bern Lausanne Zürich

Mehr

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien

Mehr

Studierenden-Kennzahlen im Griff dank flexiblem Reporting und Ad-hoc-Analysen

Studierenden-Kennzahlen im Griff dank flexiblem Reporting und Ad-hoc-Analysen Praxistag für die öffentliche Verwaltung 2012 Titel Präsentation Studierenden-Kennzahlen im Griff dank flexiblem Reporting und Ad-hoc-Analysen Referenten-Info Gerhard Tschantré, Leiter Controllerdienste

Mehr

Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover, 18.03.2015

Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover, 18.03.2015 Symbiose hybrider Architekturen im Zeitalter digitaler Transformation Hannover, 18.03.2015 Business Application Research Center (BARC) B (Analystengruppe Europas führendes IT-Analysten- und -Beratungshaus

Mehr

BI für Jedermann. Neue Möglichkeiten durch die Oracle BI-Suite Enterprise Edition

BI für Jedermann. Neue Möglichkeiten durch die Oracle BI-Suite Enterprise Edition BI für Jedermann Neue Möglichkeiten durch die Oracle BI-Suite Enterprise Edition Wolfgang Rütter Bereichsleiter Informationssysteme OPITZ CONSULTING Gummersbach GmbH 1 Warum BI für Jedermann? 1. Historie

Mehr

1Ralph Schock RM NEO REPORTING

1Ralph Schock RM NEO REPORTING 1Ralph Schock RM NEO REPORTING Bereit für den Erfolg Business Intelligence Lösungen Bessere Entscheidungen Wir wollen alle Mitarbeiter in die Lage versetzen, bessere Entscheidungen schneller zu treffen

Mehr

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden Jens Kaminski ERP Strategy Executive IBM Deutschland Ungebremstes Datenwachstum > 4,6 Millarden

Mehr

OWB Referenzarchitektur, Releasemanagement und Deployment. Carsten Herbe metafinanz - Informationssysteme GmbH

OWB Referenzarchitektur, Releasemanagement und Deployment. Carsten Herbe metafinanz - Informationssysteme GmbH OWB Referenzarchitektur, Releasemanagement und Deployment Carsten Herbe metafinanz - Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch

Mehr

Big Data Anwendungen Chancen und Risiken

Big Data Anwendungen Chancen und Risiken Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data

Mehr

In-Memory Datenbanken im Kontext komplexer Analytics Pojekte am Beispiel der Otto Group BI

In-Memory Datenbanken im Kontext komplexer Analytics Pojekte am Beispiel der Otto Group BI In-Memory Datenbanken im Kontext komplexer Analytics Pojekte am Beispiel der Otto Group BI Hanau, 25.02.2015 1 Titel der Präsentation, Name, Abteilung, Ort, xx. Monat 2014 Der Aufbau der Group BI Plattform

Mehr

Hadoop Eine Erweiterung für die Oracle DB?

Hadoop Eine Erweiterung für die Oracle DB? Hadoop Eine Erweiterung für die Oracle DB? Nürnberg, 18.11.2015, Matthias Fuchs Sensitive Über mich 10+ Jahre Erfahrung mit Oracle Oracle Certified Professional Exadata Certified Oracle Engineered Systems

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Partitionierung im Data Warehouse mit ORACLE 11g und 12c. Reinhard Wahl DOAG Konferenz Nürnberg, 18.-20. November 2014

Partitionierung im Data Warehouse mit ORACLE 11g und 12c. Reinhard Wahl DOAG Konferenz Nürnberg, 18.-20. November 2014 Partitionierung im Data Warehouse mit ORACLE 11g und 12c Reinhard Wahl DOAG Konferenz Nürnberg, 18.-20. November 2014 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

Oracle Warehouse Builder 3i

Oracle Warehouse Builder 3i Betrifft Autoren Art der Info Oracle Warehouse Builder 3i Dani Schnider (daniel.schnider@trivadis.com) Thomas Kriemler (thomas.kriemler@trivadis.com) Technische Info Quelle Aus dem Trivadis Technologie

Mehr

QUICK-START EVALUIERUNG

QUICK-START EVALUIERUNG Pentaho 30 für 30 Webinar QUICK-START EVALUIERUNG Ressourcen & Tipps Leo Cardinaals Sales Engineer 1 Mit Pentaho Business Analytics haben Sie eine moderne und umfassende Plattform für Datenintegration

Mehr

good. better. outperform.

good. better. outperform. good. better. outperform. Quo Vadis Oracle BI Relational oder besser multidimensional? DOAG 2013 Business Intelligence, 17.04.2013 Dirk Fleischmann Director Business Intelligence & DWH Business Intelligence

Mehr

ETL in den Zeiten von Big Data

ETL in den Zeiten von Big Data ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse

Mehr

BI around the world - Globale Reporting Lösungen bei Continental Automotive

BI around the world - Globale Reporting Lösungen bei Continental Automotive BI around the world - Globale Reporting Lösungen bei Continental Automotive Stefan Hess Trivadis GmbH Stuttgart Herbert Muckenfuss Continental Nürnberg Schlüsselworte: Oracle BI EE, Business Intelligence,

Mehr

Einführung in die Hadoop-Welt HDFS, MapReduce & Ökosystem. Big Data für Oracle Entwickler September 2014 Carsten Herbe

Einführung in die Hadoop-Welt HDFS, MapReduce & Ökosystem. Big Data für Oracle Entwickler September 2014 Carsten Herbe HDFS, MapReduce & Ökosystem Big Data für Oracle Entwickler September 2014 Carsten Herbe Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" HANS-JOACHIM EDERT

WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN? HANS-JOACHIM EDERT WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. HANS-JOACHIM EDERT EBINAR@LUNCHTIME

Mehr

Vollständig generisches DWH für kleine und mittelständische Unternehmen

Vollständig generisches DWH für kleine und mittelständische Unternehmen Vollständig generisches DWH für kleine und mittelständische Unternehmen Marc Werner Freiberufler Berlin Schlüsselworte: Wirtschaftlichkeit, Kostenreduzierung, Metadaten, Core Data Warehouse, Slowly Changing

Mehr

SQL PASS Treffen RG KA. Überblick Microsoft Power BI Tools. Stefan Kirner Karlsruhe, 27.05.2014

SQL PASS Treffen RG KA. Überblick Microsoft Power BI Tools. Stefan Kirner Karlsruhe, 27.05.2014 SQL PASS Treffen RG KA Überblick Microsoft Power BI Tools Stefan Kirner Karlsruhe, 27.05.2014 Agenda Die wichtigsten Neuerungen in SQL 2012 und Power BI http://office.microsoft.com/en-us/office365-sharepoint-online-enterprise-help/power-bi-for-office-365-overview-andlearning-ha104103581.aspx

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

Big Data im Call Center: Kundenbindung verbessern, Antwortzeiten verkürzen, Kosten reduzieren! 25.02.2016 Sascha Bäcker Dr.

Big Data im Call Center: Kundenbindung verbessern, Antwortzeiten verkürzen, Kosten reduzieren! 25.02.2016 Sascha Bäcker Dr. Big Data im Call Center: Kundenbindung verbessern, Antwortzeiten verkürzen, Kosten reduzieren! 25.02.2016 Sascha Bäcker Dr. Florian Johannsen AGENDA 1. Big Data Projekt der freenet Group Dr. Florian Johannsen

Mehr

Vorstellung IBM Cognos 10.2. Oliver Linder Client Technical Professional Business Analytics

Vorstellung IBM Cognos 10.2. Oliver Linder Client Technical Professional Business Analytics Vorstellung IBM Cognos 10.2 Oliver Linder Client Technical Professional Business Analytics Agenda IBM Cognos 10.2 Architektur User Interfaces IBM Cognos Workspace IBM Cognos Workspace Advanced IBM Cognos

Mehr

Was ist Analyse? Hannover, CeBIT 2014 Patrick Keller

Was ist Analyse? Hannover, CeBIT 2014 Patrick Keller Was ist? Hannover, CeBIT 2014 Patrick Keller Business Application Research Center Historie 1994: Beginn der Untersuchung von Business-Intelligence-Software am Lehrstuhl Wirtschaftsinformatik der Universität

Mehr

Hadoop und SAS Status und Ausblick WIEN, JUNI 2015 GERNOT ENGEL, CLIENT SERVICE MANAGER SAS AUSTRIA

Hadoop und SAS Status und Ausblick WIEN, JUNI 2015 GERNOT ENGEL, CLIENT SERVICE MANAGER SAS AUSTRIA Copyright o p y r i g h t 2012, 2 0 1 2, SAS S A S Institute s t i t u tinc e In. c All. Arights l l r i g hreserved. t s r e s e r ve d. Hadoop und SAS Status und Ausblick WIEN, JUNI 2015 GERNOT ENGEL,

Mehr

Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn

Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn Schlüsselworte Hadoop, Hive, Sqoop, SQL Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn Einleitung In diesem Vortrag werden, nach einer kurzen Einführung in Apache Hadoop, die beiden Werkzeuge

Mehr

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com

Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick Volker.Hinz@microsoft.com Was sagt der Markt? Fakten Meinung der Analysten zu Microsofts Angeboten Nutzen

Mehr

Oracle OLAP 11g: Performance für das Oracle Data Warehouse

Oracle OLAP 11g: Performance für das Oracle Data Warehouse Oracle OLAP 11g: Performance für das Oracle Data Warehouse Marc Bastien Oracle BI Presales Agenda Performanceprobleme in Oracle DWH: gibt s das überhaupt? Mögliche Gründe und Lösungen

Mehr

RE.one. Self Service Information Management für die Fachabteilung

RE.one. Self Service Information Management für die Fachabteilung RE.one Self Service Information Management für die Fachabteilung Das Ziel Verwertbare Informationen aus Daten gewinnen Unsere Vision Daten Info Data Warehousing radikal vereinfachen in einem Tool Die Aufgabe

Mehr

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zettabyte CeBIT 2011 Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zetabyte: analytische Datenbanken Die Datenflut. Analytische Datenbanken: Was ist neu? Analytische Datenbanken:

Mehr

Vertriebssteuerung & Controlling Konkrete Vertriebsziele, passend zur Unternehmensstrategie

Vertriebssteuerung & Controlling Konkrete Vertriebsziele, passend zur Unternehmensstrategie Konkrete Vertriebsziele, passend zur Unternehmensstrategie Wir ermöglichen Ihnen mit dem Service Vertriebssteuerung die erfolgreiche Umsetzung Ihrer Unternehmensstrategie in operativ umsetzbare Vertriebsziele.

Mehr

NoSQL mit Postgres 15. Juni 2015

NoSQL mit Postgres 15. Juni 2015 Tag der Datenbanken 15. Juni 2015 Dipl.-Wirt.-Inform. Agenda l Vorstellung l Marktübersicht l Warum PostgreSQL? l Warum NoSQL? l Beispielanwendung Seite: 2 Vorstellung Dipl.-Wirt.-Inform. [1990] Erste

Mehr

Die perfekte Kombination im Agilen Data Warehouse Oracle Engineered Systems mit Data Vault

Die perfekte Kombination im Agilen Data Warehouse Oracle Engineered Systems mit Data Vault Die perfekte Kombination im Agilen Data Warehouse Oracle Engineered Systems mit Data Vault Herbert Rossgoderer Geschäftsführer Matthias Fuchs DWH Architekt ISE Information Systems Engineering GmbH ISE

Mehr

Logical Data Warehouse SQL mit Oracle DB und Hadoop

Logical Data Warehouse SQL mit Oracle DB und Hadoop Logical Data Warehouse SQL mit Oracle DB und Hadoop Matthias Fuchs DWH Architekt ISE Information Systems Engineering GmbH Ingo Reisky Senior Consultant Opitz Consulting Deutschland GmbH ISE Information

Mehr

Data Vault. Modellierungsmethode für agile Data Warehouse Systeme. Dr. Bodo Hüsemann Informationsfabrik GmbH. DOAG BI, München, 17.04.

Data Vault. Modellierungsmethode für agile Data Warehouse Systeme. Dr. Bodo Hüsemann Informationsfabrik GmbH. DOAG BI, München, 17.04. Data Vault Modellierungsmethode für agile Data Warehouse Systeme Dr. Bodo Hüsemann Informationsfabrik GmbH DOAG BI, München, 17.04.2013 Die Informationsfabrik Die Informationsfabrik macht erfolgreiche

Mehr

25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling. Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU

25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling. Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU BLUEFORTE GmbH Dirk Lerner 25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU 1 Elemente des Data Vault (Basic) HUB

Mehr

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,

Mehr

Data Warehouse Grundlagen

Data Warehouse Grundlagen Seminarunterlage Version: 2.10 Version 2.10 vom 24. Juli 2015 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen

Mehr

Komplexität der Information - Ausgangslage

Komplexität der Information - Ausgangslage Intuition, verlässliche Information, intelligente Entscheidung ein Reisebericht Stephan Wietheger Sales InfoSphere/Information Management Komplexität der Information - Ausgangslage Liefern von verlässlicher

Mehr

Technologischen Rahmenbedingungen und Werkzeuge für eine wertschöpfende Controller-Rolle

Technologischen Rahmenbedingungen und Werkzeuge für eine wertschöpfende Controller-Rolle Technologischen Rahmenbedingungen und Werkzeuge für eine wertschöpfende Controller-Rolle 40. Congress der Controller, Themenzentrum C, München Steffen Vierkorn, Geschäftsführer Qunis GmbH, Neubeuern Die

Mehr

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011

Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011 High Performance Batches in der Cloud Folie 1 Alles geht in die Cloud Image: Chris Sharp / FreeDigitalPhotos.net Cloud und Batches passen zusammen Batches Cloud Pay-per-Use Nur zeitweise genutzt Hohe Rechenkapazitäten

Mehr

Seminar in der Seminarreihe Business Intelligence 1. OLAP und Datawarehousing

Seminar in der Seminarreihe Business Intelligence 1. OLAP und Datawarehousing Seminar in der Seminarreihe Business Intelligence 1 OLAP und Datawarehousing OLAP & Warehousing Die wichtigsten Produkte Die Gliederung Produkt Bewertung & Vergleiche Die Marktentwicklung Der aktuelle

Mehr

Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH. Software mit Format.

Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH. Software mit Format. Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH Gerd Schandert, Neuss den 18.03.2014 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4.

Mehr

Agile Analytics Neue Anforderungen an die Systemarchitektur

Agile Analytics Neue Anforderungen an die Systemarchitektur www.immobilienscout24.de Agile Analytics Neue Anforderungen an die Systemarchitektur Kassel 20.03.2013 Thorsten Becker & Bianca Stolz ImmobilienScout24 Teil einer starken Gruppe Scout24 ist der führende

Mehr

Performance by Design Wie werden performante ETL-Prozesse erstellt?

Performance by Design Wie werden performante ETL-Prozesse erstellt? Performance by Design Wie werden performante ETL-Prozesse erstellt? Reinhard Mense ARETO Consulting Bergisch Gladbach Schlüsselworte: DWH, Data Warehouse, ETL-Prozesse, Performance, Laufzeiten, Partitionierung,

Mehr

Zeitlich abhängig von OWB?

Zeitlich abhängig von OWB? Zeitlich abhängig von OWB? 24. April 2007 Beat Flühmann Trivadis AG > IT Lösungsanbieter» Application Development, Application Performance Management, Business Communication, Business Intelligence, Managed

Mehr

Andrea Held. Motivation ILM: Definition und Strategien Lösungen für Oracle Datenbanken. Empfehlungen

Andrea Held. Motivation ILM: Definition und Strategien Lösungen für Oracle Datenbanken. Empfehlungen Andrea Held Motivation ILM: Definition und Strategien Lösungen für Oracle Datenbanken Partitionierung Komprimierung ILM Assistant Flashback Data Archive Empfehlungen 1 Datenwachstum Wachsende Kosten Schlechtere

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Stratosphere. Next-Generation Big Data Analytics Made in Germany

Stratosphere. Next-Generation Big Data Analytics Made in Germany Stratosphere Next-Generation Big Data Analytics Made in Germany Robert Metzger Stratosphere Core Developer Technische Universität Berlin Ronald Fromm Head of Big Data Science Telekom Innovation Laboratories

Mehr

MOBILE ENTERPRISE APPLICATION PLATFORM (MEAP)

MOBILE ENTERPRISE APPLICATION PLATFORM (MEAP) MOBILE ENTERPRISE APPLICATION PLATFORM (MEAP) Oliver Steinhauer Markus Urban.mobile PROFI Mobile Business Agenda MOBILE ENTERPRISE APPLICATION PLATFORM AGENDA 01 Mobile Enterprise Application Platform

Mehr

REAL-TIME DATA WAREHOUSING

REAL-TIME DATA WAREHOUSING REAL-TIME DATA WAREHOUSING Lisa Wenige Seminarvortrag Data Warehousing und Analytische Datenbanken Friedrich-Schiller-Universität Jena - 19.01.12 Lisa Wenige 19.01.2012 2 Agenda 1. Motivation 2. Begriffsbestimmung

Mehr

Oracle Big Data Technologien Ein Überblick

Oracle Big Data Technologien Ein Überblick Oracle Big Data Technologien Ein Überblick Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden Neue Beziehungen finden...

Mehr

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG HADOOP

Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG HADOOP HERZLICH WILLKOMMEN ZUR VERANSTALTUNG HADOOP AGENDA HADOOP 9:00 09:15 Das datengetriebene Unternehmen: Big Data Analytics mit SAS die digitale Transformation: Handlungsfelder für IT und Fachbereiche Big

Mehr

Oracle-Statistiken im Data Warehouse effizient nutzen

Oracle-Statistiken im Data Warehouse effizient nutzen Oracle-Statistiken im Data Warehouse effizient nutzen Reinhard Mense ARETO Consulting Köln Schlüsselworte: DWH, Data Warehouse, Statistiken, Optimizer, Performance, Laufzeiten Einleitung Für die performante

Mehr

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence IBM Netezza Roadshow 30. November 2011 Carsten Bange Gründer & Geschäftsführer BARC Die Krise hat die Anforderungen

Mehr

Self Service BI der Anwender im Fokus

Self Service BI der Anwender im Fokus Self Service BI der Anwender im Fokus Frankfurt, 25.03.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC 1 Kernanforderung Agilität = Geschwindigkeit sich anpassen zu können Quelle: Statistisches

Mehr

Living Lab Big Data Konzeption einer Experimentierplattform

Living Lab Big Data Konzeption einer Experimentierplattform Living Lab Big Data Konzeption einer Experimentierplattform Dr. Michael May Berlin, 10.12.2012 Fraunhofer-Institut für Intelligente Analyseund Informationssysteme IAIS www.iais.fraunhofer.de Agenda n Ziele

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

DIE DATEN IM ZENTRUM: SAS DATA MANAGEMENT

DIE DATEN IM ZENTRUM: SAS DATA MANAGEMENT DIE DATEN IM ZENTRUM: SAS DATA RAINER STERNECKER SOLUTIONS ARCHITECT SAS INSTITUTE SOFTWARE GMBH Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d. NEUE WEGE GEHEN SAS DATA GOVERNANCE & QUALITY

Mehr

So erstellen Sie wichtige Berichte mit Microsoft Technologie Tipps für PMO und IT

So erstellen Sie wichtige Berichte mit Microsoft Technologie Tipps für PMO und IT TPG Webinar-Serie 2016 zum PPM Paradise Thema 2.2 So erstellen Sie wichtige Berichte mit Microsoft Technologie Tipps für PMO und IT Mit Peter Huemayer Agenda Welche Berichte machen Sinn? Welche Daten haben

Mehr

Oracle Business Intelligence (OBIEE) 12c Ein erster Einblick in die neue Reporting-Engine von Oracle

Oracle Business Intelligence (OBIEE) 12c Ein erster Einblick in die neue Reporting-Engine von Oracle Oracle Business Intelligence (OBIEE) 12c Ein erster Einblick in die neue Reporting-Engine von Oracle David Michel Consultant Business Intelligence, Apps Associates GmbH Apps Associates Apps Associates

Mehr

Intelligence (BI): Von der. Nürnberg, 29. November 2011

Intelligence (BI): Von der. Nürnberg, 29. November 2011 Modelle für Business Intelligence (BI): Von der Anforderung zum Würfel Nürnberg, 29. November 2011 Warum Modelle für Business Intelligence (BI)? Warum Modelle für Business Intelligence (BI)? Bis zur Auswertung

Mehr

SAS Visual Analytics Schnelle Einblicke für sichere Ausblicke

SAS Visual Analytics Schnelle Einblicke für sichere Ausblicke SAS Visual Analytics Schnelle Einblicke für sichere Ausblicke SAS Visual Analytics In einer Welt wachsender Datenmengen sind Informationen schneller verfügbar und Auswertungen auf Big Data möglich Motivation

Mehr

Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland

Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen Frank Irnich SAP Deutschland SAP ist ein globales Unternehmen... unser Fokusgebiet... IT Security für... 1 globales Netzwerk > 70 Länder, >

Mehr

Review Freelancer-Workshop: Fit für Big Data. Mittwoch, 29.04.2015 in Hamburg

Review Freelancer-Workshop: Fit für Big Data. Mittwoch, 29.04.2015 in Hamburg Review Freelancer-Workshop: Fit für Big Data Mittwoch, 29.04.2015 in Hamburg Am Mittwoch, den 29.04.2015, hatten wir von productive-data in Zusammenarbeit mit unserem langjährigen Partner Informatica zu

Mehr

EXASOL AG Zahlen & Fakten

EXASOL AG Zahlen & Fakten Big Data Management mit In-Memory-Technologie EXASOL AG Zahlen & Fakten Name: EXASOL AG Gründung: 2000 Tochterges.: Management: Produkte: Firmensitz: Niederlassung: EXASOL Cloud Computing GmbH Steffen

Mehr

Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015

Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015 Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015 BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART

Mehr