Data Vault Reine Lehre vs. Real-World Requirements Dr.-Ing. Holger Friedrich
|
|
- Michael Weiß
- vor 5 Jahren
- Abrufe
Transkript
1 Data Vault Reine Lehre vs. Real-World Requirements Dr.-Ing. Holger Friedrich
2 Agenda Introduction Data Vault Diskussionsstoff Schlussfolgerungen 2
3 500+ Technsche Experten Helfen Kollegen Weltweit 3 Membership Tiers Oracle ACE Director Oracle ACE Oracle ACE Associate bit.ly/oracleaceprogram Connect: oracle-ace_ww@oracle.com Nominiert euch selbst oder Kollegen: acenomination.oracle.com
4 sumit AG Beratung, Projekte, Implementierung Experten für Data Warehousing, Business Intelligence/Analytics, und Big Data Fokussiert auf Oracle-Technologie BI Foundation specialised -Partner Data Warehousing specialised -Partner Unser Motto: Get Value From Data Besuchen sie: 4
5 Holger Friedrich Diplom Informatiker des Karlsruhe Institute of Technology (KIT) Promotion in Robotik und Machine Learning Mehr als 18 Jahre Expertise mit Oracle-Technologie Experte für Data Integration Data Warehousing, Analytics Technischer Direktor von sumit AG Oracle ACE for Data Warehousing/Business Intelligence 5
6 Agenda Introduction Data Vault Diskussionsstoff Schlussfolgerungen 6
7 Inmon - Enterprise Data Warehouse Selfless Model modelliert die Welt wie sie ist üblicherweise 3-NF Vorteile flexibel mächtig Nachteile schwer verständlich komplexe Abfragen viele Joins nur begrenzt automatisierbar Abhängigkeiten im Ladeprozess Schwerfällig, lange Entwicklungszeiten, Performanceprobleme 7
8 Kimball - Dimensionale Modellierung Selfish Model modelliere Aspekte zweckgerichtet üblicherweise Star - oder Snowflake Vorteile einfach zu verstehen performant Nachteile begrenzt aussagefähig change schwierig zu managen komplex zu erstellen nur begrenzt automatisierbar Nur für Analyseschicht verwendbar, keine Alternative für Foundation 8
9 Linstedt - Data Vault Selfless Model modelliert die Welt wie sie ist verteilt Semantik auf spezifische Komponenten Vorteile flexibel & mächtig automatisierbar/agil (theoretisch) insert-only Nachteile pur recht schwer verständlich viele Joins Ideal für schnelle Quellsystemanbindung & DWH Foundation 9
10 Data Vault - Hubs Header-Tabelle für jede relevante Entity Enthält Business Key(s) DWH Surrogate Key Enthält nicht Historie (fachliche) Nutzattribute zeitliche Gültigkeitsinformation etc. Fragen Surrogate-Key-Repräsentation? relevante Entity? Behandlung von DQ-Problemen? DV2.0 - Hash-Wert 10
11 Data Vault - Links Header-Tabelle für jeden Foreign-Key Enthält DWH Surrogate Key Hub Primary- & Src-Sys-Keys Enthält nicht Historie (fachliche) Nutzattribute zeitliche Gültigkeitsinformation etc. Fragen Surrogate-Key-Repräsentation? Behandlung von DQ-Problemen? Gültigkeit von (1:n)-Beziehungen? DV2.0 - Quellsystem Business-Key- Values DV2.0 - Hash-Keys 11
12 Data Vault - Satelliten Tabelle für Nutzinformation von Objekte & Links Enthält Business Key(s) & DWH Surrogate Key CDC-Hash-Value Nutzattribute Ladedatum Historie Enthält nicht Fremdschlüssel Valid-To-Information Fragen Surrogate-Key- & CDC-Wert- Repräsentation? Zeitliche Auswertungen? DV2.0 - Hash-Wert für Change Data DV2.0 - Hash-Key 12
13 Data Vault - Herausforderungen Verständnis Tabellenzahl Temporale Queries Abfragekomplexität Performance Infrastruktur Integraton mehrerer Quellsysteme Neue Objekttypen im sogenannten Business Vault 13
14 Business Vault Point-In-Time Satelliten Bridge Tabellen Vordefinierte Aggregationen oder KPIs Same-As & Hierarchical Links 14
15 Agenda Introduction Data Vault Diskussionsstoff Schlussfolgerungen 15
16 Diskussionsstoff Hash-Keys Referentielle Integrität Abfragefreundlichkeit Löschungen Zeitreihen Change Management Performance & Lizenzen 16
17 Hash-Keys - Beworbene Vorteile Unabhängig voneinander in mehreren Systemen generierbar Vollständige Parallelisierung des Loads Effizientes Change Data Capturing Einfache Automatisierung 17
18 Hash-Keys - Aber die Idee ist nicht neu und hatte sich Jahrzehnte nicht durchgesetzt Was ist jetzt anders? Big Data! 18
19 Hash-Keys - Handling Change in Schlüsseln Quellsysteme werden heute agil entwickelt Folge: viele Änderungen, auch an Schlüsseln Datentypwechsel Erweiterung Klassische Sequenzschlüssel Anpassung der CDC-Logik Anpassung der Lookup-Logik Hash-Keys Rehashing aller Hubs, Links und Satelliten in allen Systemen 19
20 Hash-Keys - Change in Nutzattributen Neue Attribute (auch nullable) in bestehenden Satelliten Folgen Erweiterung von Satelliten Datenänderungen beim seeden/releasen oder beim ersten Load Neue Links falls notwendig Klassische Sequenzschlüssel Anpassung der CDC-Logik Hash-Keys Rehashing aller CDC-Hashes im betroffenen Satelliten oder Massenupdate beim ersten Load post Release Alternativ ein neuer Satellit 20
21 Herausforderung Software Engineering: gleiche Hash-Berechnung Cross-Plattform Hash-Keys - Hash-Berechnung Kollisionswahrscheinlichkeit: sehr gering, aber grösser Null Grenzen von Technologie/Implementierung: berechnen auf vielen Attributen und grossen Objekten (LOBs) - ORA_HASH: deprecated, hohe Kollisionswahrscheinlichkeit - DBMS_OBFUSCATION_TOOLKIT: deprecated, PL/SQL - DBMS_CRYPTO.HASH: PL/SQL - STANDARD_HASH: SQL-Function, aber keine LOBs 21
22 Sinnvolle Partitionierung auf Hash-Werten schwierig In-Memory Performance schlechter mit Hash-Keys keine Vector-By-Transformation auf VC2(32) Hash-Keys (siehe Blog-Post Dani Schnider danischnider.wordpress.com/ 2017/10/25/oracle-database-inmemory-and-hash-keys/) Hash-Keys - Technische Gotchas in Oracle 22
23 Referentielle Integrität Technische Standardheader: Key(s), Load TS, Record Source Viele Quellsysteme/-daten verletzen referentielle Integrität Wie kann bzw. soll dieser Tatsache in Data Vault Rechnung getragen werden? Data Vault enthält keinen Standard zur Behandlung von Datenqualitätsproblemen bezüglich referentieller Integrität Alternativen Sicherstellung nach dem Raw Vault Load Handling während des Loads 23
24 Löschungen Technische Standardheader: Key(s), Load TS, Record Source Löschen und wieder anlegen in Quellen sind üblich Wie kann bzw. soll dieser Tatsache in Data Vault Rechnung getragen werden? Data Vault enthält keinen Standard zur Behandlung von Löschungen und Wiederanlage von Quelldaten Alternativen einfügen von Deleted'-Records zeitliches abschliessen von Datensätzen (Abkehr vom Insert-Only-Prinzip) 24
25 Zeitreihen Technische Standardheader: Key(s), Load TS, Record Source Keine Zeitintervalle im Raw Vault Keine Zeitintervalle im Business Vault Abfragen müssen immer zeitliche Gültigkeit berechnen Jeder Select erfordert je Tabelle analytische Funktionen Alternativen View Layer zeitliches abschliessen von Datensätzen beim Load (Abkehr vom Insert-Only-Prinzip) 25
26 Auch hier immer analytische Funktionen notwendig Dani Schnider Immer vollständiger Neuaufbau Performance-Albtraum Roelant Vos Alternative Wherescape Abgeschlossene Zeitreihen Watermark-Dokumentation Temporale Filterung CDC für Bridge Tabellen PITs & BTs - Performance 26
27 Korrekte Link-Repräsentation Fachliches Problem: Switch von 1:n-Beziehungen Beispiel: Mitarbeiter wechselt Abteilung Folge Bisheriger Link-Eintrag gelöscht Neuer Link-Eintrag erstellt Herausforderung Zwei Ziele mit einem Datensatz manipulieren zeitlichen Anschluss' sicherstellen Lösungsmöglichkeit komplexere ETL-Logik vollständige Zeitintervalle (Abkehr vom Insert-Only-Prinzip) 27
28 Satelliten-Proliferation Agile Quellsystementwicklung fordert DWH-Entwicklung Quellobjekte werden gesplittet, Attribute hinzugefügt etc. Wie ist beim DWH-Design zu reagieren? Alternativen Traditionell Bestehende(n) Satelliten & Ladelogik anpassen Eventuell Seeding-Skripte & Historienupdate Auswertungen anpassen Modern Neue Satelliten & Ladelogik erzeugen PIT-Satelliten & Ladelogik anpassen Auswertungen anpassen 28
29 Ladeperformance Data Vault (2.0) erreicht bislang unerreichte Parallelisierung Folgen kurze Ladezeiten des Raw Vaults hohe Leistungsanforderung Viele PIT-Satelliten und Bridge-Tabellen sind zu rechnen Folgen zusätzliche Ladezeiten für Business Vault hohe Leistungsanforderung Temporale Abfragen erfordern analytische Funktionen Folgen hohe Fähigkeitsanforderung an Analysten hohe Leistungsanforderung Lizenzbedarf nimmt nicht ab 29
30 Agenda Introduction Data Vault Diskussionsstoff Schlussfolgerungen 30
31 Schlussfolgerungen I Data-Vault-Standard ist fokussiert auf Ladeperformance (Insert-Only-Prinzip) Verteilte Datenhaltung Weniger beachtet wird Abfragefreundlichkeit/-performance Datenqualitätssicherung Situation beim Kunden Wenig verteilte Datenhaltung Hohe Abfragefreundlichkeit gebraucht Hohe Datenqualität verlangt Begrenzte Rechenpower vorhanden Grosser Datenanteil mit Löschungen, geringer Anteil Insert-Only 31
32 Schlussfolgerungen II Data Vault ist ein hervorragendes Modellierungsparadigma für Foundation Layer Business Vault erlaubt hochautomatisierte Aufbereitung von Business-Objekten Aber Data Vault is keine Silver Bullet Ohne Automatisierung bedeutet Data Vault Mehrarbeit für Integratoren und Analysten Spezialwissen über Modellierung und Technologie bleibt weiterhin absolut entscheidend Manche Innovation in DV2.0 ist jenseits von Big Data Anwendungen zweifelhaft Fazit: DV umsetzen, aber nicht sklavisch den Standard einhalten 32
Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015
Modellierung agiler Data Warehouses mit Data Vault Dani Schnider, Trivadis AG DOAG Konferenz 2015 BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART
MehrZWISCHEN ALBTRAUM UND OPTIMALER PERFORMANCE
ZWISCHEN ALBTRAUM UND OPTIMALER PERFORMANCE Indexierungsstrategie im Data Warehouse Dani Schnider, Trivadis AG DOAG Konferenz, Nürnberg BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR.
MehrWie modelliere ich mein Core Data Warehouse?
Wie modelliere ich mein Core Data Warehouse? Dani Schnider Trivadis AG Zürich/Glattbrugg, Schweiz Schlüsselworte: Data Warehouse, Datenmodellierung, Historisierung Einleitung Das Core dient im Data Warehouse
MehrModellierung agiler Data Warehouses mit Data Vault
Modellierung agiler Data Warehouses mit Data Vault Dani Schnider Trivadis AG Zürich/Glattbrugg, Schweiz Schlüsselworte: Data Warehouse, Data Vault, Datenmodellierung, Agile Projektentwicklung, Historisierung,
MehrBusiness Vault Beispiele Petr Beles - DDVUG 30. März
Business Vault Beispiele Petr Beles - DDVUG 30. März 2017 petr.beles@datavault-builder.com http://datavault-builder.com Raw Vault Quellsystem: DDVUG Grosse Boxen: Hubs, kleine Punkte Satelliten Zwei Tabellen
MehrODI 12c - Flexible Datenintegration in komplexen BI/DWH-Umgebungen Dr.-Ing. Holger Friedrich
ODI 12c - Flexible Datenintegration in komplexen BI/DWH-Umgebungen Dr.-Ing. Holger Friedrich Agenda Einführung Key differentiators von ODI12c Effizienz Flexibilität Wartbarkeit & Beweglichkeit Schlussfolgerungen
MehrDWH Automatisierung mit Data Vault 2.0
DWH Automatisierung mit Data Vault 2.0 Andre Dörr Trevisto AG Nürnberg Schlüsselworte Architektur, DWH, Data Vault Einleitung Wenn man die Entwicklung von ETL / ELT Prozessen für eine klassische DWH Architektur
MehrDataVault Ein Leben zwischen 3NF und Star. DOAG Konferenz Nürnberg 2013 Michael Klose November 2013
DataVault Ein Leben zwischen 3NF und Star DOAG Konferenz Nürnberg 2013 Michael Klose November 2013 CGI Group Inc. 2013 Agenda Definition und Positionierung Grundlagen der Data Vault Modellierung Modellierungsbeispiele
MehrExadata und In-Memory Datenbewirtschaftung und Analyse Extrem mit Exadata und InMemory (Erfahrungsbericht)
Exadata und In-Memory Datenbewirtschaftung und Analyse Extrem mit Exadata und InMemory (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team Inhalt Thematik (Einordnung
MehrINDEXIERUNGS- STRATEGIE IM DATA WAREHOUSE
INDEXIERUNGS- STRATEGIE IM DATA WAREHOUSE ZWISCHEN ALBTRAUM UND OPTIMALER PERFORMANCE DOAG Konferenz 2011 Dani Schnider Trivadis AG Nürnberg, BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG
MehrDataVault in der Praxis
überraschend mehr Möglichkeiten! DataVault in der Praxis Nur ein Werbeversprechen? Marcel Aretz OPITZ CONSULTING 2016 Agenda A B C D Vorgeschichte und Prioritäten Wie wäre es mit DataVault? Unser Leben
MehrPartitionierungsstrategien für Data Vault
ierungsstrategien für Data Vault Dani Schnider Trivadis AG Zürich/Glattbrugg, Schweiz Einleitung Während das Laden von Tabellen in Data Vault in der Regel nicht zeitkritisch ist, stellt uns das effiziente
MehrNützliche Oracle 12c Features für Data Warehousing DOAG BI, 8. Juni 2016 Dani Schnider, Trivadis AG
Nützliche Oracle 12c Features für Data Warehousing DOAG BI, 8. Juni 2016 Dani Schnider, Trivadis AG BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART
MehrData Vault. Modellierungsmethode für agile Data Warehouse Systeme. Dr. Bodo Hüsemann Informationsfabrik GmbH. DOAG BI, München, 17.04.
Data Vault Modellierungsmethode für agile Data Warehouse Systeme Dr. Bodo Hüsemann Informationsfabrik GmbH DOAG BI, München, 17.04.2013 Die Informationsfabrik Die Informationsfabrik macht erfolgreiche
MehrDevOps und Management mit Multi-Tenant App Containern Dr.-Ing. Holger Friedrich
DevOps und Management mit Multi-Tenant App Containern Dr.-Ing. Holger Friedrich Agenda Einführung Architektur Anwendung Use-Cases Schlussfolgerungen 2 500+ Technsche Experten Helfen Kollegen Weltweit 3
MehrData Warehouse schnell gemacht Performanceaspekte im Oracle DWH
Data Warehouse schnell gemacht Performanceaspekte im Oracle DWH Dani Schnider Principal Consultant Business Intelligence BI Trilogie, Zürich/Basel 25./26. November 2009 Basel Baden Bern Lausanne Zürich
MehrGrundlagen von SQL. Informatik 2, FS18. Dr. Hermann Lehner (Material von Dr. Markus Dahinden) Departement Informatik, ETH Zürich
Grundlagen von SQL Informatik 2, FS18 Dr. Hermann Lehner (Material von Dr. Markus Dahinden) Departement Informatik, ETH Zürich Markus Dahinden 13.05.18 1 Grundlagen von SQL (Structured Query Language)
Mehr5/14/18. Grundlagen von SQL. Grundlagen von SQL. Google, Facebook und Co. setzen auf SQL. Whatsapp
5/14/18 Grundlagen von SQL (Structured Query Language) Datenbanksprache Befehle Datenbanken und Tabellen erstellen/verändern Daten manipulieren (eingeben, ändern, löschen) Datenbank durchsuchen (Queries
MehrBIGDATA-INTEGRATION IN EINE BI-LANDSCHAFT PER DATA VAULT
BIGDATA-INTEGRATION IN EINE BI-LANDSCHAFT PER DATA VAULT GfK Data & Technology DOAG, 16.11.2016 Frank Stoll, Philipp Hildebrandt 1 Agenda 1 2 3 4 Wer oder was ist die GfK Die Herausforderung Data Vault
MehrHistorisierung auf Knopfdruck
Die generierte Zeitmaschine Historisierung auf Knopfdruck Dani Schnider Principal Consultant Trivadis AG DOAG-Konferenz, Nürnberg 17. November 2010 Basel Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg
Mehr1 Business-Intelligence-Architektur 1
D3kjd3Di38lk323nnm xi 1 Business-Intelligence-Architektur 1 1.1 Data Warehouse....................................... 1 1.2 OLAP und mehrdimensionale Datenbanken.................. 4 1.3 Architekturvarianten....................................
MehrRoadshow - What s new in SQL Server 2016
1 Roadshow - What s new in SQL Server 2016 Kursleitung: Dieter Rüetschi (ruetschi@ability-solutions.ch) 2 Inhalt Fachreferat Everything-Built-In Mission Critical Plattform Security Hochverfügbarkeit Advanced
MehrExalytics - Deep dive with OBIEE, Timesten and Essbase
Exalytics - Deep dive with OBIEE, Timesten and Essbase Renate Wendlik Senior DWH Consultant Matthias Fuchs DWH Architekt ISE Information Systems Engineering GmbH Agenda Einleitung Exalytics Konfiguration
MehrFehlertoleranz und Robustheit von ETL-Prozessen Wie gestalten wir Abläufe möglichst widerstandsfähig. Christian Borghardt I BI Consultant
Fehlertoleranz und Robustheit von ETL-Prozessen Wie gestalten wir Abläufe möglichst widerstandsfähig Christian Borghardt I BI Consultant Über uns areto consulting gmbh Echter Business Intelligence Spezialist
MehrDie perfekte Kombination im Agilen Data Warehouse Oracle Engineered Systems mit Data Vault
Die perfekte Kombination im Agilen Data Warehouse Oracle Engineered Systems mit Data Vault Herbert Rossgoderer Geschäftsführer Matthias Fuchs DWH Architekt ISE Information Systems Engineering GmbH ISE
MehrDas modulare DWH Modell
Das modulare DWH Modell Durchgängige Business Intelligence durch eine praktikable DWH Referenzarchitektur Arno Tigges, Seniorberater OPITZ CONSULTING München GmbH DOAG SIG DWH/BI, Köln, 29. Juni 2010 OPITZ
MehrModernisierung, Migration, Greenfield: DWH-Automatisierung mit dem ODI
Modernisierung, Migration, Greenfield: DWH-Automatisierung mit dem ODI Jürgen Günter Senior Berater BI & DWH Agenda MT AG - DWH Automatisierung mit dem ODI Einleitung Vorstellung ETL Framework Automatisierung
MehrOracle 10g Einführung
Kurs Oracle 10g Einführung Teil 5 Einführung Timo Meyer Administration von Oracle-Datenbanken Timo Meyer Sommersemester 2006 Seite 1 von 16 Seite 1 von 16 Agenda 1 Tabellen und Views erstellen 2 Indizes
MehrOracle DI Cloud Services Schlüssel moderner DI-Lösungen Dr.-Ing. Holger Friedrich
Oracle DI Cloud Services Schlüssel moderner DI-Lösungen Dr.-Ing. Holger Friedrich Agenda Introduction Datenintegraton im Wandel Oracles DI-Familie Vergleich Schlussfolgerungen 2 500+ Technsche Experten
Mehr25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling. Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU
BLUEFORTE GmbH Dirk Lerner 25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU 1 Elemente des Data Vault (Basic) HUB
MehrKlein anfangen und groß rauskommen mit Data Vault 2.0 Leif Hitzschke & Dajana Schleuß
Klein anfangen und groß rauskommen mit Data Vault 2.0 Leif Hitzschke & Dajana Schleuß Hamburg, den 16.09.2016 Der führende B2B-Marktplatz wlw.de wlw.at wlw.ch Agenda 1. wlw das Unternehmen 2. BI im Überblick
MehrViel aus wenig: Enterprise-DWH mit Basic ETL
Viel aus wenig: Enterprise-DWH mit Basic ETL Jörg Menker Leiter Competence-Center DWH-Architektur & Frontends Nürnberg, 28.10.2011 MT AG Agenda Warehouse Builder Feature Groups Enterprise-DWH mit Basic
MehrWie modelliere ich mein Core DWH?
Wie modelliere ich mein Core W? OAG Konferenz 2013, Nürnberg ani chnider, rivadis AG BAEL BERN BRUGG LAUANNE ZÜRIC ÜELORF FRANKFUR A.M. FREIBURG I.BR. AMBURG MÜNCEN UGAR WIEN 1 2013 rivadis OAG - Modellierung
MehrWir bauen uns ein Data Warehouse mit MySQL
Wir bauen uns ein Data Warehouse mit MySQL Oli Sennhauser FromDual GmbH Uster / Schweiz Schlüsselworte MySQL, DWH, Data Warehouse, ETL, BI, Business Intelligence, OLAP Einleitung MySQL Datenbanken verbreiten
MehrErfolg mit Oracle BI?
Erfolg mit Oracle BI? Typische Fehlerszenarien und deren Lösung Gerd Aiglstorfer G.A. itbs GmbH Das Thema 2 Oracle BI (OBIEE)? Das war eine Fehlentscheidung! Viel zu umständlich! Wenig Flexibilität & teure
MehrOracle9i Designer. Rainer Willems. Page 1. Leitender Systemberater Server Technology Competence Center Frankfurt Oracle Deutschland GmbH
Oracle9i Designer Rainer Willems Leitender Systemberater Server Technology Competence Center Frankfurt Oracle Deutschland GmbH Page 1 1 Agenda 9i Designer & 9i SCM in 9i DS Design Server Generierung &
MehrFür Querdenker Was ODI anders macht als OWB und umgekehrt
Für Querdenker Was ODI anders macht als OWB und umgekehrt Bianca Stolz, Negib Marhoul Systemberater ORACLE Deutschland B.V. & Co. KG DOAG Konferenz Nürnberg, 17.November 2011 Agenda
MehrIndexierungsstrategie im Data Warehouse Zwischen Albtraum und optimaler Performance
Indexierungsstrategie im Data Warehouse Zwischen Albtraum und optimaler Performance Dani Schnider Trivadis AG Zürich/Glattbrugg, Schweiz Schlüsselworte: Data Warehouse, Indexierung, Staging Area, Cleansing
MehrVom Single Point of Truth zur Single Version of the Facts. Data Warehousing zu Beginn des BigData-Zeitalters. inspire IT - Frankfurt 11. 12.05.
Vom Single Point of Truth zur Single Version of the Facts Data Warehousing zu Beginn des BigData-Zeitalters inspire IT - Frankfurt 11. 12.05.2015 Fahmi Ouled-Ali Kabel Deutschland Marian Strüby OPITZ CONSULTING
MehrTeil II: Architektur eines Data-Warehouse-Systems... 57
O:/Wiley/Reihe_Dummies/9783527714476_Gerken/3d/ftoc.3d from 08.08.2018 14:02:02 Auf einen Blick Einleitung... 19 Teil I: Was ist ein Data Warehouse?... 25 Kapitel 1: Ein Beispiel zur Einführung..... 27
MehrBESSER WERDEN DURCH ERSE
Christian Eberhardt BESSER WERDEN DURCH ERSETZUNG EINES ETL-TOOLS MIT PL/SQL Seite 1 Christian Eberhardt POSITION BI Consultant Spezialisierung DWH AUSBILDUNG Diplominformatiker EXPERTISE 6 Jahre Projekterfahrung
MehrData Warehouse in der Telekommunikation
Data Warehouse in der Telekommunikation Hans-Friedrich Pfeiffer Talkline GmbH & Co.KG Elmshorn, 11.06.2007 Übersicht Historie Struktureller Aufbau des Dara Warehouse Anforderungen an das Data Warehouse
MehrOracle In-Memory & Data Warehouse: Die perfekte Kombination?
Oracle In-Memory & Data Warehouse: Die perfekte Kombination? Dani Schnider Trivadis AG Zürich/Glattbrugg, Schweiz Einleitung Als Larry Ellison in einer Keynote im Juni 2014 die Oracle In-Memory Option
MehrTobias Braunschober DAS GENERISCHE DWH WENIGER CODE WENIGER KOSTEN
Tobias Braunschober DAS GENERISCHE DWH WENIGER CODE WENIGER KOSTEN Seite 1 Tobias Braunschober POSITION Senior Consultant Competence Center DWH AUSBILDUNG Diplom Mathematiker EXPERTISE Spezialisierung
MehrOptimale Performance durch Constraints im Data Warehouse
Optimale Performance durch Constraints im Data Warehouse DOAG Konferenz, 17. November 2016 Dani Schnider, Trivadis AG @dani_schnider BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG
MehrHarmonisiertes Reporting Single Point of Truth
Harmonisiertes Reporting Single Point of Truth Entwicklungen im Reporting Patrick Mürner, Manager 9. März 2017 Die Entwicklung der zukünftigen Reporting Landschaft wird von BearingPoint mit konkreten Lösungsansätzen
MehrBerechnung von Kennzahlen mit der SQL Model Clause
Berechnung von Kennzahlen mit der Thomas Mauch 12.07.2018 DOAG BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1 AGENDA 1. Einführung 2. Syntax 3. Performance
MehrPräsentation der Bachelorarbeit
Präsentation der Bachelorarbeit Einrichtung einer BI-Referenzumgebung mit Oracle 11gR1 Jörg Bellan Hochschule Ulm Fakultät Informatik Institut für Betriebliche Informationssysteme 15. Oktober 2009 Agenda
MehrOracle In-Memory & Data Warehouse: Die perfekte Kombination?
: Die perfekte Kombination? DOAG Konferenz, 16. November 2016 Dani Schnider, Trivadis AG @dani_schnider BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN
MehrEntwicklung und Deployment. Stefan Raabe DOAG Konferenz
Entwicklung und Deployment Stefan Raabe DOAG Konferenz 2017 22.11.2017 Agenda 1. Vorstellung 2. DWH Automatisierung 3. Möglichkeiten im ODI 4. Demo 5. Fazit 2 Vorstellung Stefan Raabe Selbstständiger Berater
MehrNoch mehr Flexibilität- DataVault mit virtuellen Datamarts
Noch mehr Flexibilität- Konferenz Data Analytics März 2018 Agenda 1 Data Vault 2 UDG - der PPI Generator 3 Virtuelle Datamarts 4 Das DWH der Zukunft von PPI 2 01 Data Vault 3 Kurzvorstellung Data Vault
MehrDWH Automation - Steigerung von Qualität, Effektivität und Transparenz in der DWH Implementierung und dem Betrieb. Referent: Raphael Henneke
DWH Automation - Steigerung von Qualität, Effektivität und Transparenz in der DWH Implementierung und dem Betrieb Referent: Raphael Henneke Agenda 10.00 10.30 Begrüßung & aktuelle Entwicklungen bei QUNIS
MehrDWH Best Practices das QUNIS Framework 80 Jahre Erfahrung bei der Modellierung & dem Betrieb von DWH. Referent: Ilona Tag
DWH Best Practices das QUNIS Framework 80 Jahre Erfahrung bei der Modellierung & dem Betrieb von DWH Referent: Ilona Tag Agenda 10.00 10.30 Begrüßung & aktuelle Entwicklungen bei QUNIS 10.30 11.00 11.00
MehrData Vault und Ladeperformance Markus Kollas CGI Deutschland Ltd. & Co. KG Sulzbach (Taunus)
Data Vault und Ladeperformance Markus Kollas CGI Deutschland Ltd. & Co. KG Sulzbach (Taunus) Schlüsselworte Data Vault, Beladen und Entladen, Data Warehouse, Core Warehouse, Data Marts, Sternschema, Hash-Keys
MehrTrends in der BI. Hannover, 20. März 2017 Patrick Keller, Senior Analyst und Prokurist
Trends in der BI Hannover, 20. März 2017 Patrick Keller, Senior Analyst und Prokurist BARC: Expertise für datengetriebene Unternehmen 2 Top Trends in BI und Analytics als Chance 3 Relevante Trends vs.
MehrDatawarehouse Architekturen. Einheitliche Unternehmenssicht
Datawarehouse Architekturen Einheitliche Unternehmenssicht Was ist Datawarehousing? Welches sind die Key Words? Was bedeuten sie? DATA PROFILING STAGING AREA OWB ETL OMB*PLUS SAS DI DATA WAREHOUSE DATA
MehrOracle Data Warehouse Integrator Builder Ein Selbstversuch
Oracle Data Warehouse Integrator Builder Ein Selbstversuch DOAG Konferenz 2013, Nürnberg Dani Schnider, Trivadis AG BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN
MehrQUNIS 360 was war, was wird? BI, Big Data, Cloud, Predictive & Advanced Analytics, Streaming. Referent: Steffen Vierkorn
QUNIS 360 was war, was wird? BI, Big Data, Cloud, Predictive & Advanced Analytics, Streaming Referent: Steffen Vierkorn Agenda 10.00 10.30 Begrüßung & aktuelle Entwicklungen bei QUNIS 10.30 11.00 11.00
MehrAufbau einer komplett automatischen Business Intelligence-Umgebung
Aufbau einer komplett automatischen Business Intelligence-Umgebung Toad BI Suite Udo Brede Senior Solutions Architect Databases udo.brede@software.dell.com Agenda Begriffserklärung BI Vorstellung Toad
MehrSQL-basierte SCD2-Versionierung hierarchischer Strukturen
SQL-basierte SCD2-Versionierung hierarchischer Strukturen Meik Truschkowski nobilia-werke J. Stickling GmbH & Co. KG Verl Projektleiter Business Intelligence und Data Warehousing 1 SQL-basierte SCD2-Versionierung
MehrLaden von Data Marts auch mal komplex DOAG BI, 9. Juni 2016 Dani Schnider, Trivadis AG
Laden von Data Marts auch mal komplex DOAG BI, 9. Juni 2016 Dani Schnider, Trivadis AG BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART VIENNA
MehrDatenbankbasierte Lösungen
Technologische Beiträge für verteilte GIS - Anforderungen an verteilte GIS und Lösungsansätze Datenbankbasierte Lösungen Johannes Kebeck Senior Systemberater ORACLE Deutschland GmbH Agenda TOP Thema 1
MehrDesigning Business Intelligence Solutions with Microsoft SQL Server MOC 20467
Designing Business Intelligence Solutions with Microsoft SQL Server MOC 20467 In diesem 5-tägigen Microsoft-Kurs lernen Sie die Implementierung einer Self-Service Business Intelligence (BI) und Big Data
MehrWelche BI-Architektur braucht Ihr Reporting?
Welche BI-Architektur braucht Ihr Reporting? Variante 1: Direkter Zugriff Keine redundanten Daten Schnelle Erkenntnisse Echte Daten für PoCs Echtzeit-Reporting ohne Zwischenstufen Belastung der operativen
Mehr19. DOAG-Konferenz Data Profiling: Erste Erfahrungen mit dem OWB 10g R2 Mannheim, Detlef Apel
19. DOAG-Konferenz Data Profiling: Erste Erfahrungen mit dem OWB 10g R2 Mannheim, 16.11.2006 Detlef Apel Agenda Agenda Platzierung Kundenlogo Unser Unser Unternehmen Datenqualität warum? Unser Projekt
MehrBrücken bauen im dimensionalen Modell
Brücken bauen im dimensionalen Modell DOAG Konferenz 2012 Dani Schnider Trivadis AG Nürnberg, BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1 Dani Schnider
MehrAgile BI in der Praxis Data Warehouse Automation
Agile BI in der Praxis Data Warehouse Automation DWH Automation darüber wird zurzeit viel gesprochen und geschrieben. Aber wie sieht die praktische Anwendung aus? In diesem Artikel führe ich Sie Schritt
MehrHaben Sie die Zeit im Griff? Designtipps zur Zeitdimension
Haben Sie die Zeit im Griff? Designtipps zur Zeitdimension Dani Schnider Trivadis AG Zürich/Glattbrugg, Schweiz Schlüsselworte: Data Warehouse, Data Mart, Star Schema, Dimensionale Modellierung, Zeitdimension
MehrModelle, deren Bestandteile und Weiteres SDDM organisiert alle Projektaspekte in einer klassischen Baumansicht, wie Abbildung 1 sie zeigt.
Automatisierte Modellierung? SQL Developer Data Modeler! Dr.-Ing. Holger Friedrich sumit AG Baden - Schweiz Schlüsselworte SQL Developer Data Modeler, Datenmodellierung Data Vault, Automatisierung Einleitung
MehrFEHLERTOLERANTE LADEPROZESSE IN ORACLE
FEHLERTOLERANTE LADEPROZESSE IN ORACLE GEGEN SCHLAFLOSE NÄCHTE DOAG BI Konferenz 2012 Dani Schnider Trivadis AG München, BASEL BERN LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN
MehrDWH-Modellierung mit Data Vault
DWH-Modellierung mit Data Vault in Kombination mit ODI 12c - Erfahrungen aus der Praxis Claus Jordan Senior Consultant BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG
MehrEU-DSGVO im DWH Praxisbericht aus der Versicherungsbranche
EU-DSGVO im DWH Praxisbericht aus der Versicherungsbranche Simon Frank Consultant Agenda 01 Ausgangssituation 02 Lösung: Pseudonymisierung 03 Der Weg zu einer erfolgreichen Umsetzung 04 Zusammenfassung
MehrData Warehousing. Sommersemester Ulf Leser Wissensmanagement in der Bioinformatik
Data Warehousing Sommersemester 2004 Ulf Leser Wissensmanagement in der Bioinformatik ... Der typische Walmart Kaufagent verwendet täglich mächtige Data Mining Werkzeuge, um die Daten der 300 Terabyte
MehrErfahrungen aus dem Betatest Oracle Database 11g
Erfahrungen aus dem Betatest Oracle Database 11g Torsten Schlautmann torsten.schlautmann@opitz-consulting.de OPITZ CONSULTING GmbH +49 2261 6001-0 Agenda Facts & Figures Test vor Ort spannende Features
MehrMicrosoft Azure Deutschland ist jetzt verfügbar -
Einordnung und Überblick Data Scientist Operationalisierung IT-Abteilung Anwendungsentwickler Der Data Scientist agil Tool seiner Wahl möglichst wenig Zeit Skalierung Code für die Operationalisierung Der
MehrKonzeptueller Entwurf
Konzeptueller Entwurf UML Klassendiagrame UML Assoziationen Entspricht Beziehungen Optional: Assoziationsnamen Leserichtung ( oder ), sonst bidirektional Rollennamen Kardinalitätsrestriktionen UML Kardinalitätsrestriktionen
MehrOXO³ technische Aspekte der Oracle EMEA internen BI Implementierung
OXO³ technische Aspekte der Oracle EMEA internen BI Implementierung Bojan Milijaš (bojan.milijas@oracle.com) Senior Business Analyst (OCP) ORACLE Deutschland GmbH Kennen Sie das Sprichwort
MehrOracle OLAP 11g: Performance für das Oracle Data Warehouse
Oracle OLAP 11g: Performance für das Oracle Data Warehouse Marc Bastien Oracle BI Presales Agenda Performanceprobleme in Oracle DWH: gibt s das überhaupt? Mögliche Gründe und Lösungen
MehrTextmasterformat bearbeiten
Michael Korp Technical Evangelist Microsoft Deutschland GmbH http://blogs.technet.com/mkorp Unterstützung für die alltäglichen IT Prozesse und den Service Desk Personen Prozesse Technologie Automatisieren
MehrHerzlich willkommen: #ITTage16 Der IT Hub IT Service Management in der digitalen Welt. Ihr Trainer: Markus Schweizer, Associate Partner CSC Schweiz
1 Herzlich willkommen: #ITTage16 Der IT Hub IT Service Management in der digitalen Welt Ihr Trainer: Markus Schweizer, Associate Partner CSC Schweiz Die Digitale Transformation der Welt Reale Welt Virtuelle
MehrDipl.-Hdl., Dipl.-Kfm. ACCESS 2007
Dipl.-Hdl., Dipl.-Kfm. Werner Geers Arbeiten mit ACCESS 2007 Datenbanken mit Datenmodellierung Tabellen, Abfragen, Formularen und Berichten Beziehungen Makros Datenaustausch SQL Structured Query Language
MehrNeues zur Oracle Lizenzierung (Michael Paege, OPITZ CONSULTING Hamburg, DOAG Competence Center Lizenzen)
Neues zur Oracle Lizenzierung (Michael Paege, OPITZ CONSULTING Hamburg, DOAG Competence Center Lizenzen) Neues zur Oracle Lizenzierung, DOAG Nordlichtertreffen, 16. Juni 2009 Seite 1 Geänderte Faktoren
MehrCharakteristika von Unternehmensanwendungen
Charakteristika von Unternehmensanwendungen Wozu werden Unternehmensanwendungen genutzt? Enterprise applications are about the display, manipulation, and storage of large amounts of often complex data
MehrVon der transaktionalen zur dimensionalen Modellierung Vortrag auf der DOAG, Nürnberg, Felix Krul I Senior BI Consultant
Von der transaktionalen zur dimensionalen Modellierung Vortrag auf der DOAG, Nürnberg, 17.11.2015 Felix Krul I Senior BI Consultant Über uns areto consulting gmbh Echter Business Intelligence Spezialist
MehrScrum für Business Intelligence Projekte erfolgreich nutzen. Es begrüßt Sie Thomas Löchte
Scrum für Business Intelligence Projekte erfolgreich nutzen Es begrüßt Sie Thomas Löchte Die Informationsfabrik Die Informationsfabrik macht erfolgreiche BI und DWH Projekte und hat zufriedene, referenzierbare
MehrKleine Helferlein. Jens Behring its-people. Copyright its-people
Jens Behring its-people Werbung Agenda Werbung Vorstellung Jens Behring its-people Vorstellung des Vortragsthemas Analytische Funktionen Reguläre Ausdrücke Count Listagg Rank Lead / Lag Werbung Agenda
MehrArbeiten mit ACCESS 2010
Dipl.-Hdl., Dipl.-Kfm. Werner Geers Arbeiten mit ACCESS 2010 Datenbanken mit Datenmodellierung Tabellen, Abfragen, Formularen und Berichten Beziehungen Makros Datenaustausch SQL Structured Query Language
MehrData Vault Ein Leben zwischen 3NF und Star. Michael Klose, CGI Deutschland Oracle DWH Community, 18.03.2014
Data Vault Ein Leben zwischen 3NF und Star Michael Klose, CGI Deutschland Oracle DWH Community, 18.03.2014 CGI Group Inc. 2013 Referent: Michael Klose Manager BI Architektur & Strategie, CGI Deutschland
MehrWiederholung VU Datenmodellierung
Wiederholung VU Datenmodellierung VU Datenbanksysteme Reinhard Pichler Arbeitsbereich Datenbanken und Artificial Intelligence Institut für Informationssysteme Technische Universität Wien Wintersemester
MehrWiederholung VU Datenmodellierung
Wiederholung VU Datenmodellierung VL Datenbanksysteme Reinhard Pichler Arbeitsbereich Datenbanken und Artificial Intelligence Institut für Informationssysteme Technische Universität Wien Wintersemester
MehrOracle BI&W Referenz Architektur Big Data und High Performance Analytics
DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen
MehrPerformanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)
Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team
MehrDWH-Modellierung mit Data Vault in Kombination mit ODI 12c - Erfahrungen aus der Praxis - Claus Jordan Trivadis GmbH Stuttgart
Schlüsselworte DWH-Modellierung mit Data Vault in Kombination mit ODI 12c - Erfahrungen aus der Praxis - Claus Jordan Trivadis GmbH Stuttgart Data Warehouse, DWH, Data Vault, ODI, Oracle Data Integrator
MehrDiagramme - Next Generation
Diagramme - Next Generation D3.js im Unternehmen nutzen Carsten Czarski Business Unit Database Oracle Deutschland B.V. & Co KG Data Driven Documents (www.d3js.org) 2 Was ist D3js? Daten-Visualisierung
MehrNeue Welten: Externe Daten mit APEX nutzen
Neue Welten: Externe Daten mit APEX nutzen Carsten Czarski Oracle Application Express Development-Team DOAG Regio München - 17. Mai 2018 Copyright 2017 Oracle and/or its affiliates. All rights reserved.
MehrDie IBM Netezza Architektur für fortgeschrittene Analysen
Michael Sebald IT Architect Netezza Die IBM Netezza Architektur für fortgeschrittene Analysen 2011 IBM Corporation Was ist das Problem aller Data Warehouse Lösungen? I / O Transaktionaler und analytischer
MehrDatenmodellierung im Zeitalter agiler Softwareentwicklung
Datenmodellierung im Zeitalter agiler Softwareentwicklung Sebastian Graf, PROMATIS software GmbH DOAG 2013, Nürnberg, 1 Agenda u Über den Referenten u Datenmodellierung Begriffsdefinition und Abgrenzung
MehrDr. Gernot Schreib, b.telligent GmbH & Co.KG DATENFLÜSSE IM DWH EINSATZ VON 3 RD -PARTY SOFTWARE
Dr. Gernot Schreib, b.telligent GmbH & Co.KG DATENFLÜSSE IM DWH EINSATZ VON 3 RD -PARTY SOFTWARE Agenda DATENFLUSS IN DWH-LANDSCHAFTEN, DWH-ARCHITEKTUR ETL VS. ELT IN DER DATENBEWIRTSCHAFTUNG FÜR DEN PRESENTATION
Mehr