Data Warehouses. Kapitel 2 Architektur. Sommersemester Melanie Herschel

Größe: px
Ab Seite anzeigen:

Download "Data Warehouses. Kapitel 2 Architektur. Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de"

Transkript

1 Data Warehouses Sommersemester 2011 Melanie Herschel Lehrstuhl für Datenbanksysteme, Universität Tübingen Kapitel 2 Architektur Bestandteile eines DW Konfigurationen ETL 2

2 Die Vogelperspektive Heterogene und autonome Datenquellen. Data Warehouse sammelt Daten der Quellen und speichert diese gebündelt in Basisrelationen. Data-Warehouse-System Data Mart 1 Teilsichten über DW Data Mart 2 Data Mart 3 Verschiedene Sichten () über die Relationen im Data Warehouse werden Anwendungen zur Verfügung gestellt. Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen 3 Detailansicht Data-Warehouse-System Data Mart 1 Teilsichten über DW Data Mart 2 Data Warehouse (DW) Basisrelationen Data Mart 3 Datenanalyse DB2 Oracle XML Datenquellen Datenbereitstellung Datenkonsolierung Basisdaten Transformation Datenbeschaffung & Transformation (staging area) Nach Wolfgang Lehner, Datenbanktechnologie für Data Warehouse Systeme, dpunkt.verlag,

3 Data-Warehouse-System Bestandteile eines Data-Warehouse-Systems Quellsysteme Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3 Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen Systeme und Dateinen, die als Datenlieferenaten dienen. Meist sehr heterogen (siehe Klassifikation auf folgender Folie) Zugriff durch das Data-Warehouse-System Push: Quelle erzeugt regelmäßig Extrakte Pull: Data-Warehouse stößt Zugriff an Jede Quelle muss indivuell behandelt werden. 5 Data-Warehouse-System Bestandteile eines Data-Warehouse-Systems Quellsysteme Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3 Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen Heterogenität Syntaktische Heterogenität Strukturelle Heterogenität Semantische Heterogenität Hardware Software Schnittstellen Datenmodell Schematisch Namenskonflikte Identität Datenkonflikte Bandbreite OS CPU Protokolle Hauptspeicher Sicherheit HTLM SQL XQuery... Relational OO... Attribut vs. Wert Relation vs. Wert Attributbenennung Normalisierung Schachtelung... Konzept Synonym Homonym Einheiten... Unterschiedliche Darstellung des gleichen Objekts Fehlende Daten Wiedersprüchliche Daten 6

4 Data-Warehouse-System Bestandteile eines Data-Warehouse-Systems Quellsysteme Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3 Data Warehouse (DW) Basisrelationen DB2 Oracle XML Datenquellen Quellsystem 1 Produkt p_ Name Preis Typ 1 Matrix 9.99 Blue Ray 2 Der Pate $12.45 DVD 3 Dirty Dancing 7.50 Veo Quellsystem 2 Produkt kennung Beschreibung dvd veo blueray P1 The Matrix nein nein ja P2 The Godfather ja nein nein P3 Moulin Rouge nein nein ja Verkauf p_ wagen_ anzahl datum /1/ /1/ /2/ /3/ Lagerbestand l p_kennung lagerbestand letzte_beschaffung 1 PDVD PDVD PDVD PDVD Gegeben die oben beschriebenen Quellsysteme 1 und 2, welche Arten der Heterogenität erkennen Sie? 7 Bestandteile eines Data-Warehouse-Systems Datenbeschaffung und Transformation Ziel: Integration der extrahierten Daten Relevante lokale Daten (Daten aus den Datenquellen) werden physisch in die Kontrollsphäre des Data Warehouse gebracht (load time). Säuberung und Anpassung der Daten (Transformation) Prüfung ausreichender Datenqualität Zusammenführung lokaler Daten zu einem globalen Gesamtbild Zwischenergebnisse werden nur temporär gespeichert. Der Bereich zur Datenbeschaffung und Transformation wird oft staging area genannt. 8

5 Bestandteile eines Data-Warehouse-Systems Datenbeschaffung und Transformation Transformation der Datenbestände aus den Quellsystemen 1 und 2 Schemaebene Produkt_Integriert Neues Feld Name = Beschreibung Name Preis Währung typ Preis aufgeteilt in Preis + Währung 1 The Matrix 9.99 EUR Blue Ray Typdarstellung aus Quelle 1 übernommen 2 The Godfather USD DVD Datenebene 3 Dirty Dancing 7.50 EUR Veo Werte für Feld generiert 4 Moulin Rouge NULL NULL Blue Ray Identität von Filmen überprüft Englische Namen übernommen Preis von Währungszeichen befreit Währung aus Preisangaben abgeleitet Verkauf typ aus Quelle 1 und 2 integriert wagen_ anzahl datum Schemaebene /1/2010 Quelle 1 einziger Datenlieferant für Verkauf --> Schema übernommen (bis auf ) /1/2010 Datenebene /3/2011 Werte für Feld anhand von Produkt. generiert Irrelevante Tupel (anzahl = 0) gefiltert Lagerbestand l lagerbestand letzte_beschaffung /4/ /3/ /1/ /2/ Schemaebene Quelle 2 einziger Datenlieferant für Lagerbestand --> Schema übernommen (bis auf ) Datenebene Werte für Feld anhand von Produkt. generiert Datumsformat angepasst Unzulässige Werte (lagerbestand < 0) korrigiert 9 Bestandteile eines Data-Warehouse-Systems Datenkonsolierung basis Realisiert eine organisationsweite, anwendungsunabhängige Speicherung aller relevanten. Gibt somit einen Überblick über Vorgänge und Zustände einer Organisation, die im Rahmen des Data-Warehouse-Konzepts abgespeichert werden. Ziel: Aktualisierung der konsolierten Datenbasis im Data Warehouse Hinzufügen der neu integrierten Daten zum Datenbestand das Data Warehouse (refresh time) Schema Schemaentwurf nach Regeln des relationalen Schemaentwurfs (Normalisierung, Vermeung von Redundanz) Oft Ergebnis der Schemaintegration der einzelnen Quellsysteme 10

6 Bestandteile eines Data-Warehouse-Systems Datenkonsolierung Schemaintegration Gegeben eine Menge von Quellen Qi mit jeweiligen Schemata Si, so finde ein Schema S = Si, wobei es sich bei um eine semantische Vereinigung handelt. Schemaintegration aufgrund von Heterogenität problematisch, insb. aufgrund der Semantik von Schemaelementen. Was speichert die Relation KVMU? Was speichert das Feld Produkt.ANS? Was speichert das Feld Name? (Filmtitel, Schauspielername, Untertitel,...) Was ist Preis? (Steuer, Währung, Rabatte,...?) Schemaintegration bisher nicht automatisierbar, sondern semi-automatisch und interaktiv. Aktives Forschungsfeld: entifizieren von Korrespondenzen zwischen Schemaattributen (schema matching) (z.b. Name = Beschreibung). 11 Bestandteile eines Data-Warehouse-Systems Datenkonsolierung Beispiel: Normalisiertes Schema Beispiel eines normalisierten Schemas einer konsolierten Datenbasis year year customer name cust_class discount customer_ productg_ discount line_item order_ product_ amount single_price productgroup name product productgroup_ month Month year_ day day month_ session cust_ day_ time order session_ supply_ total_amount order_status order_ supply_ status supply_station region_ region name Ulf Leser: DWH und DM, Sommersemester

7 Bestandteile eines Data-Warehouse-Systems Datenbereitstellung Probleme der konsolierten Datenbasis Viele Relationen, unübersichtliches Schema Viele Joins in (fast) allen Queries notwendig, Optimierung schwierig Joins lenken vom Analyseziel ab man möchte lieber mit Begriffen des Geschäftsprozesses umgehen Lösung: multimensionale Modellierung in dispositiver Datenbasis 13 Bestandteile eines Data-Warehouse-Systems Datenbereitstellung basis Die dispositive Datenbasis hält Daten in einer anwendungsorientierten und optimierten Form für geplante Auswertungsszenarien vor. Ziel der Datenbereitstellung: Aktualisierung der dispositiven Datenbasis, abgeleitet von der konsolierten Datenbasis. Schemaentwurf für Anwendung optimiert (Star/Snowflake-schema) Detailgrad der Daten ebenfalls der Anwendung angepasst. Möglich sind auch verschiedene Detailstufen (Aggregation), die explizite Redundanz erzeugen. 14

8 Bestandteile eines Data-Warehouse-Systems Datenbereitstellung Multimensionales Schema Beispiel eines normalisierten Schemas einer konsolierten Datenbasis customer name cust_class time day month year line_item Star order_ schema product_ amount single_price discount_rate product name product_group supply region Technische Informationen raus (Session) Nur abgeschlossene Bestellungen aufnehmen (Orderstatus) Zusammenfassen (discount_rate) Denormalisieren (überall) Konzentration auf Businessobjekte und -prozesse Ulf Leser: DWH und DM, Sommersemester Bestandteile eines Data-Warehouse-Systems Datenanalyse Bereich zur Datenanalyse umfasst alle Datenbasen und Systeme, die zur konkreten Interaktion mit dem Nutzer / Auswertungsanwendungen dienen. Spezialisierte Sichten über dispositive Datenbasis, sogenannte data marts, werden hier für bestimmte Anwendungen bereitgestellt. Sichten in klassischen relationalen Datenbanken: gespeicherte Anfragen, Anfrageausführung bei jeder Verwendung der Sicht. Da wiederholter Zugriff auf große dispositive Datenbasis zu teuer, verwenden Data Warehouses materialisierte Sichten, die Anfrageergebnis speichern. Interessante Probleme Aktualisierung der Sichten (view maintenance) Auswahl der Sichten, da eine Sicht für mehr als nur eine Analyseanfrage nutzbar (view selection) 16

9 Bestandteile eines Data-Warehouse-Systems Datenanalyse Beispiel möglicher Sichten customer_class_per_product customer_class product_name product_class count Class 1 The Matrix Blue Ray 5000 Class 2 The Matrix Blue Ray 2000 Class 1 Dirty Dancing Veo 1000 Class 2 Dirty Dancing Veo product_sales_per_region region product_name product_class income Europe The Matrix Blue Ray 50,000 North America The Matrix Blue Ray 100,000 Asia The Matrix Blue Ray 90,000 Europe The Godfather DVD 150, Fallen Ihnen Analyseanfragen ein, die Sie ebenfalls anhand dieser been Sichten beantworten können? 17 Bestandteile eines Data-Warehouse-Systems Metadata Repository Ziele Nachvollziehbarkeit der Prozesse Vermeung von Fehlinterpretationen Technische Beschreibung des Data Warehouse Anforderungen an -Verwaltung / Repository Vollständige Bereitstellung aller relevanten auf aktuellem Stand Flexible Zugriffsmöglichkeiten (DB-basiert) über mächtige Schnittstellen Versions- und Konfigurationsverwaltung Unterstützung für technische und fachliche Aufgaben und Nutzer aktive Nutzung für DW-Prozesse (Datentransformation, Analyse) [Prof. Rahm, Universität Leipzig, VL Data Warehouses] 18

10 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Implementierung Realisierungsformen Werkzeugspezifisch: fester Teil von Werkzeugen Allgemein einsetzbar: generisches und erweiterbares Repository-Schema (-Modell) Zahlreiche proprietäre -Modelle Standardisierungsbemühungen, z.b. das Common Warehouse Metamodel (CWM) der Object Management Group (OMG) Häufig Integration von bzw. Austausch zwischen dezentralen - Verwaltungssystemen notwendig. [Prof. Rahm, Universität Leipzig, VL Data Warehouses] 19 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Arten von Data-Warehouse-System (besprochene Komponenten) [Prof. Rahm, Universität Leipzig, VL Data Warehouses] 20

11 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Arten von Technische Informationen, die beim Aufbau und beim Betrieb des Data-Warehouse- Systems anfallen. Zur Laufzeit gesammelte Protokollinformationen, die Auskunft darüber geben, wann welche Transformation stattgefunden hat und mit welchem Zustand sie terminiert ist. Beispiele für technische Technische Daten für Zugriff (Protokoll, Nutzer, Passwort,...) Abbildungsvorschriften zur Durchführung von Schemaanpassungen (schema matching) Transformationsskript zur Straßenstandardisierung Prozessbeschreibung der gesamten Transformation 21 Bestandteile eines Data-Warehouse-Systems Metadata Repository - Arten von Geschäftsprozessorientierte Beschreibung, wie die Daten der operativen Quellsysteme und des Data- Warehouse-Systems aus der Perspektive des Geschäftsprozesses zu interpretieren sind. Spezifikation der Semantik erfolgt auf einer höheren Sprachebene, auf der Aussagen über die Daten gemacht werden können. Beispiel aus dem Bankenumfeld 22

12 Kapitel 2 Architektur Bestandteile eines DW Konfigurationen ETL 23 Konfigurationen Besprochene Architektur ist maximales Rahmenwerk. Das heisst, nicht jede Data Warehouse Lösung muss alle besprochenen Komponenten implementieren. Spezifische Konfiguration hängt stark vom Anwendungsszenario ab. Die physische Verteilung der Daten (gleicher Server vs. unterschiedliche Systeme) kann variieren. Konfigurationen variieren bezüglich persistenter (materialisierter) und flüchtiger (temporärer, virtueller) Datenhaltung. 24

13 Konfigurationen Beispiel Konfiguration 1 - Fehlen der Konsolierten Datenbasis Analysewerkzeuge Spreadsheets Data Mining Tools Query Tools Datenanalyse staging area Basisdaten Transformation Datenquellen DB2 Oracle XML 25 Konfigurationen Beispiel Konfiguration 2 - Überspringen der Transformation Analysewerkzeuge Datenanalyse staging area Spreadsheets Data Mining Tools Query Tools Basisdaten Datenbereitstellung Datenbereitstellung Transformation Operational Data Store (ODS) nach Inmon Themenorientierte, integrierte, nicht dauerhafte bzw. nicht persistente detaillierte Sammlung von Daten, um eine Organisationseinheit bei ihrem Bedarf nach aktuellen, betrieblichen, integrierten und gesamtheitlichen Informationen zu unterstützen. Operational Data Store Datenquellen DB2 Oracle XML 26

14 Konfigurationen Beispiel Konfiguration 3 - Monolithischer DW-Server DW-Server Basisdaten Transformation Datenquellen DB2 Oracle XML 27 Konfigurationen Beispiel Konfiguration 4 - Verteiltes System auf eigenen Rechnern (Laptop) Repository Server Data Warehouse Server Basisdaten Transformation Staging Area Server Datenquellen DB2 Oracle XML 28

15 Konfigurationen Beispiel Konfig. 5 - Materialisierte Integration & Virtuelle Views Spreadsheets Data Mining Tools Query Tools temporär / virtuell persistent / materialisiert Basisdaten Transformation DB2 Oracle XML 29 Konfigurationen Beispiel Konfiguration 6 - Virtuelle Integration temporär / virtuell persistent / materialisiert Data Mining Tools Spreadsheets Query Tools Basisdaten Transformation! Daten sind in Quellen gespeichert.! Informationsquellen sind (zu einem gewissen Grad) autonom.! Nur die zur Anfragebeantwortung notwendigen Daten werden übertragen.! Transformation und Integration nur zur Anfragezeit möglich.! Anfragen werden deklarativ an das globale Schema gestellt (hier entspricht es dem konsolierten Schema) und verteilt ausgeführt.! Keine historische Komponente! Zwei wesentliche Architekturen DB2 Oracle XML! 5-Schicht Architektur für föderierte Datenbanksysteme! Mediator-Wrapper Architektur 30

16 5-Schichten Architektur [SL90]! Anwendung: heterogene, verteilte, föderierte DBMS! Z.B. Katalog DBMS und Image DBMS, die gemeinsamen Zugriff erlauben.! Z.B. lokale Data Warehouses aus Teilbereichen eines Unternehmens! Semi-autonome Quellen:! Starke Autonomie, Externes Schema 1 Exportschema... Föderiertes Schema... Externes Schema N Exportschema Komponentenschema Komponentenschema! aber Wille zur Kooperation mit anderen! Föderation (federation) Lokales Schema... Lokales Schema! Verwendung von erleichtert Anfragebearbeitung 31 5-Schichten Architektur [SL90]! Lokale Schemas! Logisches Schema der Datenquellen! Komponentenschemas Externes Schema 1... Externes Schema N Föderiertes Schema! Kanonisches Datenmodell ( = Datenmodell des föderierten Schemas)! Übergang durch Mappings Exportschema... Exportschema Komponentenschema Komponentenschema! Überwindet Datenmodellheterogenität! Exportschemas Lokales Schema... Lokales Schema! Teilmenge des Komponentenschemas 32

17 5-Schichten Architektur [SL90]! Föderiertes Schema! Integriert aus den Exportschemas! Kennt Datenverteilung! Andere Namen:! Import Schema! Globales Schema! Enterprise Schema! Unified Schema! Mediator Schema! Externes Schema! Föderiertes Schema kann sehr groß sein " Vereinfachung im Exportschema! Schema Evolution leichter! Zusätzliche Integritätsbedingungen! Zugangskontrollen Externes Schema 1 Exportschema Lokales Schema... Externes Schema N Föderiertes Schema Exportschema Komponentenschema Komponentenschema Lokales Schema 33 Mediator-Wrapper Architektur! Anwendung Heterogene Quellen Stark autonome Quellen, die oft nichts von ihrer Integration wissen. Kein Umfangreiches Metadata- Repository vorhanden.! Mediator! Schema anwendungsorientiert entwickelt, nicht anhand von Schemaintegration.! Komponente zur Integration! Wrapper! Vermitteln zwischen Quelle und Mediator! Lösen Schnittstellen-, Datenmodell-, und schematische Heterogenität! Unterstützen Anfrageoptimierung Anwendung 1 Anwendung 2 Wrapper1 Mediator Wrapper2 Wrapper3 Quelle 1 Quelle 2 Quelle 3 34

18 Kapitel 2 Architektur Bestandteile eines DW Konfigurationen ETL 35 Überblick Data Warehouse Architektur Data-Warehouse-System Teilsichten über DW Data Data Data Mart 1 Mart 2 Mart 3... Basisrelationen DB2 Oracle Datenanalyse Data Warehouse (DW) XML Datenquellen Basisdaten Nach Wolfgang Lehner, Datenbanktechnologie für Data Warehouse Systeme, dpunkt.verlag, 2003 Datenbereitstellung Transformation Datenkonsolierung Datenbeschaffung & Transformation (staging area) 36

19 Datenbeschaffung und Transformation Erinnerung Ziel ist, lokale Daten (d.h., Daten aus den Quellsystemen) zu integrieren. Diese integrierten Daten werden physisch in die Kontrollsphäre des Data Warehouse gebracht. Drei wesentliche Schritte finden im Bereich der Datenbeschaffung und Transformation, der staging area, statt, und werden als Extract-Transform- Load (ETL) Prozess bezeichnet. Extract-Transform-Load (ETL) Prozess. Extract: Beschaffung der relevanten Daten aus den Quellsystemen Transform: Transformation der Quelldaten in das Schema und Format der Zieldatenbank (im allgemeinen Framework der konsolierten Datenbank). Load: Laden der Daten in die Zieldatenbank. 37 Der ETL Prozess Extract Strenge Performance-Anforderungen Analysewerkzeuge brauchen Daten rechtzeitig. Analysewerkzeuge brauchen möglichst aktuelle Daten. Operativer Betrieb der Quellsysteme soll nicht bzw. nur minimal eingeschränkt werden.! Variabler Datenumfang der Extraktion! Variable Kooperationsbereitschaft der Quellsysteme zur Datenübergabe Heterogene Datenquellen, insb. syntaktische Heterogenität bei der Extraktion relevant.! Variable Zugriffsmöglichkeiten auf Datenquellen 38

20 Der ETL Prozess Extract - Datenmäßiger Umfang der Extraktion Zwei wesentliche Varianten: Extraktion der Nettoänderungen Es werden nur die Teile der Datenbasis in das Data-Warehouse-System überführt, die sich seit dem vorangegangenen Extraktionsvorgang geändert haben. Veränderungen sind neu hinzugefügte Einträge (insert) und gelösche Einträge (delete). Änderungen existierender Datensätze (update) werden typischerweise als als insert+delete modelliert. Abzug des kompletten Quelldatenbestands (snapshot) Verwendung, wenn zu viele Änderungen der Quellen oder wenn Extraktion der Nettoänderungen aus systemtechnischen Gründen nicht möglich ist. Zielkonflikt: konsistenter Abzug der Quelldaten vs. Einschränkung des operativen Betriebs durch exklusiven Zugriff auf diese. " Spezielle snapshot Verfahren [AdLi80] zur Erstellung einer logischen Datenbankkopie. 39 Der ETL Prozess Extract - Kooperationsbereitschaft der Quellsysteme Kooperationsbereitschaft der Quellsysteme, absteigend sortiert: Replikationsquellen Extrem enge Kopplung von Quellsystem und Eingangsbereich des DW. Einsatz von Replikationstechniken, um synchron Änderungen an den Quellsystemen direkt an das DW zu propagieren. Aktive Quellen Änderungen werden von der Quelle selbständig an das DW propagiert. Verwendung von Datenbanktriggern Snapshot-Quellen Quelle liefert einen Snapshot, der einem konsistenten, aber nicht notwendigerweise aktuellen Datenbankzustand entspricht. Änderungen der Quelle (die im Snapshot reflektiert sind) können ohne Beeinträchtigung des operativen Systems extrahiert werden. 40

21 Der ETL Prozess Extract - Kooperationsbereitschaft der Quellsysteme (ctd) Exportbasierte Quellen Alternativ zu einem Snapshot kann eine physische Kopie der Datenbasis (database dump) exportiert werden. Erstellen der Exportdatei muss vom Quellsystem unterstützt werden. Protokollierende Quellen Auswertung des Änderungsprotokolls einer Quelldatenbank zur Feststellung der im DW zu reflektierenden Änderungen. Nicht explizit unterstützende Quellen Geschlossene Systeme, keine elegante Möglichkeit, Daten für eine weitere Anwendung bereitzustellen. Spezialsoftware (adapter) oder Programmierung indivualisierter Anwendungssoftware nötig. 41 Der ETL Prozess Extract - Zugriffsmöglichkeiten auf Datenquellen Zugriff auf Ebene des Anwendungsdialogs Bei abgeschlossenen Systemen, Anwendungsdialog einziges Zugriffsprotokoll. Extraktion der Daten durch Simulation eines entsprechenden Anwendungsdialogs. Zugriff auf Anwendungsebene Operative Systeme mit externen Schnittstellen. Extraktion der Daten über eine entsprechende Programmierschnittstelle. Zugriff auf Ebene des Datenbanksystems Direkter Zugriff auf das System zur persistenten Speicherung (z.b. RDBMS) vorhanden. Verwendung standardisierter bzw. systemspezifischer Protokolle als Programmierschnittstelle (z.b. ODBC bei C/C++, JDBC bei Java) 42

22 Der ETL Prozess Extract - Zugriffsmöglichkeiten auf Datenquellen (ctd) Zugriff auf Ebene der Protokollierungsinformation Kein Zugriff auf Anwendungs- oder Datenbankebene Zugriff auf Änderungsprotokolle Verwendung spezieller Extraktoren (log file sniffer), die aus Änderungsprotokollen die Änderungen am Quelldatenbestand liefern. Export und Import Kein Zugriff aus dem Zielsystem, also dem Data Warehouse, auf jegliche Informationen im Quellsystem. Quellsystem exportiert Daten in einem fest vorgeschriebenen Format. Zielsystem kann diese Daten importieren. 43 Der ETL Prozess Transform Erzeugung einer konsistenten und integrierten Datenbasis Einmaliger Schritt: Entwurf des Schemas der konsolierten Datenbasis "Techniken der Schemaintegration Schritt bei jedem erneuten Laden von Daten: Transformation der Quelldaten in das Zielschema (Schema der konsolierten Datenbasis). " Techniken der Datenintegration 44

23 Der ETL Prozess Transform - Schemaintegration Definition siehe Folie 11, Techniken nicht im Detail in dieser VL Anforderungen an das integrierte Schema Vollständigkeit Alle in den Quellschemata beschriebenen Gegenstände werden im Zielschema reflektiert. Korrektheit Semantik der Quelldaten geht durch Zielschema nicht verloren. Da die integrierten Daten (z.b. Preis) jedoch alle die gleiche Darstellung haben sollen (z.b. ohne MWSt), muss die ursprüngliche Semantik der Quellen nachvollziehbar sein. Minimalität Keine Redundanz der im globalen Schema dargestellten Gegenstände. Verständlichkeit Schema muss von jedermann verstanden und modifiziert werden können. 45 Der ETL Prozess Transform - Datenintegration Wichtigste Aufgabe: Datenqualität der integrierten Daten gewährleisten. Detaillierte Techniken werden in Kapitel 5 - Datenreinigung besprochen. 5 Phasen der Datenreinigung (diese und nächste Folie): Zerlegen der Daten in die Bestandteile (elementizing) Z.B. wird Attribut Adresse in Straße, Hausnummer, PLZ, Stadt aufgeteilt. Standardisierung der elementaren Angaben (standardizing) Z.B. Vereinheitlichung verschiedener Datumsformate, Straßennamen wie Stuttgarter Str. einheitlich in Stuttgarter Straße transformieren. Plausibilitätsprüfungen (verification) Z.B. Konflikt zwischen PLZ = und Stadt = Tübingen für eine beschriebene Adresse erkennen. 46

24 Der ETL Prozess Transform - Datenintegration (ctd) Abgleich mit bestehenden Daten (matching) Z.B. Prüfung der Existenz eines gleichen Produkts in der bisherigen integrierten Datenbasis. Falls vorhanden, muss die Darstellung erweitert bzw. aktualisiert werden. Gruppenbildung (householding) Prüfung ob neue Objekte mit bereits existierenden Objekten aus Sicht der Anwendung definierte Gruppen, z.b., Käuferklassen bilden oder vergrößern. Dies ist für Analysezwecke vorteilhaft. 47 Der ETL Prozess Load Ziel: Effizientes Hinzufügen der transformierten Daten in das Data Warehouse. Techniken SQL Satzbasiert Standardschnittstellen: Embedded SQL, JDBC,... Einzelne Operationen oder proprietäre Erweiterungen Array Insert Beachtung und Aktivierung aller Datenbankverfahren Trigger, Indexaktualisierung, Concurrency,... BULK Loader Funktionen: DB-spezifische Erweiterungen zum Laden großer Datenmengen Benutzung von Anwendungsschnittstellen: Bei manchen Produkten notwendig (SAP) [Prof. Ulf Leser, HU Berlin, Data Warehouse VL, SS 2007] 48

25 Der ETL Prozess Load - Bulk Uploads Für große Datenmengen einzige ausreichend performante Schnittstelle Kritischer Prozess LOAD füllt i.d.r. immer nur eine Tabelle LOAD setzt eine Sperre auf die gesamte Tabelle Während LOAD werden Integritätsconstraints, Trigger, Indexaktualisierung deaktiviert! Nach LOAD werden IC überprüft und Indexe aktualisiert! Trigger werden nicht ausgeführt Update oder Insert? (Upsert!) Performance von LOAD oft limitierender Faktor [Prof. Ulf Leser, HU Berlin, Data Warehouse VL, SS 2007] 49 Zusammenfassung Architektur / Bestandteile eines Data Warehouse Konfiguration hängt von Anwendung ab Implementierte Komponenten variieren Verteilte Systeme Materialisierte Integration Virtuelle Integration Extract-Transform-Load (ETL) Prozess Basisdaten Transformation Extract: Beschaffung der relevanten Daten aus Quellsystemen Transform: Transformation der Quelldaten in das Schema und Format der Zieldatenbank. Load: Laden der Daten in die Zieldatenbank. 50

Data Warehousing und Data Mining

Data Warehousing und Data Mining Data Warehousing und Data Mining Architektur und Komponenten von Data Warehouses Ulf Leser Wissensmanagement in der Bioinformatik Inhalt dieser Vorlesung Architektur Komponenten ETL Ulf Leser: Data Warehousing

Mehr

Datenintegration & Datenherkunft Architekturen

Datenintegration & Datenherkunft Architekturen Datenintegration & Datenherkunft Architekturen Wintersemester 2010/11 Melanie Herschel melanie.herschel@uni-tuebingen.de Lehrstuhl für Datenbanksysteme, Universität Tübingen 1 Kapitel 4 Architekturen Überblick

Mehr

Informationsintegration

Informationsintegration Informationsintegration Grundlegende Architekturen Ulf Leser Inhalt diese Vorlesung Klassifikation verteilter, autonomer, heterogener Systeme Weitere Klassifikationskriterien Schichtenaufbau integrierter

Mehr

Data Warehousing. Architektur Komponenten Prozesse. Ulf Leser Wissensmanagement in der Bioinformatik

Data Warehousing. Architektur Komponenten Prozesse. Ulf Leser Wissensmanagement in der Bioinformatik Data Warehousing Architektur Komponenten Prozesse Ulf Leser Wissensmanagement in der Bioinformatik Zusammenfassung letzte Vorlesung Aufbau eines Data Warehouse Redundante, transformierte Datenhaltung Asynchrone

Mehr

Kapitel 2 Terminologie und Definition

Kapitel 2 Terminologie und Definition Kapitel 2 Terminologie und Definition In zahlreichen Publikationen und Fachzeitschriften tauchen die Begriffe Data Warehouse, Data Warehousing, Data-Warehouse-System, Metadaten, Dimension, multidimensionale

Mehr

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik Data Warehousing Sommersemester 2005 Ulf Leser Wissensmanagement in der Bioinformatik ... Der typische Walmart Kaufagent verwendet täglich mächtige Data Mining Werkzeuge, um die Daten der 300 Terabyte

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

OLAP und Data Warehouses

OLAP und Data Warehouses OLP und Data Warehouses Überblick Monitoring & dministration Externe Quellen Operative Datenbanken Extraktion Transformation Laden Metadaten- Repository Data Warehouse OLP-Server nalyse Query/Reporting

Mehr

Datenbanktechnologie für Data-Warehouse-Systeme

Datenbanktechnologie für Data-Warehouse-Systeme Wolfgang Lehner Datenbanktechnologie für Data-Warehouse-Systeme Konzepte und Methoden dpunkt.verlag 1 1.1 1.2 1.3 1.4 1. 5 2 2.1 2.2 2.3 Einleitung 1 Betriebswirtschaftlicher Ursprung des Data Warehousing...

Mehr

Vergleich von Open-Source und kommerziellen Programmen zur Durchführung eines ETL-Prozesses

Vergleich von Open-Source und kommerziellen Programmen zur Durchführung eines ETL-Prozesses Vergleich von Open-Source und kommerziellen Programmen zur Durchführung eines ETL-Prozesses Exposé zur Diplomarbeit Humboldt-Universität zu Berlin Mathematisch-Naturwissenschaftliche Fakultät II Institut

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

Themenblock: Erstellung eines Cube

Themenblock: Erstellung eines Cube Themenblock: Erstellung eines Cube Praktikum: Data Warehousing und Data Mining Einführung relationale Datenbanken Problem Verwaltung großer Mengen von Daten Idee Speicherung der Daten in Form von Tabellen

Mehr

Einführungsveranstaltung: Data Warehouse

Einführungsveranstaltung: Data Warehouse Einführungsveranstaltung: 1 Anwendungsbeispiele Berichtswesen Analyse Planung Forecasting/Prognose Darstellung/Analyse von Zeitreihen Performancevergleiche (z.b. zwischen Organisationseinheiten) Monitoring

Mehr

Marketing Intelligence Vorstellung der Softwarekomponenten. Josef Kolbitsch Manuela Reinisch

Marketing Intelligence Vorstellung der Softwarekomponenten. Josef Kolbitsch Manuela Reinisch Marketing Intelligence Vorstellung der Softwarekomponenten Josef Kolbitsch Manuela Reinisch Übersicht Übersicht über die Systemlandschaft Übersicht über die Werkzeuge Workshop Systemlandschaft 1/8 Klassische

Mehr

Marketing Intelligence Architektur und Konzepte. Josef Kolbitsch Manuela Reinisch

Marketing Intelligence Architektur und Konzepte. Josef Kolbitsch Manuela Reinisch Marketing Intelligence Architektur und Konzepte Josef Kolbitsch Manuela Reinisch Übersicht Mehrstufiges BI-System Architektur eines Data Warehouses Architektur eines Reporting-Systems Benutzerrollen in

Mehr

Servicebasierte Datenintegration

Servicebasierte Datenintegration Präsentation zur Seminararbeit Christoph Aßmann Aßmann, Christoph Leipzig, 26.01.2010 Folie 1 Inhalt Begriffe Motivation Abgrenzung Grid Cloud OGSA: Architektur servicebasierter Grids Standardisierung

Mehr

Business Intelligence Data Warehouse. Jan Weinschenker

Business Intelligence Data Warehouse. Jan Weinschenker Business Intelligence Data Warehouse Jan Weinschenker 28.06.2005 Inhaltsverzeichnis Einleitung eines Data Warehouse Data Warehouse im Zusammenfassung Fragen 3 Einleitung Definition: Data Warehouse A data

Mehr

Datawarehouse Architekturen. Einheitliche Unternehmenssicht

Datawarehouse Architekturen. Einheitliche Unternehmenssicht Datawarehouse Architekturen Einheitliche Unternehmenssicht Was ist Datawarehousing? Welches sind die Key Words? Was bedeuten sie? DATA PROFILING STAGING AREA OWB ETL OMB*PLUS SAS DI DATA WAREHOUSE DATA

Mehr

Data Warehouse. für den Microsoft SQL SERVER 2000/2005

Data Warehouse. für den Microsoft SQL SERVER 2000/2005 Warehouse für den Microsoft SQL SERVER 2000/2005 Begriffe 1 DWH ( Warehouse) ist eine fachübergreifende Zusammenfassung von Datentabellen. Mart ist die Gesamtheit aller Datentabellen für einen fachlich

Mehr

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Ein Data-Warehouse bzw. Datenlager ist eine zentrale Datensammlung (meist eine Datenbank), deren Inhalt sich aus Daten unterschiedlicher

Mehr

Data Warehousing: Anwendungsbeispiel

Data Warehousing: Anwendungsbeispiel Frühjahrsemester 2012 cs242 Data Warehousing / cs243 Datenbanken Kapitel 1: Einführung H. Schuldt Data Warehousing: Anwendungsbeispiel Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale

Mehr

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 MIS Glossar by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 Aggregat Data Cube Data Marts Data Mining Data Warehouse (DWH) Daten Decision Support Systeme (DSS)

Mehr

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel Data Warehousing Kapitel 1: Data-Warehousing-Architektur Folien teilweise übernommen von Matthias Gimbel 2 Analyse von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser Umsatz im Vergleich

Mehr

Data Warehouse Grundlagen

Data Warehouse Grundlagen Seminarunterlage Version: 2.10 Version 2.10 vom 24. Juli 2015 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen

Mehr

1 Einleitung. Betriebswirtschaftlich administrative Systeme

1 Einleitung. Betriebswirtschaftlich administrative Systeme 1 1 Einleitung Data Warehousing hat sich in den letzten Jahren zu einem der zentralen Themen der Informationstechnologie entwickelt. Es wird als strategisches Werkzeug zur Bereitstellung von Informationen

Mehr

Data Warehouses. Kapitel 1 Einführung. Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de

Data Warehouses. Kapitel 1 Einführung. Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de Data Warehouses Sommersemester 2011 Melanie Herschel melanie.herschel@uni-tuebingen.de Lehrstuhl für Datenbanksysteme, Universität Tübingen Kapitel 1 Einführung Vorstellung Organisatorisches Data Warehouses

Mehr

ISTEC.MIP Messdaten-Integrations-Plattform

ISTEC.MIP Messdaten-Integrations-Plattform ISTEC.MIP Messdaten-Integrations-Plattform Dr.-Ing. Carsten Folie 1 ISTEC Firmenprofil unabhängiges Software- und Systemhaus seit 1982 erfolgreich am Markt ca. 60 festangestellte Mitarbeiter (Informatiker,

Mehr

DWH Szenarien. www.syntegris.de

DWH Szenarien. www.syntegris.de DWH Szenarien www.syntegris.de Übersicht Syntegris Unser Synhaus. Alles unter einem Dach! Übersicht Data-Warehouse und BI Projekte und Kompetenzen für skalierbare BI-Systeme. Vom Reporting auf operativen

Mehr

Data Warehouse Technologien

Data Warehouse Technologien mitp Professional Data Warehouse Technologien von Veit Köppen, Gunter Saake, Kai-Uwe Sattler 2. Auflage 2014 Data Warehouse Technologien Köppen / Saake / Sattler schnell und portofrei erhältlich bei beck-shop.de

Mehr

Integration Services - Dienstarchitektur

Integration Services - Dienstarchitektur Integration Services - Dienstarchitektur Integration Services - Dienstarchitektur Dieser Artikel solle dabei unterstützen, Integration Services in Microsoft SQL Server be sser zu verstehen und damit die

Mehr

Data Warehouses. Data Warehouse Architektur ... Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de

Data Warehouses. Data Warehouse Architektur ... Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de Data Warehouses Sommersemester 2011 Melanie Herschel melanie.herschel@uni-tuebingen.de Lehrstuhl für Datenbanksysteme, Universität Tübingen Data Warehouse Architektur Data-Warehouse-System Teilsichten

Mehr

Data-Warehouse-Architektur

Data-Warehouse-Architektur Data-Warehouse-Architektur Anforderungen Referenzarchitektur Phasen des Data Warehousing Komponenten VL Data Warehouses, WS 2000/2001 2-1 Anforderungen des Data Warehousing Unabhängigkeit zwischen Datenquellen

Mehr

EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis

EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis Business Apéro Exasol / SHS VIVEON, Zürich Zürich, 15. November 2011 Dr. Jörg Westermayer

Mehr

//einfach und mittelstandsgerecht. aruba //Enterprise Query. Datenextraktion und Datenbereitstellung Ad-hoc Analyse Taskplaner.

//einfach und mittelstandsgerecht. aruba //Enterprise Query. Datenextraktion und Datenbereitstellung Ad-hoc Analyse Taskplaner. Enterprise Query //einfach und mittelstandsgerecht aruba //Enterprise Query Datenextraktion und Datenbereitstellung Ad-hoc Analyse Taskplaner aruba //Enterprise Query einfach Daten abfragen und veröffentlichen

Mehr

Business Intelligence Praktikum 1

Business Intelligence Praktikum 1 Hochschule Darmstadt Business Intelligence SS 2014 Fachbereich Informatik Praktikumsversuch 1 Prof. Dr. C. Wentzel Dipl. Inf. Dipl. Math. Y. Orkunoglu Datum: 07.05.2014 Business Intelligence Praktikum

Mehr

O-BIEE Einführung mit Beispielen aus der Praxis

O-BIEE Einführung mit Beispielen aus der Praxis O-BIEE Einführung mit Beispielen aus der Praxis Stefan Hess Business Intelligence Trivadis GmbH, Stuttgart 2. Dezember 2008 Basel Baden Bern Lausanne Zürich Düsseldorf Frankfurt/M. Freiburg i. Br. Hamburg

Mehr

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH Einführung in OLAP und Business Analysis Gunther Popp dc soft GmbH Überblick Wozu Business Analysis mit OLAP? OLAP Grundlagen Endlich... Technischer Background Microsoft SQL 7 & OLAP Services Folie 2 -

Mehr

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery Kapitel II Datenbereitstellung 2004 AIFB / FZI 1 II. Datenbereitstellung 2004 AIFB / FZI 2 II. Datenbereitstellung Collect Initial Data identify relevant attributes identify inconsistencies between sources

Mehr

Kapitel 4: Data Warehouse Architektur

Kapitel 4: Data Warehouse Architektur Data Warehousing, Motivation Zugriff auf und Kombination von Daten aus mehreren unterschiedlichen Quellen, Kapitel 4: Data Warehousing und Mining 1 komplexe Datenanalyse über mehrere Quellen, multidimensionale

Mehr

Kapitel 3: Datenbanksysteme

Kapitel 3: Datenbanksysteme LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS Skript zur Vorlesung: Einführung in die Informatik: Systeme und Anwendungen Sommersemester 2015 Kapitel 3: Datenbanksysteme Vorlesung:

Mehr

Innovator 11 excellence. DDL importieren. Data-Definition-Language-Dateien in Datenbankschema importieren. HowTo. www.mid.de

Innovator 11 excellence. DDL importieren. Data-Definition-Language-Dateien in Datenbankschema importieren. HowTo. www.mid.de Innovator 11 excellence DDL importieren Data-Definition-Language-Dateien in Datenbankschema importieren HowTo www.mid.de Zweck In Innovator Data excellence können Sie mit dem DDL-Import Ihr physisches

Mehr

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de

Configuration Management mit Verbosy 17.04.2013 OSDC 2013. Eric Lippmann www.netways.de Configuration Management mit Verbosy 17.04.2013 OSDC 2013 Eric Lippmann Kurzvorstellung NETWAYS Expertise OPEN SOURCE SYSTEMS MANAGEMENT OPEN SOURCE DATA CENTER Monitoring & Reporting Configuration Management

Mehr

PostgreSQL im praktischen Einsatz. Stefan Schumacher

PostgreSQL im praktischen Einsatz. Stefan Schumacher PostgreSQL im praktischen Einsatz 2. Brandenburger Linux Infotag 2005 Stefan Schumacher , PGP Key http:/// $Header: /home/daten/cvs/postgresql/folien.tex,v 1.11 2005/04/25

Mehr

Data-Warehouse-Architektur

Data-Warehouse-Architektur Data-Warehouse-Architektur ƒ Anforderungen ƒ Referenzarchitektur ƒ Phasen des Data Warehousing ƒ Komponenten Vorlesung Data-Warehouse-Technologien 2-1 Anforderungen des Data Warehousing ƒ Unabhängigkeit

Mehr

Anforderungen des Data Warehousing. 2. Data-Warehouse-Architektur. Anforderungen des Data Warehousing. Referenzarchitektur. Data-Warehouse-Manager

Anforderungen des Data Warehousing. 2. Data-Warehouse-Architektur. Anforderungen des Data Warehousing. Referenzarchitektur. Data-Warehouse-Manager 2. Data-Warehouse-Architektur Anforderungen Referenzarchitektur Phasen des Data Warehousing Komponenten Anforderungen des Data Warehousing Unabhängigkeit zwischen Datenquellen und Analysesystemen (bzgl.

Mehr

Präsentation zum Thema XML Datenaustausch und Integration

Präsentation zum Thema XML Datenaustausch und Integration Sebastian Land Präsentation zum Thema XML Datenaustausch und Integration oder Warum eigentlich XML? Gliederung der Präsentation 1. Erläuterung des Themas 2. Anwendungsbeispiel 3. Situation 1: Homogene

Mehr

Data Warehousing und Data Mining

Data Warehousing und Data Mining Data Warehousing und Data Mining Wintersemester 2011 / 2012 Ulf Leser Wissensmanagement in der Bioinformatik Datenbanken und Datenanalyse... Der typische Wal-Mart Kaufagent verwendet täglich mächtige Data

Mehr

Logische Modellierung von Data Warehouses

Logische Modellierung von Data Warehouses Logische Modellierung von Data Warehouses Vertiefungsarbeit von Karin Schäuble Gliederung. Einführung. Abgrenzung und Grundlagen. Anforderungen. Logische Modellierung. Methoden.. Star Schema.. Galaxy-Schema..

Mehr

Data Warehousing Grundbegriffe und Problemstellung

Data Warehousing Grundbegriffe und Problemstellung Data Warehousing Grundbegriffe und Problemstellung Dr. Andrea Kennel, Trivadis AG, Glattbrugg, Schweiz Andrea.Kennel@trivadis.com Schlüsselworte Data Warehouse, Cube, Data Mart, Bitmap Index, Star Queries,

Mehr

Datenintegration. Kapitel 1: Einführung. Michael Hartung in Vertretung von Dr. Andreas Thor Wintersemester 2010/11

Datenintegration. Kapitel 1: Einführung. Michael Hartung in Vertretung von Dr. Andreas Thor Wintersemester 2010/11 Datenintegration Datenintegration Kapitel 1: Einführung Michael Hartung in Vertretung von Dr. Andreas Thor Wintersemester 2010/11 Universität Leipzig Institut für Informatik http://dbs.uni-leipzig.de 1

Mehr

REAL-TIME DATA WAREHOUSING

REAL-TIME DATA WAREHOUSING REAL-TIME DATA WAREHOUSING Lisa Wenige Seminarvortrag Data Warehousing und Analytische Datenbanken Friedrich-Schiller-Universität Jena - 19.01.12 Lisa Wenige 19.01.2012 2 Agenda 1. Motivation 2. Begriffsbestimmung

Mehr

Datenintegration & Datenherkunft Verteilung, Autonomie und Heterogenität

Datenintegration & Datenherkunft Verteilung, Autonomie und Heterogenität Datenintegration & Datenherkunft Verteilung, Autonomie und Heterogenität Wintersemester 2010/11 Melanie Herschel melanie.herschel@uni-tuebingen.de Lehrstuhl für Datenbanksysteme, Universität Tübingen 1

Mehr

Marketing Intelligence Übersicht über Business Intelligence. Josef Kolbitsch Manuela Reinisch

Marketing Intelligence Übersicht über Business Intelligence. Josef Kolbitsch Manuela Reinisch Marketing Intelligence Übersicht über Business Intelligence Josef Kolbitsch Manuela Reinisch Übersicht Beispiel: Pantara Holding Der Begriff Business Intelligence Übersicht über ein klassisches BI-System

Mehr

Data-Warehouse-Systeme

Data-Warehouse-Systeme Vorlesung im Wintersemester 2008/09 Data-Warehouse-Systeme Dr. Stefanie Rinderle-Ma Institut für Datenbanken und Informationssysteme Universität Ulm stefanie.rinderle@uni-ulm.de Übersicht 1) Einführung

Mehr

BI Konsolidierung: Anspruch & Wirklichkeit. Jacqueline Bloemen. in Kooperation mit

BI Konsolidierung: Anspruch & Wirklichkeit. Jacqueline Bloemen. in Kooperation mit BI Konsolidierung: Anspruch & Wirklichkeit Jacqueline Bloemen in Kooperation mit Agenda: Anspruch BI Konsolidierung Treiber Was sind die aktuellen Treiber für ein Konsolidierungsvorhaben? Kimball vs. Inmon

Mehr

VL Informationsintegration Verteilung, Autonomie und Heterogenität. 25.10.2004 Felix Naumann. Aufbau eines Data Warehouse

VL Informationsintegration Verteilung, Autonomie und Heterogenität. 25.10.2004 Felix Naumann. Aufbau eines Data Warehouse VL Informationsintegration Verteilung, Autonomie und Heterogenität 25.10.2004 Felix Naumann Wiederholung: Data Warehouse Aufbau eines Data Warehouse Quelle: Ulf Leser, VL Data Warehouses 25.10.2004 Felix

Mehr

Business Intelligence Praktikum 1

Business Intelligence Praktikum 1 Hochschule Darmstadt Business Intelligence WS 2013-14 Fachbereich Informatik Praktikumsversuch 1 Prof. Dr. C. Wentzel Dipl. Inf. Dipl. Math. Y. Orkunoglu Datum: 14.10.2013 Business Intelligence Praktikum

Mehr

Integration Services Übersicht

Integration Services Übersicht Integration Services Übersicht Integration Services Übersicht Integration Services stellt umfangreiche integrierte Tasks, Container, Transformationen und Datenadapter für die En t- wicklung von Geschäftsanwendungen

Mehr

Nach Data Warehousing kommt Business Intelligence

Nach Data Warehousing kommt Business Intelligence Nach Data Warehousing kommt Business Intelligence Andrea Kennel Trivadis AG Glattbrugg, Schweiz Schlüsselworte: Business Intelligence, Data Warehouse Zusammenfassung Data Warehouse bedeutet, dass operative

Mehr

BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004

BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004 BIW - Überblick Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004 Annegret Warnecke Senior Sales Consultant Oracle Deutschland GmbH Berlin Agenda Überblick

Mehr

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards

Mehr

Welche Daten gehören ins Data Warehouse?

Welche Daten gehören ins Data Warehouse? Welche Daten gehören ins Warehouse? Dani Schnider Principal Consultant 9. Januar 2012 In vielen DWH-Projekten stellt sich die Frage, welche Daten im Warehouse gespeichert werden sollen und wie dieser Datenumfang

Mehr

DW2004. XML-Datenimport in das SAP Business Information Warehouse bei Bayer Material Science. 3. November 2004. Dr. Michael Hahne, cundus AG

DW2004. XML-Datenimport in das SAP Business Information Warehouse bei Bayer Material Science. 3. November 2004. Dr. Michael Hahne, cundus AG DW2004 XML-Datenimport in das SAP Business Information Warehouse bei Bayer Material Science Dr. Michael Hahne, cundus AG 3. November 2004 cundus AG 2004 Gliederung Motivation SAP Business Information Warehouse

Mehr

Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH. Software mit Format.

Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH. Software mit Format. Fördercontrolling im öffentlichen Bereich Aspekte beim Aufbau eines DWH Gerd Schandert, Neuss den 18.03.2014 Agenda 1. Vorstellung Auftraggeber 2. Förderung allgemein 3. Schichten im Data Warehouse 4.

Mehr

Fachbereich Informatik Praktikum 1

Fachbereich Informatik Praktikum 1 Hochschule Darmstadt DATA WAREHOUSE SS2015 Fachbereich Informatik Praktikum 1 Prof. Dr. S. Karczewski Dipl. Inf. Dipl. Math. Y. Orkunoglu Datum: 14.April.2015 1. Kurzbeschreibung In diesem Praktikum geht

Mehr

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen (Folien von A. Kemper zum Buch 'Datenbanksysteme') Online Transaction Processing Betriebswirtschaftliche Standard- Software (SAP

Mehr

1Ralph Schock RM NEO REPORTING

1Ralph Schock RM NEO REPORTING 1Ralph Schock RM NEO REPORTING Bereit für den Erfolg Business Intelligence Lösungen Bessere Entscheidungen Wir wollen alle Mitarbeiter in die Lage versetzen, bessere Entscheidungen schneller zu treffen

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Data Preprocessing 1. Thema: Bussiness Intelligence Teil 1: OLAP & Data Warehousing. von Christian Merker

Data Preprocessing 1. Thema: Bussiness Intelligence Teil 1: OLAP & Data Warehousing. von Christian Merker 1 Data Preprocessing 1 Thema: Bussiness Intelligence Teil 1: OLAP & Data Warehousing von Christian Merker 2 Gliederung Motivation Monitore Datenextraktion Schema- und Datenintegration Datenbereinigung

Mehr

Überblick. Informationsintegration Materialisierte vs. Virtuelle Integration. 1.11.2005 Felix Naumann. Ankündigungen

Überblick. Informationsintegration Materialisierte vs. Virtuelle Integration. 1.11.2005 Felix Naumann. Ankündigungen Informationsintegration Materialisierte vs. Virtuelle Integration 1.11.2005 Felix Naumann Ankündigungen Überblick 2 Szenarien der Informationsintegration Data Warehouse Föderierte Datenbanken Einführung

Mehr

ETL in den Zeiten von Big Data

ETL in den Zeiten von Big Data ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse

Mehr

Data Flow One Engine V 3.1

Data Flow One Engine V 3.1 Data Flow One Engine V 3.1 Data Flow One Engine V3.1 Für eine gute Performance Data Flow One ist eine Standardsoftware im EAI-Bereich, welche es dem Benutzer ermöglicht, auf einfache, graphisch unterstützte

Mehr

25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling. Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU

25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling. Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU BLUEFORTE GmbH Dirk Lerner 25.06.2014 TDWI Konferenz DWH Architektur Agilität durch Data Vault Modeling Twitter: #TDWI #DataVault @DV_Modeling @BLUEFORTE @TDWI_EU 1 Elemente des Data Vault (Basic) HUB

Mehr

Werkzeuge für Datenbank Handwerker: IBM Data Studio und IBM Optim QWT

Werkzeuge für Datenbank Handwerker: IBM Data Studio und IBM Optim QWT Werkzeuge für Datenbank Handwerker: IBM Data Studio und IBM Optim QWT Neue Technologien effizient nutzen Ehningen, 3. Juli 2014 Rodney Krick rk@aformatik.de aformatik Training & Consulting GmbH & Co. KG

Mehr

Relationale Datenbanken Kursziele

Relationale Datenbanken Kursziele Relationale Datenbanken Kursziele DB Grundlagen Daten-Modellierung Relationales Modell und DB => Praxis: Mit SQL als Anfragesprache Mit MySQL als DB RDB 1-1 Kursinhalt (Tage) 1. DB Einleitung / Entity-Relationship

Mehr

Verschiedene Arten des Datenbankeinsatzes

Verschiedene Arten des Datenbankeinsatzes 1 Beispiele kommerzieller DBMS: Kapitelinhalt Was charakterisiert und unterscheidet verschiedene Einsatzbereiche für. Welche prinzipiell unterschiedlichen Anforderungen ergeben sich für das DBMS bei Ein-

Mehr

DB2 SQL, der Systemkatalog & Aktive Datenbanken

DB2 SQL, der Systemkatalog & Aktive Datenbanken DB2 SQL, der Systemkatalog & Aktive Datenbanken Lehr- und Forschungseinheit Datenbanken und Informationssysteme 1 Ziele Auf DB2 Datenbanken zugreifen DB2 Datenbanken benutzen Abfragen ausführen Den Systemkatalog

Mehr

Lars Priebe Senior Systemberater. ORACLE Deutschland GmbH

Lars Priebe Senior Systemberater. ORACLE Deutschland GmbH Lars Priebe Senior Systemberater ORACLE Deutschland GmbH Data Mining als Anwendung des Data Warehouse Konzepte und Beispiele Agenda Data Warehouse Konzept und Data Mining Data Mining Prozesse Anwendungs-Beispiele

Mehr

Star-Schema-Modellierung mit ERwin - eine kritische Reflexion der Leistungspotentiale und Anwendungsmöglichkeiten

Star-Schema-Modellierung mit ERwin - eine kritische Reflexion der Leistungspotentiale und Anwendungsmöglichkeiten Star-Schema-Modellierung mit ERwin - eine kritische Reflexion der Leistungspotentiale und Anwendungsmöglichkeiten Michael Hahne T&I GmbH Workshop MSS-2000 Bochum, 24. März 2000 Folie 1 Worum es geht...

Mehr

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben Transbase Hypercube ist eine Transbase -Option, die die innovative Hypercube-Technologie für komplexe analytische Anwendungen (OLAP)

Mehr

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Datei: Asklepius DA Flyer_Leistung_2 Seite: 1 von:5 1 Umfassende Datenanalyse Mit Asklepius-DA

Mehr

Daten-Ex- und Import mit Oracle und PostgreSQL

Daten-Ex- und Import mit Oracle und PostgreSQL Daten-Ex- und Import mit Oracle und PostgreSQL Holger Jakobs bibjah@bg.bib.de 2004-09-07 Inhaltsverzeichnis 1 Grund für Daten-Im- und -Exporte 1 2 Werkzeuge 1 2.1 Export mit pg_dump von PostgreSQL.....................

Mehr

Data-Vault-Automation aus dem Datenmodellierungstool. 1. Tagung der DDVUG am 24.Juni2014

Data-Vault-Automation aus dem Datenmodellierungstool. 1. Tagung der DDVUG am 24.Juni2014 Data-Vault-Automation aus dem Datenmodellierungstool 1. Tagung der DDVUG am 24.Juni2014 A G E N D A 1. MID & Innovator 2. Modell & Methode 3. Architektur & Automatisierung 4. Nutzen & Veränderung MID GmbH

Mehr

Performance Tools. für alle Editionen

Performance Tools. für alle Editionen Performance Tools. für alle Editionen Andreas Cejna Kodachrome Cloud Control Bunt Umfangreich Mächtig Aber zu welchem Preis? Enterprise Edition in der DB Diagnostic Pack (Tuning Pack) Dark sideofthemoon

Mehr

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P Index- und Zugriffsstrukturen für Data Warehousing Holger Brämer, 05IND-P Index- und Zugriffstrukturen für Data Warehousing Materialisierte Sichten Bitmap-Indexe Verbundindexe Materialisierte Sichten gehören

Mehr

Zukunftsträchtige Potentiale: Predictive Analysis mit SAP HANA & SAP BO

Zukunftsträchtige Potentiale: Predictive Analysis mit SAP HANA & SAP BO innovation@work Zukunftsträchtige Potentiale: Predictive Analysis mit SAP HANA & SAP BO thinkbetter AG Florian Moosmann 8. Mai 2013 1 Agenda Prädiktive Analyse Begriffsdefinition Herausforderungen Schwerpunktbereiche

Mehr

Architektur Frühlingssemester 2012 Dr. Andreas Geppert Platform Architecture Technology Infrastructure Services Credit Suisse geppert@acm.

Architektur Frühlingssemester 2012 Dr. Andreas Geppert Platform Architecture Technology Infrastructure Services Credit Suisse geppert@acm. Data Warehousing Architektur Frühlingssemester 2012 Dr. Andreas Geppert Platform Architecture Technology Infrastructure Services Credit Suisse geppert@acm.org Frühlingssemester 2012 Slide 1 Gliederung

Mehr

Einführung in die Informatik II

Einführung in die Informatik II Einführung in die Informatik II Die Structured Query Language SQL Prof. Dr. Nikolaus Wulff SQL Das E/R-Modell lässt sich eins zu eins auf ein Tabellenschema abbilden. Benötigt wird eine Syntax, um Tabellen

Mehr

Informationsintegration

Informationsintegration Informationsintegration Anwendungsszenarien Ulf Leser Inhalt dieser Vorlesung Zwei Anwendungsszenarien Data Warehouse Föderierte Datenbanken Abgrenzung Daten versus Schema Ulf Leser: Informationsintegration

Mehr

Datenintegration mit Informatica PowerCenter

Datenintegration mit Informatica PowerCenter Datenintegration mit Informatica PowerCenter Mein Weg vom Studenten zum Consultant Christoph Arnold 03.07.2013 1 Agenda Von der THM zu Infomotion Datenschieberei oder doch mehr? Die weite Welt von Informatica

Mehr

1 Einführung 1 1.1 SAP Business Information Warehouse... 3. 1.1.1 BW Version 3.0...5. Architekturplanung... 9

1 Einführung 1 1.1 SAP Business Information Warehouse... 3. 1.1.1 BW Version 3.0...5. Architekturplanung... 9 vii 1 Einführung 1 1.1 SAP Business Information Warehouse... 3 1.1.1 BW Version 3.0...5 Architekturplanung.................................... 9 2 BW-Basissystem 11 2.1 Client/Server-Architektur... 12

Mehr

Lehrgebiet Informationssysteme

Lehrgebiet Informationssysteme Lehrgebiet AG Datenbanken und (Prof. Michel, Prof. Härder) AG Heterogene (Prof. Deßloch) http://wwwlgis.informatik.uni-kl.de/ Was sind? Computergestützte Programmsysteme, die Informationen erfassen, dauerhaft

Mehr

5 Schemadefinition in objektrelationalen Datenbanksystemen

5 Schemadefinition in objektrelationalen Datenbanksystemen 75 5 Schemadefinition in objektrelationalen Datenbanksystemen In diesem Kapitel wird die Definition objektrelationaler Schemata am Beispiel von DB2 konkretisiert. Zu diesem Zweck wird zunächst das DBMS

Mehr

Software-Engineering und Datenbanken

Software-Engineering und Datenbanken Software-Engineering und Datenbanken Prof. Dr. Bernhard Schiefer bernhard.schiefer@fh-kl.de http://www.fh-kl.de/~schiefer Prof. Dr. Bernhard Schiefer 1-1 Wesentliche Inhalte Begriff DBS Datenbankmodelle

Mehr

Einleitung. Literatur. Pierre Fierz. Architektur von Datenbanksystemen. Physische Datenunabhängigkeit. Der Datenbank Administrator (DBA) 1.

Einleitung. Literatur. Pierre Fierz. Architektur von Datenbanksystemen. Physische Datenunabhängigkeit. Der Datenbank Administrator (DBA) 1. Inhalt der Vorlesung Literatur 1 Datenmodellierung (Entity-Relationship Modell) 2 Das relationale Modell 3 Relationenalgebra 4 Datenbanksprache (SQL) 5 Normalisierung 6 Vom ERM zum Datenbankschema 7 Routinen

Mehr

8.4 Überblick und Vergleich weiterer ERP-Systeme. G Oracle Applications 11 G PeopleSoft 7 G J.D. Edwards One World G BaanERP

8.4 Überblick und Vergleich weiterer ERP-Systeme. G Oracle Applications 11 G PeopleSoft 7 G J.D. Edwards One World G BaanERP 8.4 Überblick und Vergleich weiterer ERP-Systeme G Oracle Applications 11 G PeopleSoft 7 G J.D. Edwards One World G BaanERP Kapitel 8: ERP-Einführung 32 Architektur von Oracle Applications 11 G Logische

Mehr

Eine weitere Möglichkeit "die grosse weite Welt" zu erschliessen sind ODBC/JDBC bzw. ESS Verbindungen.

Eine weitere Möglichkeit die grosse weite Welt zu erschliessen sind ODBC/JDBC bzw. ESS Verbindungen. Database Designs Alexis Gehrt / alexis@database-designs.ch - Erster Kontakt mit FileMaker ca. 1991 ( Version 2, 2.1) - Jan 2000 - Database Designs - Seit 2007 bei einem Kunden (Linden-Grafik AG) angestellt

Mehr

Best Practice: Dezentraler Datenanlieferungsprozess im Enterprise Data Warehouse

Best Practice: Dezentraler Datenanlieferungsprozess im Enterprise Data Warehouse Best Practice: Dezentraler Datenanlieferungsprozess im Enterprise Data Warehouse 07. Juli 2011 DSAG AG Enterprise-BW Klaus Schneider, Celesio AG Marcel Salein, FIVE1 GmbH & Co. KG 1 March 2011, CCEA Agenda

Mehr

Oracle Business Process Analysis Suite. Gert Schüßler Principal Sales Consultant

<Insert Picture Here> Oracle Business Process Analysis Suite. Gert Schüßler Principal Sales Consultant Oracle Business Process Analysis Suite Gert Schüßler Principal Sales Consultant 1 Geschäftsprozesse Zerlegung am Beispiel Kreditvergabe Antrag aufnehmen Antrag erfassen Schufa Kunden

Mehr