Contents. Ebenen. Data Warehouse - ETL Prozess Version: July 10, Ebenen. Andreas Geyer-Schulz und Anke Thede. 2 Problemquelle Quellsysteme 4

Größe: px

Ab Seite anzeigen:

Download "Contents. Ebenen. Data Warehouse - ETL Prozess Version: July 10, 2007. 1 Ebenen. Andreas Geyer-Schulz und Anke Thede. 2 Problemquelle Quellsysteme 4"

Gabriel Hafner
vor 8 Jahren
Abrufe

1 Contents Data Warehouse - ETL Prozess Version: July 10, 2007 Andreas Geyer-Schulz und Anke Thede Schroff-Stiftungslehrstuhl Informationsdienste und Elektronische Märkte Fakultät für Wirtschaftswissenschaften Gebäude Rechenzentrum, 1. Stock, Zi. 169 Universität Karlsruhe (TH) D Karlsruhe Tel: Fax: Andreas.Geyer-Schulz@em.uni-karlsruhe.de Sprechstunde nach Vereinbarung ( ) Contents 1 Ebenen 2 2 Problemquelle Quellsysteme 4 3 Extraktion: Übersicht Identifikation der Quelldaten Extraktionsmethoden Transformation Grundlegende Aufgaben Laden Data Refresh versus Update Koordination des Ladeprozesses Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 1 Ebenen Ebenen 1 Ebenen Datensicht: physikalische Speicherung und Optimierung Modellsicht: Umsetzung der Datenmodelle, einmalig vor Aufsetzen des Data Warehouse logisches Modell und physisches Modell Prozesssicht: ETL-Prozesse, regelmäßige Ausführung Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 2 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 3

uni-karlsruhe.de Sprechstunde nach Vereinbarung (E-Mail) http://www.em.uni-karlsruhe.de/ Contents 1 Ebenen 2 2 Problemquelle Quellsysteme 4 3 Extraktion: Übersicht 5 3.1 Identifikation der Quelldaten.

2 Problemquelle Quellsysteme Extraktion: Übersicht 2 Problemquelle Quellsysteme 3 Extraktion: Übersicht sehr ungleiche Systemtypen, verschiedene Betriebssysteme und Plattformenbdhks alte Systeme, alte Datenbankanwendungen oft keine Speicherung historischer Daten geringe Datenqualität (falsche Daten) Inkonsistenzen, unklare Regeln zum Auflösen von Inkonsistenzen (z.b. Preis einmal brutto, einmal netto oder Gehalt einmal pro Jahr, einmal pro Monat etc.) Quellsysteme ändern sich Anpassung der Prozesse Quellen identifizieren Methode der Extraktion Extraktionshäufigkeit: lege für jede Datenquelle fest, wie oft der Extraktionsprozess stattfindet Zeitfenster: lege für jede Datenquelle fest, in welchem Zeitfenster der Extraktionsprozess stattfindet Ablaufplanung: laufen einzelne Vorgänge einer Extraktion sequentiell oder parallel ab? Ausnahmebehandlung Was passiert, wenn Probleme beim Extrahieren auftreten? Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 4 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 5 Identifikation der Quelldaten Extraktionsmethoden 3.1 Identifikation der Quelldaten 3.2 Extraktionsmethoden Auflisten aller Variablen in der Fact Tabelle Auflisten aller Variablen in Dimensionstabellen Zu jeder Variablen Quellsystem und Quellvariable identifizieren Bei mehreren Quellen: bevorzugte Quelle festlegen bzw. Konsolidierungsregeln festlegen Bei einzelner Quelle und mehreren Zielwerten: Regeln zum Aufsplitten des Wertes festlegen Defaultwerte für das Data Warehouse festlegen Quelldaten auf fehlende Werte hin untersuchen Sofortige Extraktion: real-time, nach jeder Quellsystemänderung Option 1: Transaction Logdateien lesen Wichtig: Konfliktvermeidung, kein Schreiben während des Leseprozesses Vorteil: nur tatsächliche Änderungen werden extrahiert; kein Overhead auf DB-Seite da Transaction Logs eh geschrieben werden Nachteil: geht nur bei Datenbank-basierten Quellsystemen Option 2: Datenbank Trigger, Änderungen in Dateien schreiben Vorteil: nur Änderungen werden gelesen Nachteil: Quellsysteme müssen geändert werden Option 3: Quellanwendungen schreiben Änderungen in Datei Vorteil: geht auch bei nicht DB-basierten Systemen Nachteil: Quellanwendungen müssen geändert werden Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 6 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 7

) Quellsysteme ändern sich Anpassung der Prozesse Quellen identifizieren Methode der Extraktion Extraktionshäufigkeit: lege für jede Datenquelle fest, wie oft der Extraktionsprozess stattfindet

3 Extraktionsmethoden Transformation zeitversetzte Extraktion: zu regelmäßigen Zeitpunkten Selektion basierend auf Zeitstempel Wichtig: Zeitstempel muss bei jeder Änderung mit gespeichert werden Vorteil: einfache Selektion der relevanten Änderungen Selektion basierend auf Snapshots: vergleiche Datensnapshot von gestern und heute, Differenz der Dateien wird extrahiert Vorteil: geht auch bei nicht-db Systemen, keine Änderungen in Quellsystemen nötig Nachteil: sehr aufwendig 4 Transformation 4.1 Grundlegende Aufgaben Selektion: wähle zu ladende Datensätze aus (falls nicht schon im Extraktionsprozess geschehen) Splitting/Joining: ausgewählte Teile weiter unterteilen (selten) Zusammenfügen von Daten aus verschiedenen Quellen (häufig) Konvertierung: Vereinheitlichung von Daten verschiedener Quellen Inkonsistenzen auflösen und fehlerhafte Einträge korrigieren Werte in Benutzer-verständliche umformen Summarization: Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 8 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 9 Grundlegende Aufgaben Aggregation einzelner Daten zu einem Wert Enrichment: Umgestaltung und Vereinfachung individueller Felder zur besseren Nutzung 4.2 Formatbearbeitung: Datentypen und Längen von Feldern standardisieren Dateninhalte in Text umwandeln (Benutzer-lesbar) Bsp: Produktcode in Produktnamen umwandeln Felder dekodieren: Vereinheitlichen von gleichen, aber verschieden kodierten Daten Bsp.: in einem System steht 0/1 für männlich/weiblich; im anderen M/W berechnete und abgeleitete Werte: z.b.: Gesamtkosten, Gewinnspanne, etc. Aufteilen von einzelnen Feldern: z.b.: komplette Adresse in einem Feld schlecht, weil Abfragen über Stadt, Postleitzahl,... dann nicht möglich Konvertierung in einen einheitlichen Zeichensatz (z.b. ASCII) Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 10 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 11

nicht-db Systemen, keine Änderungen in Quellsystemen nötig Nachteil: sehr aufwendig 4 Transformation 4.

4 Konvertierung von Maßeinheiten Vereinheitlichung der Maßeinheiten Vereinheitlichung von Zeitangaben Zusammenfassen von Informationen: gröberer Detaillevel von Daten wird gespeichert z.b. nicht einzelne Produkte einer Bestellung speichern sondern nur Gesamtbetrag einer Bestellung Auflösung von Inkonsistenzen z.b.: Kunde hat auf verschiedenen System mehrere Kundennummern nun muss erkannt werden, dass es sich dabei um ein und denselben Kunden handelt und die Daten zusammengeführt werden Umsetzung der Primärschlüssel eigene Schlüssel fürs Data Warehouse generieren z.b. wenn Quellsystem im Schlüssel kodiert ist Umsetzung ins Data Warehouse Datenmodell Umsetzung der Type 1, Type 2 und Type 3 Änderungen von Dimensionsattributen 1. Type 1: Fehlerkorrektur, keine Historie im Data Warehouse speichern 2. Type 2: Änderungen, Historie muss gespeichert werden, Primärschlüsselumsetzung 3. Type 3: vorläufige Änderungen, Umsetzung aufs erweiterte logische Modell (mit zusätzlichem Attribut) Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 12 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 13 Laden Laden 5 Laden 4 Techniken die dafür nötig sind 3 Methoden um Daten ins DW zu laden Initial Load: Erstmaliges Laden der Daten ins DW Incremental Load: periodisches laden fortlaufender Änderungen Full Refresh: Inhalt einer oder mehrerer Tabellen komplett löschen und neu laden mit aktuellen Daten Laden: Zieltabelle exisistiert schon, Inhalt wird gelöscht, neue Daten eingetragen Anhängen: Inhalt der Zieltabelle bleibt bestehen, neue Daten werden angehängt zerstörendes Zusammenfügen: bei übereinstimmenden Schlüsseln in Quellund Zieldatensatz, wird Zieldatensatz von Quelldatensatz überschrieben; wenn keine Übereinstimmung, einfaches Anhängen aufbauendes Zusammenfügen: bei übereinstimmenden Schlüsseln in Quellund Zieldatensatz, wird alter Datensatz nicht gelöscht, der Zieldatensatz hinzugefügt und markiert, dass er den alten ersetzt; wenn keine Übereinstimmung, einfaches Anhängen Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 14 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 15

b.: Kunde hat auf verschiedenen System mehrere Kundennummern nun muss erkannt werden, dass es sich dabei um ein und denselben Kunden handelt und die Daten zusammengeführt werden Umsetzung der

5 Data Refresh versus Update Data Refresh versus Update 5.1 Data Refresh versus Update Zwei Möglichkeiten um nach erstmaligem Laden up-to-date zu bleiben Update: fortlaufende Aktualisierung bei Veränderungen Refresh: komplettes Neuladen in bestimmten Intervallen Wahl hängt von Anzahl der durchzuführenden Änderungen ab Faustregel: Kosten für Update und Refresh gleich, wenn Anzahl der zu ändernden Datensätze Prozent von der Gesamtzahl der Datensätze beträgt C O S T 15% to 25% UPDATE REFRESH % OF RECORDS CHANGED Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 16 Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 17 Koordination des Ladeprozesses 5.2 Koordination des Ladeprozesses Laden der Daten ins Data Warehouse dauert! Schreibvorgang! potentieller Konflikt mit parallel laufenden Leseprozessen Prozesskoordination und -synchronisation notwendig! TODO: ausführlicher... Universität Karlsruhe (TH), Prof. Dr. Andreas Geyer-Schulz Seite 18

Intervallen Wahl hängt von Anzahl der durchzuführenden Änderungen ab Faustregel: Kosten für Update und Refresh gleich, wenn Anzahl der zu ändernden Datensätze 15-25 Prozent von der Gesamtzahl der

Ähnliche Dokumente

AGROPLUS Buchhaltung. Daten-Server und Sicherheitskopie. Version vom 21.10.2013b

AGROPLUS Buchhaltung. Daten-Server und Sicherheitskopie. Version vom 21.10.2013b AGROPLUS Buchhaltung Daten-Server und Sicherheitskopie Version vom 21.10.2013b 3a) Der Daten-Server Modus und der Tresor Der Daten-Server ist eine Betriebsart welche dem Nutzer eine grosse Flexibilität