Temporale Datenintegration in Data-Warehouse-Systemen

Transkript

1 Temporale Datenintegration in Data-Warehouse-Systemen Arne Harren 4. März 2005 BTW GI-Fachtagung für Datenbanksysteme in Business, Technologie und Web Karlsruhe, März 2005

2 Datenintegration mit impliziter Temporale Unterstützung Datenintegration für Zeitbezüge, z.b. in Data-Warehouse-Systemen für die Gültigkeit von Daten Arne Harren 4. März 2005 BTW GI-Fachtagung für Datenbanksysteme in Business, Technologie und Web Karlsruhe, März 2005

3 Datenintegration mit impliziter Temporale Unterstützung Datenintegration für Zeitbezüge, z.b. in Data-Warehouse-Systemen für die Gültigkeit von Daten Arne Harren 4. März 2005 ein Einblick BTW GI-Fachtagung für Datenbanksysteme in Business, Technologie und Web Karlsruhe, März 2005

4 Kontext: Data-Warehouse-Systeme... Extraktion Laden Reporting Transformation (Integ ration) Data Warehouse interaktive Analyse... Datenquellen Dateninteg ration Data Mining 1

5 Kontext: Data-Warehouse-Systeme Datenquellen operative Systeme unterschiedliche Schemata, Kodierungen,... begrenzte Verfügbarkeit... Extraktion Laden Reporting Transformation (Integ ration) Data Warehouse interaktive Analyse... Datenquellen Dateninteg ration Data Mining 1

6 Kontext: Data-Warehouse-Systeme Datenquellen operative Systeme unterschiedliche Schemata, Kodierungen,... begrenzte Verfügbarkeit Extraktion Laden Data Warehouse integrierte Sicht auf die Datenquellen analyseorientierte Struktur historische Daten Reporting... Transformation (Integ ration) Data Warehouse interaktive Analyse... Datenquellen Dateninteg ration Data Mining 1

7 Kontext: Data-Warehouse-Systeme Datenquellen operative Systeme unterschiedliche Schemata, Kodierungen,... begrenzte Verfügbarkeit Extraktion Laden Data Warehouse integrierte Sicht auf die Datenquellen analyseorientierte Struktur historische Daten Reporting... Transformation (Integ ration) Data Warehouse interaktive Analyse... Datenquellen Dateninteg ration Datenintegration Vereinheitlichung von Strukturen, Kodierungen,... Verknüpfung der Daten Vorbereitung auf Historisierung Nutzung von Datenextrakten Data Mining 1

8 Kontext: Historisierung von Daten ermöglicht korrekte Datenzuordnungen und Nachvollziehbarkeit Lösungsansatz: Einsatz temporaler Datenbankkonzepte Erweiterung der Daten um Zeitangaben (Gültigkeitszeit, Transaktionszeit,...) Vertrag V enthält Produkt P im Zeitraum bis einschl zeitliche Unterstützung in der Anfragesprache : Was war wann wie? Einsatzbereiche: Data Warehouse und operative Systeme 2

9 Kontext: Historisierung von Daten ermöglicht korrekte Datenzuordnungen und Nachvollziehbarkeit Lösungsansatz: Einsatz temporaler Datenbankkonzepte Erweiterung der Daten um Zeitangaben (Gültigkeitszeit, Transaktionszeit,...) Vertrag V enthält Produkt P im Zeitraum bis einschl zeitliche Unterstützung in der Anfragesprache : Was war wann wie? Einsatzbereiche: Data Warehouse und operative Systeme Problem: keine Zeitunterstützung in der Datenintegration 2

10 Kontext: Historisierung von Daten ermöglicht korrekte Datenzuordnungen und Nachvollziehbarkeit Lösungsansatz: Einsatz temporaler Datenbankkonzepte Erweiterung der Daten um Zeitangaben (Gültigkeitszeit, Transaktionszeit,...) Vertrag V enthält Produkt P im Zeitraum bis einschl zeitliche Unterstützung in der Anfragesprache : Was war wann wie? Einsatzbereiche: Data Warehouse und operative Systeme Problem: keine Zeitunterstützung in der Datenintegration weiteres Problem: Datenextrakte enthalten Zeitangaben als Daten Vertrag : V, Produkt : P, Von : , BisEinschl : Darstellungsformen und zeitliche Interpretation mehrdeutig und uneinheitlich 2

11 Temporaler Datenintegrationsansatz 1/2 1. temporale Algebra TIA für Integration und Restrukturierung... Zeitunterstützung im Integrationsdatenmodell temporales Datenmodell mit strikter Trennung von Daten und Zeitangaben Vertrag : V, Produkt : P { Gültig : ,..., Gültig : } keine Festlegung auf bestimmte Zeitdimensionen, z.b. nur Gültigkeitszeit zeitliche Datentypen, Vergleichsfunktionen, Zeitgranularitäten,... [a,b] overlaps [c,d] statt a < c b < d... 3

12 Temporaler Datenintegrationsansatz 1/2 1. temporale Algebra TIA für Integration und Restrukturierung... Zeitunterstützung im Integrationsdatenmodell temporales Datenmodell mit strikter Trennung von Daten und Zeitangaben Vertrag : V, Produkt : P { Gültig : ,..., Gültig : } keine Festlegung auf bestimmte Zeitdimensionen, z.b. nur Gültigkeitszeit zeitliche Datentypen, Vergleichsfunktionen, Zeitgranularitäten,... [a,b] overlaps [c,d] statt a < c b < d... temporale Algebraoperatoren für Integrationsschritte Transformationen und Restrukturierungen für Daten und Schemata Berücksichtigung vorhandener Zeitangaben, z.b. bei Verbund und Selektion Transformationen zwischen Daten und Zeitangaben Restrukturierungen von Zeitangaben 3

13 Temporaler Datenintegrationsansatz 2/ TEMPFLOW-Modell für Prozessspezifikation und -ausführung Grundgedanken Data Warehouse temporale Sicht auf Datenquellen Transaktionszeit dient zur zeitlichen Entkopplung beteiligter Systeme 4

14 Temporaler Datenintegrationsansatz 2/ TEMPFLOW-Modell für Prozessspezifikation und -ausführung Grundgedanken Data Warehouse temporale Sicht auf Datenquellen Transaktionszeit dient zur zeitlichen Entkopplung beteiligter Systeme Prozessspezifikation auf Basis von Datenflüssen Prozess p = { s 1 := π { a, b, c } ( σ a<10 ( q 1 ) ), s 2 := σ a<10 ( q 1 ) } Integrationsschritte mittels temporaler Algebraoperatoren Algebraausdrücke definieren den Zustand des Data Warehouse zeitlicher Zugriff auf alte Daten und Integrationsergebnisse möglich 4

15 Temporaler Datenintegrationsansatz 2/ TEMPFLOW-Modell für Prozessspezifikation und -ausführung Grundgedanken Data Warehouse temporale Sicht auf Datenquellen Transaktionszeit dient zur zeitlichen Entkopplung beteiligter Systeme Prozessspezifikation auf Basis von Datenflüssen Prozess p = { s 1 := π { a, b, c } ( σ a<10 ( q 1 ) ), s 2 := σ a<10 ( q 1 ) } Integrationsschritte mittels temporaler Algebraoperatoren Algebraausdrücke definieren den Zustand des Data Warehouse zeitlicher Zugriff auf alte Daten und Integrationsergebnisse möglich weitere Aspekte: Prozessmodularisierungen, Diskretisierung, Fehlerbehandlung,... 4

16 Vielen Dank für Ihre Aufmerksamkeit! [ ]