II Heterogenität und Architekturen

Transkript

1 II Heterogenität und Dr. Armin Roth arminroth.de Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

2 Agenda 1 Semantische Heterogenität 2 Architekturparadigmen PDMS Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

3 Semantische Heterogenität Modelle und Strukturelle Heterogenität Modelle sind Abstraktionen Beispiele: Konzeptuelle Modelle (Entity-Relationship-Modell, Ontologie) Logisches DBMS-Schema (relational oder XML) Strukturelle Heterogenität betrifft Modellebene betrachtet Art und Struktur der Modelle ignoriert Bedeutung der Modellelemente (z.b. einer Relation) (Unrealistische) Annahme bisher: gleiche Bezeichung im Modell gleiche Bedeutung Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

4 Semantische Heterogenität Semantik von Modellen Bedeutung der Konzepte des Modells? Semantik eines Konzepts := Zugeordnete Enitäten der realen Welt (bzw. deren Repräsentanten in der Datenbank-Instanz) Schema Instanz Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

5 Semantische Heterogenität Semantik Integriertes Informationssystem [Len02] Integriertes Informationssystem Integriertes IS I = {G, S, M} Globales Schema G Lokale Schemata S Schema Mappings M Lokale Instanzen C Semantik sem C (I): Globale Instanzen B, die I erfüllen Globales Schema Lokales Schema Lokale Instanz Schema Mapping Globale Instanz Lokales Schema Lokale Instanz sem C (I) = { B B ist Instanz von G und erfüllt M bzgl. C} Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

6 Semantische Heterogenität Konflikte in Namen / Bezeichnungen Definition Konzept in Modell? Korrespondenzarten zwischen Semantik unterschiedlicher Konzepte A und B: A = B Äquivalenz A B Inklusion A B Überlappung A B Disjunktion Synonyme (z.b. surname vs. last name) Homonyme Einheiten Werte Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

7 Semantische Heterogenität Identität von Real-world Entities Zentrale Fragen: Was ist ein (Geschäfts-)Objekt? XML: Über mehrere Schachtelungsebenen hinweg Relationales Modell: Über mehrere Relationen hinweg Repräsentiert Objekt a die gleiche real-world Entität wie Objekt b? Wie finde ich effizient gleiche Repräsentationen (d.h. ohne quadratische Laufzeit, Ähnlichkeitsmaße)? Synonyme für Problem: Duplikaterkennung Objektidentifikation Record Linkage Data Cleansing... Auf Datenebene Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

8 Datenkonflikte Semantische Heterogenität Datenkonflikt: Zwei Duplikate haben unterschiedliche Attributwerte für ein semantisch gleiches Attribut. Im Gegensatz zu Konflikten mit Integritätsbedingungen Datenkonflikte entstehen innerhalb eines Informationssystems (intra-source) bei Integration mehrerer Informationssysteme (inter-source). Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

9 Semantische Heterogenität Datenkonflikte Beispiel amazon.de Konflikt kann auch mit NULL-Wert herrschen H. Melville $3.98 ID Herman Melville Moby Dick $5.99 bol.de Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

10 Agenda Architekturparadigmen 1 Semantische Heterogenität 2 Architekturparadigmen PDMS Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

11 Architekturparadigmen Architekturparadigmen Materialisiert A priori-integration Zentrale Datenbasis Zentrale Anfragebearbeitung Typisches Beispiel: Data Warehouse Virtuell On demand-integration Dezentrale Daten Dezentrale Anfragebearbeitung Typisches Beispiel: Mediator-basiertes Informationssystem Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

12 Architekturparadigmen Materialisierte Integration Datenfluss Push Erstmaliges Laden (population) des DW (Data Cleansing) Periodischer Datenimport: Updating materialized views Redundante Datenhaltung Aggregation und Löschung alter Daten Anwendung 1 Data Warehouse Anwendung 2 ETL 1 ETL 2 ETL 3 Quelle 1 Quelle 2 Quelle 3 Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

13 Materialisierte Integration Anfragebearbeitung/Schema Architekturparadigmen Anfragebearbeitung: Wie normale DBMS Aggregation Decision Support Schema: Bottom-Up-Entwurf Schemaintegration Star-Schema (Fact Table, Dimension Tables) Anwendung 1 Data Warehouse Anwendung 2 ETL 1 ETL 2 ETL 3 Quelle 1 Quelle 2 Quelle 3 Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

14 Architekturparadigmen Virtuelle Integration Datenfluss Pull Daten sind in Quellen gespeichert Nur Anfragen und Ergebnisse werden übertragen (Query Shipping) Anwendung 1 Anwendung 2 Wrapper 1 Mediator Wrapper 2 Wrapper 3 Data Cleansing nur online möglich Quelle 1 Quelle 2 Quelle 3 Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

15 Architekturparadigmen Virtuelle Integration Anfragebearbeitung/Schema Anfragebearbeitung: Optimierung schwierig (Fähigkeiten, Geschwindigkeiten der Quellen) Viele mögliche Pläne zur Berechnung des Anfrageergebnisses Schema: Top-down Entwurf Leicht erweiterbar (global durch neue Quellen, lokal durch ein Mapping) Schema Mapping statt Schemaintegration Anwendung 1 Anwendung 2 Wrapper 1 Mediator Wrapper 2 Wrapper 3 Quelle 1 Quelle 2 Quelle 3 Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

16 Architekturparadigmen Materialisiert vs. Virtuelle Integration Vergleich Materialisiert Virtuell Aktualität (Cache) + Antwortzeit + Flexibilität (GaV) + (LaV) Komplexität + ++ Autonomie + Anfragemächtigkeit + Read/Write +/+ +/ Ressourcenbedarf? (workload)? (workload) Vollständigkeit +? (OWA, CWA) Datenreinigung + Informationsqualität + Legende: : wenig, +: viel, ++: sehr viel Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

17 Agenda PDMS 1 Semantische Heterogenität 2 Architekturparadigmen PDMS Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

18 PDMS Nachteile integrierter Informationssysteme Globales Schema: Komplex Einigungsprozess erforderlich Wartung bedeutet (aufwändige) Schema-Evolution Praxis bevorzugt dynamische Integration mit ähnlichen Informationssystemen Skalierbarkeit, Flexibilität problematisch Mediator: Single point of... Control Failure Maintenance Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

19 PDMS Beispiel: Standardisiertes Schema ISO (STEP): Standard for Exchange of Product Data Teilschema Grunddaten für Automotive Mechanik-Entwurfsprozess (ISO ) Entstanden in langem Standardisierungsprozess Datentransformation aufwändig Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

20 PDMS PDMS: Generalisierung integrierter Inform. Integration bereits existierender integrierter Informationssysteme Beispielsweise bei Firmenzusammenschlüssen Reorganisationen Integriertes Informationssystem A Integriertes Informationssystem B Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

21 PDMS Peers: Integrierte Informationssysteme Funktionalität: Anfragen initiieren Anfragen auswerten Anfragevermittlung (Mediation) Lokale Mappings Peer Schema Peer Mappings Lokale Datenquellen (lokales Schema) Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

22 Beispiel-PDMS PDMS P 1 P 5 P 2 P 4 P 6 Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

23 PDMS Ausblick PDMS-Anfragebearbeitung P 1 Mappings sind gerichtet! P 5 Mappings bilden Zyklen! Abhängig von Semantik der Mappings kann Anfragebearbeitung undecidable sein! P 2 P 4 P 6 Dr. Armin Roth (arminroth.de) II Heterogenität und / 24

24 Literatur PDMS [Len02] Maurizio Lenzerini. Data integration: A theoretical perspective. In Proc. of the Symposium on Principles of Database Systems (PODS), (optional, sehr theoretisch). Dr. Armin Roth (arminroth.de) II Heterogenität und / 24