Informationsintegration

Transkript

1 Informationsintegration Grundlegende Architekturen Ulf Leser

2 Inhalt diese Vorlesung Klassifikation verteilter, autonomer, heterogener Systeme Weitere Klassifikationskriterien Schichtenaufbau integrierter Systeme Ulf Leser: Informationsintegration 2

3 Klassifikation [ÖV91] Verteilte DBS Verteilung Standardkonforme DBS Klassische DBS Föderierte DBS Autonomie Heterogenität Schlecht modellierte/betriebene DBS Ulf Leser: Informationsintegration 3

4 Verteilung Zentrale Datenbank Autonomie Normalfall homogene, zentrale Datenbank Daten/Berechnung können trotzdem begrenzt verteilt sein Partitionierung, RAID, SAN Parallele Datenbanken Datenbank entsteht aus homogenem Entwurf Wenn Redundanz / Heterogenität, dann mit Absicht und kontrolliert Problem: Weiterentwicklung (Evolution) Zentrale Kontrolle und Administration Hetero- genität Ulf Leser: Informationsintegration 4

5 Verteilung Verteilte Datenbanken Autonomie Daten liegen physisch verteilt Absichtsvolle, kontrollierte, a-priori Verteilung Homogenes, verteilt realisierten Knoten haben keine Autonomie Heterogenität wird unterdrückt Hetero- genität Ortstransparenz, aber keine Verteilungstransparenz Aliase und Proxy kapseln entfernte Orte Verteilungstransparenz durch Sichten möglich, aber nicht durch System erzeugt Ulf Leser: Informationsintegration 5

6 Einschub Oracle-DBs können auf andere Oracle-DBs zugreifen Database Links CREATE [PUBLIC] DATABASE LINK <link_name> CONNECT TO <user_name> <IDENTIFIED BY <password> USING '<service_name>'; service_name muss über Konfigurationsfiles aufgelöst werden SELECT col1, col2, FROM Zugriff wie auf lokale Tabelle (Joins, Selektion, Projektion, ) Transparenz durch Sicht möglich CREATE VIEW myview AS SELECT * FROM tab1@link_name; Anwendung z.b. zur automatische Replikation Ulf Leser: Informationsintegration 6

7 Gateways Zugriff z.b. über ODBC Umwandlung von Datentypen Unterstützung verschiedener SQL-Dialekte Kompensation fehlender Funktionen Ulf Leser: Informationsintegration 7

8 Verteilte versus parallele Datenbanken Parallele Datenbank Verteilte Datenbank Externes 1 Externes N Konzeptionelles Internes, physisches Externes 1 Lokales konzept. Konzeptionelles Externes N Lokales konzept. Internes Internes Ulf Leser: Informationsintegration 8

9 Verteilung Verteilte & autonome DB Autonomie Heterogenität Verteilte, aber homogene Datenbestände Entsteht durch freiwillige Übernahme von Regeln Standards, Verträge, Autonomie wird teilweise aufgegeben Z.B. Aufgabe von Designautonomie Z.B. nicht Kommunikationsautonomie Z.B. nicht juristische Autonomie Ulf Leser: Informationsintegration 9

10 Verteilung Multidatenbanken Autonomie Verteilt, autonom, etwas heterogen Keine technische Heterogenität Keine Datenmodellheterogenität Zugriff über einheitliche Sprache möglich Autonomie bleibt bewahrt Heterogenität Aber Zugriff muss möglich sein (Kommunikationsautonomie) Multidatenbanksprachen Qualifizierung von Tabellennamen mit Datenbanknamen Überbrückung technischer Probleme (siehe Gateways) Ulf Leser: Informationsintegration 10

11 Verteilung Föderierte Datenbanken Autonomie Häufiger Begriff ohne klare Definition In der Forschung: Enge, virtuelle Koppelung Heterogenität Integrierte ta, bereinigte Daten Datenbankhersteller meiden semantische Integration In der Industrie: Virtuelle Datenbankintegration Allgemeiner Begriff für integrierten Zugang Kommerziell meistens über Multidatenbanksprachen Definition von Sichten zur Erstellung (teil-)integrierter Ulf Leser: Informationsintegration 11

12 Verteilung Mediator-Wrapper Systeme Ebenfalls keine klare Definition Trennung der Aufgaben Wrapper verantwortlich für technische / syntaktische Integration Mediatoren verantwortlich für strukturelle/ semantische Integration Unterschiede FDBS setzt meist (relationale) Datenbanken voraus und fokussiert auf Anfrageoptimierung Mediator-basierte Systeme adressieren auch semi- / unstrukturierte Daten (Web) und fokussieren auf semantische Probleme Hetero- genität Autonomie Anwendung 1 Anwendung 2 Wrapper Mediator Wrapper Quelle 1 Quelle 2 Ulf Leser: Informationsintegration 12

13 Überblick Klassifikation Weitere Klassifikationskriterien Schichtenaufbau integrierter Systeme Ulf Leser: Informationsintegration 13

14 Kriterien föderierter Informationssysteme Föderierte Informationssysteme als Oberbegriff Weitere (nicht-orthogonale) Kriterien [BKLW99] Strukturiertheit der Komponenten Enge und lose Kopplung Datenmodell Art der semantischen Integration Transparenz Anfrage-Paradigma Bottom-up oder Top-down Entwurf Virtuell oder materialisiert Read-only oder read-&-write Ulf Leser: Informationsintegration 14

15 Strukturiertheit der Komponenten Strukturiert: Festes, festes Format Semi-strukturiert: Feste Elemente, erweiterbar Struktur nur teilweise festgelegt Beispiel: XML/RDF ohne/mit ta Unstrukturiert Beispiel: Textuelle Daten, Webseiten, Berichte Ulf Leser: Informationsintegration 15

16 Enge oder lose Kopplung Enge Kopplung Festes, integriertes/föderiertes Für den Benutzer einheitliche Sicht System muss Änderungen der Quellen kompensieren Lose Kopplung Kein globales, einheitliches Nutzer integrieren selber Nur technische und Datenmodellheterogenität ist gelöst Änderungen in Quellen gelangen zum Benutzer Ulf Leser: Informationsintegration 16

17 Art der semantischen Integration Vereinigung Simple Konkatenation von Objekten Erzeugt redundante Daten Anreicherung Mit Metadaten; keine Konfliktauflösung Erzeugt mehr, aber nicht notwendigerweise bessere Daten Datenfusion Objektidentifizierung Re-Strukturierung Komplementierung Konfliktlösung Ulf Leser: Informationsintegration 17

18 Bottom-up oder Top-down Entwurf Bottom-up Bedarf nach Integration einer festen Menge von Quellen Globales durch integration Änderungen in Quellen i.d.r. schwierig (Neuintegration) Hohe Ansprüchen an Vollständigkeit und Qualität Data Warehouse, Merging von Unternehmensdatenbanken Top-down Ausgelöst durch globalen Informationsbedarf Neuentwurf eines globalen s Quellen werden nach Bedarf und Eignung hinzugefügt (spezielle Verfahren notwendig) Geringere Ansprüche an Vollständigkeit und Qualität Webquellen, sehr grosse Integrationssysteme Ulf Leser: Informationsintegration 18

19 Taxonomie nach [SL90] DBMS Zentralisiertes DBMS Verteiltes DBMS Kontrollierte, gewollte Verteilung Einfaches verteiltes DBMS Multidatenbanksystem Kein einheitlicher Zugriff Nicht-föderierte DBS Föderierte DBS (FDBS) Nutzer muss selbst integrieren Lose Kopplung Enge Kopplung Nur ein föderiertes Einfache Föderation Mehrfache Föderation Ulf Leser: Informationsintegration 19

20 Überblick Klassifikation Weitere Klassifikationskriterien Schichtenaufbau integrierter Systeme Ulf Leser: Informationsintegration 20

21 ANSI/SPARC 3-Schichten Architektur Externe (logische) Sicht Je nach Anwendung Nur relevante Daten Sichten (Views) Konzeptionelle (logische) Sicht Unabhängig von physischer Sicht Definiert durch Datenmodell Stabiler Bezugspunkt Interne (physische) Sicht Dateistruktur Speicherort (Zylinder, Block) Indexe, Partitionen, Externes 1 Externes N Konzeptionelles Internes, physisches Ulf Leser: Informationsintegration 21

22 4-Schichten Architektur Globales konzeptionelles integriert die lokalen konzeptionellen ta Lokales und globales konzeptionelles können gleich sein Aber Datenbestände unterschiedlich Externes 1 Lokales konzept. Globales konzeptionelles Externes N Lokales konzept. Physisches Physisches Ulf Leser: Informationsintegration 22

23 5-Schichten Architektur [SL90] Föderiertes = globales konzeptionelles Exportschema: Für die Föderation zugänglicher Ausschnitt des Komponentenschemas Komponentenschema = lokales konzeptionelles im kanonischen Datenmodell Externes 1 Exportschema Komponentenschema Lokales konzept. Externes N Föderiertes Exportschema Komponentenschema Lokales konzept. Ulf Leser: Informationsintegration 23

24 Import-/Export--Architektur [HM85] = lokales konzeptionelles Teilmenge des lokalen konzeptionellen s wird der Föderation zur Verfügung gestellt Ausgewählte Teilmengen der Exportschemata werden importiert Ulf Leser: Informationsintegration 24