Informationsintegration

Transkript

1 Informationsintegration Schemaintegration Ulf Leser Wissensmanagement in der Bioinformatik

2 Richtung Schemaintegration versus Anfragebearbeitung FDBS Schema integration Data source Data source Data source Query processing: Query planning Decomposition Translation Result integration Ulf Leser: Informationsintegration, Wintersemester 2006/2007 2

3 Schema Matching Schema/ Datenbank 1 Mapping/ Korrespondenzen Schema/ Datenbank 2 Ulf Leser: Informationsintegration, Wintersemester 2006/2007 3

4 Schema Mapping Mapping/ Schema 1 Korrespondenzen Schema 2 Datenbank 1 Transformationsregeln Datenbank 2 Ulf Leser: Informationsintegration, Wintersemester 2006/2007 4

5 Schemaintegration Integriertes Schema Schema 1 Schema 2 Ulf Leser: Informationsintegration, Wintersemester 2006/2007 5

6 Schema Matching Ulf Leser: Informationsintegration, Wintersemester 2006/2007 6

7 Klassifikation von Ansätzen [RB01] Schema Matching Ansätze Individuelle Ansätze Kombinierte Ansätze Schema-basiert Instanz-basiert Hybrid Zusammengesetzt Linguistisch Linguistisch Constraintbasiert Duplikatbasiert Manuell Automatisch Constraint-basiert Ulf Leser: Informationsintegration, Wintersemester 2006/2007 7

8 Label-based Gegeben zwei Schemata mit Attributmengen A und B Kernidee: Bilde Kreuzprodukt aller Attribute aus A und B. Für jedes Paar vergleiche Ähnlichkeit bzgl. Attributnamen (Label). Z.B. Edit-distance Ähnlichste Paare sind Matches Probleme: Auswahl der besten Matches (globales Matching) Iterativ? Stable Marriage? Synonyme und Homonyme werden nicht erkannt Ulf Leser: Informationsintegration, Wintersemester 2006/2007 8

9 Instance-based Gegeben zwei Schemata mit Attributmengen A und B, jeweils mit darunter liegenden Daten. Kernidee Für jedes Attribute extrahiere interessante Eigenschaften der Daten Buchstabenverteilung, Länge, etc. Bilde Kreuzprodukt aller Attribute aus A und B. Für jedes Paar vergleiche Ähnlichkeit bzgl. der Eigenschaften Probleme Performanz (Sampling) Auswahl der Eigenschaften Vergleichsmethode Semantikfreie Daten Integer-IDs, Integer-Codes, Fast-leere Tabellen Ulf Leser: Informationsintegration, Wintersemester 2006/2007 9

10 Structure-based Beispiel: Similarity Flooding nach [MGMR02] Gegeben initiale Ähnlichkeit zwischen Schemaelementen (z.b. durch edit-distance oder durch Analyse der darunter liegenden Daten) Lasse Ähnlichkeiten abfärben auf die Nachbarn Nachbarn sind durch Struktur definiert Sind alle Nachbarn von x und y ähnlich zueinander, sind (vielleicht) auch x und y ein match. Analogie: Man flutet das Netzwerk der Ähnlichkeiten bis ein Gleichgewicht erreicht ist. Ulf Leser: Informationsintegration, Wintersemester 2006/

11 Erweiterungen n:1 und m:n Matches Viele Kombinationsmöglichkeiten Viele Funktionen denkbar Parsingregeln n:1 Matching Vorname Nachname concat() Name 1:n Matching Name extract() extract() Vorname Nachname m:n matching Name extract() Title extract() concat() First name Last name Ulf Leser: Informationsintegration, Wintersemester 2006/

12 Schema Matching Erweiterungen Globales Matching Matche Tabellen und Schemata, nicht nur Attribute Stable Marriage bzw. Maximum Weighted Matching A B C D Ulf Leser: Informationsintegration, Wintersemester 2006/

13 Stable Marriage Gegeben n Frauen (Attribute in Schema A) und m Männer (Attribute in Schema B) Monogamie Je eine Frau kann nur mit je einem Mann verheiratet sein Jede Frau hat eine Rangliste der Männer und umgekehrt Bei Schema Matching Attribut-Ähnlichkeit gemäß eines der vorigen Verfahren Rangliste ist (normalerweise) symmetrisch Gesucht: Paarung (globales Matching), so dass niemals gilt f1 heiratet m1, f2 heiratet m2, aber f1 bevorzugt m2 und m2 bevorzugt f1 (Instabil!) Ulf Leser: Informationsintegration, Wintersemester 2006/

14 Inhalt dieser Vorlesung Schema-X Schemaintegration Correspondence Assertions Generic Integration Model Ulf Leser: Informationsintegration, Wintersemester 2006/

15 Schemaintegration Erzeugung eines integrierten (globalen) Schemas aus den Exportschemata einer Menge von Datenquellen Zentrales Problem bei der Integration strukturierter Informationen Forderungen Vollständigkeit: Alle Daten der Quellsysteme sind repräsentiert Eigentlich nicht immer notwendig Korrektheit: Alle Daten werden semantisch korrekt repräsentiert Integritätsconstraints, Kardinalitäten, Minimal: Minimales oder wenigstens übersichtliches Schema Insbesondere redundanzfrei (Normalformen?) Ohne diese Forderung wäre Schemaintegration einfach wie? Verständlich Viel erforscht, insb. im Umfeld föderierter Datenbanken Ulf Leser: Informationsintegration, Wintersemester 2006/

16 Korrespondenzbasierte Schemaintegration Integriertes Schema Mapping/ Schema 1 Korrespondenzen Schema 2 Ulf Leser: Informationsintegration, Wintersemester 2006/

17 Einsatzszenarien Virtuelle Integration Integriertes Schema Mapping/ Schema 1 Korrespondenzen Schema 2 Korrespondenzen Korrespondenzen Materialisierte Integration Integriertes Schema Mapping/ Schema 1 Korrespondenzen Schema 2 Transformationen Transformationen Ulf Leser: Informationsintegration, Wintersemester 2006/

18 Verwandtes Problem Sichtintegration beim Design großer Systeme User 1 User 2 User 3 Requirement Requirement Requirement Consolidated schema Unterschied: Keine Daten Ulf Leser: Informationsintegration, Wintersemester 2006/

19 Integrationsschritte Vorintegration Auswahl der Integrationsreihenfolge (immer binäre Einzelschritte) Konvertierung der Daten in kanonisches Datenmodell Schemavergleich Ermittlung von Korrespondenzen Zwischen Attributen, Anfragen, Ermittlung von Konflikten Strukturell und semantisch Schemaangleichung Umformung der Einzelschema zur Behebung von Konflikten Umbenennungen, Restrukturierungen Erzeugt leichter zu integrierende Ausgangsschemata Schemafusion Erstellung des integrierten Schemas aufgrund der Korrespondenzen Auflösung aller Konflikte Wahl einer der möglichen Repräsentationsform Auch Schemaintegration verlangt nach Schemadesign Ulf Leser: Informationsintegration, Wintersemester 2006/

20 Methoden und Verfahren In der Literatur wurden viele Verfahren vorgestellt Upward inheritence Assertion-based integration Object-oriented schema integration Generic Integration Model Carnot Pegasus... Meist eher Vorgehensbeschreibungen als Algorithmen Keine kommerziellen oder prototypischen Implementierungen verfügbar Wir besprechen zwei Beispiele (später) Ulf Leser: Informationsintegration, Wintersemester 2006/

21 Fusion Beispieloperationen Ausgangspunkt ist immer eine Korrespondenz zwischen zwei Klassen Wir verwenden ein objektorientiertes Datenmodell Natürliches Vorgehen für Inklusionsbeziehungen Im relationalen Model sind Inklusionsbeziehungen deutlich schwieriger Fall 1: E E, aber verschiedene Attributmengen Fall 2: E1 E2 Fall 3: E1 und E2 sind extensional disjunkt, aber intensional verwandt Fall 4: E1 überlappt E2 Quelle z.t.: Rahm, Leipzig Ulf Leser: Informationsintegration, Wintersemester 2006/

22 Schemavereinfachung Durch Integrationsschritte entstehen oft unnötig komplizierte Schema Sinnvoll: Ein expliziter Vereinfachungsschritt Ulf Leser: Informationsintegration, Wintersemester 2006/

23 Korrespondenzbasiertes Verfahren [SPD92] Ausgangschemata werden im GDM ausgedrückt Generic Data Model Klassen, komplexe und einfache Attribute, Beziehungen Eng verwandt zu E/R Modellen Subsumiert manche Datenmodelle, manche nicht Keine Vererbung Correspondence Assertations (CA) Korrespondenzen zwischen Klassen und Attributen Korrespondenzen zwischen Pfaden von Klassen - Beziehungen Theoretisch alle Korrespondenztypen Wir (und [SPD92]) behandeln nur Äquivalenz Ulf Leser: Informationsintegration, Wintersemester 2006/

24 Integrationsregeln Eingabe Zwei Schemata im GDM Eine Menge von CA Ausgabe: Globales Schema S im GDM Fünf Integrationsregeln Elemente eines Schemas, die in keiner CA auftauchen, werden nach S übernommen Äquivalente Klassen werden mit der Vereinigung ihrer Attribute nach S übernommen Äquivalente direkte Beziehungen zwischen äquivalenten Klassen werden nach S übernommen A A, B B, A-B A -B : Dann wird A S -B S übernommen Pfade zwischen äquivalenten Klassen werden nach S übernommen A A, B B, A-B A -A 1 - -A m -B : Dann wird nur der längere Pfad übernommen Der kürzere wird dadurch subsumiert A A, B B, A-A 1 - -A n -B A -A 1 - -A m -B : Dann werden beide Pfade übernommen Da keine sichere Subsumption möglich Äquivalenzen zwischen einer Klasse und einem Attribut werden als Beziehungen nach S übernommen Eingeschränkte Behandlung schematischer Heterogenität Ulf Leser: Informationsintegration, Wintersemester 2006/

25 Beispiel CAs film spielfilm id film_id und titel name r_name regisseur filmstudio s_name filmstudio fuehrt_regie film s_name studio spielfilm r_name regisseur fuehrt_regie film regisseur-spielfilm Ulf Leser: Informationsintegration, Wintersemester 2006/

26 Beispiel film spielfilm mit r_name regisseur filmstudio s_name filmstudio fuehrt_regie film s_name studio spielfilm r_name regisseur fuehrt_regie film regisseur spielfilm Integriertes Schema film und spielfilm verschmelzen Andere Relationen werden übernommen Film ID Titel Genre Umsatz Regisseur Studio_id Studio ID s_name adresse rechtsform Regisseur person_id r_name adresse alter Fuehrt_regie film_id regie_id Ulf Leser: Informationsintegration, Wintersemester 2006/2007 filmstudio 26

27 Beispiel film spielfilm mit r_name regisseur filmstudio s_name filmstudio fuehrt_regie film s_name studio spielfilm r_name regisseur fuehrt_regie film regisseur spielfilm Integriertes Schema film und spielfilm verschmelzen Andere Relationen werden übernommen regisseur und r_name werden verschmolzen und der Pfad r_nameregisseur-fuehrt_regie-film übernommen Pfade der Länge 1 fallen weg Film ID Titel Genre Umsatz regisseur Studio_id Regisseur person_id r_name adresse alter Studio ID s_name adresse rechtsform Fuehrt_regie film_id regie_id Ulf Leser: Informationsintegration, Wintersemester 2006/2007 filmstudio 27

28 Beispiel film spielfilm mit r_name regisseur filmstudio s_name filmstudio fuehrt_regie film s_name studio spielfilm r_name regisseur fuehrt_regie film regisseur spielfilm Integriertes Schema film und spielfilm verschmelzen Andere Relationen werden übernommen regisseur und r_name werden verschmolzen und der Pfad r_nameregisseur-fuehrt_regie-film übernommen Pfade der Länge 1 fallen weg filmstudio und s_name werden nicht verschmolzen, da beide Pfade Länge > 1 haben; beide Pfade werden übernommen Film ID Titel Genre Umsatz Studio_id Regisseur person_id r_name adresse alter Studio ID s_name adresse rechtsform Studio besitzt Rechte? Hier wurde gedreht? Fuehrt_regie film_id regie_id Ulf Leser: Informationsintegration, Wintersemester 2006/2007 filmstudio 28

29 Bewertung Bietet befriedigende Behandlung nur für Äquivalenzkorrespondenzen Das ist aber ein eher seltener Fall Weiterentwicklung ist nicht erfolgt Keine Integration von nicht-binären Beziehungen Generiert komplexe und große Schemata Beide Pfade werden übernommen : Übernahme des kleinsten gemeinsamen Nenners bzw. der flexibelsten Struktur Paper gibt auch Ableitung von Regeln zur Datentransformationsregeln an Ulf Leser: Informationsintegration, Wintersemester 2006/

30 Generic Integration Model [Sch98] GIM: Generic Integration Model Entwickelt an der Uni Magdburg Focus: Integration von Spezialisierungshierarchien in objektorientierten Schemata Terminologie: Extension: Menge der Objekte einer Klasse Intension: Menge der Attribute einer Klasse Ulf Leser: Informationsintegration, Wintersemester 2006/

31 Übersicht Schritt 1: Extensionale Zerlegung Finde extensionale Überlappung Duplikaterkennung! Berechne Menge aller disjunkten Extensionen Bisherige Extensionen sind Vereinigungen daraus Schritt 2: Intensionale Zerlegung Finde intensionale Überlappungen Homonyme, Synonyme von Attributen Behandle Probleme auf Attributebene (Transformationen, 1:n, ) Schritt 3: Berechnung der GIM Matrix Schritt 4: Berechnung des integrierten Schemas Ulf Leser: Informationsintegration, Wintersemester 2006/

32 Beispiel Ulf Leser: Informationsintegration, Wintersemester 2006/

33 Extensionale Zerlegung S1.books S1.publication S1.books S2.books Ergibt fünf disjunkte Extensionen M4 M3 M1 M2 M3 M4 M5 not S1.book and S2.book, S2.book S2.book not S1.book S1.Pub, not S1.book Only S2.book S1.publicati X X X X S1.book X X S2.book X X X M1 M2 M5 Ulf Leser: Informationsintegration, Wintersemester 2006/

34 Intensionale Zerlegung Berechnung von Attributmengen Grundannahme: Gleiche Attribute gleiche Semantik Drei disjunkte Mengen X1 PubNr Title X2 Author Publisher X3 ISBN Price S1.publica X X X S1.book i X X X X X X S2.book X X X X X Ulf Leser: Informationsintegration, Wintersemester 2006/

35 GIM Matrix Kombiniere intensionale und extensionale Zerlegungen Welche Extensionen haben welche Intensionen? Berechnung aller kleinsten unterschiedlichen Einheiten M1 M2 M3 M4 M5 not S1.book and S2.book, S2.book S2.book not S1.book S1.Pub, not S1.book Only S2.book S1.publisher X X X X S1.book X X S2.book X X X X1 PubNr Title X2 Author Publisher X3 ISBN Price S1.publish X X X S1.book X X X X X S2.book X X X X X M1 M2 M3 M4 M5 X1 X X X X X2 X X X X X X3 X X X X Ulf Leser: Informationsintegration, Wintersemester 2006/

36 Sortierung der GIM Matrix Permutation der Spalten und der Zeilen Ziel: Lücken nach rechts-unten bewegen Dabei gibt es einige Freiheitsgrade Auswirkungen auf das integrierte Schema M1 M2 M3 M4 M5 X1 X X X X X2 X X X X X X3 X X X X Vertausche X1 und X2 M1 M2 M3 M4 M5 X2 X X X X X X1 X X X X X3 X X X X Schiebe M1 vor M5 M2 M3 M4 M1 M5 X2 X X X X X X1 X X X X X3 X X X X Ulf Leser: Informationsintegration, Wintersemester 2006/

37 Schemaableitung Blöcke der Matrix ergeben Klassen Mehr Zeilen und weniger Spalten Unterklasse Lücken in den Blöcken bestimmen Eltern Ziel: Keine Attribute ohne Werte M2 M3 M4 M1 M5 X2 X X X X X X1 X X X X X3 X X X X All_publications Title Author M2 M3 M4 M1 M5 X2 X X X X X X1 X X X X X3 X X X X M2 M3 M4 M1 M5 X2 X X X X X X1 X X X X X3 X X X X M2 M3 M4 M1 M5 X2 X X X X X X1 X X X X X3 X X X X All_pubs_s1 PubNr All_books_s1 Publisher ISBN Price Only_S2 Publisher ISBN Price Ulf Leser: Informationsintegration, Wintersemester 2006/

38 Eigenschaften von GIM Elegante Methode Einige Einschränkungen Keine Behandlung von Assoziationen Keine Behandlung schematischer Konflikte Attribute müssen sich 1:1 transformieren lassen Die Schwierigkeiten liegen in den beiden ersten Schritten Bestimmung der Zerlegungen Wenn man die kennt, hat man alle Korrespondenzen implizit gefunden GIM hilft dann vor allem bei der Erzeugung des integrierten Schemas Versucht immer, einer einzige Hierarchie zu erzeugen Neigt zu großen und komplexen Hierarchien Attribute mit NULL werden zunächst nicht in Kauf genommen Ulf Leser: Informationsintegration, Wintersemester 2006/

39 Fazit Schemaintegration Generelles Vorgehen Korrespondenzen finden Daraus Schema ableiten Viele ungelöste Probleme Verfahren nur halbautomatisch Neigen alle zu sehr großen, komplexen Schemata Aufgrund der Forderung nach Vollständigkeit Kein Ansatz kann alle Arten von Heterogenität auflösen Schemaintegration nur ein Zwischenschritt zur Informationsintegration Nächstes Problem: Data Exchange [FKMP03] Transformationsregeln für existierende Daten ableiten Neuer Terminus: Schema Management [BLP00] Ziel: Algebra zum Umgang mit Schemata Ulf Leser: Informationsintegration, Wintersemester 2006/

40 Literatur [Con97] Conrad, S. (1997). "Föderierte Datenbanksysteme: Konzepte der Datenintegration". Berlin, Springer-Verlag. [Sch98] Schmitt, I. (1998). "Schemaintegration fuer den Entwurf föderierter Datenbanken". Sankt Augustin, Infix Verlag. [BLN86] Batini, C., Lenzerini, M. and Navathe, S. B. (1986). "A Comparative Analysis of Methodologies for Database Schema Integration." ACM Computing Surveys 18(4): [SPD92] Spaccapietra, S., Parent, C. and Dupont, Y. (1992). "Model Independent Assertions for Integration of Heterogeneous Schemas." The VLDB Journal 1(1): [BLP00] Bernstein, P. A., Levy, A. Y. and Pottinger, R. A. (2000). "A Vision of Management of Complex Models." SIGMOD Record 29(4): [FKMP03] Fagin, R., Kolaitis, P. G., Miller, R. J. and Popa, L. (2003). "Data Exchange: Semantics and Query Answering". 9th International Conference on Database Theory, Siena, Italy. pp Ulf Leser: Informationsintegration, Wintersemester 2006/