SchemaSQL. 11. Multidatenbanksprachen. SchemaSQL: Beispiel-Anfragen. SchemaSQL: Beispiel

Transkript

1 11. Multidatenbanksprachen Ziel: Globaler Zugriff auf mehrere (lokale) Datenbanken Lokale Datenbankschemata sind sichtbar. Benutzer darf eigene externe Schemata definieren. Multidatenbanksysteme (MDBS) haben kein gemeinsames globales Schema! MDB-Sprachen können aber auch dazu verwendet werden, eine integrierte Sicht bereitzustellen. im Folgenden vorgestellt: SchemaSQL, FRAQL, IBM DataJoiner SchemaSQL SchemaSQL [LakSadSub96]: integrierter Zugriff auf Schemainformation wesentliche Charakteristika von SchemaSQL: Behandlung von Daten und Metadaten zur Lösung von speziellen Konflikten notwendig neben der üblichen Aggregation auch möglich: Aggregation über mehrere Attribute Aggregation über Relationengrenzen hinweg fast beliebige Restrukturierung von Schemata SQL ist vollständig in SchemaSQL enthalten VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS SchemaSQL: Beispiel SchemaSQL: Beispiel-Anfragen Datenbank FirmaA: Gehaelter Position Abt GrundGeh Leiter Pers Assistent Pers Leiter Kons Assistent Kons Datenbank FirmaB: Gehaelter Position Pers Kons Leiter Assistent Pers Position Leiter Assistent Datenbank FirmaC: Kons GrundGeh Position GrundGeh Leiter Assistent Datenbank FirmaD: Gehaelter Abt Leiter Assistent Pers Kons select A.Abt from FirmaA::Gehaelter A, FirmaB::Gehaelter B, FirmaB::Gehaelter-> AttB where AttB <> "Position" and A.Abt = AttB and A.Position = "Leiter" and B.Position = "Leiter" and A.GrundGeh > B.AttB Wertebereich von AttB : Attributnamen der Relation Gehaelter in Datenbank FirmaB... alle Abteilungen der FirmaA, in denen das Grundgehalt des Abteilungsleiters größer ist als das des Leiters der entsprechenden Abteilung in FirmaB VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS 8 105

2 SchemaSQL: Beispiel-Anfragen /2 select T.Position, avg(t.d) from FirmaB::Gehaelter-> D, FirmaB::Gehaelter T where D <> "Position" group by T.Position Wertebereich der Variablen D : Attributnamen der Relation Gehaelter in Datenbank FirmaB Bindung von Variablen an Daten und Metadaten! horizontale Aggregation in Tupeln Erweiterung von SQL SchemaSQL: Beispiel-Anfragen /3 Anfrage 2 für Schema FirmaC select T.Position, avg(t.grundgeh) from FirmaC-> D, FirmaC::D T group by T.Position Wertebereich von D : Relationennamen in Datenbank FirmaC Multien-Aggregation... das durchschnittliche Grundgehalt für jede Position über alle Abteilungen in FirmaB VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS SchemaSQL: Beispiel-Anfragen /4 create view globalschema::gehaelter(firma, Posi tion,abt, Grun dgeh ) as select "FirmaA", T.Position, T.Abt, T.GrundGeh from FirmaA::Gehaelter T union select "FirmaB", T.Position, A, T.A from FirmaB::Gehaelter T, FirmaB::Gehaelter-> A where A <> Position" union select "FirmaC", T.Position, R, T.GrundGeh from FirmaC-> R, FirmaC::R T union select "FirmaD", A, T.Abt, T.A from FirmaD::Gehaelter T, FirmaD::Gehaelter-> A where A <> "Abt" Federation Query Language FRAQL Zielstellung: Integration, Verdichtung und Abstraktion von Daten Aufgaben Definition eines globalen Schemas Abbildung zwischen globalen und lokalen Schemata Auflösung von Konflikten Anfragesprache für (objektale) Datenbankföderationen, Erweiterung von SQL um Einbeziehung mehrerer (heterogener) Datenbanken benutzerdefinierte Datentypen Zugriff auf Metadaten Restrukturierung, Konfliktbehandlung VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS 8 109

3 FRAQL: Konzepte Objekttypen Strukturbeschreibung von Tupeln Spezialisierungshierarchie create type type_name [ under type_names ] ( attrib_definition ); Datenquellen lokale Datenbank mit Relationen Datenbankadapter, Verbindungsinformationen register source source_name at DSN= db ;UID= user ;PWD= password using adaptor_name ; FRAQL: Konzepte /2 Objektsichten Importsicht: Projektion über lokale Relation create view global_name of type_name as import from source.local_name [ mapping_definitions ]; Integrationssicht: Sicht über globale Relationen create view global_name of type_name as table_expression ; VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS FRAQL: Konzepte /3 Benutzerdefinierte Funktionen (stored functions) Implementierung als statische Methoden in Java oder C++ dynamische Registrierung Definition inverser Funktionen create function func_name ( fraql_type ) returns fraql_type external name class_name.method_name [ as inverse to func_name ]; Benutzerdefinierte Gruppierungs- und Aggregatfunktionen FRAQL: Konzepte /4 Restrukturierung von Relationen Umordnung von Relationen ähnlich SchemaSQL Zugriff auf Metadaten (Schemakatalog): catalog.tables, catalog.columns, Benutzeren Variablensubstitution in Anfragen: Berechnung der Namen von Relationen/Attributen Bsp.: tbl1.$(tbl2.col) select t2.prodname, t2.price from catalog.tables t1, $(t1.table_name) t2 where t1.type_name = bike ; VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS 8 113

4 FRAQL: Architektur FRAQL: Aspekte der Anfragebearbeitung JDBC Driver Query Tool Sichtauflösung Ersetzung globaler Relationen durch Sichtdefinition Schema Catalog Query Processor CORBA-Query Interface Decomposer Parser Query Evaluator Adapter Manager Adapter Datenbank Optimizer Adapter Datenbank Java VM VL Verteilte/Föderierte DBS Anfragedekomposition Zerlegung in Teilanfragen für die Quellen Umbenennung von Attributen, Datenkonvertierung Datenfusion Zusammenführung der lokalen Ergebnisse Anwendung von Auflösungsfunktionen Restrukturierung: Metadaten als Daten Optimierung Finden effizienter Ausführungspläne Nutzung von inversen Funktionen sowie Berechnung konstanter Ausdrücke VL Verteilte/Föderierte DBS FRAQL: Beschreibungskonflikte Auflösung durch Definition von Importsichten 1. Definition eines globalen Typs 2. Abbildung zwischen lokaler Relation und Typ Umbenennung von Attributen Konvertierung von Attributwerten durch benutzerdefinierte Funktionen FRAQL: Beschreibungskonflikte /2 create type bike ( prodname varchar (20), year int, vendor varchar (30), price float ); create view bikes of bike as import from src.radladen ( prodname is produkt, vendor pid, vendor, NULL), price is euro2dollar (preis), year is 2002); VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS 8 117

5 FRAQL: Strukturelle Konflikte Partitionierung: lokale Relationen repräsentieren verschiedene Aspekte der globalen Relation bei gleichzeitiger Existenz semantisch äquivalenter Attribute Auflösung durch Verbundoperationen (θ-join, Outer-Join) Meta-Konflikte: unterschiedliche Repräsentation von Konzepten (Schemaobjekt Datenobjekt) Auflösung durch Restrukturierung und Nutzung von Metadaten Meta-Konflikte: Beispiel bikes_1 prodname orderno dealer1 dealer2 XC-Shock AD Grizzly B M 8000 R bikes_2 prodname orderno dealer price Wannabee B-6070 dealer1 825 Wannabee B-6070 dealer2 850 M 8000 R-4010 dealer M 8000 R-4010 dealer VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS Meta-Konflikte: Auflösung bikes_1 bikes_2 select b.prodname, b.orderno, b.$(c.column_name), c.column_name from bikes_1 b, catalog.columns c where c.table_name = bikes_1 and c.column_name <> prodname and c.column_name <> orderno ; bikes_2 bikes_1 select prodname, orderno, pick_where_eq (dealer= dealer1, price) as dealer1, pick_where_eq (dealer= dealer2, price) as dealer2, from bikes_2 group by prodname, orderno; FRAQL: Extensionale Konflikte Auflösung durch Integrationsoperationen in globalen Sichten (hier union all) in Verbindung mit Behandlung von Datenkonflikten: Auflösungsfunktion zur Behandlung von Konflikten in gleichen Tupeln Festlegung einer Vorzugs Mittelwert- oder Summenbildung create view all_bikes of bike as select vendor, pick_where_max(year, price), element(to_array(prodname), 1), orderno, max(year), sum(stock) from bikes_a union all bikes_b group by vendor, orderno; VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS 8 121

6 Integrationsprozess IBM DataJoiner Local types and ships Schema integration Global types and ships Kommerzielles System von IBM, Teil von DB2 Eigenschaften: Local Local Data flow Control flow Implements Import Import Representation Representation Instance integration Integration Key equivalence Attribute Global s Transparenter Zugriff auf verschiedenartige Datenbanken, z.b. DB2, Informix, Oracle, Sybase, MS SQL Server Vollständiges DB2-SQL auf globaler Ebene Zugriff auf nicht-ale Datenbanken über Gateways Erlaubt Joins über mehrere, heterogene Datenbanken hinweg Unterstützt Replikation von Daten (Zwei-Phasen-Commit-Protokoll) Globale Optimierung VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS Konfiguration / Administration Server: Identifikation der lokalen Datenquellen Nickname: Identifikation von Relationen der lokalen Quellen User-Mapping: Abbildung von globalen Benutzern Server-Option: Server-Parameter, u.a. zur Optimierung Datentyp-Mapping: Abbildung von DB2-Datentypen auf Datentypen der Datenquelle Funktion-Mapping: Abbildung von DB2-Funktionen auf Funktionen der Datenquelle Heterogene Joins Berechnung von Verbunden zwischen Relationen aus verschiedenen Quellen Relation EMP (Oracle) EMPNO EMPNAME 100 Smith 200 Jones 300 Adams Relation OFFICE (Sybase) EMPNO OFFICENO 100 C C C204 VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS 8 125

7 Heterogene Joins /2 create nickname O_EMP for ORACLE.USER_X.EMP create nickname S_OFFICE for SYBASE.USER_Y.OFFICE select O_EMP.EMPNAME, S_OFFICE.OFFICENO from O_EMP, S_OFFICE where O_EMP.EMPNO = S_OFFICE.EMPNO Daten- und Funktionsintegration Herkunft der Daten Nicknames SQL-Dialekt Übersetzung Datentypen Konvertierung Fehlercodes Abbildung EMPNAME Smith Jones Adams OFFICENO C200 C202 C204 VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS Anfrageoptimierung und -transformation Globale Optimierung Berücksichtigung von CPU- und I/O-Leistung der Quellen sowie der Bandbreite Statistiken zu Quellen Transformation von Anfragen Teilanfragen Join Entfernung redundanter Joins Umformung von Prädikaten... Weitere Features Entfernte Stored Procedures Nicknames für Prozeduren in lokalen Quellen Heterogene Replikation Replikation zwischen Quellen verschiedener Hersteller Propagator und Pumpen für ale und nichtale Quellen so wie Lotus Notes Trigger Objektale Konzepte Benutzerdefinierte Typen und Funktionen Stored Procedures, Trigger Einbindung von Nicht-SQL-Quellen VL Verteilte/Föderierte DBS VL Verteilte/Föderierte DBS 8 129