5. Implementierung von Präferenz- Querysprachen

Transkript

1 5. Implementierung von Präferenz- Querysprachen Es werden Implementierungsdetails zu folgenden Themen vorgestellt: 5.1 Integration mit SQL-Datenbanken 5.2 Algebraische Präferenz-Optimierung 5.3 Auswertung der Präferenz-Selektion Prof. Kießling

2 5.1 Integration mit SQL-Datenbanken Drei prinzipielle Vorgehensweisen für die Integration mit SQL-Datenbanken stehen zur Verfügung: Lose Kopplung Hybride Kopplung Enge Kopplung Prof. Kießling

3 5.1.1 Lose Kopplung Applikationsintegration durch lose Kopplung, Präprozessor, on top of the db, rewriting Preference SQL-Anfrage Preference JDBC-Treiber Preference SQL Rewriter Standard JDBC-Treiber SQL-Anfrage Applikation Standard SQL DB-System BMO-Ergebnisse Prof. Kießling

4 Beispiel: Preference SQL Rewriter Identifier Make Model Price Mileage Airbag Diesel 1 Audi A yes no 2 BMW 5 series yes yes 3 Volkswagen Beetle yes no SELECT * FROM cars PREFERRING Make = 'Audi' AND Diesel = 'yes'; Prof. Kießling

5 CREATE VIEW Auxiliary AS SELECT *, CASE WHEN Make = 'Audi' THEN 0 ELSE 1 END AS Makelevel, CASE WHEN Diesel = 'yes' THEN 0 ELSE 1 END AS Diesellevel FROM cars; Einfügen in eine temporär erstellte Relation bmo INSERT INTO bmo SELECT Identifier, Make, Model, Price, Mileage, Airbag, Diesel FROM Auxiliary A1 WHERE NOT EXISTS (SELECT 1 FROM Auxiliary A2 WHERE A2.Makelevel <= A1.Makelevel AND A2.Diesellevel <= A1.Diesellevel AND (A2.Makelevel < A1.Makelevel OR A2.Diesellevel < A1.Diesellevel)); Prof. Kießling

6 5.1.2 Enge Kopplung Ansatz: Erweiterung des existierenden SQL-Optimierers um Präferenzoptimierungstechniken Implementierung von σ[p] im DB-Kern Vorteil: Größtmögliche Effizienz Nachteil: Höchster Implementierungsaufwand Kooperation mit DB-Hersteller Beispiel: relationales Datenbanksystem EXASolution 5.0 von Exasol. Prof. Kießling

7 EXASolution 5.0 EXASolution 5.0 bietet ein Skyline Feature, welches eine Vielzahl an Präferenzfunktionen liefert (entstanden in einem gemeinsamen Forschungsprojekt mit dem Lehrstuhl). EXASolution 5.0: Skyline Analytics - multi-criteria optimization auf YouTube Prof. Kießling

8 Enge Kopplung: Preference SQL-Anfrage Applikation Standard JDBC-Treiber BMO-Ergebnisse Preference SQL Optimierer Query Engine Standard SQL DB-System Prof. Kießling

9 5.1.3 Hybride Kopplung Ansatz: SQL-System für Standardteile (d.h. relationale Algebra, z.b. π X (σ H (R))) der Preference Query nützen. Spezialmethoden in einer Middleware Algebraische Preference Query Optimierung Effiziente Algorithmen für die Präferenz-Selektion σ[p] und die gruppierende Präferenz-Selektion σ[p grouping G ] Anfrage-Operatorbaum wird von Preference SQL (P-Optimierer, P-Engine) verwaltet. Prof. Kießling

10 Hybride Kopplung Client Applikation Preference SQL-JDBC-Treiber (Client) Preference SQL-Anfrage BMO-Ergebnisse Preference SQL-JDBC-Treiber (Server) Preference SQL (P-Optimierer, P-Engine) Server Standard JDBC-Treiber SQL-Anfrage SQL-Zwischenergebnisse Standard SQL DB-System Prof. Kießling

11 Vorteile: Die Preference SQL-Komponente liegt nur auf einem Server, womit eine leichte Wartbarkeit und eine einfache Erweiterung von Preference SQL gewährleistet sind, da kein Update auf Seite der Clients erforderlich ist. Die Standard-SQL-Komponente eines DB-Systems bleibt unverändert. Nachteile: Die Laufzeit einer Preference SQL-Anfragegenerierung erhöht sich, da Preference SQL als eigene Komponente zusätzlich zur Standard- SQL-Komponente eines DB-Systems Rechenzeit verbraucht. Nachoptimierung innerhalb Standard-SQL-Komponente ist nötig. Prof. Kießling

12 5.1.4 Literatur W. Kießling, G. Köstler: Preference SQL - Design, Implementation, Experiences 28th International Conference on Very Large Data Bases (VLDB 2002). pp , Hong Kong, China, Aug W. Kießling, M. Endres, F.Wenzel: The Preference SQL System - An Overview In Bulletin of the Technical Committee on Data Engineering, Vol. 34 No. 2, June 2011, p Prof. Kießling

13 5.2 Algebraische Präferenz-Optimierung Preference Relational Algebra: Relationale Algebra Präferenz-Selektion: σ[p](r) := { t R v R: t[a] < P v[a]} Gruppierende Präferenz-Selektion: σ[p GROUPING G ] (R) := { t R v R: t[g] G v[g] t[a] < P v[a]} Spezialfall (triviale SV-Semantik): σ[p GROUPING G] (R) := σ[p GROUPING id G ] (R) Prof. Kießling

14 5.2.1 Ablauf einer Preference SQL Query- Auswertung 1. Übersetzung in einen initialen Operatorbaum der Preference Relational Algebra (PRA) 2. Operatorbaumtransformationen nach Heuristiken 3. Kostenbasierte Auswahl effizienter Algorithmen zur Auswertung des Operatorbaums aus (2) Prof. Kießling

15 Beispiel: Relationales Datenbankschema: USED_CARS (id, Age, Color, Price ) // id ist Fremdschlüssel CAR_DETAIL (id, Brand, ) // auf id von CAR_DETAIL SELECT u.price, d.brand, u.age FROM used_cars u, car_detail d WHERE u.id = d.id and u.color = 'red' PREFERRING u.age AROUND 8 PRIOR TO d.brand IN ('BMW', 'Mercedes') ; Prof. Kießling

16 Initialer Ausführungsplan der Anfrage: π u.price, d.brand, u.age σ[around(u.age, 8) & POS(d.brand, {BMW, Mercedes})] σ u.id = d.id color = red X used_car u car_detail d Prof. Kießling

17 5.2.2 Transformationsregeln Ziel ist die frühzeitige Anwendung von Präferenzen, um die Ergebnismenge zu reduzieren. Theorem L1: Schiebe Projektion über eine Präferenz-Selektion. * Theorem L2: Schiebe Präferenz-Selektion über kartesisches Produkt. Theorem L3: Schiebe Präferenz-Selektion über Vereinigung. Theorem L4: Teile Priorisierung in Gruppierung auf. * Theorem L5: Schiebe Präferenz-Selektion über harte Selektion. * Theorem L6: Schiebe Präferenz-Selektion über Join. * * Diese Theoreme werden noch detaillierter vorgestellt. Prof. Kießling

18 Theorem L7: Theorem L8: Teile Pareto-Präferenz auf und schiebe sie über Join. Teile Priorisierung auf und schiebe sie über Join. Theorem L9: Vereinfache gruppierte Präferenz-Selektionen. * Theorem L10: Theorem L11: Theorem L12: Theorem L13: Kaskadiere Präferenzen und harte Selektionen. Nutze Kommutativität, Assoziativität und Linksdistributivität von Pareto-Präferenzen.* Teile Priorisierung auf und schiebe die jeweiligen Präferenzen über kartesisches Produkt. Teile Pareto auf und schiebe die jeweiligen Präferenzen über kartesisches Produkt. Prof. Kießling

19 Transformationsgesetze in Preference Relational Algebra (PRA): Wir betrachten ein Relationenschema R(A 1, A n ) mit einer Instanz R dom(a 1 ) dom(a n ). Ferner sei attr(r) = {A 1, A n }. Prof. Kießling

20 (L1) Schiebe Projektion über Präferenz-Selektion: Für die Präferenz P = (A, < P, P ) und A, X attr(r) gilt: a) Falls A X: π X (σ[p](r)) = σ[p](π X (R)) b) sonst: π X (σ[p](r)) = π X (σ[p](π X A (R))) Ebenso gilt auch für die Präferenz P = (A, < P, P ) mit A, X attr(r): a) Falls A, B X: π X (σ[p grouping B](R)) = σ[p grouping B](π X (R)) b) sonst: analog zu oben Prof. Kießling

21 (L2) Schiebe Präferenz-Selektion über kartesisches Produkt: Für die Präferenz P = (A, < P, P ) und A attr(r) gilt: σ[p](r x T) = σ[p](r) x T Prof. Kießling

22 (L3) Schiebe Präferenz-Selektion über Vereinigung: Für die Präferenz P = (A, < P, P ) mit A attr(r), attr(r) = attr(t) gilt: σ[p](r T) = σ[p]( σ[p](r) σ[p](t) ) (L4) Teile Priorisierung in Gruppierung auf: Für die Präferenzen P 1 = (A 1, < P1, P1 ) und P 2 = (A 2, < P2, P2 ) mit A 1, A 2 attr(r) gilt: a) σ[p 1 & P 2 ](R) = σ[p 2 grouping P 1 ] (σ[p 1 ](R)) b) σ[p 1 & P 2 ](R) = σ[p 1 ] (σ[p 2 grouping P 1 ](R)) Prof. Kießling

23 (L5) Schiebe Präferenz-Selektion über harte Selektion: Für die Präferenzen P = (A, < P, P ) mit A attr(r) und eine harte Bedingung H gilt: σ[p](σ H (R)) = σ H ( σ[p](r) ) gdw. w, v R: (H(w) w[a] < P v[a]) => H(v) Eine Vertauschung ist möglich, wenn für jedes Tupel w, das die harte Bedingung H erfüllt, auch das dominierende Tupel v die harte Bedingung erfüllt. Prof. Kießling

24 Gegenbeispiel und Beispiel zu L5: Gegeben sei die R(A, B) = {(1, 1), (2, 2), (1, 3), (2, 5), (2, 100)} mit Q1: σ[highest(b), =](σ A = 1 (R)) = σ[highest(b), =]({ (1, 3), (1, 1)}) = {(1, 3)}; Q2: σ A = 1 (σ[highest(b), =](R)) = σ A = 1 ({(2, 100)}) = ; Das Tupel v = (2, 100) erfüllt nicht die Bedingung A = 1, dominiert aber aufgrund seines maximalen B-Wertes das gesamte Ergebnis. L5 ist nicht anwendbar! Falls v durch v = (1, 100) ersetzt wird, ist (L5) anwendbar. Prof. Kießling

25 (L6) Schiebe Präferenz-Selektion über Join: Für die Präferenz P = (A, < P, P ) mit A attr(r) und X attr(r) attr(t), gilt: Falls für jedes Tupel aus R mindestens ein Join-Partner in T existiert: σ[p](σ R.X = T.X (R T)) = σ R.X = T.X (σ[p](r) T) (L7) Teile Pareto-Präferenz auf und schiebe sie über Join: Für die Präferenzen P 1 = (A 1, < P1, P1 ) mit A 1 attr(r), P 2 = (A 2, < P2, P2 ) mit A 2 attr(t) und X attr(r) attr(t), gilt: Falls für jedes Tupel aus R mindestens ein Join-Partner in T existiert: σ[p P 1 2 ](σ R.X = T.X (R T)) = σ[p P 1 2 ](σ R.X = T.X ( σ[p 1 grouping X](R) T)) Prof. Kießling

26 (L8) Teile Priorisierung auf und schiebe sie über Join: Gegeben seien P 1 = (A 1, < P1, P1 ) mit A attr(r) und P 1 2 = (A 2, < P, 2 P2 ) mit A 2 attr(r) attr(s). Zudem sei X attr(r) attr(s). Falls jedes Tupel in R wenigstens einen Join-Partner in S hat: σ[p & P 1 2 ](σ R.X = S.X (R S)) = σ[p 2 grouping P 1 ] (σ R.X = S.X (σ[p 1 ](R) S)) Bemerkung zu L6 - L8: Falls R.X ein Fremdschlüssel auf S.X ist, hat jedes Tupel in R wenigstens einen Join-Partner in S (referentielle Integrität). Prof. Kießling

27 (L9) Vereinfache gruppierende Präferenz-Selektion: Für die Präferenzen P = (A, < P, P ), P 1 = (A 1, < P1, P1 ) und P 2 = (A 2, < P2, P2 ) mit A, A 1, A 2 attr(r) und mit, 1, 2 als beliebige Äquivalenzrelationen gilt: a) σ[(p grouping 1 ) grouping 2 ](R) = σ[p grouping ( 1 2 )](R), wobei gilt: x ( 1 2 ) y gdw. x 1 y x 2 y b) σ[(p 1 grouping 1 ) & P 2 ](R) = σ[(p 1 & P 2 ) grouping 1 ](R) c) σ[(p 1 (P 2 grouping 1 )](R) = σ[(p 1 P 2 ) grouping 1 ](R) d) σ[(p 1 grouping 1 ) (P 2 grouping 2 )](R) = σ[(p 1 P 2 ) grouping ( 1 2 )](R) e) σ[p grouping G](R) = R, falls G eindeutig (z.b. Primärschlüssel) ist. Prof. Kießling

28 (L11) Kommutativität, Assoziativität und Linksdistributivität: Für die Präferenzen P 1 = (A 1, < P1, P1 ), P 2 = (A 2, < P2, P2 ) und P 3 = (A 3, < P3, P3 ) gilt: a) σ[p 1 P 2 ](R) = σ[p 2 P 1 ](R) b) σ[(p 1 P 2 ) P 3 ](R) = σ[p 1 (P 2 P 3 )](R) c) σ[(p 1 & P 2 ) & P 3 ](R) = σ[p 1 & (P 2 & P 3 )](R) d) σ[p 1 & (P 2 P 3 )](R) = σ[(p 1 & P 2 ) (P 1 & P 3 )](R) Prof. Kießling

29 (L12) Teile Priorisierung auf und schiebe die jeweiligen Präferenzen über kartesisches Produkt Gegeben seien: P 1 = (A 1, < P1, P1 ) mit A 1 attr(r), P 2 = (A 2, < P2, P2 ) mit A 2 attr(s). σ[p 1 & P 2 ](R S) = σ[p 1 ](R) σ[p 2 ](S) Prof. Kießling

30 (L13) Teile Pareto auf und schiebe die jeweiligen Präferenzen über kartesisches Produkt Gegeben seien: P 1 = (A 1, < P1, P1 ) mit A 1 attr(r), P 2 = (A 2, < P2, P2 ) mit A 2 attr(s). σ[p 1 P 2 ](R S) = σ[p 1 ](R) σ[p 2 ](S) Prof. Kießling

31 5.2.3 Operatorbaumoptimierung Der aus der Vorlesung Datenbanksysteme I bekannte Hill- Climbing-Algorithmus wird um Transformationsregeln für Preference Relational Algebra (PRA) erweitert. Eingabe ist ein initialer Operatorbaum T: Algorithmus PassPreference(T): {update T: Schritt A-1 <Schiebe Präferenz-Selektion über Vereinigung: L3> Schritt 1-1 Schritt 1-2 <Teile harte Selektionen auf> <Schiebe harte Selektionen so weit als möglich nach unten> Prof. Kießling

32 5.2.3 Operatorbaumoptimierung Schritt B-1: <Teile Priorisierung in Gruppierung auf: L4> Schritt B-2: <Schiebe Präferenz-Selektion über Join: L6> Schritt B-3: <Teile Präferenz auf und schiebe sie über Join: L7; L9e; L8> Schritt B-4: <Schiebe Präferenz-Selektion über kartesisches Produkt: L2> Schritt B-5: <Teile Präferenz auf und schiebe sie über kartesisches Produkt: L12, L13> Schritt 2-1: Schritt 2-2: return T} <Schiebe Projektionen soweit wie möglich nach unten auch über Präferenzen (L1)>; <Kombiniere harte Selektionen und kartesische Produkte zu Joins> Prof. Kießling

33 Beispiel für Operatorbaumoptimierung: Benutzte Schemata ohne Angabe von Domänen sind: USED_CARS (id, Age, Color, Price ) // id ist Fremdschlüssel CAR_DETAIL (id, Brand, ) // auf id von CAR_DETAIL SELECT u.price, d.brand, u.age FROM used_cars u, car_detail d WHERE u.id = d.id AND u.color = 'red' PREFERRING u.age AROUND 8 PRIOR TO d.brand IN ('BMW', 'Mercedes') Prof. Kießling

34 Initialer Ausführungsplan: π u.price, d.brand, u.age σ[around(u.age, 8, ~ AROUND ) & POS(d.brand, {BMW, Mercedes}, ~ POS )] π u.price, d.brand, u.age σ[around(u.age, 8, ~ AROUND ) & POS(d.brand, {BMW, Mercedes}, ~ POS )] σ u.id = d.id σ u.id = d.id u.color = red X X σ u.color = red used_car u car_detail d used_car u car_detail d 1-1: Harte Selektion aufteilen und 1-2: verschieben. Prof. Kießling

35 π u.price, d.brand, u.age π u.price, d.brand, u.age σ[around(u.age, 8, ~ AROUND ) & POS(d.brand, {BMW, Mercedes}, ~ POS )] σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) L4a grouping ~ AROUND ] σ[around(u.age, 8, ~ AROUND )] σ u.id = d.id X σ u.id = d.id X σ u.color = red σ u.color = red used_car u car_detail d used_car u car_detail d B-1: Teile Priorisierung in Gruppierung auf. Prof. Kießling

36 π u.price, d.brand, u.age π u.price, d.brand, u.age σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] σ[around(u.age, 8, ~ AROUND )] σ u.id = d.id L6 σ u.id = d.id X X σ[around(u.age, 8, ~ AROUND )] σ u.color = red σ u.color = red used_car u car_detail d used_car u car_detail d Prof. Kießling 2016 B-2: Schiebe Präferenz-Selektion über Join. 5-36

37 π u.price, d.brand, u.age σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] L1a π u.price, d.brand, u.age σ u.id = d.id X σ[around(u.age, 8, ~ AROUND )] σ u.id = d.id X σ[around(u.age, 8, ~ AROUND )] σ u.color = red σ u.color = red used_car u car_detail d used_car u 2-1: Schiebe Projektion über gruppierte Präferenz-Selektion. car_detail d Prof. Kießling

38 σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] π u.price, d.brand, u.age σ u.id = d.id X σ[around(u.age, 8, ~ AROUND )] 5b(DB1) 10(DB1) L1a π u.price, d.brand, u.age σ u.id = d.id X σ[around(u.age, 8, ~ AROUND )] π u.id, u.price, u.age π d.id, d.brand σ u.color = red σ u.color = red used_car u car_detail d used_car u car_detail d 2-1: Schiebe Projektion über Präferenz-Selektion. Prof. Kießling

39 σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] σ[pos(d.brand, {BMW, Mercedes}, ~ POS ) grouping ~ AROUND ] π u.price, d.brand, u.age π u.price, d.brand, u.age σ u.id = d.id X σ[around(u.age, 8, ~ AROUND )] u.id = d.id σ[around(u.age, 8, ~ AROUND )] πu.id, u.price, u.age π d.id, d.brand π u.id, u.price, u.age π d.id, d.brand σ u.color = red σ u.color = red used_car u car_detail d used_car u car_detail d Prof. Kießling : Selektion + kartesisches Produkt zu Joins. 5-39

40 Weiteres Beispiel: Zwischenstand eines PRA-Operatorbaums π u.price, s.name σ[(lowest(u.age, ~ LOWEST ) BETWEEN(u.price, [5000, 6000], ~ BETWEEN )) & POS(c.brand, {BMW}, ~ POS ) & AROUND(s.zipcode, 86609, ~ AROUND ) ] u.sid = s.sid u.ref = c.ref seller s σ u.color = gray u.color = red used_car u category c Prof. Kießling

41 Endstand des PRA-Operatorbaums π u.price, s.name σ[around(s.zipcode, 86609) grouping {~ BETWEEN, ~ LOWEST, ~ POS } ] π u.price, u.age, s.name, s.zipcode, c.brand u.sid = s.sid σ[pos(c.brand, {BMW}, ~ POS ) grouping {~ BETWEEN, ~ LOWEST }] π u.price, u.age, u.sid, c.brand π s.name, s.zipcode, s.sid seller s u.ref = c.ref π c.ref, c.brand category c σ[lowest(u.age, ~ LOWEST ) BETWEEN(u.price, [5000, 6000], ~ BETWEEN )] Anwendung der Regeln: L8; L8; L1b, L1a; π u.price, u.age, u.sid, u.ref σ u.color = gray u.color = red used_car u Prof. Kießling

42 SQL-Client: EXPLAIN-Anweisung Prof. Kießling

43 5.2.4 Weiterführende Literatur J. Chomicki: Preference formulas in relational queries ACM Transactions on Database Systems (TODS). Volume 28, Issue 4 (December 2003), pp B. Hafenrichter, W. Kießling: Optimization of Relational Preference Queries 16th Australasian Database Conference (ADC 2005). pp , Newcastle, Australia, Jan M. Endres, P. Roocks, M. Huber, W. Kießling: Grouping Queries with SV-Semantics in Preference SQL 8th Multidisciplinary Workshop on Advances in Preference Handling, in conkunction with AAAI-14, Quebec City, Canada. Prof. Kießling