Fachpraktikum Erweiterbare Datenbanksysteme im WS 2015/16. Aufgabe 4 der Phase 2. Anfrageoptimierung für verteilte Datenbanken

Transkript

1 Fachpraktiku Erweiterbare Datenbanksystee i WS 2015/16 Aufgabe 4 der Phase 2 Anfrageoptiierung für verteilte Datenbanken auf Basis der Distributed Algebra Ralf Hartut Güting, Thoas Behr, Fabio Valdés, Holger Helut Hennings Lehrgebiet Datenbanksystee für neue Anwendungen Fakultät für Matheatik und Inforatik, Fernuniversität in Hagen

2 Aufgabe Verteilte Datenbanken und Anfrageauswertung öglich it Secondo it Hilfe der Distributed Algebra (genauer: Distributed2Algebra) Secondo-Syste (Master) kontrolliert viele Secondo-Server (Worker) auf verschiedenen Rechnern Master - verteilt Daten - veranlaßt parallele Berechnungen durch Worker (Abbildungen verteilter Daten) - saelt verteilte Daten (Ergebnisse) wieder ein alles in ausführbarer Sprache Aufgabe: dies in SQL verfügbar achen (viel einfacher für Benutzer) 2

3 Distributed Algebra Zwei Ebenen Untere Ebene: Priitive - Verbinden it Server (Worker) - beliebige Secondo-Befehle an einzelne Server schicken (Server über Nr. ansprechbar) - Secondo-Befehle zur parallelen Ausführung verschicken - Dateitransfer zwischen Servern bzw. Master/Server - Tupelströe partitionieren in Dateien -... Obere Ebene: Abstraktion verteilter Array it Operationen - Typen darray, dfarray, dfatrix - darray: Felder enthalten Werte beliebiger Secondo-Typen (Relationen, Indexe, atoare Werte,...). In Datenbanken der Worker gespeichert. - dfarray, dfatrix: Felder enthalten Relationen. In Dateien der Worker gespeichert. 3

4 Distributed Algebra Verteilter Array (darray, dfarray) Master n Server 1 Server 2 Server n + 1 n Server 4 4 Server n n Figure 1: Creating a distributed array by partitioning data on the aster. Verteilte Matrix (dfatrix) Server 1 Server 2 Server 3 Server 4 Server n Figure 2: A distributed file atrix. 4

5 Distributed Algebra Matrix kann spaltenweise in verteilten Array eingesaelt werden. Server 1 Server 2 Server 3 Server 4 Server n Server 1 Server 2 Server n + 1 n Server 4 4 Server n n Figure 3: A distributed file atrix is collected into a distributed file array. 5

6 Distributed Algebra Obere Ebene: Operationen - ddistribute, dfdistribute: Tupelstro verteilen; Ergebnis verteilter Array - dloop, dap: jedes Feld bearbeiten (abbilden); Ergebnis neuer verteilter Array - dloop2, dap2: für zwei Arguentarrays Felderpaare it gleiche Index in Query bearbeiten (wichtig für Joins); Ergebnis neuer verteilter Array - partition: verteilten Array auf jede Worker neu partitionieren (dfarray -> dfatrix) - collect2: Matrix spaltenweise einsaeln (dfatrix -> dfarray) - areduce, areduce2: eine oder zwei Matrizen dynaisch spaltenweise verarbeiten (dfatrix -> dfarray, dfatrix x dfatrix -> dfarray) - getvalue, tie: atoare Ergebnisse aus verteilte Array auf den Master übertragen, dort aggregieren - dsuarize: Array von Relationen als Tupelstro auf den Master bringen 6

7 Verteilte Datenbank Relationen können partitioniert oder repliziert verteilt sein in Datenbanken oder in Dateien atoare Objekte können repliziert sein Arten der Partitionierung - zufällig - sequentiell feste Größe - sequentiell round robin - nach Standardattribut (ittels Hashing) - nach Geoattribut (it Gitterverteilung) 7

8 Beispieldatenbank: NRW als Shapefiles aus Openstreetap ca. 6 Mio Gebäude ca. 1,5 Mio Straßen weiterhin Wasserwege, Landnutzung, Eisenbahnen, arkante Punkte, Natur (Wälder usw..) 8

9 Arten von Anfragen nur Anfragen it indestens einer verteilten Relation Selektionen und Joins Ergebnisse zählen Ergebnisse einsaeln optional: Gruppieren und Aggregatfunktionen 9

10 Anfragen genauer Selektion Standardattribut - ohne Index - it Index Selektion Geoattribut - ohne Index - it Index Standard Equijoin Spatial Join Indexbasierter Equijoin Indexbasierter Spatial Join allgeeiner Join. Nur öglich, falls ein Arguent verteilt, das andere repliziert vorliegt. 10

11 Zu tun Infrastruktur (Kenntnis des Optiierers über verteilte Datenbankobjekte und Worker) - Version 1: Prädikate werden anuell i Optiierer definiert - Version 2: Dynaische Prädikate werden ittels Anfragen an Secondo-Datenbank erzeugt. Dort werden diese Inforationen in neuen Systetabellen abgelegt. Überprüfen der Anfrage - sind Relationen bekannt? - wie verteilt? - sind atoare Objekte bekannt und repliziert? Kardinalitäten und Selektivitäten - Kardinalitäten verteilter Relationen stehen in Systetabellen - Selektivitäten: Master besitzt verteilte Relation zuindest in Saplegröße. Ebenso erwähnte atoare Objekte. Deshalb können Selektivitäten wie bisher auf Master berechnet werden. Übersetzungsregeln Kostenfunktionen 11

12 Zu tun Nachbehandlung von Plänen - Selektionen sind in dap übersetzt worden - dap wenn öglich it vorhergehende oder nachfolgende Operator verschelzen 12