Crashkurs: Relationale Datenbanksysteme

Transkript

1 Crashkurs: Relationale Datenbanksysteme Felix Naumann Überblick Vormittag Motivation Warum sind RDBMS und XML Systeme für die Informationsintegration wichtig? RDBMS Relational Database Management System Relationale Datenbanken Relationales Modell (Datenmodell) Relationale Algebra (Datenanfrage) SQL (Anfragesprache) Felix Naumann, CK Informationssysteme, WS 04/05 2

2 Überblick Nachmittag RDBMS Anfragebearbeitung Anfrageoptimierung XML Grundkonzepte XML Schema Felix Naumann, CK Informationssysteme, WS 04/05 3 Quellen RDBMS Folien u.a. in Anlehnung an VL Data Warehousing, Prof. Leser VL Einführung in Datenbanken, Prof. Freytag Felix Naumann, CK Informationssysteme, WS 04/05 4

3 Was ist Informationsintegration? Informationsintegration ist die Zusammenführung von Daten und Inhalt verschiedener Quellen zu einer einheitlichen Informationsmenge. Informationsintegration ist die korrekte, vollständige und effiziente Zusammenführung von Daten und Inhalt verschiedener, heterogener Quellen zu einer einheitlichen und strukturierten Informationsmenge zur effektiven Interpretation durch Nutzer und Anwendungen Felix Naumann, CK Informationssysteme, WS 04/05 5 Integrierte Informationssysteme Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system Felix Naumann, CK Informationssysteme, WS 04/05 6

4 Motivation RDBMS Oracle, DB2 Am weitesten verbreitetes Datenbankmodell Gut verstanden, weitgehend erforscht Integriertes Informationssystem Oft selbst ein RDBMS Anfrage Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system Felix Naumann, CK Informationssysteme, WS 04/05 7 Motivation XML Anfrage Integriertes Informationssystem Oracle, DB2 Anwendung Dateisystem Web Service HTML Form Integriertes Info.-system Transformation nach XML Input/Output XML Gute XML Werkzeuge (SAX/DOM) Einfache Kommunikation, Interoperabilität Felix Naumann, CK Informationssysteme, WS 04/05 8

5 Was sind Daten? Digitale Repräsentation von Dingen Entitäten Wissen Information in der wirklichen Welt. Kernfragen: Welche Daten speichere ich? Wie speichere ich die Daten? Wie frage ich Daten ab? Wie erledige ich all dies effizient? Unterstützung durch Datenbanksystem Felix Naumann, CK Informationssysteme, WS 04/05 9 Datenbanksysteme Bestandteile Datenbank Die Daten selbst + Metadaten (Beschreibung der Daten) Datenbankmanagementsystem (DBMS) Softwarekomponente zum Zugriff auf eine oder mehrere Datenbanken. Server-basiert Felix Naumann, CK Informationssysteme, WS 04/05 0

6 DBMS Beispiele DBMS Oracle, DB2 Informix, Sybase NCR Terada, SQL- Server PostGreSQL, Interbase mysql,... Data Warehouses OLTP OLAP Alle großen Softwaresysteme nutzen ein, mehrere oder sehr viele DBMS SAP Siebel SRS Sogar das geplante Microsoft Windows File- System (Longhorn) Felix Naumann, CK Informationssysteme, WS 04/05 DBMS Aufgaben Unterstützung des Datenmodells Bereitstellung einer Anfragesprache (DDL & DML) Robustheit Wahrung der Datenintegrität (Konsistenz etc.) Abfangen von Systemfehlern Speicherverwaltung Transaktionsmanagement Auch im Mehr-Benutzer-Betrieb Effiziente Anfragebearbeitung Userverwaltung & Zugangskontrolle Felix Naumann, CK Informationssysteme, WS 04/05 2

7 Schichtenmodell (ANSI/X3/SPARC) Externes Schema Externes Schema Externes Schema Sichten (Anwendungen, Nutzer) Konzeptionelles Schema Logisches Modell (Tabellen, Attribute, Anfragen Internes Schema Physisches Modell (Indexierung, Speicherung) Felix Naumann, CK Informationssysteme, WS 04/05 3 Schichtenmodell Interne (physische) Sicht Speichermedium (Tape, Festplatte) Speicherort (Zylinder, Block) Konzeptionelle (logische) Sicht Unabhängig von physischer Sicht Definiert durch Datenmodell Stabiler Bezugspunkt für interne und externe Sichten Externe (logische) Sicht Anwendungsprogramme Nur auf die relevanten Daten Enthält Aggregationen und Transformationen Felix Naumann, CK Informationssysteme, WS 04/05 4

8 Schichtenmodell Objekte Interne (physische) Sicht Dateien Konzeptionelle (logische) Sicht Schema Relationen, Typen, Integritätsbedingungen Externe (logische) Sicht Views Felix Naumann, CK Informationssysteme, WS 04/05 5 Schichtenmodell Beispiel (Vorschau) Konzeptionelle (logische) Sicht CREATE TABLE Book( ISBN VARCHAR(00) Title VARCHAR(00) Price DECIMAL(6,2)) Externe (logische) Sicht CREATE VIEW cheapbooks AS ( SELECT * FROM Book WHERE Price < 0,00 ) Interne (physische) Sicht CREATE INDEX BookIndex ON Book (ISBN) Felix Naumann, CK Informationssysteme, WS 04/05 6

9 Datenbankentwurf. Konzeptioneller Entwurf ER-Modell & ER-Diagramm Relationenmodell Physischer Entwurf HW und SW abhängig 3. Konzeptioneller Entwurf der externen Anwendungen Konzeptioneller Entwurf ist unabhängig vom physischen Entwurf! Felix Naumann, CK Informationssysteme, WS 04/05 7 Überblick RDBMS Relational Database Management System Relationale Datenbanken Relationales Modell (Datenmodell) Relationale Algebra (Datenanfrage) SQL (Anfragesprache) Anfragebearbeitung Optimierung Felix Naumann, CK Informationssysteme, WS 04/05 8

10 Relationales Modell Auch Relationenmodell Relationales Datenmodell Ziele Daten-Unabhängigkeit Trennung vom hierarchischen und Netzwerk- Modellen Felix Naumann, CK Informationssysteme, WS 04/05 9 Relationales Modell Definitionen Domäne Integer, Real, String {rot, grün, blau} Relation (Tabelle) Seien D,..,D n Domänen Relation R ist Teilmenge aus D D 2... D n...vom Grad n Tupel (Zeile) Ein Element aus R Attribut (Spalte) Relationenschema R(A :D,..., A n :D n ) Kardinalität R ist die (aktuelle) Anzahl der Tupel in R Felix Naumann, CK Informationssysteme, WS 04/05 20

11 Relationales Datenmodell Extension Extension einer Relation Die Menge der momentanen Tupel Kann sich durch Operationen ändern Kann als Tabelle dargestellt werden Beispiel Domänen: D = Integer, D 2 = String, D 3 = String, D 4 = Integer Relationenschema: Mitarbeiter(P_ID: D, Vorname: D 2, Nachname: D 3, Alter: D 4 ) Felix Naumann, CK Informationssysteme, WS 04/05 2 Relationales Datenmodell Zeilen/ Tupel Mitarbeiter P_ID Vorname Peter 2 Stefanie 5 Petra 7 Andreas Spalten/Attribute Nachname Alter Müller 32 Meier 34 Weger 28 Zwickel Felix Naumann, CK Informationssysteme, WS 04/05 22

12 Relationales Datenmodell vs. XML Relationen sind Mengen Keine Duplikate Tupel sind ungeordnet Attributwerte sind Atomar XML ist Graphbasiert Duplikate erlaubt (bzw. nicht definiert) In XML Dokumenten ist Reihenfolge wichtig Elemente sind geschachtelt Felix Naumann, CK Informationssysteme, WS 04/05 23 Relationales Modell Definitionen Datenbankschema Menge von Relationenschemata Relationale Datenbank Datenbankschema und alle zu dem Schema gehörenden Extensionen Felix Naumann, CK Informationssysteme, WS 04/05 24

13 Relationales Modell Schlüssel Sei R(A :D,..., A n :D n ) ein Relationenschema und sei S {A,..., A n } S ist Schlüssel, falls Eindeutigkeit: Falls zwei Tupel such unterscheiden, unterscheiden sie auch in den Attributen des Schlüssels. Minimalität: Es gibt kein S S, welches Eindeutigkeit erfüllt Felix Naumann, CK Informationssysteme, WS 04/05 25 Relationales Modell Schlüssel P_ID Vorname Nachname Alter Peter Müller 32 2 Stefanie Meier 34 5 Petra Weger 28 7 Andreas Müller 44 Peter Schmidt 32 Schlüssel: {PID}, {Vorname, Nachname} Nicht Schlüssel (z.b.): {Vorname}: Nicht eindeutig {Vorname, Alter}: Nicht eindeutig {PID, Vorname}: Nicht minimal {Vorname, Nachname, Alter}: Nicht minimal Felix Naumann, CK Informationssysteme, WS 04/05 26

14 Relationales Modell Schlüssel Primärschlüssel Ein ausgezeichneter Schlüssel Schlüssel als Meta-Information Kann nicht aus Extension abgelesen werden Wichtige Entwurfsentscheidung Felix Naumann, CK Informationssysteme, WS 04/05 27 Relationales Modell Fremdschlüssel Seien R(A,..., A n ) und S(B,..., B m ) zwei Relationenschemata. Sei F ein Schlüssel für S Also F = {B d,..., B dl } {B,..., B m } Falls zusätzlich F {A,..., A n }, heißt F Fremdschlüssel von S in R Felix Naumann, CK Informationssysteme, WS 04/05 28

15 Relationales Modell Fremdschlüssel mitarbeiter p_id projekte proj_id vorname Peter Stefanie Petra Andreas... p_id 7... nachname Müller Meier Weger Zwickel... name DWH ecommerce SAP... alter kunde BMW Metro RAG... p_id ist Schlüssel proj_id ist Schlüssel p_id ist Fremdschlüssel Felix Naumann, CK Informationssysteme, WS 04/05 29 Relationales Modell Integritätsbedingungen Jede Relation hat mindestens einen Schlüssel. Attribute im Schlüssel dürfen nicht NULL sein. Attributwerte in Domäne Zu jedem Fremdschlüsselwert muss es einen entsprechenden Schlüsselwert geben. Zusicherungen (Assertions) Das Alter von Angestellten ist immer > Felix Naumann, CK Informationssysteme, WS 04/05 30

16 Relationales Modell Schemata Felix Naumann, CK Informationssysteme, WS 04/05 3 Relationales Modell Schemata Felix Naumann, CK Informationssysteme, WS 04/05 32

17 Pause Überblick RDBMS Relational Database Management System Relationale Datenbanken Relationales Modell (Datenmodell) Relationale Algebra (Datenanfrage) SQL (Anfragesprache) Anfragebearbeitung Optimierung Felix Naumann, CK Informationssysteme, WS 04/05 34

18 Relationale Algebra Anfragesprache 5 Grundoperationen Vereinigung Differenz Kartesisches Produkt Projektion Selektion Abgeleitete Operationen Join, Natural Join, Semi-Join Division Schnittmenge Operationen bilden von Relation zu Relation ab (Abgeschlossenheit). Operationen können zu Ausdrücken zusammengesetzt werden Felix Naumann, CK Informationssysteme, WS 04/05 35 Relationale Algebra Vereinigung R S Attribute von R und S Gleiche Anzahl Gleiche Domänen Ergebnis Mengentheoretische Vereinigung gleiche Struktur wie R bzw. S Duplikat-frei R S R + S Felix Naumann, CK Informationssysteme, WS 04/05 36

19 Relationale Algebra Vereinigung Mitarbeiter m p_id vorname Peter 2 Stefanie Employees e nachname Müller Meier alter m e p_id vorname Peter 2 Stefanie 5 Petra nachname Müller Meier Weger alter p_id vorname nachname alter 7 Andreas Zwickel 44 5 Petra Weger 28 7 Andreas Zwickel Felix Naumann, CK Informationssysteme, WS 04/05 37 Relationale Algebra Vereinigung Jetzt: Kleine Vorschau, warum Informationsintegration so schwierig ist Anderes Schema Null Werte Gleiche IDs Gleiche real-world Objekte Felix Naumann, CK Informationssysteme, WS 04/05 38

20 Relationale Algebra Vereinigung Mitarbeiter m p_id vorname nachname alter Peter Müller 32 2 Stefanie Meier 34 Employees e p_id vorname nachname age 5 Petra Weger 28 7 Andreas Zwickel 44 Anderes Schema: m e nicht definiert! Felix Naumann, CK Informationssysteme, WS 04/05 39 Relationale Algebra Vereinigung Mitarbeiter m p_id vorname nachname alter Null-Werte Peter 7 Andreas Employees e p_id vorname 5 Petra 7 Andreas Müller Zwickel nachname Weger Zwickel alter 28 NULL m e p_id vorname Peter 7 Andreas 5 Petra 7 Andreas nachname Müller Zwickel Weger Zwickel alter NULL Felix Naumann, CK Informationssysteme, WS 04/05 40

21 Relationale Algebra Vereinigung Mitarbeiter m p_id vorname nachname alter Peter Müller 32 7 Stefanie Meier 34 Employees e p_id vorname nachname age 5 Petra Weger 28 7 Andreas Zwickel 44 IDS: Schlüsseleigenschaft gilt nicht mehr! m e p_i d vorname Peter Stefani Petra e Andreas nachname Müller Meier Weger Zwickel alter Felix Naumann, CK Informationssysteme, WS 04/05 4 Relationale Algebra Vereinigung Mitarbeiter m p_id vorname Peter 8 Andreas Employees e p_id vorname nachname Müller Zwickel nachname alter age m e p_i d vorname Peter Andreas Petra Andreas nachname Müller Zwickel Weger Zwickel alter Petra Andreas Weger Zwickel IDS: Schlüsseleigenschaft gilt zwar, aber Duplikate! Felix Naumann, CK Informationssysteme, WS 04/05 42

22 Relationale Algebra Differenz R / S Attribute von R und S Gleiche Anzahl Gleiche Domänen Ergebnis Mengentheoretische Differenz gleiche Struktur wie R bzw. S R - S R / S R Felix Naumann, CK Informationssysteme, WS 04/05 43 Relationale Algebra Differenz Mitarbeiter m p_id vorname nachname alter Peter Müller 32 7 Andreas Zwickel 34 Employees e Peter Müller 32 p_id vorname nachname alter 7 Andreas Zwickel 34 m / e p_id vorname nachname alter Felix Naumann, CK Informationssysteme, WS 04/05 44

23 Relationale Algebra Kartesisches Produkt R S Attribute Unterschiedliche Anzahl Unterschiedliche Domäne Ergebnis Keine doppelten Attributnamen Alle Kombinationen von Tupeln in R und S Größe: R S Eher von theoretischem Interesse Felix Naumann, CK Informationssysteme, WS 04/05 45 Relationale Algebra Kartesisches Produkt mitarbeiter p_id vorname nachname alter projekte proj_id p_id name kunde Peter Müller 32 DWH BMW 2 Stefanie Meier 34 2 ecommerce Metro mitarbeiter x projekte p_id vorname nachname alter proj_id p_id name kunde Peter Müller 32 DWH BMW Peter Müller 32 2 ecommerce Metro 2 Stefanie Meier 34 DWH BMW 2 Stefanie Meier 34 2 ecommerce Metro Felix Naumann, CK Informationssysteme, WS 04/05 46

24 Relationale Algebra Projektion proj (R) Sei R(A,..., A n ) ein Relationenschema. Proj = {A j,..., A jn } {A,..., A n } Ergebnis Hat Struktur A j,..., A jn Es können Duplikate entstehen, die entfernt werden müssen. proj (R) R Felix Naumann, CK Informationssysteme, WS 04/05 47 Relationale Algebra Projektion mitarbeiter mitarbeiter p_id 2 vorname Peter Stefanie nachname Müller Meier alter p_i d 2 vorname Peter Stefani e nachnam Müller e Müller alte 32r 34 Π vorname,nachname (mitarbeiter) vorname nachname Peter Müller Stefanie Meier Π nachname (mitarbeiter) nachnam Müller e Felix Naumann, CK Informationssysteme, WS 04/05 48

25 Relationale Algebra Selektion σ cond (R) Sei R(A :D,..., A n :D n ) ein Relationenschema cond ist Selektionsbedingung Form: A i op A j oder Ai op const Ai, Aj {A,..., An} Di = Dj, und const Di Op {=,,,,<,>} Boolescher Ausdruck Junktoren: UND, ODER, NICHT Ergebnis Alle Tupel aus, die cond erfüllen Gleiche Struktur wie R σ cond (R) = sf cond R R Felix Naumann, CK Informationssysteme, WS 04/05 49 Relationale Algebra Selektion mitarbeiter p_id vorname Peter Stefani e Petra Andreas nachname Müller Meier Weger Zwickel alter σ alter>33 (mitarbeiter) p_id vorname nachname alter 2 Stefanie Meier 34 7 Andreas Zwickel 44 σ alter>33, nachname = Meier (mitarbeiter) p_id vorname nachname alter 2 Stefanie Meier 34 σ alter= p_id (mitarbeiter) p_id vorname nachname alter Felix Naumann, CK Informationssysteme, WS 04/05 50

26 Relationale Algebra Join R >< cond S Seien R(A :D,..., A n :D n ) und S(B :E,..., B m :E m ) Relationenschemata. cond ist Joinbedingung Wichtigster, schwierigster Form: A i op B j und somit interessantester Op {=,,,,<,>} Operator! D i und E j kompatibel Boolescher Ausdruck Junktoren: UND, ODER, NICHT R >< cond S = σ cond (R X S) Felix Naumann, CK Informationssysteme, WS 04/05 5 Relationale Algebra Join mitarbeiter p_id vorname Peter 2 Stefanie 5 Petra 7 Andreas nachname Müller Meier Weger Zwickel alter projekte proj_id p_id name DWH ecommerce SAP kunde BMW Metro RAG mitarbeiter >< p_id = p_id projekte p_id vorname nachname Alter proj_id p_id name kunde Peter Müller 32 DWH BMW Peter Müller 32 2 ecommerce Metro 7 Andreas Zwickel SAP RAG Felix Naumann, CK Informationssysteme, WS 04/05 52

27 Relationale Algebra Schnittmenge R S Attribute von R und S Gleiche Anzahl Gleiche Domänen Ergebnis Mengentheoretische Schnittmenge gleiche Struktur wie R bzw. S Duplikat-frei R S = R / (R / S) nachdenken! Felix Naumann, CK Informationssysteme, WS 04/05 53 Relationale Algebra Schnittmenge Mitarbeiter m p_id vorname nachname alter Peter Müller 32 7 Andreas Zwickel 34 Employees e 7 Andreas Zwickel 34 p_id vorname nachname alter 5 Petra Weger 28 7 Andreas Zwickel 34 m e p_id vorname nachname alter Felix Naumann, CK Informationssysteme, WS 04/05 54

28 Relationale Algebra Weitere Operatoren Join Varianten Semi-Join Natural Join θ-join Outer Join (Left-, Right- und Full-Outer Join) Division Felix Naumann, CK Informationssysteme, WS 04/05 55 Relationale Algebra - Anfragen mitarbeiter p_id vorname nachname alter Peter Müller Stefanie Petra Andreas Meier Weger Zwickel Vor- und Nachname aller Mitarbeiter älter als 40? Π vorn., nachn. (σ alter > 40 (mitarbeiter)) Felix Naumann, CK Informationssysteme, WS 04/05 56

29 Relationale Algebra - Anfragen mitarbeiter p_id projekte proj_id vorname Peter Stefanie Petra Andreas... p_id 7... DWH SAP nachname Müller Meier Weger Zwickel... name ecommerce... alter BMW RAG... Π m.nachn.,p.name (σ m.p_id = p.p_id (mit. x proj.)) kunde Metro... Nachname und Projektname aller Mitarbeiter Π m.nachn.,p.name (mit. >< m.p_id = p.p_id proj.) Π m.nachn.,p.name (mit. >< proj.) Felix Naumann, CK Informationssysteme, WS 04/05 57 Überblick RDBMS Relational Database Management System Relationale Datenbanken Relationales Modell (Datenmodell) Relationale Algebra (Datenanfrage) SQL (Anfragesprache) Anfragebearbeitung Optimierung Felix Naumann, CK Informationssysteme, WS 04/05 58

30 SQL Structured Query Language Erstmals: System R, IBM Almaden ANSI-SQL (89), SQL-2(92), SQL-3(98) Sehr weit verbreitet. Deklarativer Charakter: Was soll das DBMS zeigen? Nicht: Wie soll das DBMS das zu Zeigende finden (prozedural)? Fünf Grundbefehle: Create, Insert, Update, Delete, Select DDL versus DML Felix Naumann, CK Informationssysteme, WS 04/05 59 SQL Anfragen Grundform SELECT R i.a, R i2.a 2,, R im.a m FROM R i, R i2,, R im WHERE <cond> Beispiel SELECT Vorname, Nachname FROM mitarbeiter WHERE Alter > Felix Naumann, CK Informationssysteme, WS 04/05 60

31 SQL Beispiele SELECT Name Projektion FROM projekt SELECT * Selektion FROM project Kartesisches WHERE Budget < Produkt SELECT mitarbeiter.nachname, projekt.name FROM mitarbeiter, projekt SELECT mitarbeiter.nachname, projekt.name FROM mitarbeiter, projekt Join WHERE mitarbeiter.p_id = projekt.p_id Felix Naumann, CK Informationssysteme, WS 04/05 6 SQL Beispiele SELECT mitarbeiter.nachname, projekt.name FROM mitarbeiter, projekt WHERE mitarbeiter.p_id = projekt.p_id AND projekt.budget < SELECT m.nachname, p.name FROM mitarbeiter m, projekt p Abkürzung WHERE m.p_id = p.p_id SELECT m.nachname FROM mitarbeiter m, projekt p WHERE m.p_id = p.p_id Es muss nicht jede AND p.budget < Relation im SELECT auftauchen Felix Naumann, CK Informationssysteme, WS 04/05 62

32 SQL Weitere Funktionen DISTINCT ORDER BY UNION, DIFFERENCE, INTERSECTION Schachtelung Aggregation GROUP BY Alle sind für die Informationsintegration wichtig Felix Naumann, CK Informationssysteme, WS 04/05 63 SQL Beispiele SELECT DISTINCT mitarbeiter.vorname FROM mitarbeiter, projekt WHERE mitarbeiter.p_id = projekt.p_id AND projekt.budget < SELECT m.nachname, p.name FROM mitarbeiter m, projekt p WHERE m.p_id = p.p_id ORDER BY p.budget ASC (bzw. DESC) Felix Naumann, CK Informationssysteme, WS 04/05 64

33 SQL Beispiele SELECT mitarbeiter.vorname, projekt.name FROM mitarbeiter, projekt WHERE mitarbeiter.p_id = projekt.p_id AND projekt.budget < UNION SELECT mitarbeiter.vorname, projekt.name FROM mitarbeiter, projekt WHERE mitarbeiter.p_id = projekt.p_id AND projekt.budget > Felix Naumann, CK Informationssysteme, WS 04/05 65 SQL Beispiele SELECT m.vorname, p.name FROM mitarbeiter m, projekt p WHERE m.p_id = p.p_id AND p.partner IN (SELECT company.name FROM company WHERE company.country = DE ) Schachtelung Felix Naumann, CK Informationssysteme, WS 04/05 66

34 SQL Beispiele Aggregation AVG, COUNT, SUM, MIN, MAX SELECT AVG(Budget) FROM projekt SELECT SUM(p.Budget), MAX(p.Budget) FROM mitarbeiter m, projekt p WHERE m.p_id = p.p_id AND m.nachname = Schmidt SELECT COUNT(*) FROM mitarbeiter Felix Naumann, CK Informationssysteme, WS 04/05 67 SQL Beispiele SELECT m.nachname, SUM(p.Budget) FROM mitarbeiter m, projekt p WHERE m.p_id = p.p_id GROUP BY m.nachname SELECT m.nachname, AVG(p.Budget) FROM mitarbeiter m, projekt p WHERE m.p_id = p.p_id GROUP BY m.nachname HAVING MIN(p.Budget) > 50, Felix Naumann, CK Informationssysteme, WS 04/05 68

35 SQL DDL DDL: Data Definition Language Definition von Tabellen, Indexen, Views,... Administration: Tablespaces, Segmente, Parameter Benutzerverwaltung: User, Gruppen, Rechte,... CREATE TABLE mitarbeiter ( p_id NUMBER, vorname VARCHAR2(00), nachname VARCHAR2(00), alter NUMBER(2) CHECK (alter>0 AND alter<50), adresse VARCHAR2(000) ); Felix Naumann, CK Informationssysteme, WS 04/05 69 DQL DDL Datentypen INTEGER, SMALLINT REAL, DOUBLE, NUMERIC(a,b), DECIMAL(a,b) CHAR(n), VARCHAR(n) BIT DATE, TIME, TIMESTAMP, INTERVAL Attributnamen eindeutig Felix Naumann, CK Informationssysteme, WS 04/05 70

36 Datentypen CHAR(n) n maximal 256 VARCHAR(n) n maximal 4000 Falls n > 254: Kein Group By Order By DISTINCT Mengenoperationen (UNION, DIFFERENCE, INTERSECTION) BLOB Binary large object Max 2GB Binärdaten CLOB Character large object Felix Naumann, CK Informationssysteme, WS 04/05 7 SQL Insert Einfügen von Werten in Tabelle Prinzipiell ein Tupel pro Insert: INSERT INTO mitarbeiter VALUES (, Peter, Müller, 38, 00 Berlin ); INSERT INTO projekte (proj_id,p_id,name) VALUES (, 3, BMW ); Erweiterungen Bulk-Insert INSERT INTO... SELECT... Insert in mehrere Tabellen: INSERT INTO... INTO... INTO Felix Naumann, CK Informationssysteme, WS 04/05 72

37 SQL Update Ändern von Werten in Tabellen Ändert mehrere Werte in einer Tabelle UPDATE projekte SET status = abgebrochen, kunde = kunde -insolvent WHERE kunde= Grundig Typisches Muster UPDATE tabelle SET... = (SELECT... FROM... WHERE) WHERE id in (SELECT... FROM... WHERE) Felix Naumann, CK Informationssysteme, WS 04/05 73 Delete Löschen von Tupeln in einer Tabellen DELETE FROM projekte WHERE status= abgeschlossen Typisches Muster DELETE FROM projekte WHERE id in (SELECT... FROM... WHERE) Felix Naumann, CK Informationssysteme, WS 04/05 74

38 Pause & Übung Überblick RDBMS Relational Database Management System Relationale Datenbanken Relationales Modell (Datenmodell) Relationale Algebra (Datenanfrage) SQL (Anfragesprache) Anfragebearbeitung Optimierung Felix Naumann, CK Informationssysteme, WS 04/05 76

39 Anfragebearbeitung - Problem Anfragen sind deklarativ. Anfragen müssen in ausführbare (prozedruale) Form transformiert werden. Ziele QEP prozeduraler Query Execution Plan Effizienz Schnell Wenig Ressourcenverbrauch (CPU, I/O, RAM, Bandbreite) Felix Naumann, CK Informationssysteme, WS 04/05 77 Anfragebearbeitung Prinzipieller Ablauf. Parsen der Anfrage (Syntax) 2. Überprüfen der Elemente (Semantik) 3. Berechnung von Ausführungsplänen Exponentiell viele 4. Wahl des optimalen Ausführungsplans Regelbasierter Optimierer Kostenbasierter Optimierer 5. Anfrageausführung Felix Naumann, CK Informationssysteme, WS 04/05 78

40 Abfragebearbeitung Syntax SQL Anfrage wird in interne Darstellung übersetzt: Z.B: Relationale Algebra Syntaktische Korrektheit prüfen Felix Naumann, CK Informationssysteme, WS 04/05 79 Anfragebearbeitung Semantik Während der Übersetzung semantische Korrektheit prüfen Existieren die Relationen/Attribute? Korrekte Typen für Vergleiche? Aggregation korrekt? Felix Naumann, CK Informationssysteme, WS 04/05 80

41 Anfragebearbeitung Beispiel SELECT m.nachname FROM mitarbeiter m, projekt p WHERE m.p_id = p.p_id AND p.budget < Π m.nachname (σ m.p_id = p.p_id, p.budget < (m x p)) Felix Naumann, CK Informationssysteme, WS 04/05 8 Anfragebearbeitung Anfragebaum Π m.nachname (σ m.p_id = p.p_id, p.budget < (m x p)) π(nachname) σ(p.budget < ) σ(m.p_id = p.p_id) X mitarbeiter projekte Felix Naumann, CK Informationssysteme, WS 04/05 82

42 Anfragebearbeitung Ausführung Interpretation des Baums als Ausführungsplan. Kartesisches Produkt 2. Zwei Selektionen 3. Projektion Sehr aufwendig! π(nachname) σ(p.budget < ) σ(m.p_id = p.p_id) X mitarbeiter projekte Felix Naumann, CK Informationssysteme, WS 04/05 83 Anfragebearbeitung Transformationsregeln Transformation der internen Darstellung Ohne Semantik zu verändern Zur effizienteren Ausführung Insbesondere: Kleine Zwischenergebnisse Äquivalente Ausdrücke Zwei Ausdrücke der relationalen Algebra heißen äquivalent, falls Gleiche Operanden (= Relationen) Stets gleiche Antwortrelation Felix Naumann, CK Informationssysteme, WS 04/05 84

43 Anfragebearbeitung einige Transformationsregeln Kommutativität m x p = p x m Assoziativität (m x p) x q = m x (p x q) Kaskade von Projektionen Π m.nachname (Π m.vorname, m.nachname m) = Π m.nachname (m) Kaskade von Selektionen σ m.p_id = p.p_id (σ p.budget < (m)) = σ m.p_id = p.p_id AND p.budget < (m) Felix Naumann, CK Informationssysteme, WS 04/05 85 Anfragebearbeitung einige Transformationsregeln Zusammenfassen von Selektion und Kartesischen Produkt zu Join σ m.p_id = p.p_id (m x p) = m >< m.p_id = p.p_id p Vertauschen von Selektion und Projektion Π m.nachname,m (σ m.p_id = p.p_id (m x p)) = Π m.nachname (σ m.p_id = p.p_id (Π m.nachname,m.p_id, p.p_id (m x p))) Vertauschen von Selektion und Join σ p.budget < (p >< m.p_id = p.p_id m) = σ p.budget < (p) >< m.p_id = p.p_id m Vertauschen von Projektion und Join Felix Naumann, CK Informationssysteme, WS 04/05 86

44 Anfragebearbeitung Beispiel π(nachname) π(nachname) σ(p.budget < ) σ(p.budget < ) σ(m.p_id = p.p_id) X >< m.p_id = p.p_id mitarbeiter projekte mitarbeiter projekte Felix Naumann, CK Informationssysteme, WS 04/05 87 Anfragebearbeitung Beispiel π(nachname) π(nachname) σ(p.budget < ) >< m.p_id = p.p_id >< m.p_id = p.p_id σ(p.budget < ) mitarbeiter projekte mitarbeiter projekte Felix Naumann, CK Informationssysteme, WS 04/05 88

45 Anfragebearbeitung Beispiel π(nachname) π(nachname) >< m.p_id = p.p_id >< m.p_id = p.p_id π(m.nachname, m.p_id, p.p_id) σ(p.budget < ) σ(p.budget < ) mitarbeiter projekte mitarbeiter projekte Felix Naumann, CK Informationssysteme, WS 04/05 89 Überblick RDBMS Relational Database Management System Relationale Datenbanken Relationales Modell (Datenmodell) Relationale Algebra (Datenanfrage) SQL (Anfragesprache) Anfragebearbeitung Optimierung Felix Naumann, CK Informationssysteme, WS 04/05 90

46 Anfragebearbeitung - Optimierung Regelbasierte Optimierung Fester Regelsatz schreibt Transformationen gemäß der genannten Regeln vor. Prioritäten unter den Regeln Nicht hier. Kostenbasierte Optimierung Kostenmodell Transformationen um Kosten zu verkleinern Felix Naumann, CK Informationssysteme, WS 04/05 9 Anfragebearbeitung - Optimierung Kostenmodell Kardinalitäten der Relationen Werteverteilungen (Histogramme) Selektivität Selektionen Joins Hardware Speichergröße Bandwidth I/O Zeiten Felix Naumann, CK Informationssysteme, WS 04/05 92

47 Anfragebearbeitung Optimierung π(nachname) π(nachname) [20] σ(p.budget < ) σ(p.budget < ) [20] [990] σ(m.p_id = p.p_id) [00.000] X >< m.p_id = p.p_id [990] mitarbeiter projekte [.000] [00] mitarbeiter projekte [.000] [00] Felix Naumann, CK Informationssysteme, WS 04/05 93 Anfragebearbeitung Optimierung π(nachname) π(nachname) σ(p.budget < ) [20] >< m.p_id = p.p_id [20] >< m.p_id = p.p_id [990] σ(p.budget < ) [5] mitarbeiter projekte [.000] [00] mitarbeiter projekte [.000] [00] Felix Naumann, CK Informationssysteme, WS 04/05 94

48 Anfragebearbeitung Optimierung Freiheitsgrade: Algebraische Anfrageumformung Joinreihenfolge Joinmethode Nested Loop, Sort-Merge, Hash... Indexzugriff oder Full-Table-Scan Operatorreihenfolge Felix Naumann, CK Informationssysteme, WS 04/05 95 Anfragebearbeitung Optimierung Joinreihenfolge Join ist i.d.r. teuerster Operator. Optimierung konzentriert sich auf beste Reihenfolge. Bei n Relationen n! Alternativen Aber: Die meisten haben kartesisches Produkt. Viele Algorithmen Dynamische Programmierung (in VL) Bei mehr-prozessor Systemen nicht nur Reihenfolge sondern auch Parallelisierung Felix Naumann, CK Informationssysteme, WS 04/05 96

49 Anfragebearbeitung Optimierung Joinmethode Nested Loops Join Zwei geschachtelte Schleifen Innere und äußere Relation Aufwand: n m Sort Merge Join Sortiere jede Relation Ein mischender Cursor-Durchlauf durch jede Relation Aufwand: n log n + m log m + n + m Günstig, falls Relationen sowieso sortiert, oder bei Index Hash Join Felix Naumann, CK Informationssysteme, WS 04/05 97 Anfragebearbeitung Optimierung Nested Loops Äußere vs. Innere Relation FOR EACH r in R FOR EACH s in S IF(r.A = s.a) THEN Output (r,s) Aufwandsunterschied R und S? Ja, wegen Organisation der Tupel als Seiten auf Festplatte Felix Naumann, CK Informationssysteme, WS 04/05 98

50 Anfragebearbeitung Optimierung R: S: P R = Anzahl Seiten R P S = Anzahl Seiten S R außen: P R + T R P S = = 296 S außen: P S + T S P R = = Felix Naumann, CK Informationssysteme, WS 04/05 99 Literatur RDBMS Principles of Database Systems, Jeffrey Ullman, Computer Science Press, 988 Informationsintegration Principles of Distributed Database Systems M. Tamer Özsu, Patrick Valduriez ISBN: Mediators in the Architecture of Future Information Systems"; Gio Wiederhold IEEE Computer, March 992, pages Felix Naumann, CK Informationssysteme, WS 04/05 00