Data Warehousing. Relationale Datenbanken. Ulf Leser Wissensmanagement in der Bioinformatik

Transkript

1 Data Warehousing Relationale Datenbanken Ulf Leser Wissensmanagement in der Bioinformatik

2 Inhalt dieser Vorlesung Relationale Datenbanken Relationales Modell und relationale Operatoren SQL Anfragebearbeitung Indexstrukturen ER-Modellierung Normalformen Wer das kennt Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

3 Relationale Datenbank Relationale Datenbank Management Systeme (RDBMS) Serverbasierte Software Ein RDBMS viele RDB Aufgaben Speicherverwaltung Transaktionsmanagement Anfragebearbeitung Userverwaltung Systeme Oracle, DB2, Informix, Sybase, NCR Terada, SQL-Server PostGreSQL, Interbase, mysql, Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

4 Schichtenmodell Externes Schema Externes Schema Externes Schema Sichten Konzeptionelles Schema Logisches Modell (Tabellen, Attribute, Anfragen Internes Schema Physisches Modell (Indexierung, Speicherung) Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

5 Client-Server Konzept JAVA (JDBC) JAVA (JDBC) JAVA (JDBC) Native (SQL*Plus, Native (SQL*Plus, Native OCI) (SQL*Plus, OCI) OCI) Listener Server Sekundärspeicher Andere Datenbank Konsistenz Multiplexing Parallelisierung Lastverteilung Authentifizierung Authorisierung. Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

6 Relationales Datenmodell Repräsentation aller Daten in Tabellen Zeilen/ Rows/ Tupel Tabellenname Attribute Datentypen Mitarbeiter P_ID Vorname Peter Stefanie Petra Andreas Spalten/Attribute Nachname Müller Meier Weger Zwickel Alter Adresse Berlin Berlin München München Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

7 Tabellen Mitarbeiter p_id vorname nachname alter adresse 1 Peter Müller Berlin 2 Stefanie Meier Berlin 5 Petra Weger München 7 Andreas Zwickel München Projekte Arbeitet_in proj_id p_id Anteil proj_id name kunde status DWH BMW Akquisition 2 ecommerce Metro Läuft 5 SAP RAG Abgeschlossen Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

8 Operationen Selektion Alle Zeilen von Mitarbeiter mit Alter>40 und Name= Müller Projektion Alle Mitarbeiter-Spalten Vorname, Nachname Kartesisches Produkt Alle Zeilen von Mitarbeiter verknüpft mit jeweils allen Zeilen von Arbeitet_in Komposition von Operationen Die Spalten Nachname und Proj_id aller Zeilen des kartesischen Produkts von Mitarbeiter und Arbeitet_in, bei denen Mitarbeiter.P_ID=Arbeitet_in.P_ID mit Anteil größer als 0.1 Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

9 SQL Grundkonzepte SELECT FROM WHERE M.nachname, A.arbeitet_in mitarbeiter M, arbeitet_in A M.p_id = A.p_id AND A.anteil > 0.1 SQL: Structured Query Language ANSI-SQL, SQL-92, SQL-3 Deklarativer Charakter: Was, nicht wie Vier Grundbefehle: Insert, Update, Delete, Select DDL versus DML Andere Sprachen: Tupel/Domänenkalkül, relationale Algebra, QBE Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

10 Insert Einfügen von Werten in Tabelle Prinzipiell ein Tupel pro Insert INSERT INTO mitarbeiter VALUES (1, Peter, Müller, 38, Berlin ); INSERT INTO projekte (proj_id, name, kunde) VALUES (1, Stammhaus-BMW, BMW ); Erweiterungen Bulk-Insert INSERT INTO SELECT Insert in mehrere Tabellen: INSERT INTO INTO INTO Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

11 Update Ändern von Werten in Tabellen Ändert mehrere Werte in einer Tabelle UPDATE projekte SET status = abgebrochen, kunde = kunde -insolvent WHERE kunde= Grundig Typisches Muster UPDATE tabelle SET = (SELECT FROM WHERE) WHERE id in (SELECT FROM WHERE) Erweiterungen UPSERT / MERGE Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

12 Delete Löschen von Tupeln in einer Tabellen DELETE FROM projekte WHERE status= abgeschlossen Typisches Muster DELETE FROM projekte WHERE id in (SELECT FROM WHERE) Löschen ist eine performancekritische Operation DELETE, DROP TABLE, TRUNCATE Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

13 Select Selektieren von Werten aus mehreren Tabellen SELECT FROM WHERE M.nachname, A.anteil mitarbeiter M, arbeitet_in A M.p_id = A.p_id AND a.anteil > 0.1 SELECT M.nachname, P.name, A.anteil FROM mitarbeiter M, projekte P, arbeitet_in A WHERE M.p_id = A.p_id AND A.proj_id = P.proj_id SELECT M.nachname, A.anteil FROM mitarbeiter M, arbeitet_in A WHERE M.p_id = A.proj_id? Ergebnis ist Tabelle Ausführung ist Sache des RDBMS - Optimierung Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

14 Varianten Subqueries Korreliert oder nicht Umschreiben möglich? Self-Join Begrenzte Rekursion SQL in FROM Klausel In-Line Views Nützlich bei Top-Ten / Sortieranfragen SELECT vorname, nachname FROM mitarbeiter M WHERE EXISTS ( SELECT A.p_id FROM arbeitet_in A WHERE A.p_id = M.p_id SELECT P1.name, P1.name FROM projekte P1, projekte P2 WHERE P1.vorgaenger=p2.proj_id AND P2.status= abgeschlossen SELECT X.nachname, X.status FROM ( SELECT M.nachname, p.status FROM mitarbeiter, projekte, arbeitet_in WHERE M.p_id=A.p_id AND A.proj_id=P.proj_id ) X WHERE X.status= Akquisition Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

15 Weitere Operationen Aggregation und GROUP BY SELECT FROM WHERE GROUP BY proj_id, COUNT(*), SUM(alter)/COUNT(*) mitarbeiter M, arbeitet_in A, projekte P M.p_id=A.p_id AND A.proj_id=P.proj_id P.proj_id? SELECT proj_id, P.name, COUNT(*) FROM mitarbeiter M, arbeitet_in A, projekte P WHERE M.p_id=A.p_id AND A.proj_id=P.proj_id GROUP BY P.proj_id ORDER BY SELECT FROM WHERE ORDER BY P.name, M.nachname mitarbeiter M, arbeitet_in A, projekte P M.p_id=A.p_id AND A.proj_id=P.proj_id P.name, M.nachname Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

16 Views Definition von benamten Queries CREATE VIEW proj_pers AS SELECT P.proj_id, P.name, M.P_id, M.name, M.alter, FROM mitarbeiter M, arbeitet_in A, projekte P WHERE M.p_id=A.p_id AND A.proj_id=P.proj_id Können viel Schreibarbeit sparen SELECT proj_id, COUNT(*), SUM(alter)/COUNT(*) FROM proj_pers GROUP BY proj_id Views werden i.d.r. syntaktisch expandiert Erweiterungen Materialisierte Sichten Rekursive Views Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

17 DDL DML: Data Manipulation Language DDL: Data Definition Language Definition von Tabellen, Indexen, Views, Administration: Tablespaces, Segmente, Rollen Benutzerverwaltung: User, Gruppen, Rechte, CREATE TABLE mitarbeiter ( p_id NUMBER, vorname VARCHAR2(100), nachname VARCHAR2(100), alter NUMBER(2) CHECK (alter>0 AND alter<150), adresse VARCHAR2(1000) ); Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

18 Anfrageübersetzung und -optimierung Prinzipieller Ablauf Parsen der Anfrage (Syntax) Überprüfen der Schemaelemente ( Semantik ) Expandieren von Views Berechnung von Ausführungsplänen Exponentiell viele Wahl des optimalen Ausführungsplans Regelbasierter Optimierer Kostenbasierter Optimierer Ausführung Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

19 Ausführungspläne SELECT FROM WHERE M.nachname, A.anteil mitarbeiter M, arbeitet_in A M.p_id = A.p_id AND a.anteil > 0.1 π(nachname, anteil) π(nachname, anteil) σ(anteil>0.1) NLJ(p_id=p_id) NLJ(p_id=p_id) σ(anteil>0.1) π(p_id,nachname) Arbeitet_in mitarbeiter Arbeitet_in mitarbeiter Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

20 Ausführungspläne Freiheitsgrade Algebraische Anfrageumformung Joinreihenfolge Joinmethode (Nested Loop, Sort-Merge, Hash ) Indexzugriff oder Full-Table-Scan (7% Regel) Operatorreihenfolge Kostenbasierter Optimierung Einbeziehung von Werteverteilungen, Tabellengrößen, Anzahl NULL-Werten, Histogrammen, Selektivität, Heuristische Ziele Minimierung von Zwischenergebnissen Minimierung von Sekundärspeicherzugriff Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

21 Balancierter B und B* Baum Knoten enthalten höchstens 2m Schlüssel Knoten enthalten mindestens m Schlüssel, die Wurzel mindestens 1 Schlüssel Knoten mit x Schlüsseln - x+1 Kinder Balancierter Baum: Alle Blätter haben gleiche Tiefe B*: Daten nur in Blättern K C F O T A B D E G H I J L M N P Q R S U V W Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

22 Indexstrukturen + Sehr schneller Zugriff auf einzelne Elemente (O(log(n)) + Schnelle Bereichsanfragen im B* Baum + Indexierung von Attributkombinationen - Elemente müssen geordnet werden können - B Bäume degenerieren bei vielen Duplikaten - Sequentieller Blockzugriff eventuell schneller (7%) - Zusammengesetzte Indexe duplizieren Tabellen - Indexaktualisierung kostet Zeit - Auch Indexe müssen gesperrt werden Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

23 ER-Modellierung Relationales Modell sehr semantikarm Modellieren in Tabellen und Joins wenig intuitiv Modellierungssprachen: ER, EER, UML, Entity-Relationship Modell Entities Mitarbeiter Projekte Attribute p_id vorname proj_id p_id Beziehungen nachname arbeitet_in kunde Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

24 Übersetzung in relationales Modell Entity Tabelle Attribute Attribute dieser Tabelle Beziehung 1:1 Verschmelzen der Tabelle oder FK-Beziehung 1:n Fremdschlüsselbeziehung m:n Brückentabelle mit zwei Fremdschlüsselbeziehungen professor Student Professor p_id name lehrt s_id P_id 1 10 student 2 10 lehrt s_id 1 name Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

25 Normalformen Attribute hängen funktional voneinander ab p_id Vorname, Nachname, Alter proj_id Kunde, Status, Schlüsselkandidaten Minimale Menge von Attributen, die alle anderen Attribute einer Tabelle funktional bestimmen Zerlegung nach funktionalen Abhängigkeiten Datenbankentwurf Armstrongkalkül Ziel: Redundanzfreies Schema Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

26 Normalformen (nicht exakt ) Relationenschema R, Primärschlüssel P Erste Normalform (1NF) Alle Attribute von R sind atomar (Adresse!) Zweite Normalform (2NF) R ist in 1NF Kein Attribut A hängt von P P funktional ab Schlecht: lehrt(p_id,s_id,termin,stud_name) Dritte Normalform (3NF) R in 1NF Kein Attribut A hängt von A P ab Schlecht: mitarbeiter(p_id,plz,ort) Ulf Leser: Data Warehousing, Vorlesung, Sommersemester

27 Weitere Themen Transaktionsverarbeitung, ACID Sperrenverwaltung Datenintegrität, Constraints Theorie: Relationenkalkül, algebraische Umformungen, Armstrongkalkül, Backup & Recovery Block- / Buffer- / Speichermanagement, Caching Datenmodellerweiterungen: EER, NF2, objektrelationale und oo Systeme, XML Datenbanken Programmierung: Trigger, PL/SQL, JDBC, Ulf Leser: Data Warehousing, Vorlesung, Sommersemester