Datenbankprogrammierung

Transkript

1 Datenbankprogrammierung

2

3 Arbeiten mit DB2 Server DB2- Befehlszeilenprozessor ausführen SQL-Skript-Datei bearbeiten Editor SSH Client Linux SSH-Konsole für Befehlszeilenproz. (ssh) X-Weiterleitung für Editor (ssh -X) Windows SSH-Konsole für Befehlszeilenproz. (z.b. Putty) SCP und lokaler Editor (z.b. WinSCP) 3

4 Arbeiten mit DB2 Server Client ODBC/JDBC 4

5 SQuirreL SQL Client 5

6 SQuirreL SQL Client Paket laden und auf Laufwerk Z entpacken: squirrel-sql.bat starten und unter Drivers prüfen, ob IBM DB2 Net Driver verfügbar ist 6

7 SQuirreL SQL Client Unter Aliases eine neue Verbindung anlegen (eine pro Datenbank, die genutzt werden soll) Port ist spezifisch für jede Instanz und berechnet sich aus der Nummer der Instanz Formel: (<instance> - 9) * 4 Beispiel: Instanz 56 (db2ins56) (56-9) * 4 =

8 Arbeiten mit DB2 Server Client DB2-Steuerzentrale SSH + X-Weiterleitung Linux ssh -X Windows Putty + Xming 8

9 DB2-Steuerzentrale zentrale Administrationsplattform starten mit: db2cc ermöglicht - Anlegen und Löschen von Datenbanken - Konfiguration von Datenbanken - Ausführung von SQL-Befehlen - Starten anderer DB2-Tools - 9

10 DB2-Steuerzentrale Ausführen von SQL-Kommandos (Rechtsklick auf DB -> Query ) Plan anzeigen Ergebnis anzeigen Anfrage eingeben Ausführen Ausführen und Plan Plan 10

11

12 Modularisierung von Anfragen Unterabfrage (WHERE) Nested Table Expression (FROM) Scalar Full Select (SELECT, WHERE, HAVING) Common Table Expression (WITH) (später) liefert Spalte liefert Tabelle liefert Wert liefert einspaltige Relation als Ergebnis, in WHERE-Klausel verwendet Existenzüberprüfung (EXISTS), Element-von Prüfung (IN), Allquantor (ALL), Existenzquantor (SOME/ANY) Syntax WHERE EXISTS <expr> [NOT] IN <expr> < > [ALL SOME ANY] (<subquery>) 12

13 Modularisierung von Anfragen SELECT N_NAME FROM NATION WHERE N_REGIONKEY NOT IN ( SELECT R_REGIONKEY FROM REGION WHERE R_NAME <> 'EUROPE') N_NAME FRANCE GERMANY ROMANIA RUSSIA UNITED KINGDOM SELECT LASTNAME, JOB, SALARY FROM EMPLOYEE WHERE SALARY > SOME (SELECT SALARY FROM EMPLOYEE WHERE JOB='MANAGER') LASTNAME JOB SALARY HAAS PRES THOMPSON MANAGER KWAN MANAGER GEYER MANAGER

14 Modularisierung von Anfragen SELECT LASTNAME, JOB, SALARY FROM EMPLOYEE WHERE SALARY > ALL (SELECT SALARY FROM EMPLOYEE WHERE JOB='MANAGER') LASTNAME JOB SALARY HAAS PRES SELECT R_NAME FROM REGION WHERE NOT EXISTS ( SELECT * FROM NATION WHERE N_REGIONKEY = R_REGIONKEY AND N_NAME LIKE 'A%') R_NAME ASIA EUROPE MIDDLE EAST 14

15 Modularisierung von Anfragen liefert Relation als Ergebnis in FROM-Klausel als Eingaberelation verwendet muss benannt werden (AS) SELECT N_NAME FROM NATION AS T1, (SELECT R_REGIONKEY FROM REGION WHERE R_NAME = 'EUROPE') AS T2 WHERE T1.N_REGIONKEY = T2.R_REGIONKEY N_NAME FRANCE GERMANY ROMANIA RUSSIA UNITED KINGDOM 15

16 Modularisierung von Anfragen liefert einen einzigen Rückgabewert als Ergebnis im Projektions-/Selektionsteil verwendet SELECT C_NATIONKEY, COUNT(*) AS PER_NATION, (SELECT COUNT(*) FROM CUSTOMER) AS TOTAL, FROM CUSTOMER GROUP BY C_NATIONKEY C_NATIONKEY PER_NATION TOTAL

17

18 Einfache Gruppierung SELECT.. FROM.. [WHERE..] [GROUP BY <Liste von Attributen> [HAVING <Bedingung>]] [ORDER BY <Liste von Attributen>] f.doc/doc/r html Zusammenfassung von Tupeln mit gleichen Ausprägungen in den Gruppierungsattributen zu einem neuen Tupel Aggregation für Nichtgruppierungsattribute SELECT-Teil erlaubt nur Gruppierungsattribute, Aggregation und Konstanten Aggregationsfunktionen: SUM(), MAX(), MIN(), COUNT(), AVG(), STDDEV() Bedingungen auf Gruppen-Aggregaten 18

19 Einfache Gruppierung SELECT FROM GROUP BY ORDER BY Ware, MIN(Preis), MAX(Preis), AVG(Preis) Lieferant Ware Ware SELECT Ware FROM Lieferant GROUP BY Ware HAVING COUNT(*) = 1 SELECT FROM GROUP BY ORDER BY Ware, COUNT(*) AS Anzahl Lieferant Ware COUNT(*) DESC 19

20 Gruppierung in der Analyse Zentrale Metapher Datenwürfel Multidimensionale Operationen z.b. Star-Schema / Snowflake-Schema SQL/OLAP Erweiterungen SELECT Jahr, SUM(Umsatz) FROM R GROUP BY Jahr 20

21 Überblick Erweiterungen SQL:1999 Erweiterung der GROUP-BY-Klausel (vereinfachte Darstellung) GROUP BY ::= <grouping column reference> <rollup list> <cube list> <grand total> <grouping sets list> <concatenated grouping> kombinieren mehrere Gruppierungen nach verschiedenen Spalten und unterschiedlichen Gruppierungsarten erzeugt für angegebenen Spalten einen hierarchischen Datenwürfel (Aggregationen entlang der Dimensionshierarchien) gruppiert mehrdimensional und erzeugt dabei alle möglichen Gruppierungskombinationen 21

22 Überblick Erweiterungen SQL:1999 LN(x), EXP(x), POWER(x, n), SQRT(x), FLOOR(x), CEIL[ING](x), WIDTH_BUCKET(x, l, r, n) Windowed Table Window Function STDDEV_POP( expr ), STDDEV_SAMP( expr ), VAR_POP( expr ), VAR_SAMP( expr ), COVAR_POP (expr1, expr2), COVAR_SAMP (expr1, expr2), CORR (expr1, expr2) PERCENTILE_CONT (), PERCENTILE_DISC () Statistische Testverfahren 22

23 Gliederung GROUPING SETS ROLLUP CUBE GROUPING-Funktion Partitionierung (PARTITION BY) Partitionsordnung (ORDER BY) Fensterdefinition (Windowed Table) Aggregationsfunktion (Window Function) 23

24

25 GROUPING SETS Gruppierung nach mehreren Kriterien gleichzeitig (Reihenfolge irrelevant) GROUP BY GROUPING SETS ((<attribute-list>), ) - Angabe aller gewünschten Gruppierungskombinationen - nicht notwendigerweise disjunkt (Multimenge) - leere Menge () entspricht keiner Gruppierung (Superaggregat) Beispiel: SELECT Jahr, Quartal, SUM(Umsatz) FROM R GROUP BY GROUPING SETS( (), (Jahr), (Jahr, Quartal) ) Jahr Quartal Umsatz Jahr Quartal SUM

26 ROLLUP ROLLUP Hierarchische multidimensionale Gruppierung entlang von Dimensionshierarchien GROUP BY ROLLUP (<attribute-list>) - ROLLUP(A 1, A 2,, A N )=GROUPING SETS((), (A 1 ), (A 1, A 2 ),, (A 1, A 2,, A N )) - Anwendung bei funktionalen Abhängigkeiten zwischen Attributen - z.b. Land bestimmt den Kontinent eindeutig: ROLLUP(R_REGIONKEY,N_NATIONKEY) Beispiel: SELECT Jahr, Quartal, SUM(Umsatz) FROM R GROUP BY ROLLUP(Jahr, Quartal) Jahr Quartal Umsatz Jahr Quartal SUM

27 CUBE CUBE Berechnung aller Teilmengen für eine Menge von Gruppierungsattributen GROUP BY CUBE (<attribute-list>) - Potenzmengebildung - Bei n Gruppierungsattributen alle 2 n Gruppierungen Beispiel: SELECT Jahr, Quartal,SUM(Umsatz) FROM R GROUP BY CUBE(Jahr, Quartal) Jahr Quartal Umsatz Jahr Quartal SUM

28 GROUPING-Funktion Jahr Quartal Umsatz Anwendung in Verbindung mit ROLLUP und CUBE GROUPING (<attribute>) - Rückgabewert 0: Attributwert wurde nicht generiert - Rückgabewert 1: Attributwert wurde generiert Beispiel: SELECT Jahr, Quartal, SUM(Umsatz), GROUPING (Quartal) AS Flag FROM R GROUP BY ROLLUP(Jahr, Quartal) Jahr Quartal SUM Flag

29

30 Überblick Reporting Functions Skalarfunktionen (tupellokal): z.b. +-*/ Gruppierung: GROUP BY - Zusammenfassen mehrerer Tupel mit gleichen Ausprägungen (Verdichtung) Aggregationsfunktionen: z.b. SUM, COUNT, AVG - Berechnung einer Kennzahl aus mehreren Einzelwerten Gruppierung und Aggregation treten oft zusammen auf Gemeinsame Abfrage von Einzelwerten und Aggregate nur umständlich möglich - z.b.: Einzelpreise all Produkte zusammen mit Durchschnittspreis je Produktgruppe (Analytic functions a.k.a. Reporting functions) Trennung von Partitionierung (Gruppierung) und Aggregation - Aggregation auf Ergebnis einer Anfrage - keine weitere Verdichtung Kernkonstrukt: OVER-Klausel - In Projektion (in SELECT-Klausel): SELECT price, AVG(PRICE) OVER ( ) AS avgprice Umfasst - Attributlokale Partitionierung (Bildung dynamischer Gruppierungs-Fenster) - Ranking / Numbering 30

31 Überblick Reporting Functions (2) Aggregationsfunktion Partitionierung (PARTITION BY) - Partitionierung einer Relation in Teilpartitionen analog zu GROUP BY Partitionsordnung (ORDER BY) - Ordnung der Tupel innerhalb einer Partition Fensterdefinition (WINDOW) - Fenster definiert den Anwendungsbereich der Aggregationsfunktion - Stets innerhalb einer Partition - Definition relative zum aktuellen Tupel - Positionsbasiert (ROWS): relative Position bezüglich der Partitionsordnung - Wertebasiert (RANGE): relative obere und untere Schranke PARTITION BY und ORDER BY optionale Bestandteile WINDOW-Spezifikation möglich - bisher: alle Elemente innerhalb einer Partition 31

32 Beispiel Aggregationsfunktion Partitionierung Partitionsordnung Fensterdefinition Aktuelles Tupel SELECT RANK() OVER ( ORDER BY region, year, quarter ), region, year, quarter, units, SUM(units) OVER ( PARTITION BY region ORDER BY year, quarter ROWS BETWEEN 3 PRECEDING AND CURRENT ROW ) FROM CARSALES RANK() REGION YEAR QRT. UNITS SUM(units) 1 Asien Asien Asien Asien Asien Asien Asien Asien Europa Europa Europa Europa Europa Europa Europa Europa

33 OVER() u.a. Berechnung von Aggregationsfunktionen ohne weitere Gruppierung OVER() entspricht Aggregation über alle Tupel Jahr Quartal Umsatz SELECT Jahr, Quartal, Umsatz, SUM(Umsatz) OVER() FROM R Jahr Quartal Umsatz SUM

34 Aggregationsfunktion Operiert innerhalb eines Fensters einer Tabelle und gibt einen Wert für jede Zeile des Fensters zurück Der Wert wird errechnet indem ausschließlich die Zeilen in diesem Fenster einbezogen werden RANK(): Wertebasierte Rang (1 + Anzahl echter Vorgänger) DENSE_RANK(): Wertebasierte Rang ohne Lücken ROW_NUMBER(): Sequentielle Nummer (ohne Lücken, Gleichheit ignoriert) LAG(<exp>, <offset>):wert von <exp> des Tupels <offset> Zeilen weiter vorn LEAD (<exp>, <offset>): Wert von <exp> des Tupels <offset> Zeilen weiter hinten FIRST_VALUE(<exp>): Wert von <exp> des ersten Tupels im Fenster LAST_VALUE(<exp>): Wert von <exp> des letzten Tupels im Fenster RATIO_TO_REPORT (<exp>): Anteil des aktuellen Wertes von <exp> an Summe über gesamter Partition - SUM(<exp>) - AVG(<exp>) - MIN(<exp>) - MAX(<exp>) - COUNT(<exp>) - 34

35 Aggregationsfunktion SELECT Jahr, Quartal, RANK() OVER (ORDER BY Umsatz ASC) AS Rank, DENSE_RANK() OVER (ORDER BY Umsatz ASC) AS DRank FROM R Jahr Quartal Umsatz Jahr Quartal Rank DRank

36 Partitionierung Auswahl der zu aggregierenden Tupel abhängig vom Kontext PARTITON BY <attribute-list> - Aggregation aller Tupel, die in den angegebenen Attributen mit dem aktuellen Tupel übereinstimmen SELECT Jahr, Quartal, Umsatz, SUM(Umsatz) OVER(PARTITION BY Jahr) FROM R Jahr Quartal Umsatz Jahr Quartal Umsatz SUM

37 Partitionsordnung Festlegung der Verarbeitung innerhalb einer Partition ORDER BY <attribute-list> - Sortierung innerhalb der Partition - Bestimmung kumulativer Werte (implizit durch Kombination mit ORDER BY gegeben) SELECT Jahr, Quartal, Umsatz, SUM(Umsatz) OVER(PARTITION BY Jahr ORDER BY Quartal) FROM R Jahr Quartal Umsatz Jahr Quartal Umsatz SUM

38 Fensterdefinition Positionsbasierte Fensterdefinition SELECT Jahr, Quartal, Umsatz, AVG(Umsatz) OVER(PARTITION BY Jahr ORDER BY Jahr, Quartal ROWS BETWEEN 1 PRECEDING AND CURRENT ROW) FROM R Jahr Quartal Umsatz Jahr Quartal Umsatz AVG

39 Zusammenfassung SQuirreL DB2-Steuerzentrale Unterabfrage Nested Table Expressions Scalar Full Select Einfache Gruppierung Mehrfach Gruppierung Reporting Functions 39