Analytische Auswertungen in SQL

Transkript

1 Analytische Auswertungen in SQL LV Datenorientierte Systemanalyse, WS 2014/15 Dr. Walter Ebner, Institut für Informationswirtschaft Wirtschaftsuniversität Wien

2 Überblick Funktionen und Operatoren Logische Operatoren Vergleichsoperatoren Mathematische Operatoren und Funktionen Zeichenketten Funktionen Pattern Matching Formatierungsfunktionen Konditionale Ausdrücke Aggregatsfunktionen Window Functions 5

3 Logische Operatoren AND OR NOT Logische Konjunktion Logische Disjunktion Logische Negation Die Präzedenz (Reihenfolge der Abarbeitung) der Operatoren ist: 1. NOT 2. AND 3. OR 6

4 Vergleichsoperatoren < kleiner > größer <= kleiner oder gleich >= größer oder gleich = ist gleich <> oder!= ist ungleich a BETWEEN x AND y oder a NOT BETWEEN x AND y expression IS NULL expression IS NOT NULL Achtung: expression=null funktioniert nicht, da es immer FALSE ist. 7

5 Mathematische Operatoren + Addition - Subtraktion * Multiplikation / Division (Ganzzahlendivision schneidet den Rest ab) % Modulo (Rest einer Ganzzahlendivision) ^ Potenzierung (2^3=8)! Fakultät (5!=5*4*3*2*1=120) Daneben gibt es noch eine Reihe von bitweisen Operatoren 8

6 Mathematische Funktionen abs(x) ln(x) Absolutbetrag (negatives Vorzeichnen wird entfernt) Natürlicher Logarithmus log(x) Logarithmus mit Basis 10 pi() Die Kreiszahl Pi (3.14) random() Zufallszahl zwischen 0 und 1 round(v) round(v, s) sqrt(x) power(a, b) sin(x), cos(x), tan(x), asin(x), etc. Rundet v auf eine Ganzzahl Rundet v auf s Dezimalstellen Quadratwurzel Potenzierung a hoch b (äquivalent mit a^b) Trigonometrische Funktionen Und viele mehr (siehe Doku von DBMS) 9

7 Zeichenketten Operatoren und Funktionen string string Zeichenketten Verknüpfung string non-string Verknüpfung mit einem nicht String ( value: 3) lower(s) upper(s) initcap(s) length(s) trim(s) position(substring in string) substring(string [from x] [for y]) substring(string from pattern) Konvertierung zu Kleinbuchstaben Konvertierung zu Großbuchstaben Wandelt den ersten Buchstaben jedes Wortes in einen Großbuchstaben um Gibt die Anzahl der Zeichen des Strings aus Entfernt Whitespace vom Beginn und Ende des Strings Lokation des spezifizierten Substrings Substring von Position x für die nächsten y Zeichen Substring mit Regex-Pattern 10

8 Pattern Matching string LIKE pattern bzw. string NOT LIKE pattern Bei der Verwendung von LIKE gibt es die folgenden Wildcards: % kein oder beliebig viele Zeichen _ genau ein Zeichen string [NOT] SIMILAR TO regex-pattern (seit SQL:1999) Das Regex Pattern ist nicht Posix konform. Hier wird wie beim LIKE das % für beliebige Zeichenketten und das _ für genau ein Zeichen verwendet. Daneben bieten die meisten DBMS auch die Möglichkeit Posixkonforme Regular Expressions zu verwenden. z.b. in PostgreSQL mit dem ~ Operator 11

9 Build-in Scalar Functions current_date current_time current_timestamp current_user gibt das aktuelle Datum zurück gibt die aktuelle Zeit zurück gibt das aktuelle Datum inkl. Zeit zurück (äquivalent mit der Funktion now()) gibt den Usernamen zurück, mit den man sich zur DB verbunden hat. 12

10 Formatierungs- bzw. Umwandlungsfunktionen Um verschiedene Datentypen zu formatieren bzw. in bestimmte Datentypen umzuwandeln gibt es die to_ Funktionen. to_char(timestamp, text) Konvertiert Timestamp zu String to_char(interval, text) to_char(numeric, text) to_date(text, text) to_number(text, text) to_timestamp(text, text) Konvertiert Interval zu String Konvertiert Zahl (Double, real, numeric) zu String Konvertiert String zu Datentyp Date Konvertiert String zu Datentyp Numeric Konvertiert String zu Datentyp Timestamp Der Aufruf der Funktionen ist immer gleich: Der erste Parameter ist immer der Wert der formatiert werden soll. Der zweite gibt das Muster des Inputs bzw. Outputs an. Normales Datentyp-Casting geht mit: CAST(expression AS type) 13

11 Ergebnisausgabe limitieren in PostgreSQL Mit LIMIT und OFFSET kann man sich nur einer Teil des Result-Sets ausgeben lassen. SELECT select_list FROM table_expression LIMIT number [OFFSET offset_num] Wird LIMIT number spezifiziert, werden maximal number Zeilen retourniert (nur weniger, wenn das Ergebnis weniger Resultate liefert). OFFSET gibt an, dass offset_num Zeilen übersprungen werden sollen, bevor mit der Ausgabe von Zeilen begonnen wird. OFFSET 0 ist gleichbedeutend mit dem Weglassen dieser Klausel. Wird LIMIT und OFFSET verwendet, werden zuerst offset_num Zeilen übersprungen, bevor mit der Rückgabe von number Zeilen begonnen wird. Andere DBMS haben ähnliche Konstrukte um die Ergebnisausgabe zu limitieren. 14

12 Konditionale Ausdrücke CASE: vergleichbar mit if/else Blöcken in anderen Programmiersprachen: CASE WHEN condition THEN result [WHEN...] [ELSE result] END 15

13 Konditionale Ausdrücke CASE Beispiel SELECT * FROM test; a SELECT a, CASE WHEN a=1 THEN 'one' WHEN a=2 THEN 'two' ELSE 'other' END FROM test; a case one 2 two 3 other 16

14 Konditionale Ausdrücke COALESCE: COALESCE(value [,...]) Die COALESCE Funktion gibt den ersten Wert zurück, der nicht null ist. SELECT COALESCE(description, short_description, '(none)'), Ähnlich wie die Funktionen NVL und IFNULL bei anderen Datenbankmanagementsystemen. 17

15 Konditionale Ausdrücke NULLIF: NULLIF(value1, value2) Gibt NULL zurück wenn value1 gleich value2 ist. Ansonsten wird value1 zurückgegeben. Tipp: mit NULLIF(value, '') kann man erreichen, dass aus einer leeren Zeichenkette ein NULL Value wird. Zum Beispiel im Zusammenhang mit COALESCE da ansonsten, die leere Zeichenkette ausgegeben werden würde, da eine leere Zeichenkette ungleich NULL ist. Achtung: in Oracle ist alles anders. Dort gibt es keine leeren Zeichenketten werden automatisch NULL. 18

16 Aggregatsfunktionen count(*) count(expression) avg(expression) min(expression) max(expression) sum(expression) string_agg(expression, delimiter) Anzahl der Input Rows Anzahl der Input Werte, die ungleich NULL sind Durchschnitt (arithmetisches Mittel) über die Input Werte Gibt den kleinsten Wert zurück Gibt den größten Wert zurück Gibt die Summe der Input Werte zurück Input Werte werden zu einem String zusammengehängt (Werte werden durch den delimiter getrennt) 19

17 Beispiel für string_agg() Tipp: bei string_agg kann man auch ein ORDER BY verwenden um die Werte zu sortieren. SELECT wohnort, count(*) as anzahl, string_agg(name, '; ' ORDER BY name) as namen FROM angestellte GROUP BY wohnort; 20

18 Statistische Aggregatsfunktionen in PostgreSQL avg(x) corr(y, X) var_pop(expression) var_samp(expression) stddev_pop(expression) stddev_samp(expression) regr_slope(y, X) regr_intercept(y, X) Durchschnitt (arithmetisches Mittel) Korrelationskoeffizient zwischen X und Y Varianz aller Werte (Grundgesamtheit) Varianz aller Stichprobenwerte Standardabweichung aller Werte (Grundgesamtheit) Standardabweichung aller Werte der Stichprobe Steigung der Regressionsgeraden (lineare Regression) Intercept der Regressionsgeraden 21

19 Window Functions - Allgemeines Mit SQL:2003 wurde die window clause eingeführt. Durch diese window clause werden aus Aggregate Functions Window Functions. Von Oracle werden diese Funktionen als Analytic Functions bezeichnet. Derzeit werden sie unter anderem von den folgenden Datenbankmanagementsystemen unterstützt: Keine Unterstützung in MySQL! 22

20 Window Functions - Funktionsweise Window Funktionen führen eine Berechnung über eine Menge von Zeilen durch, die auf irgendeine Weise verwandt mit der aktuellen Zeile sind. Dies ist ähnlich wie bei Aggregatsfunktionen aber mit dem Unterschied, dass bei den Window Functions die Ergebnisse nicht in eine Zeile zusammengezogen werden Die Zeilen bleiben erhalten. 23

21 Window Functions - Hinweise Window Functions werden mit Ausnahme der ORDER BY clause zu allerletzt evaluiert. Wegen dieser späten Evaluierung können sie deshalb nicht in der WHERE, GROUP BY oder HAVING Klausel vorkommen. Zu beachten ist, dass die (Gruppe von) Zeilen, die für die Kalkulation herangezoggen werden, nicht durch eine GROUP BY clause bestimmt werden, sondern durch Partitioning innerhalb der Window clause. Außerdem ist zu beachten, dass die Reihenfolge innerhalb der Gruppen durch eine ORDER BY clause bestimmt wird. Aber diese betrifft nur die Berechnung innerhalb der Window Function und hat keine Auswirkung auf die Reihenfolge, wie die Zeilen letztendlich ausgegeben werden. Tipp: Man kann der Spalte einen Alias Namen geben und dann diesen Aliasnamen zum sortieren des Ergebnisses verwenden.

22 SQL: Window Clause FUNCTION_NAME(expr) OVER {window_name (window_specification)} window_specification ::= [window_name][partitioning][ordering][framing] partitioning ::= PARTITION BY value [, value...] [COLLATE collation_name] ordering ::= ORDER [SIBLINGS] BY rule [, rule...] rule ::= {value position alias} [ASC DESC] [NULLS {FIRST LAST}] framing ::= {ROWS RANGE} {start between} [exclusion] start ::= {UNBOUNDED PRECEDING unsigned-integer PRECEDING CURRENT ROW} between ::= BETWEEN bound AND bound bound ::= {start UNBOUNDED FOLLOWING unsigned-integer FOLLOWING} exclusion ::= {EXCLUDE CURRENT ROW EXCLUDE GROUP EXCLUDE TIES EXCLUDE NO OTHERS}

23 PostgreSQL - Window Clause FUNCTION_NAME(expr) OVER {window_name (window_specification)} window_specification ::= [partitioning][ordering][framing] partitioning ::= PARTITION BY value [, value...] ordering ::= ORDER BY rule [, rule...] rule ::= {value position alias} [ASC DESC] [NULLS {FIRST LAST}] framing ::= {ROWS RANGE} {start between} start ::= {UNBOUNDED PRECEDING unsigned-integer PRECEDING CURRENT ROW} between ::= BETWEEN bound AND bound bound ::= {start UNBOUNDED FOLLOWING unsigned-integer FOLLOWING} Die einfachste Form ist somit ein: function_name(expr) OVER () z.b. avg(salary) over()

24 Allgemeine Window Funktionen (1/2) Die folgenden Funktionen hängen von der Reihenfolge der Werte ab. Deshalb ist hier zwingend ein ORDER BY im OVER() notwendig: row_number() rank() dense_rank() percent_rank() cume_dist() ntile(num_buckets) Nächste Folie Nummer der aktuellen Zeile innerhalb der Partition; zählen beginnt bei 1 Rang der aktuellen Zeile (Es gibt Gaps wenn es gleiche Ergebnisse gibt) Rang der aktuellen Zeile ohne Gaps (peer groups) Relativer Rang der aktuellen Zeile: (rank-1)/(total rows-1) Relativer Rang der aktuellen Zeile: (number of rows preceding or peer with current row) / (total rows) Ganzzahl von 1 bis num_buckets, die die Partition so gleich wie möglich aufteilt. 27

25 Allgemeine Window Funktionen (2/2) lag(value [, offset [, default]]) lead(value [, offset [, default]]) first_value(value) last_value(value) nth_value(value, nth) Retourniert den Wert der Spalte value, der offset Zeilen weiter hinten kommt (offset defaults to 1; default ist standardmäßig NULL) Retourniert den Wert der Spalte value, der offset Zeilen weiter vorne steht (offset defaults to 1) Gibt den ersten Wert innerhalb eines Window- Frames zurück. Gibt letzten Wert innerhalb eines Window-Frames zurück. Gibt den nth-ten Wert innerhalb eines Window- Frames zurück. Zusätzlich zu diesen Funktionen kann jede Aggregatsfunktion als Window Function verwendet werden. Aggregatsfunktionen werden nur dann als Window Function interpretiert, wenn nach ihrem Aufruf ein OVER() folgt. 28

26 Window Functions - Beispiel Die folgende Tabelle ist der Ausgangspunkt für unsere weiteren Abfragen: SELECT depname, empno, salary FROM empsalary; Depname=Abteilung Empno=Angestelltennr. Salary=Gehalt 29

27 Window Functions - Beispiel Geben Sie die Abteilungen mit dem jeweiligen Durchschnittsgehalt aus: SELECT depname, avg(salary) FROM empsalary GROUP BY depname; Soweit nichts neues: Hier wird AVG() als Aggregatsfunktion verwendet und nicht als Window Function. 30

28 Window Functions - Beispiel Nun sollten aber alle Personen mit ihren Gehalt und dem Durchschnittsgehalt der jeweiligen Abteilung ausgegeben werden: SELECT depname, empno, salary, avg(salary) OVER (PARTITION BY depname) FROM empsalary; 31

29 Window Functions - Beispiel Lässt man das PARTITION BY weg, gibt es nur eine Partition (nämlich alle Zeilen). Der Durchschnitt ist somit über alle Werte: SELECT depname, empno, salary, avg(salary) OVER () FROM empsalary; 32

30 Window Functions - Beispiel Mit rank() bekommt man den numerischen Rang innerhalb einer Partition, der sich durch die Sortierung eines oder mehrerer Attribute ergibt. SELECT depname, empno, salary, rank() OVER (PARTITION BY depname ORDER BY salary DESC) FROM empsalary; 33

31 Window Functions - Beispiel Unterschied zwischen row_number(), rank() und dense_rank(): SELECT depname, empno, salary, row_number() OVER (PARTITION BY depname ORDER BY salary DESC), rank() OVER (PARTITION BY depname ORDER BY salary DESC), dense_rank() OVER (PARTITION BY depname ORDER BY salary DESC) FROM empsalary; 34

32 Window Functions - Beispiel Damit man dasselbe Window nicht ständig wiederholen muss, kann man das Window getrennt definieren und mit einen Namen versehen. SELECT depname, empno, salary, row_number() OVER w AS sort_attr, rank() OVER w, dense_rank() OVER w FROM empsalary WHERE 1=1 -- sinnlos, nur zum Zeigen, dass die Windowdef. danach kommt WINDOW w AS(PARTITION BY depname ORDER BY salary DESC) ORDER BY depname, sort_attr; 35

33 Window Functions Window Frame Es gibt noch ein anderes wichtiges Konzept bei den Window Functions. Nämlich für jede Zeile gibt es innerhalb der Partition eine Menge von Zeilen, die als Window Frame bezeichnet werden. Viele (aber nicht alle) Window Functions beziehen in ihren Berechnungen nur die Zeilen des Window Frames ein und nicht alle Zeilen der Partition. Standardmäßig, wenn ein ORDER BY spezifiziert ist, besteht der Frame aus allen Zeilen vom Start der Partition bis zur aktuellen Zeile plus alle folgenen Zeilen, die den selben Wert wie die aktuelle Zeile haben. Wird ORDER BY weggelassen, besteht der Frame standardmäßig aus allen Zeilen der Partition. Das Beispiel auf der nächsten Folie dient zur Veranschaulichung dieses Standardverhaltens. 36

34 Window Functions Window Frame SELECT salary, sum(salary) OVER () FROM empsalary; SELECT salary, sum(salary) OVER (ORDER BY salary) FROM empsalary; Beide 4800 Werte sind hier schon dabei Ohne ORDER BY besteht der Frame aus allen Zeilen der Partition. Mit ORDER BY besteht der Frame aus allen Zeilen bis zur aktuellen (gemäß Sortierung). 37

35 Weiterführende Literatur SQL in a Nutshell, 2 nd edition PostgreSQL - Window Functions PostgreSQL - Window Functions Tutorial PostgreSQL Syntax Window Functions Oracle - Analytic Functions 38

36 ENDE 39