Analytische Funktionen in 10g

Transkript

1 Mittwoch, 9. November h00, Variohalle 2 Analytische Funktionen in 10g Sebastian Graf und Michael Weiler PROMATIS software GmbH, Ettlingen Schlüsselworte Oracle 10g, Data Warehouse, OLAP, Business Intelligence, ETL, Data Mining, Analytische Funktionen, SQL 1 Einleitung Seit der Einführung von Oracle 8i haben sich analytische Funktionen als fester Bestandteil der Abfragesprache SQL etabliert. Obwohl sie sehr mächtig sind und selbst komplexe Abfragen unter Verwendung analytischer Funktionen einfach zu formulieren sind, ist die Kenntnis dieser Funktionen nicht unbedingt weit verbreitet. Vor diesem Hintergrund ist dieser Beitrag entstanden. In Kapitel 2 werden zunächst als erste Vertreter analytischer Funktionen einfache Aggregationen (GROUP, ROLLUP, CUBE) vorgestellt. Kapitel 3 beschäftigt sich mit fortschrittlichen Analysefunktionen (Ranking, Windowing, LAG/LEAD etc.) bis hin zu modernen Planungsfunktionen. Die MODEL-Klausel, die erstmals in Version 10g zur Verfügung steht, steht im Mittelpunkt des Kapitels 4. Sie ermöglicht die Erstellung multidimensionaler Spreadsheets. Es wird auch gezeigt, wie MODEL-Abfragen mit Regelfunktionen versehen werden. Diese Technik wird zur Berechnung neuer Werte verwendet, was insbesondere in den Bereichen Planung und Forecasting eine dramatische Verbesserung darstellt. Der Beitrag schließt mit einer kritischen Schlussbetrachtung in Kapitel 5. 2 Aggregationen In vielen Anwendungen müssen aggregierte Informationen dargestellt werden. Dies geschieht sowohl in klassischen transaktionsorientierten Systemen, aber vor allem in Data Warehouses und Data Marts. Für komplexe Fragestellungen wurden in der Vergangenheit oftmals komplexe Abfragen mit UNION- oder Inline Views erstellt. Die analytischen Funktionen und Gruppierungsmechanismen bieten hier einfachere und performantere Möglichkeiten. Im Folgenden werden anhand einfacher Beispiele Funktionen beschrieben, die bereits in Oracle 9i zur Verfügung standen und erste Ansätze zur analytischen Verarbeitung bieten. Es handelt sich um die GROUP BY-Klausel, die ROLLUP- und die CUBE-Klausel. GROUP BY GROUP BY war vor Einführung der analytischen Funktionen die einzige Möglichkeit, bestimmte Datensätze nach bestimmten Kriterien innerhalb einer Abfrage zusammenzufassen. Einfache Gruppierungsfunktionen erlauben das Berechnen von aggregierten Werten, wie dies in Beispiel 1 für den Verkaufswert gezeigt wird. Beispiel 1: GROUP BY select nachname ', ' vorname "Kunde", sum(verkaufswert) "Summe", count(1) "Einkäufe" from verkaeufe s, kunden c where verkaufsdatum between ' ' and ' ' and nachname like 'A%' and s.kunden_id = c.kunden_id group by nachname ', ' vorname order by 1

2 18. Deutsche ORACLE-Anwenderkonferenz In Beispiel 1 wird über den Kundennamen gruppiert, die Anzahl der Transaktionen wird aufsummiert und die Summe der Verkaufswerte gebildet. Allerdings setzt die Anwendung dieser Technik voraus, dass nur mit einer einzigen Dimension gearbeitet wird. ROLLUP Im Gegensatz zur GROUP BY-Klausel bietet ROLLUP eine elegante Möglichkeit, um mit mehreren Dimensionen zu arbeiten. Es können Zwischensummen gebildet werden, um dann abschließend eine Gesamtsumme zu ermitteln, wie dies in Beispiel 2 gezeigt wird. Beispiel 2: ROLLUP select p.prod_name "Produkt", l.land_bez "Land", sum(v.verkaufswert) "Umsatz", sum(1) "Verkäufe" from verkaeufe v, produkte p, laender l, kunden k where verkaufsdatum between ' ' and ' ' and l.land_iso in ('US', 'DE') and p.prod_kategorie in ('Elektronik') and v.prod_id = p.prod_id and v.kund_id = k.kund_id and k.land_id = l.land_id group by rollup(p.prod_name, l.land_bez) order by 1, 2 In Beispiel 2 wird zunächst über das Land und das Produkt und dann nur noch über das Produkt gruppiert. In der letzten Zeile stehen schließlich die Gesamtsummen. CUBE Beispiel 3 zeigt die Anwendung der CUBE-Funktion. Im Gegensatz zum Rollup werden hier alle möglichen Kombinationen gebildet und Zwischensummen berechnet. Die erste Zeile liefert die Gesamtsumme. Business Intelligence Beispiel 3: CUBE select p.prod_name "Produkt", l.land_bez "Land", sum(v.verkaufswert) "Umsatz", sum(1) "Verkäufe" from verkaeufe v, produkte p, laender l, kunden k where verkaufsdatum between ' ' and ' ' and l.land_iso in ('US', 'DE') and p.prod_kategorie in ('Elektronik') and v.prod_id = p.prod_id and v.kund_id = k.kund_id and k.land_id = l.land_id group by cube(l.country_name, p.prod_name) GROUPING In Anwendungen werden oftmals nur ganz bestimmte Zwischensummen benötigt. Dies kann über die GROUPING-Funktion gesteuert werden. Diese Funktion regelt, welche Zwischensummen wie angezeigt werden sollen. Die Funktion ist sowohl für die CUBE- als auch die ROLLUP-Gruppierung verfügbar. Das folgende Beispiel 4 zeigt die Anwendung der GROUPING-Funktion. Mit GROUPING kann ermittelt werden, ob es sich um eine Zwischensumme handelt oder nicht. Damit kann auch entschieden werden, ob die aktuelle Zeile auf NULL-Werten basiert oder wirklich eine Gruppierung ist. Mit Grouping Sets können explizit Gruppierungen vorgegeben werden: CUBE(s1, s2) entspricht GROUPING SETS((s1, s2), (s1), (s2), ()) ROLLUP(s1, s2) entspricht GROUPING SETS((s1, s2), (s1), ())

3 Grouping Sets sind kombinierbar: GROUPING SETS(s1, s2), GROUPING SETS(s3, s4) bildet die folgenden Gruppierungen: (s1, s3), (s1, s4), (s2, s3), (s2, s4) Beispiel 4: GROUPING select p.prod_name "Produkt", l.land_bez "Land", sum(v.verkaufswert) "Umsatz", grouping(p.prod_name) PRO, grouping(l.country_name) LAN from verkaeufe v, produkte p, laender l, kunden k where verkaufsdatum between ' ' and ' ' and l.land_iso in ('US', 'DE') and p.prod_kategorie in ('Elektronik') and v.prod_id = p.prod_id and v.kund_id = k.kund_id and k.land_id = l.land_id group by cube(l.country_name, p.prod_name) 3 Fortschrittliche Analysefunktionen Im Folgenden werden nun einige wichtige Funktionen beschrieben, die dem Entwickler in der analytischen Datenverarbeitung das Leben doch etwas leichter machen. In der Folge steigt die Entwicklungsproduktivität, und es entsteht leichter wartbarer SQL-Quellcode. Oftmals können mittels dieser Funktionen SQL-Fragestellungen, die vormals nur mittels komplexer UNION- und INLINE Views dargestellt werden konnten, einfacher, transparenter und mit verbesserer Performance erstellt werden. Übrigens gibt es Bestrebungen, analytische Funktionen in den SQL Standard aufzunehmen. Man darf gespannt sein, inweit die hier vorgestellte Oracle-Syntax Verwendung findet. RANK Die Ranking-Funktion dient dazu, Sortierungen auch innerhalb einzelner Gruppierungen zu erstellen, wie dies in Beispiel 5 gezeigt wird. Beispiel 5: RANK select p.prod_name "Produkt", l.country_name "Land", sum(v.amount_sold) "Umsatz", rank() over (partition by grouping_id(p.prod_name, l.country_name) order by sum(nvl(v.amount_sold, 0))) as "Rang" from sales v, products p, countries l, customers k where time_id between ' ' and ' ' and l.country_iso_code in ('US', 'DE') and p.prod_category in ('Electronics') and v.prod_id = p.prod_id and v.cust_id = k.cust_id and k.country_id = l.country_id group by rollup(p.prod_name, l.country_name)

4 18. Deutsche ORACLE-Anwenderkonferenz Produkt Land Erlös Rang X-Box USA 11,99 1 Verlängerungskabel USA 1.518,10 2 Adventures with Numbers Deutschland 3.736,96 3 Xtend Memory Deutschland 7.120,57 4 Fluch der Karibik DVD Deutschland 9.021,09 5 Adventures with Numbers USA ,37 6 Xtend Memory USA ,79 7 Canton Boxen Deutschland ,55 8 Fluch der Karibik DVD USA ,83 9 SONY T312 DVD Player Deutschland , Minitower Speaker USA ,61 11 SONY T312 DVD Player USA ,23 12 X-Box 11,99 1 Verlängerungskabel 1.518,10 2 Adventures with Numbers ,33 3 Xtend Memory ,36 4 Fluch der Karibik DVD ,92 5 Canton Boxen ,16 6 SONY T312 DVD Player , ,49 1 _ In Beispiel 5 wird mit der RANK-Funktion in den einzelnen Gruppen die Reihenfolge nach den Erlösen hergestellt und pro Gruppe die Rangnummer ausgegeben. Prozentanteil und Durchschnitt Mit PERCENT_RANK können Prozentanteile ausgegeben werden (Prozent der gesamten Gruppe). Darüber hinaus gibt es noch Funktionen, um Durchschnittswerte bezogen auf ein Datenfenster zu bilden. Wird etwa nach dem Datum gruppiert, kann der Durchschnitt der letzten drei Tage, bezogen auf einen aktuellen Datensatz, ermittelt werden. Business Intelligence FIRST_VALUE und LAST_VALUE Mit FIRST_VALUE / LAST_VALUE können der erste und der letzte Wert aus einem Datenfenster ausgewählt werden. LAG und LEAD Mit den Funktionen LAG und LEAD lassen sich Vorgänger und Nachfolger berechnen, wie in Beispiel 6 gezeigt. Beispiel 6: LAG und LEAD select datum "Datum", sum(verkaufswert) "Erlös", lag(sum(verkaufswert)) over (order by datum) "Vorgänger", lead(sum(verkaufswert)) over (order by datum) "Nachfolger" from verkaeufe where datum between ' ' and ' ' group by datum

5 Datum Erlös Vorgänger Nachfolger , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,82 _ LAST und FIRST Mit den Funktionen LAST und FIRST können entsprechend der erste und der letzte Wert eines Fensters abgefragt werden. Ferner gibt es noch Funktionen aus dem Bereich Lineare Regression. WIDTH_BUCKET Mit der WIDTH_BUCKET-Funktion können Daten, wie in Beispiel 7 dargestellt, in äquidistante Bereiche eingeordnet werden: Beispiel 7: WIDTH_BUCKET select cust_id "Kundennummer", cust_credit_limit "Kreditlinie", WIDTH_BUCKET(cust_credit_limit, 15000, 0, 5) "Einordnung" from customers where cust_city = 'Stuttgart' Kundennummer Kreditlinie Einordnung , , , , , , , , , , , , , , , ,00 5 _ 4 Multidimensionale Spreadsheets : Die MODEL-Klausel Bei den bislang behandelten Funktionen ging es darum, vorhandene Daten auszuwerten und mittels analytischer Funktionen Berechnungen anzustellen. Im Gegensatz dazu dienen Model-Abfragen dazu, komplexe Berechnungen auf Daten auszuführen und diese dann einer Abfrage bereitzustellen. Solche Funktionalitäten werden oftmals in Planungsprozessen oder zur Erstellung von Forecasts auf der Basis von Vergangenheitswerten benötigt.

6 18. Deutsche ORACLE-Anwenderkonferenz In Beispiel 8 werden Daten für einen noch nicht vorhandenen Zeitbereich bereitgestellt. In der Datenbank sind Informationen über Verkäufe bis zum vorhanden. Über diesen Zeitbereich hinaus sind keine Daten vorhanden. Mit der MODEL-Klausel ist es jetzt aber möglich, einer Abfrage Werte für das Jahr 2002 bereitzustellen. Beispiel 8: MODEL SELECT country "Land", product "Produkt", year "Jahr", sales "Umsatz" FROM sales_view WHERE country IN ('Deutschland') MODEL PARTITION BY (country) DIMENSION BY (product, year) MEASURES (sales sales) RULES (sales['bounce', 2002] = sales['bounce', 2001] + sales['bounce', 2000], sales['cd-r, Grade A', 2002] = sales['cd-r, Grade A', 2001], sales['adventures with Numbers', 2002] = 1.05*sales['Adventures with Numbers', 2001], sales['cd-r Mini Discs', 2002] = MAX(sales) ['CD-R Mini Discs', year BETWEEN 1900 AND 2001] ) ORDER BY country, product, year; Land Produkt Jahr Umsatz Deutschland Adventures with Numbers ,96 Deutschland Adventures with Numbers ,57 Deutschland Adventures with Numbers ,78 Deutschland Adventures with Numbers ,21 Deutschland Adventures with Numbers ,87 Deutschland Bounce ,71 Deutschland Bounce ,31 Deutschland Bounce ,39 Deutschland Bounce ,70 Deutschland CD-R Mini Discs ,47 Deutschland CD-R Mini Discs ,49 Deutschland CD-R Mini Discs ,74 Deutschland CD-R Mini Discs ,14 Deutschland CD-R Mini Discs ,74 Deutschland CD-R, Grade A ,46 Deutschland CD-R, Grade A ,25 Deutschland CD-R, Grade A ,90 Deutschland CD-R, Grade A ,18 Deutschland CD-R, Grade A ,18 _ Business Intelligence Beispiel 8 illustriert sehr schön, dass es unterschiedliche Möglichkeiten gibt, die neuen Zeilen zu berechnen. Es ist aber zu beachten, dass durch das MODEL-Statement die Daten keineswegs in die Datenbank eingefügt werden. Es handelt sich nach wie vor um ein SELECT-Statement, das lediglich um eine MODEL- Klausel zur Neuberechnung erweitert wurde. Regelmodi Das Model-Konzept basiert auf einer geeigneten Definition von Regeln. Für jede Regel kann zwischen drei Modi gewählt werden: INSERT, UPDATE oder UPSERT. INSERT bedeutet, dass der neue Satz gemäß der Regel nur dann erstellt wird, sofern es noch keinen solchen gab. UPDATE wendet die Regel nur an, wenn es den Satz schon gab. UPSERT (der Default-Fall) führt fallabhängig zu einem Insert oder Update.

7 Im obigen Statement ist z.b. sales['bounce', 2002] äquivalent zu UPSERT sales['bounce', 2002]. Auch hier ist zu beachten, dass in die Tabelle physikalisch kein Satz eingefügt oder dort eine Änderung durchgeführt wird! Wildcards in Regeln In den Regeln sind Wildcards möglich: sales[any, 2002] = sales['bounce', 2001] + sales['bounce', 2000] Kombination von Regeln Und es können Regeln kombiniert werden: sales[country in ('Deutschland', 'USA'), 2002] = sales[cv(country), 2001] + sales[cv(country), 2000] Dabei liefert die Funktion CV stets den aktuellen Wert der linken Seite der Regel. Ausführungsreihenfolge der Regeln Für die Ausführung der Regeln kann eine Reihenfolge erzwungen werden: RULES AUTOMATIC ORDER {sales['bounce', 2002] = sales['bounce', 2001] + sales['bounce', 2000] sales['bounce', 2001] = sales['bounce', 2000] = sales['bounce', 1999]} In diesem Beispiel werden die drei Regeln der Reihe nach abgearbeitet, da sie inhaltlich voneinander abhängig sind. Oracle ermittelt die Reihenfolge gemäß der Abhängigkeit. Wird an Stelle von AUTOMATIC SEQUENTIAL verwendet, wird die Regel in der angegebenen Reihenfolge abgearbeitet. PRESENTV Mit der Funktion PRESENTV kann geprüft werden, ob eine Zelle im Datenbestand vorhanden ist oder nicht. In Abhängigkeit vom Ergebnis wird dann ein bestimmter Wert zurückgegeben: PRESENTV(sales['CD Hülle', 2000], 1,01*sales['CD Hülle', 2000], sales['cd Hülle', 1999]) Ist für das Produkt CD-Hülle und das Jahr 2000 ein Wert vorhanden, wird der Wert mit 1,01 multipliziert, ansonsten wird der Wert des Jahres 1999 zurückgeliefert. FOR-Schleifen Mit FOR-Schleifen ist es möglich, mehrere Regeln zusammenzufassen: sales[for product in ('Schaukel', 'Tafel', 'Ball'), FOR year in (2001, 2002, 2003, 2004)] = 1.01*sales[CV(product), CV(year)-1] In diesem Fall werden für die drei Produkte für die Jahre 2001 bis 2004 jeweils die Werte für den Absatz um 1 Prozent gegenüber dem jeweiligen Vorjahr erhöht. Um die Angabe einer festen Liste in der FOR-Klausel zu umgehen, kann man dort auch eine Unteranfrage definieren und somit für große Datenmengen mit relativ wenig Programmieraufwand Vorausberechnungen anstellen. Iterative Modelle Mit iterativen Modellen ist es möglich, Regeln in einer MODEL-Klausel iterativ, also mehrfach, auszuführen: RULES ITERATE(10) (sales['schreibtisch', ITERATION_NUMBER] = ROUND(110*sales['Schreibtisch', ITERATION_NUMBER])/100) Mit dieser Regel werden die Umsätze für das Produkt Schreibtisch beginnend mit dem Jahr 1999 für zehn Jahre mit einer jährlichen Umsatzsteigerung von 10 Prozent festgeschrieben.

8 18. Deutsche ORACLE-Anwenderkonferenz 5 Schlussbetrachtung Im vorliegenden Beitrag wurden anhand einfacher Beispiele Möglichkeiten zur analytischen Datenverarbeitung in Oracle 10g dargestellt. Dem Entwickler stehen vielfältige Funktionen zur Programmierung mächtiger Analyse-, Planungs- und Forecasting-Applikationen zur Verfügung. In der Vergangenheit konnten vergleichbare Applikationen nur auf multidimensionalen Datenmodellen implementiert werden, wie sie Oracle Express oder heute der Analytical Workspace bieten. Die neuen Funktionen sind somit eine elegante Möglichkeit, analytische Funktionen in operative Anwendungen einzubetten. Aber Vorsicht: Im praktischen Einsatz führt die Anwendung der Funktionen nicht selten zu ganz erheblichen Performance-Problemen. Bewährt haben sich in solchen Fällen Materialized Views, die bereits beim Datenbankentwurf mit berücksichtigt werden sollten. Kontaktadresse: Dipl.-Informatiker Sebastian Graf Principal Senior Consultant PROMATIS software GmbH Pforzheimer Strasse Ettlingen Telefon: +49(0) Fax: +49(0) sebastian.graf@promatis.de Internet: Business Intelligence