Data Warehousing und Data Mining

Transkript

1 Data Warehousing und Data Mining Das multidimensionale Datenmodell Ulf Leser Wissensmanagement in der Bioinformatik

2 Inhalt dieser Vorlesung Vom Spreadsheet zum Würfel Multidimensionales Datenmodell (MDDM) Dimensionen und Granularität Beispiel Ulf Leser: Data Warehousing und Data Mining 2

3 Spreadsheets EXCEL-artige Anwendungen sind extrem weit verbreitet Vorläufer der Data Warehouse Idee Unverändert populär (OLAP-Plug-Ins für EXCEL) Beispiel: Summen von Verkaufszahlen aufgeschlüsselt nach Eigenschaften der Verkäufe Q1 Q2 Q3 Q4 Jan Feb Mär Apr Mai Jun Jul Aug Sep Okt Nov Dez Romane Bücher Kinder Fachliteratur Klassik CDs Hörbücher Pop Ulf Leser: Data Warehousing und Data Mining 3

4 Spreadsheets EXCEL-artige Anwendungen sind extrem weit verbreitet Vorläufer der Data Warehouse Idee Unverändert populär (OLAP-Plug-Ins für EXCEL) Beispiel: Summen von Verkaufszahlen aufgeschlüsselt nach Eigenschaften der Verkäufe Dimensionen: Zeit und Produkt Q1 Q2 Q3 Q4 Jan Feb Mär Apr Mai Jun Jul Aug Sep Okt Nov Dez Romane Bücher Kinder Fachliteratur 3 45 Detailaggregate Klassik CDs Hörbücher Pop Hierarchische Dimensionen Ulf Leser: Data Warehousing und Data Mining 4

5 Randsummen Wichtig sind immer auch die Randsummen Jede Kombination von Dimensionen Schwierigkeit: Summen auf allen Hierarchiestufen Möglich, nicht schön Summe Q1 Q2 Q3 Q4 Jan Feb Mär Apr Mai Jun Jul Aug Sep Okt Nov Dez Romane Bücher Kinder Fachliteratur Klassik CDs Hörbücher Pop Summe Ulf Leser: Data Warehousing und Data Mining 5

6 Drei Dimensionen Hinzufügen einer dritten Dimension: Länder Erste Möglichkeit: Schachteln Unklare Darstellung (dritte Dimension geht verloren) Randsummen pro Land sehr unschön 2010 Q 1 Q2 Jan Feb Mar Apr BRD FR GB BRD FR GB BRD FR GB BRD FR GB Romane Bücher Kinder Fachliteratur Klassik CDs Hörbücher Pop Ulf Leser: Data Warehousing und Data Mining 6

7 Drei Dimensionen Hinzufügen einer dritten Dimension: Länder Zweite Möglichkeit: Stapeln Unübersichtlich, keine Gesamtschau Hierarchische dritte Dimension? Randsummen pro Jahr / Produkt kaum möglich 2010 BRD Q1 Q2 Q3 Q4 Jan Feb Mär Apr Mai Jun Jul 2010 FR Aug Sep Okt Nov Dez Romane Q Q Q Q4 Bücher Kinder 19 Jan 13 Feb 8 Mär 19 Apr 13 Mai 8 Jun 19 Jul 2010 GB 13 Aug 8 Sep 19 Okt 13 Nov 8 Dez Fachliteratur Romane Q Q Q Q4 Bücher Klassik Kinder Jan 1213 Feb 24 8 Mär 2319 Apr 1213 Mai 24 8 Jun 2319 Jul 1213 Aug 24 8 Sep 1119 Okt 1213 Nov 8 Dez CDs Hörbücher Fachliteratur Romane Bücher Pop Klassik Kinder CDs Hörbücher Fachliteratur Pop Klassik CDs Hörbücher Pop Ulf Leser: Data Warehousing und Data Mining 7

8 Nachteile von Spreadsheets Bei mehr als zwei Dimensionen unübersichtlich Mehr als drei Dimensionen kaum handhabbar Schwierigkeiten mit hierarchischen Dimensionen Schwierigkeiten mit spezielleren Anforderungen Gleitenden Durchschnitt pro Ort über je 3 Jahre? Immer Summe und Durchschnitt anzeigen? Ulf Leser: Data Warehousing und Data Mining 8

9 Lösung Jahr Jan Feb Land Mär Apr F BRD Bücher Romane Fachliteratur Klassik Produkt Konzeptionelles Modell Kann man nicht ausdrucken also Seiten, Abschnitt, Ulf Leser: Data Warehousing und Data Mining 9

10 Inhalt dieser Vorlesung Vom Spreadsheet zum Würfel Multidimensionales Datenmodell (MDDM) Dimensionen und Granularität Beispiel Ulf Leser: Data Warehousing und Data Mining 10

11 MDDM Grundidee Unterscheidung von Fakten (Measures) Gemessene Werte Dimensionen Beschreibung der Fakten in Raum, Zeit,... Klassifikationshierarchien Strukturierte Dimensionen Metapher: Würfel (Cube) bzw. Hypercube Fakten: Punkte im multidimensionalen Raum Genauer: Aggregate höchster Detailstufe Dimensionen: Achsenbeschriftung / Koordinaten Hierarchien: Koordinaten in unterschiedlichem Detailgrad Analyse durch Operationen auf dem Cube Auswahl von Subwürfeln (Flächen, Punkten,...) Hierarchiestufe vergröbern/verfeinern Ulf Leser: Data Warehousing und Data Mining 11

12 Beispiel Verkäufe von Autos pro Marke, Kontinent und Jahr gemessen in Euro Fakten Verkäufe in Euro Dimensionen Automarke Kontinent Jahr Ulf Leser: Data Warehousing und Data Mining 12

13 Beispiel: Auswahl (Slicing) Verkäufe von Peugeot pro Jahr und Kontinent Verkäufe in Asien pro Jahr und Marke Jahr Asien Südamerika Kontinent BMW Peugeot VW Ford Automarke Ulf Leser: Data Warehousing und Data Mining 13

14 Fakten (Measures) Fakten werden durch Koordinaten in allen Dimensionen beschrieben Fakten haben Werte (in der Regel Zahlen) Können auch mehrere sein, z.b. (Uhrzeit, Verkaufswert) Wichtigste Unterscheidung Event facts: Fakten entsprechen Ereignissen der Welt Z.B. Messungen, Verkäufe, Wählerstimmen, Können über Zeit aggregiert werden Summe, Mittelwert, Quantil, Snapshot facts: Fakten entsprechen Zuständen der realen Welt Z.B. Lagerbestände Können nicht über die Zeit aggregiert werden Aber über alle anderen Dimensionen Ulf Leser: Data Warehousing und Data Mining 14

15 Dimensionen Beschreiben relevante Eigenschaften von Fakten Müssen orthogonal (funktional unabhängig) sein Abhängigkeiten bereiten viele Probleme später Haben meist ein hierarchisches Schema Zeit: Tag, Woche, Jahr, Achtung: Es sind individuelle Tage, Monate, gemeint. Als nicht 1 = der erste jedes Monats, sondern 1 = etc. Region: Landkreis, Land, Staat, Produkt: Produktgruppe, Produktklasse, Produktfamilie,... und eine erlaubte Wertemenge auf jeder Ebene (1/1/99, 2/1/99,..., 31/1/99, 31/12/07), (Berlin, NRW, Department-1,...), (BRD, F,...) Das ergibt ein Schema Ulf Leser: Data Warehousing und Data Mining 15

16 Dimension Dimensions schema TOP Jahr Quartal I II III IV I II III IV Klassifikationsstufen Monat Jan Feb Mar Okt Nov Dez Tag Klassifikationsknoten Ulf Leser: Data Warehousing und Data Mining 16

17 Produkthierarchie Aus: Geppert, ETZ Zürich, Vorlesung Data Warehouse Elemente einer Stufe können geordnet sein Geordnet: Zeit Ungeordnet: Produkte Ulf Leser: Data Warehousing und Data Mining 17

18 Formale Definition Ziele Operationen im MDDM exakt definieren Aus dem Modell muss man ersehen können, welche Aggregate semantisch sinnvoll sind und welche nicht Tools bieten dann nur die sinnvollen Operationen an Optimierer können die Informationen für schnellere Anfragen benutzen Multidimensionale Modelle grafisch exakt spezifizieren Konzern Sparte Region Bereich Unternehmen Abteilung Ulf Leser: Data Warehousing und Data Mining 18

19 Klassifikationsschema Definition Ein Klassifikationsschema K ist ein Quadrupel (K s, s, K k, k ) mit K s ist die Menge von Klassifikationsstufen {k 0,... k n } s ist eine Halbordnung auf K s mit größtem Element top(k s ) D.h.: k K s : k s top(k s ) K k ist die Menge von Klassifikationsknoten {n 0,... n m } Jeder Klassifikationsknoten n ist genau einer Klassifikationsstufe k zugeordnet. stufe(n) = k knoten(k) = {n n K k stufe(n)=k} k ist die Halbordnung auf K s übertragen auf K k Sei k,l K k. Es gilt k s l gdw. stufe(k) S stufe(l) Bemerkung Eine Klassifikationsstufe hat mehrere Klassifikationsknoten, aber jeder Klassifikationsknoten ist genau einer Klassifikationsstufe zugeordnet Wir benutzen i.d.r. einfach für k oder s Ulf Leser: Data Warehousing und Data Mining 19

20 Erläuterung Klassifikationsstufen: Schemaelemente der Dimension Klassifikationsknoten: Instanzen der Schemaelemente Das größte Element (top) ist artifiziell Steht für alles Interpretation von Funktionale Abhängigkeit & Aggregierbarkeit Tag bestimmt Monat bestimmt Jahr bestimmt TOP TOP Produkt Produktfamilie Produktgruppe TOP Asus M2400N Notebooks Büroelektronik TOP Beachte: Halbordnung ist zyklusfrei Ulf Leser: Data Warehousing und Data Mining 20

21 Beispiel Ordnung Tag Monat Monat Quartal Quartal Jahr Tag Woche Woche Jahr Alle TOP Keine Ordnung Quartal? Woche Monat? Woche Transitivität Tag Jahr TOP Jahr Quartal Monat Tag Tatsächlich? Woche Saison Ulf Leser: Data Warehousing und Data Mining 21

22 Knotenattribute Name... Staat Name Name Depot Manager Logistics Bundesland Region... Name Address Jede Klassifikationsstufe hat eine Menge von Attributen, die Knotenattribute Teil des Schemas des Klassifikationsschemas Shop Supplier Facilities Ulf Leser: Data Warehousing und Data Mining 22

23 Klassifikationspfade Definition Ein Klassifikationspfad P in einem Klassifikationsschema K mit Klassifikationsstufen K s ist eine Menge {p 0,..., p m } K s mit p m = top(k s ) p i, 1 i m: p i-1 p i und q: p i-1 q p i Die Länge des Pfades P ist P =m+1 Der Klassifikationslevel von p i in P ist i Bedeutung P: Zusammenhängende und vollständig geordnete Teilmenge von K s Aggregate werden wir entlang von Pfaden definieren Und damit entlang funktionaler Abhängigkeiten Ulf Leser: Data Warehousing und Data Mining 23

24 Beispielpfade Klassifikationsschema Pfad 1 Pfad 2 TOP TOP TOP Jahr Jahr Quartal Monat Woche Quartal Monat Woche Tag Tag Tag Ulf Leser: Data Warehousing und Data Mining 24

25 Klassifikationsstufen und Pfade Level 4 TOP Level 2 TOP Der Klassifikationslevel einer Stufe ist nur eindeutig in einem Pfad Der Level des größten Elements TOP ist nicht konstant Level 3 Level 2 Level 1 Jahr Quartal Monat Level 1 Woche Wir zählen von unten Level 0 Tag Level 0 Tag Ulf Leser: Data Warehousing und Data Mining 25

26 Klassifikationshierarchie Definition Die Klassifikationshierarchie H zu einem Klassifikationsschema K mit Pfad P ist der Baum mit Knoten N und Kanten E wie folgt: N = knoten( p ) p P i i E = ( n, m) n, m N n m j : n knoten( p ) m knoten( j p j + 1) Bemerkungen Jede Klassifikationshierarchie ist balanciert: Alle Pfade Wurzel- Blatt haben die Länge P Ulf Leser: Data Warehousing und Data Mining 26

27 Inhalt dieser Vorlesung Vom Spreadsheet zum Würfel Multidimensionales Datenmodell (MDDM) Dimensionen und Granularität Beispiel Ulf Leser: Data Warehousing und Data Mining 27

28 Dimension Definition Eine Dimension D=(K, {P 1,...,P j }) besteht aus Einem Klassifikationsschema K Einer Menge von Pfaden P i in K Bemerkungen D muss nicht alle Pfade enthalten, die es in K gibt Theoretisch müssen nicht alle Klassifikationsstufen von K in (mindestens) einem Pfad enthalten sein Aber man wird seine Pfade so wählen, dass dies doch gilt Schreibweise D.k bezeichnet die Klassifikationsstufe k aus D Jedes D.k kann in mehreren Pfaden vorkommen Ulf Leser: Data Warehousing und Data Mining 28

29 Granularität Definition Gegeben eine Menge U von Dimensionen D 1,..., D n. Eine Granularität G über U ist eine Menge {D 1.k 1,...,D n.k n } für die gilt Jedes k i ist eine Klassifikationsstufe in D i Es gibt keine funktionalen Abhängigkeiten zwischen den Klassifikationsstufen verschiedener Dimensionen Bemerkungen Zweite Bedingung ist immer erfüllt, wenn keine funktionalen Abhängigkeiten zwischen Dimensionen bestehen Beispiel: Nicht gleichzeitig Dimensionen Zeit und Fiskalisches Jahr in einer Granularität betrachten Ulf Leser: Data Warehousing und Data Mining 29

30 Erläuterung Mit einer Granularität legt man fest, in welcher Detailstufe Daten beschrieben werden Festlegung für jede Dimension Hyperwürfel in einer bestimmten Auflösung OLAP-Operationen operieren (im Wesentlichen) auf Granularitäten und erzeugen (andere) Granularitäten Navigation entlang von Pfaden Selektion von Knoten Herausschneiden von Dimensionen Durch die Anordnung der Stufen in Pfaden sind Granularitäten halb-geordnet Ulf Leser: Data Warehousing und Data Mining 30

31 Halbordnung auf Granularitäten Definition Auf der Menge aller Granularitäten zu einer Menge U von Dimensionen ist eine Halbordnung wie folgt definiert Sei G 1 ={D 1.k 11,...,D n.k n1 } und G 2 ={D 1.k 12,...,D n.k n2 } Es gilt: G 1 G 2 genau dann wenn i: D i.k i 1 D i.k i 2 Bemerkung D i.k i 1 D i.k i 2 ist auch erfüllt wenn D i.k i1 =D i.k i 2 Halbordnung repräsentiert erlaubte Transformation von Granularitäten Anfrageoptimierung: Wiederverwendung von Aggregaten Ulf Leser: Data Warehousing und Data Mining 31

32 Bereich TOP Beispiel Region TOP Zeit TOP Konzern Staat Jahr Sparte Bundesland Monat Abteilung Shop Tag (B.Sparte, R.Shop, Z.Tag) (B.Sparte, R.Shop, Z.Monat) (B.Sparte, R.TOP, Z.Monat) (B.TOP, R.TOP, Z.TOP) (B.Sparte, R.Staat, Z.Tag)? (B.Konzern, R.Shop, Z.Tag) Ulf Leser: Data Warehousing und Data Mining 32

33 Würfelschema und Würfel Definition Ein Würfelschema WS ist ein Tupel (G,F) mit Einer Granularität G Einer Menge F von Fakten mit F =m Ein Würfel W ist eine Instanz eines Würfelschema (G,F) W = dom( G) dom( F) = knoten( D Bemerkung. k )... knoten( D dom( F )... dom( F Die Werte dom(g) geben die Koordinaten der Werte dom(f) an Würfelschema zu Würfel ist wie Relationenschema zu Relation. k ) 1 1 n n 1 m ) Ulf Leser: Data Warehousing und Data Mining 33

34 Kein Würfelschema Autoverkäufe pro Zeit (Monat, Jahr), Händler und Region (Kreis, Land) Drei Dimensionen Monat Jahr Händler Kreis Land Jahr Land Monat Kreis Händler Aber: EU Recht! Händler Land Damit können wir keine Granularität bauen Jahr Monat Land Kreis Händler Ulf Leser: Data Warehousing und Data Mining 34

35 Semantik von Kanten Die Hierarchie von Klassifikationsstufen wird durch funktionale Abhängigkeiten bestimmt Das beinhaltet keine Aussage zur Semantik von Kanten Bereich Komm.Elektronik Land Brandenburg TOP Güter Hauptabt. Mobilfunk Kreis Potsdam P.gruppe Kleidung Abteilung Dualband Stadt Golm Produkt Hose gehört_zur_ organisationseinheit Geographisches PART_OF IS-A Ulf Leser: Data Warehousing und Data Mining 35

36 Inhalt dieser Vorlesung Vom Spreadsheet zum Würfel Multidimensionales Datenmodell (MDDM) Dimensionen und Granularität Beispiel Ulf Leser: Data Warehousing und Data Mining 36

37 Ein längeres Beispiel Wir bauen ein DWH zur Verwaltung von Lagerbeständen Wir haben viele Lagerhäuser (international verteilt) Messung ist der Zugang oder Abgang von Produkten Jede Messung erzeugt zwei Fakten Bestand und Delta von Artikeln Nur über das eine darf man in der Zeit aggregieren Klassifikationsschema K Zeit: Monat, Quartal, Woche, Jahr Ort: Region, Land Produkt: Artikel, Artikelgruppe, Bereich Ulf Leser: Data Warehousing und Data Mining 37

38 Pfade P 1 : TOP Jahr Quartal Monat P 2 : TOP Woche P 3 : TOP Land Region P 4 : TOP Bereich Artikelgruppe Artikel Entlang der Pfade sind Verdichtungen im Modell sinnvoll Ulf Leser: Data Warehousing und Data Mining 38

39 Klassifikationsknoten Jahr: 1997, 1998, 1999, Quartal: I, II, III, IV (pro Jahr) Woche: 1-52 (pro Jahr) Monate: 1-3 (pro Quartal I), 4-6 (pro Quartal II),... Land: Deutschland, Frankreich, Großbritannien,... Region: Bayern, Berlin,..., Departament1, Departament2,... Bereich: Kleidung, Nahrung, Elektronik,... Artikelgruppe: Oberbekleidung, Unterbekleidung, Kindernahrung, Kleingeräte, TV/Video,... Artikel:... Alle möglichen Ausprägungen der Klassifikationsstufen Ulf Leser: Data Warehousing und Data Mining 39

40 Klassifikationshierarchien Klassifikationshierarchie zu P 1 P 1 : TOP Jahr Quartal Monat TOP I II III IV... Jan Feb Mar... Okt Nov Dez Klassifikationshierarchie zu P 2 P 2 : TOP Woche TOP Ulf Leser: Data Warehousing und Data Mining 40

41 Dimensionen Dimension ZEIT ({Monat, Quartal, Woche, Jahr}, {P 1, P 2 }) Dimension ORT ({Region, Land}, {P 3 }) Dimension PRODUKT ({Artikel, Artikelgruppe, Bereich}, {P 4 }) Dimensionen enthalten mehrere Pfade Ulf Leser: Data Warehousing und Data Mining 41

42 Granularität, Würfel Mögliche Granularitäten G 1 = (Zeit.Woche, Ort.Land, Produkt.Artikel) G 2 = (Zeit.Jahr, Ort.Gebiet, Produkt.TOP) Halbordnung: (Zeit.Tag, Ort.Gebiet, Produkt.Artikel) (Zeit.Jahr, Ort.Gebiet, Produkt.Bereich) (Zeit.Jahr, Ort.TOP, Produkt.Bereich) (Zeit.TOP, Ort.TOP, Produkt.TOP) Würfelschema Granularität plus Menge von Fakten (F 1 =Bestand, F 2 =Delta) Würfel: Instanz des Würfelschemas Konkrete Bewegungen von Produkten aggregiert auf einer bestimmten Detailstufe pro Dimension Ulf Leser: Data Warehousing und Data Mining 42

43 Weiterführende Literatur Vassiliadis, P. (1998). "Modeling Multidimensional Databases, Cubes, and Cube Operations". 10th International Conference on Scientific and Statistical Database Management, Capri, Italy. Rizzi, S., Abello, A., Lechtenbörger, J. and Trujillo, J. (2006). "Research in Data Warehousing Modeling and Design: Dead or Alive?" DOLAP, Arlington, USA. Vetterli, T., Vaduva, A. and Staudt, M. (2000). "Metadata Standards for Data Warehousing: Open Information Model versus Common Warehouse Model." SIGMOD Record 29(3): Ulf Leser: Data Warehousing und Data Mining 43