Dimensionen, Measures

Transkript

1 ... Operationen und peicherung Multi-dimensionaler Daten Aggregate um RED WHITE BLUE Group By (with total) By Color um Cross Tab Chevy Ford By Color RED WHITE BLUE By Make um By Make & Year By Year FORD CHEVY By Color & Year The Data Cube and The ub-pace Aggregates By Make RED WHITE BLUE By Make & Color um By Color OHO Kap-- Dimensionen, Measures Dimensionen: Measures: Dimensionshierarchie: Drill-Down, Drill-up: Koordinatenachsen (x,..., xn) des Datenwürfels Werte der Funktionen f(x,...,xn), f(...),... In relationaler Terminologie: Measures sind funktional abhängig von den Dimensionen. Vergröberung für die Aggregation, Benannte Partitionierung des Wertebereichs einer Dimension. Beispiele: tadt -> Kanton -> Monat -> Quartal Aggregation entlang der Dimensionshierarchie, Down für Verfeinerung, Up für Vergröberung OHO Kap--

2 .. Beispiel Dimensionen vs. Measures Brot Produkt Milch 9 Tee Irchel Central Wipkingen Filiale.... Dimensionen: Produkt,, Filiale Measure: Umsatz OHO Kap-- Operationen auf multi-dimensionalen Daten Vorbild: Relationenalgebra: Input: Cube(s), Output: Cube, wenige mächtige Operationen, Mächtigkeit durch geschickte Kombination! Transformation zwischen Measures und Dimensions: Pull & Push Dabei nötig: elementbildende Funktionen, damit Funktionalabhängigkeit Dimensions -> Measures erhalten bleibt. Dimensionsreduktion, falls nur ein Wert vorkommt: Destroy sonst: vorher Aggregieren, neue Elemente bilden, Operator Merge! Restriktion: Neuer Cube enthält nur nur noch Werte einer Dimension, die ein Filterprädikat erfüllen (naheliegend) Join: binäre Operationen! Wir verschaffen uns einen Einblick in Merge/Cross-Tab, Push und Pull OHO Kap--

3 .. Cross-Tabelle Opel Marke Audi BMW.... Projektion mit Aggregation auf Teilraum Hessen Bayern aarland Bundesland OHO Kap-- Push Marke Opel <,..> Audi <,..> BMW <,.> <,.>.... Hessen Bayern aarland Bundesland Pull-Operation im Beispiel auf : setzt swerte zu bisherigem Measure. Nutzen: Verwendung von Aggregationsfunktionen auf die so erweiterten Measure- Elemente OHO Kap--

4 .. Pull B H Opel Audi BMW Marke <,B> <,B> <,H> <,H>.... Pull-Operation zieht Element aus Measures heraus und führt damit neue Dimension ein. Wichtig: mit Push und Pull transformiert man zwischen Measures und Dimensionen Bundesland OHO Kap-- peicherung multi-dimensionaler Daten Problem: Wie werden Zellen des Cubes physisch angeordnet? peicherung multi-dimensionaler Arrays als generelle Antwort Aggregationsfunktion apriori nicht bekannt. Aggregationsfunktion bekannt Indexierung für Cubes Bitmap-Index OHO Kap--

5 .. Motivation - Bereichsanfragen Umsatz.... MA-Anzahl OHO Kap--9 Motivation - Bereichsanfragen - Umsatz.... MA-Anzahl OHO Kap--

6 .. Lineare peicherzuordnung- Illustration Bevorzugte Aggregationsrichtung = peicheranordnung. Für andere Aggregationen: Replikation mit anderer peicheranordnung n n+ n+... n n OHO Kap-- pace-filling Curves Row-wise Peano Hilbert Gray OHO Kap--

7 .. Vorausberechnung von Aggregaten Array Prefix-um Array OHO Kap-- Vergröberung durch Blockbildung Array Blocked Prefix-um Array OHO Kap--

8 .. Kap-- OHO Bitmap Indexing Eigenschaften von Data Warehouses: Read-Mostly Umgebungen, komplexe Anfragen, grosses Datenvolumen. Erfordert/ermöglicht genauere Betrachtung von Indexmechanismen Ansatz dazu: Bitmap Indexing, d.h. Invertierte Listen werden durch Bitvektoren repräsentiert. Vorteile: Kompaktheit von Bitvektoren ermöglicht relativ oft, dass Bitmap Indices im Main Memory verwaltet werden können. Operationen auf Bit-Ebene werden Hardware-seitig gut unterstützt. Indices werden auch für elektionen mit geringerer elektivität akzeptabel (ähnlich wie im Information Retrieval). Kap-- OHO Bitstring-Darstellung der Pointerlisten Bitmap - ein Bit-paltenvektor pro Attributwert 9 π A (R) V V V V V V V V V TupelNr Value kommt in Tupel vor

9 9.. Kap-- OHO Mehrstufigkeit oder Vergröberung durch Cluster-Bildung Clusterung der Attributwerte: Verodern der paltenvektoren Clusterung der Tupel: Verodern der Zeilenvektoren 9 π A (R) V V V V V V V V V TupelNr Kap-- OHO Ergebnis im Beispiel 9 V V V V V V V V V Tupel -Nr Tupel-Cluster -Nr Attribut-Cluster-Nr Attributwert, oder kommt in Tupel,, oder vor