Kapitel 10: Exploration des Data Cubes

Transkript

1 Kapitel 10: Exploration des Data Cubes Data Warehousing und Mining: Exploration des Data Cubes 1 WEin möglicher Ansatz zur Beschreibung einer Tabelle, anhand eines Beispiels Relation R(Part, City, Year, Month, Cost, Sale), Dimensionen Attribute Schema der Tabelle: Sales=<{Category, Time}, {Part, City, Year, Month, Cost, Sale}, par> mit par(category)={part, City} und par(time)={year, Month} Im Gegensatz zur Verwendung des Begriffs Dimension vorher werden jetzt mehrere Attribute zu einer Dimension (mit neuem Namen) zusammengefaßt. par identifiziert die Bestandteile der Dimensionen. SALES TIME Year Month Jan Feb Jan Feb CATEGORY Part City (Cost, Sale) PC Montreal (5,6) (5,7) (4,6) (4,8) Toronto (5,7) (5,8) (4,8) (4,9) Inkjet Montreal (7,8) (7,9) (6,9) (6,8) New York (6,9) (6,9) (5,8) (5,9) Data Warehousing und Mining: Exploration des Data Cubes 2 W Beispiel 2: Gleiche Relation, andere Tabelle Schema der Tabelle: Sales=<{Location, Component}, {Part, City, Year, Month, Cost, Sale}, par> mit par(location)={city} und par(component)={part} Dimensionen, Attribute, par identifiziert die Bestandteile der Dimensionen. W Data Cube - Repräsentation aggregierter Werte Marke Opel Audi SALES COMPONENT Part PC Inkjet LOCA- TION City (Year,Month, Cost,Sale) Montreal (1996, Jan, 5, 6) (1996, Jan, 5, 6) Montreal (1996, Jan, 5, 7) (1996, Jan, 5, 7) Montreal (1997, Jan, 4, 6) (1997, Jan, 4, 6) Montreal (1997, Feb, 4, 8) (1997, Feb, 4, 8) Toronto (1997, Jan, 5,7) / Toronto (1996, Feb, 5, 8) / BMW Hessen Bayern Saarland Bundesland Datum Bundesland Anzahl Hessen 131 Bayern 240 Saarland 141 GroupBy-Operator berechnet Punkte in einer Hyperebene. Data Warehousing und Mining: Exploration des Data Cubes 3 Data Warehousing und Mining: Exploration des Data Cubes 4

2 W Data Cube - Repräsentation aggregierter Werte (2) W Consolidation Paths Marke Saarland Bayern Hessen Bundesland Opel Audi BMW Datum Marke Bundesland Anzahl BMW Hessen 28 BMW Bayern 37 BMW Saarland 41 Opel Hessen 48 Opel Bayern 62 Opel Saarland 100 Audi Hessen 55 Audi Bayern 141 Wofür steht Zahl im Ursprung? Marke Datum Bundesland Anzahl BMW Hessen 28 BMW Bayern 37 BMW Saarland 41 Opel Hessen 48 Opel Bayern 62 Opel Saarland 5 Opel Saarland 95 Audi Hessen 55 Audi Bayern 52 Audi Bayern 27 Audi Bayern 62 Marke Bundesland Anzahl BMW Hessen 28 BMW Bayern 37 BMW Saarland 41 Opel Hessen 48 Opel Bayern 62 Opel Saarland 100 Audi Hessen 55 Audi Bayern 141 BM B Bundesland Anzahl Hessen 131 Bayern 240 Saarland 141 BDM BD D none DM M Data Warehousing und Mining: Exploration des Data Cubes 5 Data Warehousing und Mining: Exploration des Data Cubes 6 W Consolidation Paths (2) W Consolidation Paths (3) Marke Datum Bundesland Anzahl BMW Hessen 28 BMW Bayern 37 BMW Saarland 41 Opel Hessen 48 Opel Bayern 62 Opel Saarland 5 Opel Saarland 95 Audi Hessen 55 Audi Bayern 52 Audi Bayern 27 Audi Bayern 62 Marke Bundesland Anzahl BMW Hessen 28 BMW Bayern 37 BMW Saarland 41 Opel Hessen 48 Opel Bayern 62 Opel Saarland 100 Audi Hessen 55 Audi Bayern 141 BM B Bundesland Anzahl Hessen 131 Bayern 240 Saarland 141 BDM BD D none DM M Roll-up (Drill-up) Drill-down Konsolidierung ist nicht nur möglich, indem man Dimensionen ausblendet, sondern auch durch das Zusammenfassen von Werten. Woche Tag keine Monat Jahr Konzepthierarchie Data Warehousing und Mining: Exploration des Data Cubes 7 Data Warehousing und Mining: Exploration des Data Cubes 8

3 W Consolidation Marke W Consolidation Paths (4) BDM - Bundesland - Datum - Marke Opel T BDM Audi W Mo J BM B BD D DM M BMW none BDM none Hessen Bayern Datum BMW BMMo DM BD Saarland Bundesland BM BW MW BMJ MMo BMo D... Anzahl Ebenen? Data Warehousing und Mining: Exploration des Data Cubes 9 Data Warehousing und Mining: Exploration des Data Cubes 10 W Consolidation Paths (5) Vorangegangene Folie verdeutlicht zweierlei: Kombinierbarkeit, sehr viele Kombinationsmöglichkeiten. Was bedeutet Drill-Down im Kontext dieses Interfaces? Data Warehousing und Mining: Exploration des Data Cubes 11 Data Warehousing und Mining: Exploration des Data Cubes 12

4 Motivation Motivation Navigieren im Data Cube ist nur auf den ersten Blick leicht. Bei vielen Dimensionen ist die Suche nach hilfreicher Information mühsam. Anwender hat natürlich meist nicht exakte Hypothese. Exploration des Data Cubes: Finden von, Herausfinden, warum sich ergeben. Operatoren wie Drilldown sind zwar nützlich, Benutzer muß aber interessante Zusammenhänge von Hand entdecken. Ziel im folgenden: Benutzer durch den Cube führen, Navigationsmöglichkeiten anzeigen, die zu interessanten Zusammenhängen führen. Beispiel: Region all Product Jan Feb Mar Apr Mai Jun Jul Aug Sep Okt Nov Dez Beer 10% -7% 3% -4% 15% -12% -3% 1% 42% -14% -10% -1% 2% 3% 4% 9% 4% 1% -11% -8% -2% 7% Diet-S 2% -1% 0% 0% 4% 2% 4% -9% 5% -3% 0% Data Warehousing und Mining: Exploration des Data Cubes 13 Data Warehousing und Mining: Exploration des Data Cubes 14 Wann ist Zusammenhang interessant? Beispiel: Mobiltelefone im Monat Dezember im Media Markt Eschborn Umsatzplus 50%. Kein int santer Zusammenhang, da auch für andere Waren und Standorte Umsatz im Dezember hochgeht ( Weihnachtsgeschäft ). Int santer Zusammenhang ist also auf anderer Ebene, nämlich Monat Dezember, aber Abstraktion von restlichen Dimensionen. der Beispiel x Irchel Brot x Milch Tee x Produkt x x x Datum Punkt ist Zusammenfassung oder Abstraktion eines anderen Punkts. Tatsächlicher Wert vs. erwarteter Wert. Central Wipkingen x Filiale x Elementar- Position Data Warehousing und Mining: Exploration des Data Cubes 15 Data Warehousing und Mining: Exploration des Data Cubes 16

5 Subcube von bestimmter Position (1) 300 Umsatz Subcube von bestimmter Position (2) 300 Umsatz Datum Datum MA-Anzahl Bei mehr Dimensionen hat Subcube höhere Dimensionalität MA-Anzahl Bei mehr Dimensionen hat Subcube höhere Dimensionalität. Data Warehousing und Mining: Exploration des Data Cubes 17 Data Warehousing und Mining: Exploration des Data Cubes 18 Drill-Down an bestimmter Position Umsatz Datum MA-Anzahl Bei mehr Dimensionen mehr mögliche Drill-Downs. Realisierter Ansatz Für jede Zelle eines erwarteten Werts ŷ über mehrere Dimensionen. Abweichung des tatsächlichen Wertes y vom erwarteten Wert ŷ bestimmt den "Überraschungswert" der Zelle. von drei Überraschungswerten (Indikatoren) je Zelle: SelfExp, InExp, je Dimension: PathExp. Region all Product Jan Feb Mar Apr Mai Jun Jul Aug Sep Okt Nov Dez Beer 10% -7% 3% -4% 15% -12% -3% 1% 42% -14% -10% -1% 2% 3% 4% 9% 4% 1% -11% -8% -2% 7% Diet-S 2% -1% 0% 0% 4% 2% 4% -9% 5% -3% 0% Data Warehousing und Mining: Exploration des Data Cubes 19 Data Warehousing und Mining: Exploration des Data Cubes 20

6 Beispiel (1) Beispiel (2) Product all Region all Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Total 2% 0% 2% 2% 4% 3% 0% -8% 0% -3% 4% Product all Region all Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Total 2% 0% 2% 2% 4% 3% 0% -8% 0% -3% 4% SelfExp - "Überraschungswert" als Ergebnis eines Vergleichs mit den anderen Zellen auf gleicher Aggregationsstufe, InExp - max(selfexp) für die durch Drill-Down erreichbaren Zellen (oben dargestellt), PathExp - max(selfexp) aller erreichbarer Zellen entlang eines ausgewählten Pfades. Im Beispiel: Überraschung größer bei Drill-Down entlang Product, verglichen mit Drill-Down entlang Region. PR P PRT PT R none RT T P Product, R Region, T Time. Welcher Position im Cuboid entspricht die Tabelle oben? Data Warehousing und Mining: Exploration des Data Cubes 21 Data Warehousing und Mining: Exploration des Data Cubes 22 Beispiel (3) der (1) Product all Region all Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Total 2% 0% 2% 2% 4% 3% 0% -8% 0% -3% 4% Region all Product Jan Feb Mar Apr Mai Jun Jul Aug Sep Okt Nov Dez Beer 10% -7% 3% -4% 15% -12% -3% 1% 42% -14% -10% -1% 2% 3% 4% 9% 4% 1% -11% -8% -2% 7% Diet-S 2% -1% 0% 0% 4% 2% 4% -9% 5% -3% 0% Abweichung des tatsächlichen vom erwarteten Wert muß größer als ein Schwellenwert sein (nach Normalisierung): y i1,...,i n tatsächlicher Wert der Zelle i 1...i n, ŷ i1,...,i n erwarteter Wert dieser Zelle, σ Skalierungsfaktor, θ Schwellenwert, Ausnahme liegt vor, falls y - ŷ / σ > θ. Product Diet-S Region Jan Feb Mar Apr Mai Jun Jul Aug Sep Okt Nov Dez C 0% -2% 0% 1% 4% 1% 5% -6% 2% -2% -2% E 0% 2% -8% 7% 0% 5% -40% 10% -33% 2% 8% z Data Warehousing und Mining: Exploration des Data Cubes 23 Data Warehousing und Mining: Exploration des Data Cubes 24

7 der (2) der (3) total Beispiel: (, ) = total Anteil Kunden an Bevölkerung Anteil Kunden an trinkender Bevölkerung + ( total) + ( total) Anteil Kunden in Beispiel 2: (, ) total = total total total Anteil Kunden an Bevölkerung Anteil Kunden an trinkender Bevölkerung Anteil Kunden in Data Warehousing und Mining: Exploration des Data Cubes 25 Data Warehousing und Mining: Exploration des Data Cubes 26 der (4) Beispiel: (, ) = total + ( total) + ( total) Koeffizienten stehen für den Beitrag jeder Zelle zu den erwarteten Werten der Zellen darunter, produkt produkt z. B. oder γ ŷ=f Aggregation (γ i ) γ _ ort _ Beispiel (wie oben): (, ) = γ 1 + γ 2 + γ 3 (, ) = total + ( - total) + ( - total) total der (5) ŷ=f Aggregation (γ i ) Festlegen von f: additiv f(γ1,γ2) = γ1 + γ2, multiplikativ f(γ1, γ2) = γ1 γ2 Bestimmen der γ i aus dem Ausgangsdatenbestand: Mittelwert bzw. trimmed-mean (Verallgemeinerung von trunc_avg). Data Warehousing und Mining: Exploration des Data Cubes 27 Data Warehousing und Mining: Exploration des Data Cubes 28

8 Beispiel Implementierung Filialen Produkte γ = + ( ) + ( ) = ,1 = Filialen All Produkte SelfExp InExp All SelfExp InExp außerdem Normalisierung 1. der Aggregate und Mittelwerte: Für alle GroupBys wird Aggregation und Mittelwert berechnet der Beiträge γ i zu f, von f und SelfExp γ3 = Mittelwert(3) γ21 = Mittelwert(2) - Mittelwert(3), analog γ22, γ23 γ11 = Mittelwert(1) - γ21 γ22 γ3, analog γ12, γ13 3. von InExp und PathExp. Data Warehousing und Mining: Exploration des Data Cubes 29 Data Warehousing und Mining: Exploration des Data Cubes 30 Zusammenfassung bis hierhin Viele Möglichkeiten, mit dem Data Cube zu interagieren. Abweichung des tatsächlichen vom erwarteten Wert ist interessant. Methode für effektives Navigieren in großen Datacubes wurde vorgestellt. "Führen" des Benutzers zu interessanten Datenregionen mittels vorberechneter Indikatoren. Fundament: zum Identifizieren der Abweichungen, Entwicklung eines Algorithmus zur der verschiedenen Indikatoren. Von quantitativer zu qualitativer Datenanalyse Die bis jetzt besprochene Methode identifiziert Ausnahme-Zellen. Hilfreich wäre Unterstützung bei der Suche nach Erklärungen für. Mit herkömmlichen Mechanismen macht der Benutzer von der Ausnahme-Zelle aus Drill-Downs, um Erklärungen zu finden. Data Warehousing und Mining: Exploration des Data Cubes 31 Data Warehousing und Mining: Exploration des Data Cubes 32

9 Illustration Relevanter Ausschnitt des Raums (1) Opel Audi BMW Hessen Marke Datum Geography Sum of Revenue Time Prod_Category Cross Ind. Apps Home software Other Apps Vertical Apps Platform Product Bayern Saarland Time Bundesland Begrifflichkeit für das Folgende: Elementarposition. Prod_Category Data Warehousing und Mining: Exploration des Data Cubes 33 Data Warehousing und Mining: Exploration des Data Cubes 34 Relevanter Ausschnitt des Raums (2) Motivation für den DIFF Operator Sum of Revenue Time Prod_Category Cross Ind. Apps Home software Other Apps Vertical Apps Der angezeigte Ausschnitt des Data Cubes steht für konkreten Wert entlang mancher Dimensionen, für andere Dimensionen ist der Wert (ALL). Wir betrachten im folgenden die Subcubes über die Dimensionen, entlang denen Drill-Down noch möglich ist. C a Subcube mit erster Zelle, C b dto. zweite Zelle. C a und C b haben gleiche Struktur. Geography Sum of Revenue Time Prod_Category Cross Ind. Apps Home software Other Apps Vertical Apps Prod_Category Platform Product Zelle 1 Zelle 2 Time Erklärung für die Differenz von über 5000? Data Warehousing und Mining: Exploration des Data Cubes 35 Data Warehousing und Mining: Exploration des Data Cubes 36

10 Illustration Zellpaar Detail-N Ansatz (1) Platform Platform Product Product Geography Geography Subcube für 1992 Subcube für 1993 Data Warehousing und Mining: Exploration des Data Cubes 37 Mögliches Ergebnis des DIFF-Operators: N Zellpaare mit maximalem Detaillierungsgrad. Sie sollen am Aggregat beteiligt sein und möglichst großen Teil der Differenz ausmachen. Detail-N Antwort erklärt im Beispiel eine Differenz von knapp Product Geography Platform Year_92 Year_93 Ratio Other Vert. ApWestern Europe Multiuser Minicomputer 5,2 99,9 19,2 Other Vert. ApAsia/Pacific Singleuser MacOS 3,7 92,5 25 Other Vert. ApRest of World Multiuser Mainframe 2,8 88,1 31,4 Other Vert. ApWestern Europe Singleuser UNIX 7,3 96,3 13,1 Other Vert. ApUnited States Multiuser Minicomputer 2,9 97,2 33,5 Other Vert. ApRest of World Multiuser Minicomputer 12 99,5 8,29 Other Vert. ApAsia/Pacific Multiuser UNIX 1,7 99,6 41,3 EDA Western Europe Multiuser Mainframe 192,6 277,8 1,44 ManufacturingUnited States Multiuser Minicomputer 6,3 88,4 13,9 Health Care United States Multiuser Mainframe 2,4 88,2 30,5 236,9 1127,5 - Zahlen stimmen nicht, nur Illustration - Data Warehousing und Mining: Exploration des Data Cubes 38 Detail-N Ansatz (2) Detail-N Ansatz (3) Verbesserung: Nicht nur auf der detailliertesten Ebene arbeiten, sondern auf der aussagekräftigsten. D. h. Zeilen zusammenfassen, die unterschiedlichen Zellen entsprechen. Zugrundeliegende Annahme: Benutzer will nur bestimmte Anzahl von Zeilen sehen, z. B. eine Bildschirmseite voll. Platform Platform Product Product Geography Geography Subcube für 1992 Subcube für 1993 Data Warehousing und Mining: Exploration des Data Cubes 39 Data Warehousing und Mining: Exploration des Data Cubes 40

11 Ergebnis des DIFF Operators (1) Bessere Antwort erklärt eine Differenz von über Product Geography Platform Year_92 Year_93 Ratio Abw. (All)- (All)- (All) Manufacturing - Pro(All) (All) Other V. A. (All)- (All) Other V. A. United States (All) Other V. A. Western Europe(All) Manufacturing - Dis(All) (All) Health Care (All)- (All) Health Care United States Multiuser Banking/Finance United States (All) Mechanical CAD United States (All) Ergebnis des DIFF-Operators (2) Product Geography Platform Year_92 Year_93 Ratio Abw. (All)- (All)- (All) Manufacturing - Pro(All) (All) Other V. A. (All)- (All) Other V. A. United States (All) Other V. A. Western Europe(All) Manufacturing - Dis(All) (All) Health Care (All)- (All) Health Care United States Multiuser Banking/Finance United States (All) Mechanical CAD United States (All) Erläuterungen: Abkürzung für diese Tabelle: A Jede Zeile entspricht einer Position im Raum. Erste Zeile entspricht den markierten Zellen abzüglich der Werte, die explizit aufgelistet sind. Minuszeichen hinter (ALL) bedeutet, daß es sich nicht um Summe aller Werte handelt, sondern daß Zeile folgt, die für speziellere Zelle steht. Data Warehousing und Mining: Exploration des Data Cubes 41 Data Warehousing und Mining: Exploration des Data Cubes 42 Wie kommt man auf die Ratios? (1) Wie kommt man auf die Ratios? (2) Rot unterlegte Zellen klar. Sonstige Zellen nicht ganz so offensichtlich. Angenommen, A beschreibt Unterschied zwischen 1992 und A hat zwei Zeilen: Filialen A 2,5 B C Produkte 0,5 Tabelle für 1992: A B C Tabelle für 1993: A??? B??? C??? Ratio einer Zelle ergibt sich aus Ratio der unmittelbarsten Vorgängerzelle und den bekannten Ratios von Nachbarzellen. Data Warehousing und Mining: Exploration des Data Cubes 43 Data Warehousing und Mining: Exploration des Data Cubes 44

12 Wie kommt man auf die Ratios? (3) Ergebnis des DIFF-Operators (3) Es handelt sich um eine Möglichkeit, die Ratios zu interpretieren. Andere Interpretationen sind denkbar (z. B. auch teilweise Berücksichtigung der Nachbarzellen). Führt aber zu zusätzlichen Parametern, kompliziert. Product Geography Platform Year_92 Year_93 Ratio Abw. (All)- (All)- (All) Manufacturing - Pro(All) (All) Other V. A. (All)- (All) Other V. A. United States (All) Other V. A. Western Europe(All) Manufacturing - Dis(All) (All) Health Care (All)- (All) Health Care United States Multiuser Banking/Finance United States (All) Mechanical CAD United States (All) Error ( Abw. ) Erläuterung: Reflektiert, inwieweit der Verhältnis-Wert ( Ratio ) auch für die Kinder gilt, die nicht explizit aufgeführt sind. Großer Error: Im Mittel starke Abweichung der einzelnen Kinder. Formel hier: Wurzel der Summen der Abweichung jeder Detail-Zeile zum Quadrat, d. h. L2-Norm. Data Warehousing und Mining: Exploration des Data Cubes 45 Data Warehousing und Mining: Exploration des Data Cubes 46 Beispiel für großen und kleinen Error Tradeoff Großer Error: Product Geography Platform Year_92 Year_93 Health Care United States (All) Health Care United States Multiuser Health Care United States Single-User Health Care United States Palm Health Care United States Xbox Kleiner Error: Product Geography Platform Year_92 Year_93 Health Care United States (All) Health Care United States Multiuser Health Care United States Single-User Health Care United States Palm Welche Zeilen? DIFF-Ergebnis mit wenigen Zeilen, die Großteil der Differenz erklären, hat i. a. recht großen Fehler ( zu allgemeine Aussagen ). DIFF-Ergebnis mit kleinem Fehler ist i. a. zu ausführlich ( zu detaillierte Aussagen ), bzw. reicht vorgegebene Zeilenanzahl nicht aus. Ziel daher: Zusammenfassen von Zeilen, die ähnliches Verhältnis haben. Bei großem Unterschied explizit aufführen. Motiviert informationstheoretische Behandlung des Sachverhalts. Data Warehousing und Mining: Exploration des Data Cubes 47 Data Warehousing und Mining: Exploration des Data Cubes 48

13 (1) (2) Angenommen, wir wollen jemandem, der C a kennt, mitteilen, wie sich C b von C a unterscheidet. Möglich, C b zu schicken. Aber aufwendig. Stattdessen ungefähre, aber möglichst gute Zusammenfassung der Differenz. Tabelle A Filialen A 2,5 B C Produkte 0,5 Anzahl der Zeilen der Tabelle zunächst von außen vorgegeben. A so wählen, daß Fehler minimal. Tabelle für 1992 C a : A B C Tabelle für 1993 C b : A 25 2,5 2,5 B 2,5 2,5 2,5 C 2,5 2,5 2,5 Data Warehousing und Mining: Exploration des Data Cubes 49 Data Warehousing und Mining: Exploration des Data Cubes 50 Fehler Illustration (3) Tabelle für 1992 C a : A B C A Filialen A 2,5 B C Produkte 0,5 Fehler = Anzahl der Bits, die für Übermittlung des Fehlers erforderlich wären, wenn man A statt C b überträgt. Vorhersage für C b : A 2,5 0,25 0,25 B 0,25 0,25 0,25 C 0,25 0,25 0,25 Tabelle für 1993 C b : A 2,5 0,1 0,25 B 0,25 0,3 0,2 C 0,25 0,4 0,25 Data Warehousing und Mining: Exploration des Data Cubes 51 Data Warehousing und Mining: Exploration des Data Cubes 52

14 Fehlerwahrscheinlichkeit (4) Angenommen, tatsächliche Werte normalverteilt um Vorhersagewert. WS(Differenz zwischen tatsächlichem und Vorhersagewert 0) = 1 WS(Differenz zwischen tatsächlichem und Vorhersagewert δ) = c δ Anzahl der Bits für Fehlerübermittlung mit Hilfe dieser Wahrscheinlichkeit berechenbar. dieser Anzahl der Bits gemäß Theorem (s. b. folgende Folie). Data Warehousing und Mining: Exploration des Data Cubes 53 Data Warehousing und Mining: Exploration des Data Cubes 54 Wie groß ist der Fehler? Aussage zu Codierungsaufwand Informationstheoretisches Theorem (Shannon). Sei x eine Aussage. Sei M ein. Wieviele Bits reichen, um x in M zu codieren? Gemäß Theorem sind es -log Pr[x M] Bits. (Pr [x M] WS, daß x eintritt, gegeben M.) Filialen A 2,5 B C Produkte 0,5 M x Zur der WS vergleichen wir tatsächlichen Wert in C b mit erwartetem Wert gemäß C a und A für jede Elementar-Position. Ausgehend von WS-Verteilung (z. B. Normalvert.) um erwarteten Wert; cost(v)=-logpr[tatsächlicher Wert erwarteter Wert] Codierungsaufwand, d. h. Abweichung von A = Summe der Kosten für jede Elementar-Position. Tabelle für 1992 C a : A B C Tabelle für 1993 C b : A 2,5 0,1 0,25 B 0,25 0,3 0,2 C 0,25 0,4 0,25 Data Warehousing und Mining: Exploration des Data Cubes 55 Data Warehousing und Mining: Exploration des Data Cubes 56

15 der Anzahl Bits forall (v ist Detail-Zeile von C b ) if (v ist Bestandteil von A) WS = 1; cost(v)=0; else finde unmittelbarsten Vorgänger p in A; r = Ratio von p; erwarteter Wert v b von v in C b ist r v a ; ausgehend von WS-Verteilung um r v a ; cost(v)=-logpr[v b r v a ] // Normalverteilung meist OK inkrementiere Gesamtanzahl Bits um cost(v) (5) Anzahl der Zeilen N war bis jetzt gegeben, kann aber miteinbezogen werden, indem wir Kosten des Transfers von A explizit machen. Kosten einer Zeile: Σ(log(n i +1))+log c n i Kardinalität der Dimension i von C a. Summand 1 berücksichtigt, daß auch (ALL) möglich ist. c Verhältnis selbst muß auch kodiert werden. Product Geography Platform Year_92 Year_93 Ratio Abw. (All)- (All)- (All) Manufacturing - Pro(All) (All) Other V. A. (All)- (All) Other V. A. United States (All) Other V. A. Western Europe(All) Manufacturing - Dis(All) (All) Health Care (All)- (All) Health Care United States Multiuser Banking/Finance United States (All) Mechanical CAD United States (All) Data Warehousing und Mining: Exploration des Data Cubes 57 Data Warehousing und Mining: Exploration des Data Cubes 58 (1) (2) Jetzt müßte noch besprochen werden: Schneller Algorithmus, der das A bestimmt, Umgang mit fehlenden Werten. Ansatz nicht darauf beschränkt, daß Zellen sich nur in einer Dimension unterscheiden. Es muß aber gemeinsame Subcubes geben. Kapitel hat behandelt: Motivation für das Sichtbarmachen von, unterschiedliche Überraschungswerte, unterschiedliche Definitionen auf der technischen Ebene, Motivation für das Zusammenfassen von Unterschieden zwischen Subcubes, Vorgehen, um zu aussagekräftiger, aber prägnanter Zusammenfassung zu kommen. Insgesamt: Sinnvolle Maßnahmen zur Unterstützung der Exploration des Cubes; generisches Interface bietet zuviele Interaktionsmöglichkeiten. Data Warehousing und Mining: Exploration des Data Cubes 59 Data Warehousing und Mining: Exploration des Data Cubes 60

16 Literatur Sunita Sarawagi, Rakesh Agrawal, Nimrod Megiddo, Discovery-driven Exploration of OLAP Data Cubes, Proc. of the Sixth Int'l Conference on Extending Database Technology (EDBT), Valencia, Spain, March Sunita Sarawagi, Explaining Differences in Multidimensional Aggregates, Proc. of the 25 th Int l Conference on Very Large Databases, Prüfungsfragen, beispielhaft Was bedeutet 'erwarteter Wert' im multidimensionalen? Wie kann man ihn berechnen? Was bedeutet 'Ausnahme' gemäß der Vorlesung im multidimensionalen? Wie kann man zur Verbesserung der Visualisierung des Data Cubes verwenden? Erklären Sie den DIFF-Operator (Motivation, Umsetzung). Data Warehousing und Mining: Exploration des Data Cubes 61 Data Warehousing und Mining: Exploration des Data Cubes 62