Kapitel 3: Indices und Sichten

Transkript

1 Kapite 3: Indices und Sichten Eineitung Eineitung Giederung im fogenden: Kassifikation Aggregationsfunktionen, Materiaisierte Sichten u Grundsätziche Aternativen beim Updaten materiaisierter Sichten, u Sichtadaption nach Redefinition der Sicht, Kemens Böhm Data Warehousing und Mining - 1 Kemens Böhm Data Warehousing und Mining - 2 Motivation der Sichten Transaktionen Motivation Eineitung Spezieer (aber interessanter) Aspekt: Was kann man tun, wenn Sichtdefinitionen sich ändern? u Betrachtete Fäe: SELECT-FROM-WHERE, Aggregationen, Mengenoperationen. u Im fogenden Betrachtung für das reationae Datenmode. Später Betrachtung für das mutidimensionae Mode. Eineitung Transaktionseigenschaften insbesondere Atomarität und Isoation. Atomarität u Beispie, Bank-Szenario : Nummer Inhaber Stand Kemens 5000 Rudi 200 u Überweisung zwei Eementaroperationen. Abbuchung(Kemens, 500), Einzahung(Rudi, 500). Isoation auch an diesem Beispie erkärbar. Transaktionen. Kemens Böhm Data Warehousing und Mining - 3 Kemens Böhm Data Warehousing und Mining - 4

2 Eineitung Hergeeitete Dateneemente Hergeeitete Dateneemente u Aus Basisdaten hergeeitete/berechnete Eemente u Beispiee: Mittere Temperatur = (Temp. Morgen +Temp. Mittag + Temp. Abend) / 3 Anzah Tage = Endter Anfangster Probem: u Einerseits: Die Berechnung der hergeeiteten Eemente so auf den Basisdaten nicht verzögern. u Andererseits: Die hergeeiteten Eemente soen schne zur Verfügung stehen. Eineitung Hergeeitete Dateneemente Basisdaten u werden von außen aktuaisiert, u keine Berechnung aus anderen Daten in der Datenbank, Hergeeitete Daten u aus den Basisdaten hergeeitete Daten, u können aus anderen hergeeiteten Daten berechnet sein. Gesamtkosten der Branche Gesamtkosten des Departements Projektkosten Arbeitskosten der Branche Arbeitskosten des Departements Arbeitskosten des Projekts Hergeeitete Eemente Branchen Overhead Materiakosten Aktivitätskosten Basisdaten von außen Kemens Böhm Data Warehousing und Mining - 5 Kemens Böhm Data Warehousing und Mining - 6 Eineitung Aggregate Prinzip: Kombiniere ae Werte eines Attributes in einen einzigen skaaren Wert. in Standard-SQL: COUNT(), SUM(), MIN(), MAX(), AVG() Erweiterte Versionen von SQL bieten zusätziche (Statistik, Physik). Einige Systeme erauben es dem Benutzer, eigene hinzuzufügen. Manche Aggregationsfunktionen assen sich paraeisieren/schrittweise ausführen, andere nicht Kassifikation auf fogender Foie Eineitung Kassifizierung von Aggregationsfunktionen (im fogenden bezeichne F die Aggregationsfunktion): Aggregationsfunktionen distributiv: Es gibt eine Funktion G, so daß F({X i,j }) = G({F({X i,j i=1,, I}) j=1,, J}), Beispiee: (), max(), count() G? agebraisch: Es gibt Funktion G, die M-Tupe iefert, und H, so daß F({X i,j }) = H({G({X i,j i=1,, I}) j=1,, J}), M ist apriori bekannt, ebenso der Typ der Tupe. Beispie: avg() Kemens Böhm Data Warehousing und Mining - 7 Kemens Böhm Data Warehousing und Mining - 8

3 Eineitung Aggregationsfunktionen (Forts.) Kassifizierung von Aggregationsfunktionen (Forts.) hoistisch: Man kann keine Beschränkung des Speicherbedarfs für Sub-Aggregate, d. h. für die Aggregate über die {X i,j i=1,, I}, angeben. Beispie: häufigsterwert(), median() Eineitung Sef-Maintainabe Aggregationsfunktionen Aggregationsfunktion ist sef-maintainabe, wenn nach einer Änderung der Daten der neue Wert der Aggregationsfunktion aus dem aten Wert und den Änderungen berechnet werden kann. sef-maintainabe -Eigenschaft ist bezügich Einfügen oder Löschen. Distributive und agebraische Aggregationsfunktionen sind vorteihaft, wei Aggregation schrittweise bzw. parae ausgeführt werden kann. Truncated Average? Kemens Böhm Data Warehousing und Mining - 9 Kemens Böhm Data Warehousing und Mining - 10 Eineitung Aternativen für die Berechnung Hergeeiteter Dateneemente für jede Abfrage neu berechnen, zwischenspeichern u direkt nach (aktiv), u verzögert, d. h. erst wenn das Dateneement gebraucht wird, u periodisch. Lazy Eineitung Data Warehouse Ziefunktion Zie: Finden der optimaen Strategie für die Berechnung der hergeeiteten Eemente. Was ist optima? Definieren einer Ziefunktion u Ziefunktion: time-cost, storage-cost, Durchsatz, damage, u time-cost: Update-Kosten, Retrieva-Kosten, u damage: ong-ocking-damage, ong-response-time-damage. Warum sind time-cost und Durchsatz nicht dassebe? Kemens Böhm Data Warehousing und Mining - 11 Kemens Böhm Data Warehousing und Mining - 12

4 Lokaität von Probem Eineitung Oft kommen an Basisdaten oka gehäuft vor. Es kann sich ohnen, diese Lokaität zu berücksichtigen. Zeitiche Lokaität: Nach einem Update fogen bad weitere; Beispie: Börsenaktivitäten, Räumiche Lokaität: Mit einem Eement ändern sich oft auch verwandte Eemente; Beispie: Börsenwerte der geichen Branche. Eineitung Sichtdefinition gegeben, Sicht ist materiaisiert. Sichtdefinition wird modifiziert. Wie kann man neue Sicht effizient berechnen, d. h. mit Hife der aten? vs. Recomputation: u : Berechnung unter Zuhifenahme der aten Sicht, u Recomputation: dto. ohne. Kemens Böhm Data Warehousing und Mining - 13 Kemens Böhm Data Warehousing und Mining - 14 Eineitung Bemerkungen zu Manche Fäe sind trivia, z. B. Wegassen eines Attributes aus der aten Sichtdefinition in der neuen, andere nicht. Agemeine Beobachtung: Augmentieren der Sicht (d. h. Mitführen zusätzicher Attribute, die nicht expizit in der Sichtdefinition vorkommen) ist oft hifreich. Eineitung SELECT-FROM-WHERE/ Änderung unterschiedicher Kausen Diese und die fogenden Foien: Jeweis andere Bestandteie der Sicht-Definitionen, die geändert werden. Seect, Where, Group-By. Kemens Böhm Data Warehousing und Mining - 15 Kemens Böhm Data Warehousing und Mining - 16

5 SELECT-FROM-WHERE/ Änderung der Seect-Kause (1) SELECT-FROM-WHERE/ Änderung der Seect-Kause (2) Eineitung Beispie - Schema: E(Emp#, Name, Address, Age, Saary) W(Emp#, Proj#, Hours) P(Proj#, Projname, Leader#, Location, Budget) Sichtdefinition: CREATE VIEW NYEmp AS SELECT Name, Projname FROM E & W & P WHERE Location=New-York Sichtdefinition ändert sich, Attribut Address so hinzugenommen werden. Eineitung Mitführen der Schüsseattribute Emp# und Proj# Anpassung der Sicht jetzt eventue mögich mit Index-Lookups. Beispie für oder Recomputation? Kemens Böhm Data Warehousing und Mining - 17 Kemens Böhm Data Warehousing und Mining - 18 Where-Kause... Group-By Kause Eineitung Berechnung der Detas anstatt Recomputation u Ate Sichtdefinition: CREATE VIEW BigEmp AS SELECT * FROM E & W WHERE Saary > u Neue Sichtdefinition: CREATE VIEW BigEmp AS SELECT * FROM E & W WHERE Saary > u Deta-Query BigEmp+: SELECT * FROM E & W WHERE (Saary > AND Saary 50000) Vorteihaft, wenn das Interva kein, und Zugriff wird durch Index unterstützt. Eineitung Beispie Ate Sichtdefinition: CREATE VIEW V(Proj#, Location, Proj_Sa) AS SELECT Proj#, Location, SUM((Saary Hours)/40) FROM E & W & P GROUPBY Proj#, Location Neue Sichtdefinition: CREATE VIEW V (Location, Proj_Sa) AS SELECT Location, SUM((Saary Hours)/40) FROM E & W & P GROUPBY Location Weche Sicht enthät mehr Tupe? Was kann man machen? - Berechnung von V aus V: SELECT Location, SUM(Proj-Sa) FROM V GROUPBY Location Kemens Böhm Data Warehousing und Mining - 19 Kemens Böhm Data Warehousing und Mining - 20

6 Literatur Adapting Materiaized Views after Redefinitions Ashish Gupta, Inderpa S. Mumick, Kenneth A. Ross Proc. of ACM SIGMOD Conference on Management of Data, 1995 Mögiche Prüfungsfragen (1) Ist Aggregatsfunktion xyz agebraisch/distributiv/hoistisch? Auf die Frage, was eine hoistische Aggregationsfunktion sei, hat ein Prüfing das Fogende geantwortet: Wenn man den Datenbestand partitioniert, Aggregate für jede Partition berechnet, und die Kompexität der Berechnung des Gesamt-Aggregats aus den Aggregaten der einzenen Partitionen ist größer as inear (in der Anzah der Partitionen), dann handet es sich um eine hoistische Aggregationsfunktion. Warum stimmt das nicht? Können Sie ein Gegenbeispie angeben? Kemens Böhm Data Warehousing und Mining - 21 Kemens Böhm Data Warehousing und Mining - 22 Mögiche Prüfungsfragen (2) Nennen Sie eine Aggregationsfunktion, die bezügich des Einfügens, nicht aber bezügich des Löschens sef-maintainabe ist. Eräutern Sie anhand eines Beispies, bei dem sich die having-kause ändert. Kemens Böhm Data Warehousing und Mining - 23