Frühjahrsemester CS243 Datenbanken Kapitel 7: Data Warehousing-Anfragen. H. Schuldt. 7.1 Einführung. Filiale Allschwil

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Frühjahrsemester 2013. CS243 Datenbanken Kapitel 7: Data Warehousing-Anfragen. H. Schuldt. 7.1 Einführung. Filiale Allschwil"

Transkript

1 Frühjahrsemester 3 CS43 Datenbanken Kapitel 7: Data Warehousing-Anfragen H. Schuldt Wiederholung aus Kapitel 7. Einführung Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Anfragen: Welches Produkt hat sich am 6..3 in der Filiale Allschwil am besten verkauft? Was wird in der Filiale Muttenz zusammen mit Chips verkauft?... SQL FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-

2 Wie lassen sich diese Probleme lösen? Anwendungsbeispiel Variante : Verteilte Datenbank Jede Anfrage wird als globale Anfrage über mehreren Datenbanken behandelt. Also muss bei jeder Anfrage auf eine Reihe von Systemen zugegriffen werden, Ergebnisse müssen zusammengeführt werden, etc. Nachteil: verteilte Anfrageausführung ist sehr aufwändig! Variante : Zentrale Datenbank Anstelle von unabhängigen Filialdatenbanken betreibt Tresgros eine zentrale Datenbank. Alle Änderungen finden nicht lokal statt sondern gehen zu dieser zentralen Datenbank Nachteil: dies ist mit langen Antwortzeiten im operativen Betrieb verbunden Variante 3: Data Warehouse FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-3 Anwendungsbeispiel Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Asynchrone Aktualisierung (Warehouse Update) Data Warehouse Redundante Datenhaltung, Transformierte, vorberechnete Daten FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-4

3 Aufbau von Data Warehouse-Systemen DW Monitoring & Administration Quellsysteme Metadaten- Repository OLAP-Server Externe Quellen Operative Datenbanken Extraktion Transformation Laden Data Warehouse Analyse Query/Reporting Data Mining Werkzeuge Data Marts FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-5 Aufbau von Data Warehouse-Systemen Quellsysteme Alle Systeme oder Dateien, die direkt oder indirekt als Datenlieferanten auftreten Daten werden in einem Extraktionsvorgang aus den Quellsystemen extrahiert und in das Data Warehouse eingefügt (Transformation) Extraktion, Transformation, Laden Monitore überwachen die Quellsysteme auf Veränderungen. Änderungen werden entweder direkt in das Data Warehouse eingespielt oder (häufiger) temporär gesammelt und offline in das Data Warehouse eingefügt ( Warehouse Update ) Extraktoren: Selektion und Transport der Daten aus Quellen in das Data Warehouse Transformatoren: Vereinheitlichung und Bereinigung der Daten (unter Zuhilfenahme von Metadaten) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-6 3

4 Aufbau von Data Warehouse-Systemen Data Warehouse A Data Warehouse is a subject-oriented, integrated, non-volatile, and time variant collection of data in support of managements decisions (W.H. Inmon 996) Ein Data Warehouse ermöglicht eine globale Sicht auf heterogene und verteilte Datenbestände, indem die für die globale Sicht relevanten Daten aus den Datenquellen zu einem gemeinsamen konsistenten Datenbestand zusammengeführt werden Das Data Warehouse ist die Basis für die Aggregation von Daten innerhalb mehrdimensionaler Strukturen (OLAP-Cube), dem so genannten Online Analytical Processing (OLAP) OLAP Explorative, interaktive Datenanalyse, meist aufbauend auf multidimensionalem Datenmodell FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-7 Aufbau von Data Warehouse-Systemen Data Mart Meist anwendungsspezifische Auszüge, die durch Kopieren von Daten aus dem Data Warehouse entstehen Analysekomponenten Analyse und Präsentation der Daten mit Hilfe geeigneter (Desktop-) Werkzeuge Im Data Warehouse erfolgt eine klare Trennung zwischen operativen und analytischen Systemen Antwortzeitverhalten: Analyse auf operativen Quelldatensystemen würde zur Verschlechterung der Performance führen Langfristige Speicherung der Daten im DW ermöglicht Zeitreihenanalyse Verfügbarkeit: Zugriff auf Daten unabhängig von operativen Datenquellen Einheitliches Datenformat im DW trotz möglicherweise heterogener operativen Systemen Datenqualität: Data Cleansing während des Ladeprozesses FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-8 4

5 OLTP vs. OLAP Online Transactional Processing (OLTP) beinhaltet klassische operative Informationssysteme Erfassung und Verwaltung von Daten Verarbeitung der Daten erfolgt unter Verantwortung der jeweiligen Fachabteilung Transaktionale Verarbeitung: kurze Lese-/ Schreibzugriffe auf wenige Datensätze Data Warehouse (OLAP) Datenanalyse steht im Mittelpunkt Charakteristik: lange Lesetransaktionen auf vielen Datensätzen Fokus ist die Integration, Konsolidierung und Aggregation der Daten FS 3 Datenbanken (CS43) Data Warehousing-Anfragen Data Cube Produktive Datenbanken enthalten in der Regel Rohdaten, also (OLTP-) Daten, die im Rahmen des On-line Analytical Processing (OLAP) im Detail analysiert werden müssen Zuvor ist zumeist eine Itegration von Daten aus mehreren Datenbanken nötig Arten von Auswertungen: (Tabellarische) Berichte Grafische Auswertungen Für diese Auswertungen müssen Daten über mehrere Dimensionen hinweg aggregiert werden (z.b. Berechnung von bestimmten Summenwerten) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-5

6 Beispieltabelle: OLTP- Rohdaten Sales Model Year Color Sales Chevy 4 Red 5 Chevy 4 White 87 Chevy 4 Blue 6 Chevy 5 Red 54 Chevy 5 White 95 Chevy 5 Blue 49 Chevy 6 Red 3 Chevy 6 White 54 Chevy 6 Blue 7 Ford 4 Red 64 Ford 4 White 6 Ford 4 Blue 63 Ford 5 Red 5 Ford 5 White 9 Ford 5 Blue 55 Ford 6 Red 7 Ford 6 White 6 Ford 6 Blue 39 FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7- Beispiel für einen Bericht Sales Report Model Year Color Sales by Model by Year by Color Chevy 4 Red 5 White 87 Blue 6 5 Red 54 White 95 Blue 49 Sales by Model by Year Sales by Model 35 FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-6

7 Dimensionen und Measures Dimensionen: Koordinatenachsen (x,..., x n ) des mehrdimensionalen Arrays ( Datenwürfels ) Measures: Werte der (Aggregations-) Funktionen f (x,...,x n ), f (...),... In relationaler Terminologie: Measures sind funktional abhängig von den Dimensionen Dimensionshierarchie: Vergröberung für die Aggregation Benannte Partitionierung des Wertebereichs einer Dimension Beispiele: Stadt T Kanton Datum T Monat T Quartal Drill-Down, Drill-up: Aggregation entlang der Dimensionshierarchie, Down für Verfeinerung, Up für Vergröberung FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-3 Beispiel: Dimensionen vs. Measures Year Dimensionen Year Model Color Measure Sales White Blue Red Chevy Ford Model Color FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-4 7

8 Data Cube und erweiterte SQL-Operationen Grundlegende Idee Die unterschiedlichen Aggregationen, die in den einzelnen Dimensionen für Berichte benötigt werden, werden vorberechnet Ausgangspunkt: in SQL eingebaute Aggregatfunktionen sum(), min(), max(), count(), avg() Viele Datenbanksysteme erweitern diese z.b. um statistische Funktionen, benutzerdefinierte Funktionen,... Hauptidee: Berechne aus allen Werten einer Spalte einen Skalar Beispiel select sum(sales) from sales Sales FS 3 Datenbanken (CS43) Data Warehousing-Anfragen Data Cube und erweiterte SQL-Operationen In SQL erlaubt Group By die Aggregation über Teilmengen von Tupeln Das Resultat ist eine neue Tabelle, mit einer Zeile pro Gruppe Beispiel: select year, sum(sales) from sales group by year Year Sales Year Sum (Sales) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-6 8

9 Data Cube und erweiterte SQL-Operationen Wesentliche Idee des Data Cubes ist die Einführung eines ALL -Wertes Eine zu SQL passende Erweiterung, um Aggregationen wieder als (flache) Tupel im Relationenmodell darstellen zu können Bedeutung des ALL-Wertes ALL ist Abkürzung für Menge, die durch Nestung entlang der Dimension entstehen würde bei gleichzeitiger Aggregation, also im Beispiel für die Mengen {red, white, blue} in der Color-Dimension {4, 5, 6} in der Year-Dimension {Chevy, Ford} in der Model-Dimension FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-7 Der CUBE-Operator CUBE verallgemeinert den group by Operator und die Aggregation, in dem Aggregationen entlang aller Dimensionen (und deren Kombinationen) vorberechnet werden Aggregat Group By (with total) Sum By Color RED WHITE BLUE Sum RED WHITE BLUE By Model Cross Tab (by Model & Color) CHEVY FORD By Color Sum Data Cube und Aggregate in den Unterräumen By Year By Color & Year Sum By Color By Model& Year By Model RED WHITE BLUE By Model & Color FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-8 9

10 Der CUBE-Operator Idee: Tupel = Punkt im N-dimensionalen Raum N-dimensionale Aggregation (sum(), max(),...) a, a,..., a N, f() Mit f(): übliche Aggregation aus den relationalen Rohdaten Super-Aggregation über N- dimensionale Sub-Cubes ALL, a,..., a N, f() a, ALL, a 3,..., a N, f()... a, a,..., ALL, f() dies sind die N- -dimensionalen Cross-Tabellen Super-Aggregation über N- dimensionale Sub-Cubes ALL, ALL, a 3,..., a N, f()... a, a,..., ALL, ALL, f() FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-9 Sales Model Year Color Sales Chevy 4 Red 5 Chevy 4 White 87 Chevy 4 Blue 6 Chevy 5 Red 54 Chevy 5 White 95 Chevy 5 Blue 49 Chevy 6 Red 3 Chevy 6 White 54 Chevy 6 Blue 7 Ford 4 Red 64 Ford 4 White 6 Ford 4 Blue 63 Ford 5 Red 5 Ford 5 White 9 Ford 5 Blue 55 Ford 6 Red 7 Ford 6 White 6 Ford 6 Blue 39 Cube-Beispiel CUBE Data Cube Model Year Color Sales ALL ALL ALL 94 Chevy ALL ALL 58 Ford ALL ALL 433 ALL 4 ALL 343 ALL 5 ALL 38 ALL 6 ALL 84 ALL ALL Red 33 ALL ALL White 367 ALL ALL Blue 339 Chevy 4 ALL Chevy 5 ALL Chevy 6 ALL Ford 4 ALL Ford 5 ALL Ford 6 ALL Chevy ALL Red Chevy ALL White Chevy ALL Blue Ford ALL Red Ford ALL White Ford ALL Blue ALL 4 Red ALL 5 Red ALL 6 Red ALL 4 White ALL 5 White ALL 6 White ALL 4 Blue ALL 5 Blue ALL 6 Blue FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-

11 SQL-Erweiterung: CUBE-Operator SQL-Cube-Operation im Beispiel: select model, color, year, sum(sales) as sales from sales where model in { chevy, ford } and year between 4 and 6 group by cube (model, color, year) having sum(sales) > ; Zu beachten ist hier, dass sowohl Select als auch Group By die Aggregationsliste wiederholen FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7- Nachbildung des CUBE-Operators mit SQL FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-

12 Syntax des Cube-Operators CUBE hinter Group By mit Attributliste definiert Koordinatenachsen (Dimensionen) des Cube ROLLUP erlaubt die Auswahl einzelner Dimensionen, über die aggregiert werden soll Select <field list> <aggregate list> From <table expression> Where <search condition> Group by [cube rollup] <aggregate list> Having <search condition> FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-3 Syntax des Cube-Operators Beispiel (ROLLUP): Select color, year, sum(sales) From sales Group by rollup (color,year) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-4

13 Syntax des Cube-Operators Rollup erlaubt zudem die Definition von Aggregationen innerhalb einzelner Dimensionen, durch so genannte Dimensionshierarchien (z.b., sales by quarter). Beispiel: Schema sales'(model, year, quarter, color, sales) Select year, quarter, sum(sales) From sales' Group by rollup (year,quarter) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-5 Syntax des Cube-Operators Der CUBE-Operator berechnet automatisch alle möglichen Aggregationen über die vorhandenen Dimensionen. Mit Hilfe der so genannten Grouping Sets können die Aggregationen, die durchgeführt werden sollen, individuell bestimmt werden Select <field list> <aggregate list> From <table expression> Where <search condition> Group by Grouping Sets (<aggregate list> [,<aggregate list>]* )) Having <search condition> Falls <aggregate list> leer ist, dann entspricht die Semantik der Grouping Sets genau der des cube-operators (es werden alle möglichen Aggregationen berechnet) Ansonsten werden nur Aggregationen über Kombinationen aus den in der <aggregate list> aufgeführten Attributen berechnet Falls ein Grouping Sets-Statement mehrere durch Komma getrennte <aggregate list> besitzt, dann werden diese unabhängig voneinander berechnet und für das Ergebnis zusammen gefügt (union) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-6 3

14 Beispiel: Anfrage mit Grouping Sets Beispiel: Aus der sales-tabelle soll getrennt jeweils über Color und über Year aggregiert werden FS 3 Datenbanken (CS43) Data Warehousing-Anfragen Speicherung multi-dimensionaler Daten Problem: Wie können Cubes bzw. deren Zellen (also ein multidimensionales Datenschema mit n Dimensionen) logisch strukturiert bzw. physisch gespeichert werden? Rein relationale Speicherung Star Schema bzw. Snowflake Schema Speicherung multi-dimensionaler Arrays Hilfreich, falls Aggregationsfunktion a priori nicht bekannt ist Spezielle Anordnung der Array-Elemente, falls die Aggregationsfunktion bekannt ist Indexierung für Cubes Bitmap-Index FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-8 4

15 Star Schema (relational) Dimensions-Tabelle (z.b. Model) Dimensions-Tabelle (z.b. Color) Dimensions-Tabelle (z.b. Year) Fakten-Tabelle (z.b. Sales) Dimensions-Tabelle (z.b. Accesories) Dimensions-Tabelle (z.b. Engine) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-9 Fakten- und Dimensionstabellen N-dimensionales Datenschema: Faktentabelle Verwaltet die Bewegungsdaten Struktur Schlüssel (z.b. Order Number) Fremdschlüssel zu allen Dimensions-Tabellen Eigentliche Measures (z.b. Sales, ) In der Regel gross und eher nicht normalisiert Fakten-Tabelle (z.b. Sales) n Dimensionstabellen Verwalteten Stammdaten zu den Bewegungsdaten Normalerweise sind die Dimensionstabellen nicht normalisiert um Joins zu vermeiden Z.B. City T Region T Country Eher klein, mit konstanter Grösse Dimensions-Tabelle (z.b. Model) Dimensions-Tabelle (z.b. Color) Dimensions-Tabelle (z.b. Engine) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-3 5

16 Snowflake Schema Wiederholtes Anwenden des Prinzips des Star Schemas Falls Dimensionstabellen zu gross werden, dann können diese weiter partitioniert werden bzw. bei Normalisierung der Dimensionstabellen Das führt zu weniger Redundanz in den Daten (kleinere Tabellen) Allerdings auch zu mehr Joins FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-3 Bereichsanfragen: Motivation 3 Umsatz Bereichsanfragen stellen typische Warehouse- Anfragen dar und erfordern die Aggregation der Measures über in der Anfrage vorgegebene Intervalle der vorhandenen Dimensionen Datum Kombination von Bereichsanfragen in allen Dimensionen MA-Anzahl FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-3 6

17 Bereichsanfragen: Motivation 3 Umsatz Datum Bereichsanfragen in beliebiger Kombination von Teilräumen MA-Anzahl FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-33 Lineare Speicherzuordnung - Illustration Für die Unterstützung von Bereichsanfragen müssen die Measures möglichst so gespeichert werden, dass individuelle Aggregationen gut unterstützt werden Das Ergebnis der Linearisierung kann dann mittels einer Indexstruktur (z.b. B*- Baum) verwaltet und suchbar gemacht werden Bevorzugte n 3 Aggregationsrichtung = Speicheranordnung Für andere Aggregationen: Replikation mit anderer Speicheranordnung n n+ n n n FS 3 Datenbanken (CS43) Data Warehousing-Anfragen

18 Linearisierung Wie lässt sich der Raum am besten linearisieren? Space-filling curves (raumfüllende Kurven): eine eindimensionale Linie, die eine zweidimensionale Fläche oder einen mehrdimensionalen Raum nach vorgegebenen Regeln komplett durchläuft und die mehrdimensionalen Daten entsprechend des Durchlaufs linearisiert Row wise Hilbert-Kurve FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-35 Peano-Kurve Linearisierung Gray-Kurve FS 3 Datenbanken (CS43) Data Warehousing-Anfragen

19 Vorausberechnung von Aggregaten Eine weitere Variante besteht in der Materialisierung/Vorausberechnung von Aggregaten für Bereichsanfragen Ein Prefix-Sum Array berechnet in einer zweidimensionalen Struktur mögliche Aggregationen bereits vor Bereichsanfragen lassen sich so durch wenige Zugriffe auf das Prefix-Sum Array beantworten Beispiel Gegebenes Array Prefix-Sum Array FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-37 Vergröberung durch Blockbildung Um Platz zu sparen müssen nicht unbedingt alle Zellen im Prefix-Sum Array vorberechnet werden Das Blocked Prefix Sum Array berechnet die Aggregationen nur für bestimmte Blöcke vor Falls Anfragen nicht diesen Blöcken entsprechen müssen die fehlenden Daten aus dem Originalarray besorgt werden Beispiel Gegebenes Array Blocked Prefix-Sum Array FS 3 Datenbanken (CS43) Data Warehousing-Anfragen

20 Bitmap Index Idee des Bitmap-Index ist es, die besonderen Eigenschaften von Data Warehouses durch spezielle Indexmechanismen auszunützen: Read-Mostly Umgebungen komplexe Anfragen grosses Datenvolumen Prinzip des Bitmap Index: Invertierte Listen werden durch Bitvektoren repräsentiert Tupel werden durchnumeriert Alle möglichen Ausprägungen eines Attributs werden aufgelistet Bit wird gesetzt an der Position, die der Kombination aus Tupel- Nummer und attributwert entspricht Vorteile: Kompaktheit von Bitvektoren ermöglicht relativ oft, dass Bitmap Indizes im Hauptspeicher verwaltet werden können Operationen auf Bit-Ebene werden Hardware-seitig gut unterstützt Indizes werden auch für Selektionen mit geringerer Selektivität akzeptabel FS Datenbanken (CS43) Data Warehousing-Anfragen Bitstring-Darstellung der Attributwerte Bitmap-Index wird über einzelnem Attribut einer Relation gebildet, d.h. es gibt einen Bit-Spaltenvektor pro Attributwert A (R) V 8 V 7 V 6 V 5 V 4 V 3 V V V TupelNr Beispiel: R(A, B, C, D) mit Bitmap-Index über A FS Datenbanken (CS43) Data Warehousing-Anfragen

21 Cluster-Bildung im Bitmap-Index Mehrstufigkeit oder Vergröberung im Bitmap-Index Clusterung der Attributwerte: Logisches Oder einer Teilmenge der Spaltenvektoren Clusterung der Tupel: Logisches Oder einer Teilmenge der Zeilenvektoren A (R) V 8 V 7 V 6 V 5 V 4 V 3 V V V TupelNr FS Datenbanken (CS43) Data Warehousing-Anfragen Cluster-Bildung im Bitmap-Index Ergebnis der Vergröberung nach Attributwerten und Tupeln 3 V 8 V 7 V 5 V 4 V 3 V V V Tupel Cluster Nr Tupel Nr Value Nr 3 Value Cluster Nr FS Datenbanken (CS43) Data Warehousing-Anfragen

22 7.4 Column Stores für Data Warehousing Klassische relationale Datenbanken verwenden 'Row Stores' Speicherung kompletter Tupel auf Datenbankseiten Optimiert für OLTP-Anwendungen Kurzlebige ACID-Transaktionen Schreiben / Ändern gesamter Tupel Kunden KNr Name Stadt Saldo Rabatt Legrand Genf - 8,. Marty Basel -8,. 3 Frei Basel,, 4 Janvier Genf,, 5 Rossi Lugano,,5 6 Meier Zürich -3 8,,5 7 Hürlimann St. Gallen -,,5 8 Schmid Luzern - 35,, 9 Müller-Lüdenscheid Zürich -55,, Schumacher Genf -3,, Datenseiten FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-43 Column Store Column Store-Datenbanksysteme Wenige Änderungen Optimiert für (langlebige) Leseanwendungen (OLAP), nur bedingt geeignet für Updates Kunden KNr Name Stadt Saldo Rabatt Legrand Genf - 8,. Marty Basel -8,. 3 Frei Basel,, 4 Janvier Genf,, 5 Rossi Lugano,,5 6 Meier Zürich -3 8,,5 7 Hürlimann St. Gallen -,,5 8 Schmid Luzern - 35,, 9 Müller-Lüdenscheid Zürich -55,, Schumacher Genf -3,, FS 3 Datenseiten Datenbanken (CS43) Data Warehousing-Anfragen 7-44

23 C-Store C-Store: Beispiel eines Column Store-Systems Writeable Store: erlaubt beliebige Insert und Update-Operationen Read-Optimized Store: Einzige erlaubte Schreiboperation ist Batch-Update aus Writeable store (= lazy replication) Tuple Mover: führt Batch-Update durch Relationenmodell als logisches Datenmodell, SQL an der Schnittstelle Physische Speicherung: Projektionen einzelner (oder mehrerer) Attribute Writeable Store (WS) Tuple Mover Read-optimized Store (RS) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-45 C-Store: Read-Optimized Store Einzelne Attribute können (in unterschiedlichen Projektionen) mehrfach im Readoptimized Store gespeichert werden Für jede Projektion wird ein Sort Key angegeben (das Attribut, nach dem die Projektion sortiert wird) Jede Projektion wird horizontal partitioniert in mehrere Segmente. Jedes Segment ist durch einen Segment Identifier (Sid) gekennzeichnet. Also enthält jedes Segment einer Projektion ein Intervall des Sort Keys Tabelle Name Age Dept Salary Projektion P Sort key SID Name Dept Key range Segmente 3 P Name Sort key Salary Sort key P3 Age Salary Logische Repräsentation FS 3 Datenbanken (CS43) Data Warehousing-Anfragen

24 C-Store: Read-Optimized Store Die einzelnen Attribute jedes Segments sind durch einen Storage Key (SK) gekennzeichnet Die Verknüpfung zu weiteren Attributen desselben Tupels erfolgt über spezielle Join-Indexe Annahme: P (M Segmente) und P (N Segmente) sind Projektionen derselben Relation Join-Index besteht aus M Tabellen (eine pro Segment von P) Eintrag im Join-Index für P-Segment S P enthält für jeden Eintrag von S P einen Verweis auf die zugehörigen Einträge in der Projektion P Dieser Verweis besteht aus dem Segment Identifier Sid und dem Storage Key (SK) innerhalb des Segments Join-Indexe stellen also nur eine unidirektionale Verbindung zwischen Projektionen her FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-47 C-Store Join-Index Segment S P,i : i-tes Segment von Projektion P S P,i Name SK Dept Join-Index für Segment S P,i SID SK S P, j 3 S P, j+ Name Name Salary Salary S P,j S P,j+ FS 3 Datenbanken (CS43) Data Warehousing-Anfragen

25 Weitere Column Store-Systeme Google s Bigtable Verwendet Projektion und Segmentierung Verteilung der Segmente auf mehrere Rechner Basiert auf GFS (Google File System) Hbase Open Source-Nachbildung von bigtable Vertica Kommerzielle Implementierung der C-Stores MonetDB Forschungsprototyp, CWI Amsterdam Sybase IQ Erstes kommerzielles Column Store-System und viele weitere mehr (Open Source & kommerziell) FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-49 Literatur [BG 9] A. Bauer, H. Günzel (Hrg.): Data Warehouse Architektur, Entwicklung, Anwendung. dpunkt.verlag, 3. Auflage, 9. [CD 97] S. Chaudhuri, U. Dayal: An Overview of Data Warehousing and OLAP Technology. SIGMOD Record 6(), März 997. [GCB + 97] J. Gray et al.: Data Cube: A relational aggregation operator generalizing group-by, cross-tab, and sub-totals. In: Data Mining and Knowlegde Discovery, 9-53, 997. [Inm 96] W. Inmon: Building the Data Warehouse, John Wiley & Sons, 996 [Leh 3] W. Lehner: Datenbanktechnologie für Data-Warehouse-Systeme, dpunkt.verlag, 3 [MZ 9] E. Malinowski, E. Zimányi: Advanced Data Warehouse Design From Conventional to Spatial and Temporal Applications. Springer, 9. FS 3 Datenbanken (CS43) Data Warehousing-Anfragen 7-5 5

Frühjahrsemester 2011. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil

Frühjahrsemester 2011. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil Frühjahrsemester Data Warehousing Kapitel 5: Data Warehousing H. Schuldt Wiederholung aus Kapitel 5. Einführung Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Anfragen: Welches

Mehr

Frühjahrsemester 2010. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil

Frühjahrsemester 2010. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil Frühjahrsemester Data Warehousing Kapitel 5: Data Warehousing H. Schuldt Wiederholung aus Kapitel 5. Einführung Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Anfragen: Welches

Mehr

5.4 Benchmarks für Data Warehouses

5.4 Benchmarks für Data Warehouses 5.4 Benchmarks für Data Warehouses Benchmark ( Massstab ) zum Vergleich der Leistungsfähigkeit von Systemen Für Datenbanken: Serie von Benchmarks des Transaction Processing Performance Council (www.tpc.org)

Mehr

Kap. 6 Data Warehouse

Kap. 6 Data Warehouse 1 Kap. 6 Data Warehouse 6.1 Was ist ein Data Warehouse, Motivation? 6.2 Data Cube und Cube-Operationen 6.3 Workshop: MS SQL Server, Cube Operationen 6.4 Physischer Entwurf, Implementierung von Cubes 6.5

Mehr

Data Warehousing: Anwendungsbeispiel

Data Warehousing: Anwendungsbeispiel Frühjahrsemester 2012 cs242 Data Warehousing / cs243 Datenbanken Kapitel 1: Einführung H. Schuldt Data Warehousing: Anwendungsbeispiel Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale

Mehr

OLAP und Data Warehouses

OLAP und Data Warehouses OLP und Data Warehouses Überblick Monitoring & dministration Externe Quellen Operative Datenbanken Extraktion Transformation Laden Metadaten- Repository Data Warehouse OLP-Server nalyse Query/Reporting

Mehr

bersicht Datenbanken und Datawarehouses Datenbank Datenbanksysteme Niels Schršter

bersicht Datenbanken und Datawarehouses Datenbank Datenbanksysteme Niels Schršter bersicht Niels Schršter EinfŸhrung GROUP BY Roll UpÔs Kreuztabellen Cubes Datenbank Ansammlung von Tabellen, die einen ãausschnitt der WeltÒ fÿr eine Benutzergruppe beschreiben. Sie beschreiben die funktionalen

Mehr

Themenblock: Erstellung eines Cube

Themenblock: Erstellung eines Cube Themenblock: Erstellung eines Cube Praktikum: Data Warehousing und Data Mining Einführung relationale Datenbanken Problem Verwaltung großer Mengen von Daten Idee Speicherung der Daten in Form von Tabellen

Mehr

Einführung relationale Datenbanken. Themenblock: Erstellung eines Cube. Schlüssel. Relationenmodell Relationenname Attribut. Problem.

Einführung relationale Datenbanken. Themenblock: Erstellung eines Cube. Schlüssel. Relationenmodell Relationenname Attribut. Problem. Themenblock: Erstellung eines Cube Einführung relationale Datenbanken Problem Verwaltung großer Mengen von Daten Praktikum: Data Warehousing und Data Mining Idee Speicherung der Daten in Form von Tabellen

Mehr

MV-Serialisierungsgraph

MV-Serialisierungsgraph MV-Serialisierungsgraph Unter der Versionenordnung eines Objektes x œ DB wird eine totale Ordnung aller in S über und DB erzeugten Versionen von x verstanden. Die Vereinigung aller Versionenordnungen der

Mehr

Einführungsveranstaltung: Data Warehouse

Einführungsveranstaltung: Data Warehouse Einführungsveranstaltung: 1 Anwendungsbeispiele Berichtswesen Analyse Planung Forecasting/Prognose Darstellung/Analyse von Zeitreihen Performancevergleiche (z.b. zwischen Organisationseinheiten) Monitoring

Mehr

Data Warehousing. Fragen des Marketingleiters. Beispiel: : Amazon. Technisch... Amazon weltweit... Datenbank. Aufbau eines DWH OLAP <-> OLTP Datacube

Data Warehousing. Fragen des Marketingleiters. Beispiel: : Amazon. Technisch... Amazon weltweit... Datenbank. Aufbau eines DWH OLAP <-> OLTP Datacube Fragen des Marketingleiters Data Warehousing Wie viele Bestellungen haben wir jeweils im Monat vor Weihnachten, aufgeschlüsselt nach? Aufbau eines DWH OLAP OLTP Datacube Beispiel: : Amazon Technisch

Mehr

Data Warehouse Technologien

Data Warehouse Technologien Veit Köppen Gunter Saake Kai-Uwe Sattler Data Warehouse Technologien Inhaltsverzeichnis Inhaltsverzeichnis vii 1 Einführung in Data-Warehouse-Systeme 1 1.1 Anwendungsszenario Getränkemarkt...............

Mehr

Veit Köppen Gunter Saake Kai-Uwe Sattler. 2. Auflage. Data Warehouse Technologien

Veit Köppen Gunter Saake Kai-Uwe Sattler. 2. Auflage. Data Warehouse Technologien Veit Köppen Gunter Saake Kai-Uwe Sattler 2. Auflage Data Warehouse Technologien Inhaltsverzeichnis Inhaltsverzeichnis ix 1 Einführung in Data-Warehouse-Systeme 1 1.1 Anwendungsszenario Getränkemarkt...

Mehr

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY Data Cube On-line Analytical Processing (OLAP). Einführung Ziel: Auffinden interessanter Muster in großen Datenmengen 2. Aggregation in SQL, GROUP BY 3. Probleme mit GROUP BY 4. Der Cube-Operator! Formulierung

Mehr

Vorlesung Datenbankmanagementsysteme

Vorlesung Datenbankmanagementsysteme Vorlesung Datenbankmanagementsysteme SQL zur Datenanalyse & Einführung Online Analytical Processing (OLAP) (auf Basis von Oracle) Vorlesung Datenbankmanagementsysteme SQL zur Datenanalyse M. Lange, S.

Mehr

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 17 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining opera- tionale DB opera- tionale DB opera- tionale DB Data Warehouse

Mehr

3.17 Zugriffskontrolle

3.17 Zugriffskontrolle 3. Der SQL-Standard 3.17. Zugriffskontrolle Seite 1 3.17 Zugriffskontrolle Datenbanken enthalten häufig vertrauliche Informationen, die nicht jedem Anwender zur Verfügung stehen dürfen. Außerdem wird man

Mehr

Data Warehousing und Data Mining

Data Warehousing und Data Mining 2 Data Warehousing und Data Mining Kapitel 1: Data-Warehousing-Architektur von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser Umsatz im Vergleich zum letzten Jahr? In welchen Regionen

Mehr

Aufgabe 1: [Logische Modellierung]

Aufgabe 1: [Logische Modellierung] Aufgabe 1: [Logische Modellierung] a) Entwerfen Sie für das von Ihnen entworfene Modell aus Aufgabe 2 des 1. Übungsblattes ein Star-Schema. b) Entwerfen Sie für das vorangegangene Modell einen Teil eines

Mehr

Themenblock: Data Warehousing (I)

Themenblock: Data Warehousing (I) Themenblock: Data Warehousing (I) Praktikum: Data Warehousing und Data Mining Agenda Einführung Data Warehouses Online Transactional Processing (OLTP) Datenmanipulation mit SQL Anfragen mit SQL Online

Mehr

Seminar im Sommersemester 2004 an der Universität Karlsruhe (TH)

Seminar im Sommersemester 2004 an der Universität Karlsruhe (TH) Seminar im Sommersemester 2004 an der Universität Karlsruhe (TH) Verteilung und Integration von Informationen im Verkehrsbereich Thema: OLAP in verteilten Data-Warehouse- Umgebungen Vortrag: Christian

Mehr

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik Data Warehousing Sommersemester 2005 Ulf Leser Wissensmanagement in der Bioinformatik ... Der typische Walmart Kaufagent verwendet täglich mächtige Data Mining Werkzeuge, um die Daten der 300 Terabyte

Mehr

Agenda. Themenblock: Data Warehousing (I) Referenzarchitektur. Eigenschaften eines Data Warehouse. Einführung Data Warehouse Data Access mit SQL

Agenda. Themenblock: Data Warehousing (I) Referenzarchitektur. Eigenschaften eines Data Warehouse. Einführung Data Warehouse Data Access mit SQL Themenblock: Data Warehousing (I) Praktikum: Data Warehousing und Data Mining 2 Eigenschaften eines Data Warehouse Referenzarchitektur Integrierte Sicht auf beliebige Daten aus verschieden Datenbanken

Mehr

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH Einführung in OLAP und Business Analysis Gunther Popp dc soft GmbH Überblick Wozu Business Analysis mit OLAP? OLAP Grundlagen Endlich... Technischer Background Microsoft SQL 7 & OLAP Services Folie 2 -

Mehr

Datenbanken zur Entscheidungsunterstützung - Data Warehousing

Datenbanken zur Entscheidungsunterstützung - Data Warehousing Datenbanken zur Entscheidungsunterstützung - Data Warehousing Prof. Dr. T. Kudraß 1 Einführung Zunehmender Bedarf nach Analyse aktueller und historischer Daten Identifizierung interessanter Patterns Entscheidungsfindung

Mehr

fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien

fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien Einführung Gegenstand der Vorlesung fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien Datenvolumen (effiziente Speicherung

Mehr

Mengenvergleiche: Alle Konten außer das, mit dem größten Saldo.

Mengenvergleiche: Alle Konten außer das, mit dem größten Saldo. Mengenvergleiche: Mehr Möglichkeiten als der in-operator bietet der θany und der θall-operator, also der Vergleich mit irgendeinem oder jedem Tupel der Unteranfrage. Alle Konten außer das, mit dem größten

Mehr

Data Warehouse Technologien

Data Warehouse Technologien mitp Professional Data Warehouse Technologien von Veit Köppen, Gunter Saake, Kai-Uwe Sattler 2. Auflage 2014 Data Warehouse Technologien Köppen / Saake / Sattler schnell und portofrei erhältlich bei beck-shop.de

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

Datenbanktechnologie für Data-Warehouse-Systeme

Datenbanktechnologie für Data-Warehouse-Systeme Wolfgang Lehner Datenbanktechnologie für Data-Warehouse-Systeme Konzepte und Methoden dpunkt.verlag 1 1.1 1.2 1.3 1.4 1. 5 2 2.1 2.2 2.3 Einleitung 1 Betriebswirtschaftlicher Ursprung des Data Warehousing...

Mehr

SQL. strukturierte Datenbankabfragesprache eine Datenbanksprache zur. Structured Query Language:

SQL. strukturierte Datenbankabfragesprache eine Datenbanksprache zur. Structured Query Language: SQL Structured Query Language: strukturierte Datenbankabfragesprache eine Datenbanksprache zur Definition, Abfrage und Manipulation von Daten in relationalen Datenbanken In der SQL-Ansicht arbeiten In

Mehr

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel Data Warehousing Kapitel 1: Data-Warehousing-Architektur Folien teilweise übernommen von Matthias Gimbel 2 Analyse von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser Umsatz im Vergleich

Mehr

Data Warehousing. Ausführung von OLAP Operationen. Ulf Leser Wissensmanagement in der Bioinformatik

Data Warehousing. Ausführung von OLAP Operationen. Ulf Leser Wissensmanagement in der Bioinformatik Data Warehousing Ausführung von OLAP Operationen Ulf Leser Wissensmanagement in der Bioinformatik Variante 1 - Snowflake Year id year Productgroup id pg_name Month Id Month year_id Day Id day month_id

Mehr

Data-Warehouse-Systeme

Data-Warehouse-Systeme Vorlesung im Wintersemester 2008/09 Data-Warehouse-Systeme Dr. Stefanie Rinderle-Ma Institut für Datenbanken und Informationssysteme Universität Ulm stefanie.rinderle@uni-ulm.de Übersicht 1) Einführung

Mehr

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Ein Data-Warehouse bzw. Datenlager ist eine zentrale Datensammlung (meist eine Datenbank), deren Inhalt sich aus Daten unterschiedlicher

Mehr

Teil XI Spalten-orientierte DBMSs

Teil XI Spalten-orientierte DBMSs Teil XI Spalten-orientierte DBMSs Spalten-orientierte Datenbankmanagementsysteme 1 Motivation 2 Funktionsweise 3 Erweiterungen 4 Literatur c Sattler / Saake / Köppen Data-Warehouse-Technologien Letzte

Mehr

Kapitel 6 Einführung in Data Warehouses

Kapitel 6 Einführung in Data Warehouses Kapitel 6 Einführung in Data Warehouses Skript zur Vorlesung: Datenbanksysteme II Sommersemester 2008, LMU München 2008 Dr. Peer Kröger Dieses Skript basiert zu einem Teil auf dem Skript zur Vorlesung

Mehr

Data Warehouse. Kapitel 16. Abbildung 16.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 16. Abbildung 16.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 16 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining operationale DB operationale DB operationale DB Data Warehouse operationale

Mehr

Data Warehouse. für den Microsoft SQL SERVER 2000/2005

Data Warehouse. für den Microsoft SQL SERVER 2000/2005 Warehouse für den Microsoft SQL SERVER 2000/2005 Begriffe 1 DWH ( Warehouse) ist eine fachübergreifende Zusammenfassung von Datentabellen. Mart ist die Gesamtheit aller Datentabellen für einen fachlich

Mehr

Data Warehouse schnell gemacht Performanceaspekte im Oracle DWH

Data Warehouse schnell gemacht Performanceaspekte im Oracle DWH Data Warehouse schnell gemacht Performanceaspekte im Oracle DWH Dani Schnider Principal Consultant Business Intelligence BI Trilogie, Zürich/Basel 25./26. November 2009 Basel Baden Bern Lausanne Zürich

Mehr

Einleitung. ROLLUP, CUBE und GROUPING. Markus Jägle (markus.jaegle@trivadis.com) Art der Info Technische Background Info (April 2002)

Einleitung. ROLLUP, CUBE und GROUPING. Markus Jägle (markus.jaegle@trivadis.com) Art der Info Technische Background Info (April 2002) Betrifft Autör: GROUPING_ID Markus Jägle (markus.jaegle@trivadis.com) Art der Info Technische Background Info (April 2002) Quelle Aus dem Oracle9i Data Warehousing Guide und den Kursen New Features Oracle9i

Mehr

Informationssysteme: Neuere Konzepte Teil II

Informationssysteme: Neuere Konzepte Teil II Informationssysteme: Neuere Konzepte Kapitel 1: Data-Warehousing-Architektur Folien teilweise übernommen von Matthias Gimbel 2 von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser

Mehr

Datenbanksysteme 2 Frühjahr-/Sommersemester 2014 28. Mai 2014

Datenbanksysteme 2 Frühjahr-/Sommersemester 2014 28. Mai 2014 Lehrstuhl für Praktische Informatik III Prof. Dr. Guido Moerkotte Email: moer@db.informatik.uni-mannheim.de Marius Eich Email: marius.eich@uni-mannheim.de Datenbanksysteme 2 8. Übungsblatt Frühjahr-/Sommersemester

Mehr

Realisierung von OLAP Operatoren in einem visuellen Analysetool. Vortrag von Alexander Spachmann und Thomas Lindemeier

Realisierung von OLAP Operatoren in einem visuellen Analysetool. Vortrag von Alexander Spachmann und Thomas Lindemeier Realisierung von OLAP Operatoren in einem visuellen Analysetool Vortrag von Alexander Spachmann und Thomas Lindemeier Gliederung Ausgangssituation/Motivation Was ist OLAP? Anwendungen Was sind Operatoren?

Mehr

Vorwort zur 5. Auflage... 15 Über den Autor... 16

Vorwort zur 5. Auflage... 15 Über den Autor... 16 Vorwort zur 5. Auflage...................................... 15 Über den Autor............................................ 16 Teil I Grundlagen.............................................. 17 1 Einführung

Mehr

Business Intelligence und Geovisualisierung in der Gesundheitswirtschaft

Business Intelligence und Geovisualisierung in der Gesundheitswirtschaft Business Intelligence und Geovisualisierung in der Gesundheitswirtschaft Prof. Dr. Anett Mehler-Bicher Fachhochschule Mainz, Fachbereich Wirtschaft Prof. Dr. Klaus Böhm health&media GmbH 2011 health&media

Mehr

Kapitel 5: Vom relationalen zum multidimensionalen Datenmodell

Kapitel 5: Vom relationalen zum multidimensionalen Datenmodell Data Warehousing, Gliederung Kapitel 5: Vom relationalen zum multidimensionalen Datenmodell Dimensionen und Measures Schematypen für Data Warehousing Groupy und Data Cubes Operatoren für den Data Cube

Mehr

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 MIS Glossar by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 Aggregat Data Cube Data Marts Data Mining Data Warehouse (DWH) Daten Decision Support Systeme (DSS)

Mehr

1. Einführung. Szenario: Getränkemarkt. DB-Schema. Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks

1. Einführung. Szenario: Getränkemarkt. DB-Schema. Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks . Einführung Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks Sattler / Saake Data-Warehouse-Technologien Szenario: Getränkemarkt Umsatz, Portfolio SSaufland

Mehr

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 17 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining opera- tionale DB opera- tionale DB opera- tionale DB Data Warehouse

Mehr

Herbstsemester 2009. Datenbanken mit Übungen Kapitel 4: SQL. H. Schuldt. Inhalt

Herbstsemester 2009. Datenbanken mit Übungen Kapitel 4: SQL. H. Schuldt. Inhalt Herbstsemester 2009 Datenbanken mit Übungen Kapitel 4: SQL H. Schuldt Inhalt Datenmanipulationssprache SQL: SQL (Structured Query Language) ist die Standardsprache für die Datendefinition und Datenmanipulation

Mehr

Online Analytical Processing

Online Analytical Processing Online Analytical Processing Online Analytical Processing Online Analytical Processing (OLAP) ermöglicht die multidimensionale Betrachtung von Daten zwecks E rmittlung eines entscheidungsunterstützenden

Mehr

Fachbereich Informatik Praktikum 1

Fachbereich Informatik Praktikum 1 Hochschule Darmstadt DATA WAREHOUSE SS2015 Fachbereich Informatik Praktikum 1 Prof. Dr. S. Karczewski Dipl. Inf. Dipl. Math. Y. Orkunoglu Datum: 14.April.2015 1. Kurzbeschreibung In diesem Praktikum geht

Mehr

Kapitel 2 Terminologie und Definition

Kapitel 2 Terminologie und Definition Kapitel 2 Terminologie und Definition In zahlreichen Publikationen und Fachzeitschriften tauchen die Begriffe Data Warehouse, Data Warehousing, Data-Warehouse-System, Metadaten, Dimension, multidimensionale

Mehr

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen (Folien von A. Kemper zum Buch 'Datenbanksysteme') Online Transaction Processing Betriebswirtschaftliche Standard- Software (SAP

Mehr

Christian Kurze BI-Praktikum IBM WS 2008/09

Christian Kurze BI-Praktikum IBM WS 2008/09 Einführung in die multidimensionale Datenmodellierung e mit ADAPT BI-Praktikum IBM WS 2008/09 1 Gliederung Einführung multidimensionale Datenmodellierung 1. Multidimensionales Modell BI-Praktikum IBM WS

Mehr

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery Kapitel II Datenbereitstellung 2004 AIFB / FZI 1 II. Datenbereitstellung 2004 AIFB / FZI 2 II. Datenbereitstellung Collect Initial Data identify relevant attributes identify inconsistencies between sources

Mehr

Logische Modellierung von Data Warehouses

Logische Modellierung von Data Warehouses Logische Modellierung von Data Warehouses Vertiefungsarbeit von Karin Schäuble Gliederung. Einführung. Abgrenzung und Grundlagen. Anforderungen. Logische Modellierung. Methoden.. Star Schema.. Galaxy-Schema..

Mehr

Fortgeschrittene OLAP Analysemodelle

Fortgeschrittene OLAP Analysemodelle Fortgeschrittene OLAP Analysemodelle Jens Kübler Imperfektion und erweiterte Konzepte im Data Warehousing 2 Grundlagen - Datenanalyse Systemmodell Datenmodell Eingaben System Schätzer Datentypen Datenoperationen

Mehr

Verwandt, logisch kohärent, zweckspezifisch, an reale Welt orientiert. Entität kann in einer oder mehreren Unterklassen sein

Verwandt, logisch kohärent, zweckspezifisch, an reale Welt orientiert. Entität kann in einer oder mehreren Unterklassen sein 1 Definitionen 1.1 Datenbank Verwandt, logisch kohärent, zweckspezifisch, an reale Welt orientiert Integriert, selbstbeschreibend, verwandt 1.2 Intension/Extension Intension: Menge der Attribute Extension:

Mehr

Nachtrag: Farben. Farbblindheit. (Light und Bartlein 2004)

Nachtrag: Farben. Farbblindheit. (Light und Bartlein 2004) Nachtrag: Farben Farbblindheit (Light und Bartlein 2004) 1 Vorgeschlagene Farbskalen (Light and Bartlein 2004) Farbkodierung metrisch skalierter Daten Unterscheide: 1. Sequential Data (ohne Betonung der

Mehr

Oracle OLAP 11g: Performance für das Oracle Data Warehouse

Oracle OLAP 11g: Performance für das Oracle Data Warehouse Oracle OLAP 11g: Performance für das Oracle Data Warehouse Marc Bastien Oracle BI Presales Agenda Performanceprobleme in Oracle DWH: gibt s das überhaupt? Mögliche Gründe und Lösungen

Mehr

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER INHALTSVERZEICHNIS 1. Datenbanken 2. SQL 1.1 Sinn und Zweck 1.2 Definition 1.3 Modelle 1.4 Relationales Datenbankmodell 2.1 Definition 2.2 Befehle 3.

Mehr

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P Index- und Zugriffsstrukturen für Data Warehousing Holger Brämer, 05IND-P Index- und Zugriffstrukturen für Data Warehousing Materialisierte Sichten Bitmap-Indexe Verbundindexe Materialisierte Sichten gehören

Mehr

Data Warehouses. Data Warehouse Architektur ... Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de

Data Warehouses. Data Warehouse Architektur ... Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de Data Warehouses Sommersemester 2011 Melanie Herschel melanie.herschel@uni-tuebingen.de Lehrstuhl für Datenbanksysteme, Universität Tübingen Data Warehouse Architektur Data-Warehouse-System Teilsichten

Mehr

Das Multidimensionale Datenmodell

Das Multidimensionale Datenmodell Das Multidimensionale Datenmodell Konzeptuelle Modellierung Umsetzung des Modells Beispiel ER-Modell 2 / 36 Probleme ER-Modellierung Keine Unterscheidung Klassifikation, Attribute, Kenngrößen Dimension

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Data Warehousing Grundbegriffe und Problemstellung

Data Warehousing Grundbegriffe und Problemstellung Data Warehousing Grundbegriffe und Problemstellung Dr. Andrea Kennel, Trivadis AG, Glattbrugg, Schweiz Andrea.Kennel@trivadis.com Schlüsselworte Data Warehouse, Cube, Data Mart, Bitmap Index, Star Queries,

Mehr

REAL-TIME DATA WAREHOUSING

REAL-TIME DATA WAREHOUSING REAL-TIME DATA WAREHOUSING Lisa Wenige Seminarvortrag Data Warehousing und Analytische Datenbanken Friedrich-Schiller-Universität Jena - 19.01.12 Lisa Wenige 19.01.2012 2 Agenda 1. Motivation 2. Begriffsbestimmung

Mehr

2 Datenbanksysteme, Datenbankanwendungen und Middleware... 45

2 Datenbanksysteme, Datenbankanwendungen und Middleware... 45 Vorwort 15 Teil I Grundlagen 19 i Einführung In das Thema Datenbanken 21 I.I Warum ist Datenbankdesign wichtig? 26 i.2 Dateisystem und Datenbanken 28 1.2.1 Historische Wurzeln 29 1.2.2 Probleme bei der

Mehr

Data Warehouse Grundlagen

Data Warehouse Grundlagen Seminarunterlage Version: 2.10 Version 2.10 vom 24. Juli 2015 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen

Mehr

SQL Tutorial. SQL - Tutorial SS 06. Hubert Baumgartner. INSO - Industrial Software

SQL Tutorial. SQL - Tutorial SS 06. Hubert Baumgartner. INSO - Industrial Software SQL Tutorial SQL - Tutorial SS 06 Hubert Baumgartner INSO - Industrial Software Institut für Rechnergestützte Automation Fakultät für Informatik Technische Universität Wien Inhalt des Tutorials 1 2 3 4

Mehr

23. Daten-Analyse. Datenwarenhäuser. Grundlagen des OLAP (On-Line Analytical Processing)

23. Daten-Analyse. Datenwarenhäuser. Grundlagen des OLAP (On-Line Analytical Processing) 23. Daten-Analyse Datenwarenhäuser Grundlagen des OLAP (On-Line Analytical Processing) Data Mining: Klassifikation, Assoziationsregeln, Sequenzanalyse Datenmodelle, Datenbanksprachen und Datenbankmanagement-Systeme,

Mehr

Einführung in SQL. 1. Grundlagen SQL. Structured Query Language. Viele Dialekte. Unterteilung: i. DDL (Data Definition Language)

Einführung in SQL. 1. Grundlagen SQL. Structured Query Language. Viele Dialekte. Unterteilung: i. DDL (Data Definition Language) Einführung in SQL 1. Grundlagen Structured Query Language Viele Dialekte Unterteilung: i. DDL (Data Definition Language) ii. iii. DML (Data Modifing Language) DRL (Data Retrival Language) 1/12 2. DDL Data

Mehr

cs242: Data Warehousing cs243: Datenbanken für Fortgeschrittene FS 2012

cs242: Data Warehousing cs243: Datenbanken für Fortgeschrittene FS 2012 UNIVERSITÄT BASEL Prof. Dr. Heiko Schuldt Ihab Al Kabary, MSc Ilir Fetai, MSc Nenad Stojnić, MSc Ivan Giangreco, BSc cs242: Data Warehousing cs243: Datenbanken für Fortgeschrittene FS 2012 Übung DW-4 Abgabe:

Mehr

Hetero-Homogene Data Warehouses

Hetero-Homogene Data Warehouses Hetero-Homogene Data Warehouses TDWI München 2011 Christoph Schütz http://hh-dw.dke.uni-linz.ac.at/ Institut für Wirtschaftsinformatik Data & Knowledge Engineering Juni 2011 1 Data-Warehouse-Modellierung

Mehr

Seminar Data Warehousing. Seminar. Data Warehousing. Thema: Speichermodelle für Data-Warehouse-Strukturen

Seminar Data Warehousing. Seminar. Data Warehousing. Thema: Speichermodelle für Data-Warehouse-Strukturen Seminar Data Warehousing Thema: Speichermodelle für Data-Warehouse-Strukturen Friedrich-Schiller-Universität Jena Fakultät für Mathematik und Informatik Institut für Informatik Lehrstuhl für Datenbanken

Mehr

Data Warehousing. Weitere Buzzwörter: OLAP, Decision Support, Data Mining

Data Warehousing. Weitere Buzzwörter: OLAP, Decision Support, Data Mining Data Warehousing Weitere Buzzwörter: OLAP, Decision Support, Data Mining Wichtige Hinweise Zu diesem Thema gibt es eine Spezialvorlesung im Sommersemester Hier nur grober Überblick über Idee und einige

Mehr

ENTERBRAIN Reporting & Business Intelligence

ENTERBRAIN Reporting & Business Intelligence Überblick Vorhandene Listen/Analysen in ENTERBRAIN Die Daten in ENTERBRAIN Das Fundament des BI - Hauses Details zur ENTERBRAIN Staging Area Reports und Cubes auf Basis der Staging Area Data Mining mit

Mehr

Kapitel II. Datenbereitstellung. II. Datenbereitstellung. II.1 Grundlagen. II. Datenbereitstellung. Collect Initial Data. II.

Kapitel II. Datenbereitstellung. II. Datenbereitstellung. II.1 Grundlagen. II. Datenbereitstellung. Collect Initial Data. II. II. bereitstellung Kapitel II bereitstellung 1 2 II. bereitstellung II.1 Grundlagen Collect Initial Data identify relevant attributes identify inconsistencies between sources Describe Data characterize

Mehr

Informatik II Datenorganisation Datenbanken

Informatik II Datenorganisation Datenbanken Informatik II Datenorganisation Datenbanken Studiengang Wirtschaftsingenieurwesen (2. Semester) Prof. Dr. Sabine Kühn Tel. (0351) 462 2490 Fachbereich Informatik/Mathematik skuehn@informatik.htw-dresden.de

Mehr

SQL und MySQL. Kristian Köhntopp

SQL und MySQL. Kristian Köhntopp SQL und MySQL Kristian Köhntopp Wieso SQL? Datenbanken seit den frühen 1950er Jahren: Hierarchische Datenbanken Netzwerkdatenbanken Relationale Datenbanken = SQL Relational? 10 9 8 7 6 f(y) := y = x r(y)

Mehr

Inhaltsverzeichnis. jetzt lerne ich

Inhaltsverzeichnis. jetzt lerne ich Inhaltsverzeichnis jetzt lerne ich Einführung 15 1 Erste Schritte 21 1.1 Datenbanken und Datenbank-Managementsysteme 21 1.2 Zugriff auf Datenbanken 22 1.3 Was der Großvater noch wusste... 22 1.4 Einordnung

Mehr

Ausgangspunkt. Datenintegration. Ziel. Konflikte. Architekturen. Transparenz

Ausgangspunkt. Datenintegration. Ziel. Konflikte. Architekturen. Transparenz Ausgangspunkt Datenintegration Web Informationssysteme Wintersemester 2002/2003 Donald Kossmann Daten liegen in verschiedenen Datenquellen (Extremfall: jede URL eigene Datenquelle) Mietautos bei www.hertz.com

Mehr

Views in SQL. 2 Anlegen und Verwenden von Views 2

Views in SQL. 2 Anlegen und Verwenden von Views 2 Views in SQL Holger Jakobs bibjah@bg.bib.de, holger@jakobs.com 2010-07-15 Inhaltsverzeichnis 1 Wozu dienen Views? 1 2 Anlegen und Verwenden von Views 2 3 Schreibfähigkeit von Views 3 3.1 Views schreibfähig

Mehr

Unterabfragen (Subqueries)

Unterabfragen (Subqueries) Unterabfragen (Subqueries) Die kürzeste Formulierung ist folgende: SELECT Felderliste FROM Tabelle1 WHERE Tabelle1.Feldname Operator (SELECT Feldname FROM Tabelle2 WHERE Bedingung); wobei Tabelle1 und

Mehr

Data-Warehouse-Technologien

Data-Warehouse-Technologien Data-Warehouse-Technologien Prof. Dr.-Ing. Kai-Uwe Sattler 1 Prof. Dr. Gunter Saake 2 1 TU Ilmenau FG Datenbanken & Informationssysteme 2 Universität Magdeburg Institut für Technische und Betriebliche

Mehr

SQL Intensivpraktikum SS 2008

SQL Intensivpraktikum SS 2008 SQL Intensivpraktikum SS 2008 Aggregation von Daten Arbeit mit Gruppen SQL1 basierend auf OAI-Kurs Copyright Oracle Corporation, 1998. All rights reserved. Gruppenfunktionen Gruppenfunktionen verarbeiten

Mehr

Star - Schema. AnPr. Name Klasse Datum. ANPR_StarSchema_v03.docx Seite 1

Star - Schema. AnPr. Name Klasse Datum. ANPR_StarSchema_v03.docx Seite 1 Name Klasse Datum 1 OLAP vs. OLTP In den RDBMS Konfigurationen unterscheidet man zwei verschiedene Grundtypen: OLTP: OnLine Transactional Processing ist für die Transaktionsprozesse und somit zur funktionalen

Mehr

Multidimensionales Datenmodell, Cognos

Multidimensionales Datenmodell, Cognos Data Warehousing (II): Multidimensionales Datenmodell, Cognos Praktikum: Data Warehousing und Mining Praktikum Data Warehousing und Mining, Sommersemester 2010 Vereinfachte Sicht auf die Referenzarchitektur

Mehr

Nutzung der Oracle Database InMemory Option für SAP BW

Nutzung der Oracle Database InMemory Option für SAP BW Nutzung der Oracle Database InMemory Option für SAP BW Schlüsselworte Oracle, SAP-BW, InMemory, Star-Schema. Jörn Bartels Oracle München Einleitung In SAP BW wurde bisher ein erweitertes Snow Flake Schema

Mehr

Integration Services Übersicht

Integration Services Übersicht Integration Services Übersicht Integration Services Übersicht Integration Services stellt umfangreiche integrierte Tasks, Container, Transformationen und Datenadapter für die En t- wicklung von Geschäftsanwendungen

Mehr

Temporale Daten in objekt-relationalen Datenbanksystemen

Temporale Daten in objekt-relationalen Datenbanksystemen Temporale Daten in objekt-relationalen Datenbanksystemen Carsten Kleiner Universität Hannover Institut für Informatik FG Datenbanken und Informationssysteme (dbis) 30159 Hannover 13.Workshop Grundlagen

Mehr

Seminar in der Seminarreihe Business Intelligence 1. OLAP und Datawarehousing

Seminar in der Seminarreihe Business Intelligence 1. OLAP und Datawarehousing Seminar in der Seminarreihe Business Intelligence 1 OLAP und Datawarehousing OLAP & Warehousing Die wichtigsten Produkte Die Gliederung Produkt Bewertung & Vergleiche Die Marktentwicklung Der aktuelle

Mehr

Kapitel 8: Physischer Datenbankentwurf

Kapitel 8: Physischer Datenbankentwurf 8. Physischer Datenbankentwurf Seite 1 Kapitel 8: Physischer Datenbankentwurf Speicherung und Verwaltung der Relationen einer relationalen Datenbank so, dass eine möglichst große Effizienz der einzelnen

Mehr

Model Klausel - Der Excel-Killer von Oracle?

Model Klausel - Der Excel-Killer von Oracle? Model Klausel - Der Excel-Killer von Oracle? Andrea Kennel Trivadis AG Glattbrugg, Schweiz Schlüsselworte: Model Klausel, SQL, Data Warehousing, OLAP Zusammenfassung Ein Data Mart kann als ein Würfel mit

Mehr

27 Transact-SQL-Erweiterungen in Bezug auf Analysis Services

27 Transact-SQL-Erweiterungen in Bezug auf Analysis Services 531 27 Transact-SQL-Erweiterungen in Bezug auf Analysis Services Im zweiten Teil dieses Buches haben wir die Eigenschaften der Transact-SQL- Sprache in Bezug auf die Bearbeitung von operativen Daten gezeigt.

Mehr

Aufbau Datenbanksysteme

Aufbau Datenbanksysteme Aufbau Datenbanksysteme Lehrveranstaltung Datenbanktechnologien Prof. Dr. Ingo Claßen Prof. Dr. Martin Kempa Hochschule für Technik und Wirtschaft Berlin Speichersystem c Ingo Claßen, Martin Kempa Softwarearchitektur

Mehr

OLTP: Online Transaction Processing

OLTP: Online Transaction Processing Moderne Betriebliche Anwendungen von Datenbanksystemen Online Transaction Processing (bisheriger Fokus) Data Warehouse-Anwendungen Data Mining OLTP: Online Transaction Processing Beispiele Flugbuchungssystem

Mehr