Datenbankunterstützung für Data-Warehouse-Systeme

Größe: px
Ab Seite anzeigen:

Download "Datenbankunterstützung für Data-Warehouse-Systeme"

Transkript

1 Datenbankunterstützung für Data-Warehouse-Systeme Von statistischen Datenbanken zum KDD Technische Universität Dresden Fakultät für Informatik Institut für Systemarchitektur Professur für Datenbanksysteme Wolfgang Lehner DB-Stammtisch,

2 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Von statistischen Datenbanken zum KDD 2

3 1 EINLEITUNG: HISTORIE UND ANWENDUNGEN Statische Auswertung empirisch erfasster Massendaten erste erfolgreiche Anwendung von Datenverarbeitungsanlagen 1890 Geburtsstunde rechnergestützte Auswertung der amerikanischen und österreichischen Volkszählungsdaten Verwendung von Hollerith-Maschinen bis in die 50er Jahre Dominanz der elektromechanischen Lochkartenmaschine (Bull, 1925) weitere Meilensteine Transistortechnologie (v. Neumann-Konzept!) Magnettrommelspeicher (Billing & Booth, 1947) Magnetband im Mark III (Aiken)... zukünftige Entwicklungen... Einleitung: Historie und Anwendungen 3

4 Datenbankgestützte Auswertung von Massendaten... von statistischen Datenbanken zu Data-Warehouse-Systemen 1970: Codd stellt das relationale Datenmodell vor st SIGMOD-Datenbankkonferenz, San Jose (CA) 1st VLDB-Konferenz, Framingham (MA) 1981: 1st LBL Workshop on Statistical Database Management, Melno Park (CA) SSDB Auswertung wissenschaftlicher Datenbestände Zensusdaten Betriebswirtschaftliche Kennzahlen MIS / EIS / Reporting / : Definition: Data-Warehouse-System von W.H. Inmon 200x: Datenbankbasierte Infrastruktur für Integration und Analyse Einleitung: Historie und Anwendungen 4

5 Typische SSDB-/Data-Warehouse-Anwendungen Palomar Observatory Sky Survey Projekt 3 Terabyte Bilddaten schätzungsweise 2 Milliarden astronomisch relevante Objekte Auswertung: SKICAT (http://www-aig.jpl.nasa.gov/public/mls/skicat/skicat_home.html) Bildsegmentierung und Feature-Belegung (40 Attribute) Klassifikation von Objekten (Sterne bzw. Galaxien) NASA Earth Observing System (EOS) 1,9 TeraByte Datenvolumen pro Tag (10 PetaByte Gesamtvolumen) Erfassungszeitraum: 15 Jahre nur 10% des Datenmaterials wird analysiert Echtzeit-Übernahme des Messdatenstroms (51 MegaBit/sec bzw. 553 GigaByte pro Tag) jährlich ca Benutzer der EOS-Datenbank mittlere Objektgröße als Resultat einer Anfrage: 10 MegaByte Einleitung: Historie und Anwendungen 5

6 Betriebswirtschaftlicher Bereich Woolworth 800 Filialen, Produkte, Angestellte 300 Millionen Kundentransaktionen / Jahr zwischen parallele Benutzer des DWS Zentrales DHW integriert 20 operative Systeme (Verkaufszahlen, Lagerverwaltung, Planungsinstrumente,...) enormer Integrationsaufwand BMW-Group Angestellte, 40Mrd. Euro Umsatz zweistufige IT-Infrastruktur Zentrale IT pflegt seit 20 Jahren UWDM Resort-IT-Projekte müssen sich gegenüber dem UWDM abgleichen minimaler Integrationsaufwand beim Aufbau eines zentralen DWS Einleitung: Historie und Anwendungen 6

7 Klassisch statistischer Bereich GfK Nürnberg Gesellschaft für Absatz, Markt- und Konsumforschung weltweit tätig, Marktführerschaft in Europa, Kooperationen in USA und Asien TV-Einschaltquotenermittlung, Außenwerbung, Regionalforschung, Ad-Hoc- Marktforschung, Konsumentenverhalten DWH im Bereich Non-food betrachtete Artikel, 8000 Geschäfte in Deutschland (15 Kanäle, 50 Regionen) wöchentliche/monatliche Berichtsperiodizität Aufzeichnung aller Abverkäufe von Gebrauchs- und Konsumartikel Datenbestand online: 5 Jahre für Trendanalyse Beispiel IMS Health erfasst seit 1969 alle in Apotheken eingelösten (Kassen-) Rezepte Identifikation von Arzneimitteln und verschreibenden Arzt Klassifikation nach geographischen Aspekten, Fachrichtungen, Wirkstoffen Kunden: überwiegend Pharmafirmen Einleitung: Historie und Anwendungen 7

8 Methoden im Bereich der statistischen Datenanalyse Integration Analyse Extraktion Reporting,... Business Intelligence Transformation Schemaanpassung Datenanpassung gemeinsame Datenbasis - logisch konsistent - physisch optimiert OLAP Data Mining Knowledge Discovery Laden... Data-Warehouse-Systeme Einleitung: Historie und Anwendungen 8

9 Versuch einer Definition... nach W.H. Inmon A Data Warehouse is a subject-oriented, integrated, time-varying, non-volatile collection of data in support of the management's decision-making process.... nach Fayyad, Piatetsky-Shapiro & Smyth 1996 Knowledge Discovery in Databanken (KDD) ist der Prozess der (semi-) automatischen Extraktion von Wissen aus Datenbanken, das gültig, bisher unbekannt und potentiell nützlich ist. Data Mining ist die Anwendung effizienter Algorithmen, die die in einer Datenbank enthaltenen Muster liefern. Vorgehensmodelle... Daten Vorverarbeitung Fokussieren Selektion Zieldaten Transformation vorverarbeitete Daten Data Mining transformierte Daten Interpretation Evaluation Muster Wissen Einleitung: Historie und Anwendungen 9

10 Anforderungen an das Datenbanksystem Erweiterung der Anfragesprache Data Mining Komplexität der Anwendung OLAP Reporting,... Integration von Funktionalität in das DBS SQL Datenbankverwaltungssystem Datenbank Interne Unterstützung/ Optimierung Datenbanksystem Einleitung: Historie und Anwendungen 10

11 Gründe für den Einsatz von Datenbanksystemen Konsistenzerhaltung der Datenbasis strukturelle Konsistenz Widerspruchsfreiheit: logische und physische Konsistenz Vermeidung redundanter Daten (keine privaten / lokale abgelegten) Daten operationale Konsistenz Transaktionenkonzept Effizienz Unterstützung bei der Suche nach abgelegten Daten Deskriptive Formulierung von Anfragen Fehlertoleranz Synchronisation im Mehrbenutzerbetrieb Abfangen von System-, Geräte- und Medienfehler Einleitung: Historie und Anwendungen 11

12 Gründe für den Einsatz von Datenbanksystemen (2) Integrationswerkzeug ANSI/SPARC 3-Schema-Schichtenarchitektur Anwendungen Externe Schemata Datenneutralität Transformation Konzeptionelles Schema Datenunabhängigkeit... Interne Schemata Speichermedien Einleitung: Historie und Anwendungen 12

13 Komponenten eines Data-Warehouse-Systems Externe Schemata Konzept. Schema Metadaten-Repositorium Interne Aktualisierung Interne Aktualisierung Dispositive Datenbasis Detaildaten Data-Warehouse-System Data-Mart-Datenbasen Summendaten Bereich zur Datenanalyse Bereich zur Datenbereitstellung ANSI SPARC 3-Schema- Schichtenarchitektur! Konsolidierte Datenbasis Bereich zur Datenkonsolidierung Operational- Data-Store- Systeme Interne Aktualisierung Externe Aktualisierung Interne Schemata Basisdaten Transformation Bereich zur Datenbeschaffung und Transformation Externe Aktualisierung Externe Aktualisierung Quellsysteme Einleitung: Historie und Anwendungen 13

14 Data-Warehouse-System als Integrationsplattform Externe Schemata Konzeptionelles Schema Externe Schemata Externe Schemata Data-Mart- Schema... Data-Mart- Schema Externe Schemata Externe Data-Warehouse- Schemata Interne Schemata... Externe Schemata Externe Schemata Partielle Schemaintegration Analyseschema Basisschema Schematranslation Schematranslation Konzeptionelles Data-Warehouse- Schema... Extraktionsschema Extraktionsschema ODS- Schema Extraktionsschema Data-Staging- Schema Datenextraktion... Interne Data-Warehouse- Schemata Schemaextraktion Lokales konzeptionelles Quellenschema Lokale interne Quellenschemata Lokales konzeptionelles Quellenschema Lokale interne Quellenschemata Einleitung: Historie und Anwendungen 14

15 Eigenschaften eines Data-Warehouse-Systems Auswertungsorientierte Organisation der Daten Fachorientierung (engl. subject orientation) Modellierung eines spezifischen Anwendungsziels Integration von Daten aus unterschiedlichen Quellsystem Integrierte Datenbasis (engl. integration) Integration auf struktureller Ebene und Datenebene mehrerer Datenbanken Keine Aktualisierung durch den Benutzer Nicht flüchtige Datenbasis (engl. non-volatile) Stabile Datenbasis; einmal eingebrachte Daten werden nicht mehr entfernt oder geändert, nur lesender Zugriff (Optionale Historisierung mit expliziter temporaler Modellunterstützung) Historische Daten (engl. time variance) Daten werden über einen längeren Zeitraum gehalten Einleitung: Historie und Anwendungen 15

16 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Einleitung: Historie und Anwendungen 16

17 2 MULTIDIMENSIONALE ANALYSE Ausgangspunkt für OLAP (OnLine Analytical Processing) Komplex Strukturierte Statistische Tabelle Direkte Abbildung auf multidimensionale Datenwürfel Verkäufe Sony JVC Grundig Σ Supermarkt Fachmarkt Einzelhandel Σ Supermarkt Fachmarkt Einzelhandel Σ Süddeutschland Norddeutschland Σ Statistische Tabelle Multidimensionaler Datenwürfel Sony JVC Grundig Super- 139 markt 118 Fach- 208 markt 164 Einzel- 154 handel 121 Süddeutschland Norddeutschland Multidimensionale Analyse 17

18 Eigenschaften der multidimensionalen Modellierung Eigenschaften Verallgemeinerung der flachen Tabelle eines relationalen Ansatzes Inhärente Unterscheidung quantifizierender und qualifizierender Attribute Land Region Stadt Produkte Jahr Monat Tag Abbildung komplex strukturierter Begriffswelten in Form hierarchischer Dimensionsstrukturen Spezifische Operatoren zur Unterstützung des explorativen Charakters Gebiet Gruppe Familie Artikel Zeit Geographie Menge Preis Instanz eines Datenwürfels alle Würfelzellen aus dem Definitionsbereich des Datenwürfels nicht Teilmenge wie im relationalen Modell! Achtung: Würfel ist nur eine Metapher! Multidimensionale Analyse 18

19 Operatoren im Multidimensionalen Modell Slice and Dice Selektion eines Teilwürfels Roll Up / Drill-Down Aggregation / De-Aggregation Multidimensionale Analyse 19

20 Umsetzung des multidimensionalen Datenmodells MOLAP-Ansatz Client ROLAP-Ansatz Client HOLAP-Ansatz Client Präsentation Präsentation Präsentation Server OLAP Interface Server Server MDDB Anwendungslogik und multidimensionale Datenhaltung (MDDB) OLAP-Server RDBMS relationale Datenhaltung OLAP-Server RDBMS relationale Datenhaltung Multidimensionale Analyse 20

21 Vergleich der Datenbankentwurfstechniken Anforderungsanalyse Konzeptioneller DB-Entwurf Logischer DB-Entwurf Physischer DB-Entwurf Konzeptionelles Schema (unabhängig vom Zieldatenmodell) Logisches Schema (in konkretem Datenmodell) Internes Schema (in konkretem Datenbanksystem) Klassisch relationaler DB-Entwurf Varianten der Entity-Relationship- Methode Relationen mit Attributen Speicherorganisation (Primär- und Sekundärindexe, Partitionierung,...) Multidimensionaler DB-Entwurf diverse Entwurfsnotationen (me/r, muml,...) - Datenwürfel mit Summenattributen: - Fakten und Kennzahlen Dimensionshierarchien mit Kategorieattributen: - Relationale Speicherorganisation (ROLAP) - Multidimensionale Speicherorganisation (MOLAP) Multidimensionale Analyse 21

22 Relationale Abbildung Star-Schema Zentrale Faktentabelle kompositer Primärschlüssel aus den Dimensionen - eindeutige Kennzeichnung der Fakten wenige Spalten - viele Tupel (Millionen - Milliarden Tupel) Dimensionstabellen viele Spalten, da Strukturdaten PART PartKey Brand MFGR Type Size... 1 SuppKey Name Nation... 1 LINEITEM OrderKey N PartKey N SuppKey Quantity LineStatus ShipMode N Faktentabelle 1 ORDERS OrderKey OrderStatus OrderDate Name Address Nation Region... relativ wenig Tupel (weniger als 10% der Fact-Table) SUPPLIER Snowflake- Schema normalisierte Dimensionstabellen LINEITEM OrderKey N PartKey SuppKey Quantity LineStatus ShipMode... Faktentabelle 1 ORDERS OrderKey CustKey N OrderStatus OrderDate... 1 CUSTOMER CustKey Name Address NationKey Phone... N NATION NationKey Name RegionKey Comment normalisierte Auftragsdimension 1 N 1 REGION RegionKey Name Comment Multidimensionale Analyse 22

23 Unterstützung vom Datenbanksystem: CUBE-Operator Sony JVC Grundig Verkäufe( Region Geschäftstyp Marke Verkäufe) Norddeutschland Supermarkt Sony 12 Norddeutschland Supermarkt JVC 48 Norddeutschland Supermarkt Grundig 58 Norddeutschland Fachmarkt Sony 31 Norddeutschland Fachmarkt JVC 67 Norddeutschland Fachmarkt Grundig 66 Norddeutschland Einzelhandel Sony 15 Norddeutschland Einzelhandel JVC 55 Norddeutschland Einzelhandel Grundig 51 Süddeutschland Supermarkt Sony 22 Süddeutschland Supermarkt JVC 50 Süddeutschland Supermarkt Grundig 67 Süddeutschland Fachmarkt Sony Super- 139 markt 118 Fach- 208 markt 164 Einzel- 154 handel 121 Süddeutschland Norddeutschland Anwendung des CUBE-Operators Verkäufe( Region Geschäftstyp Marke Verkäufe) Norddeutschland Supermarkt Sony 12 Norddeutschland Supermarkt JVC 48 Norddeutschland Supermarkt Grundig 58 Norddeutschland Supermarkt ALL 118 Norddeutschland Fachmarkt Sony 31 Norddeutschland Fachmarkt JVC 67 Norddeutschland Fachmarkt Grundig 66 Norddeutschland Fachmarkt ALL 164 Norddeutschland Einzelhandel Sony 15 Norddeutschland Einzelhandel JVC 55 Norddeutschland Einzelhandel Grundig 51 Norddeutschland Einzelhandel ALL 121 Norddeutschland ALL ALL 403 Süddeutschland Supermarkt Sony Süddeutschland ALL ALL 501 ALL Supermarkt Sony 34 ALL Supermarkt JVC 98 ALL Supermarkt Grundig 155 ALL Supermarkt ALL 257 ALL Fachmarkt Sony ALL ALL Sony 172 ALL ALL JVC 382 ALL ALL Grundig 350 ALL ALL ALL 904 Multidimensionale Analyse 23

24 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Multidimensionale Analyse 24

25 3 ASSOZIATIONSREGELN Ziel Beschreibung häufig auftretender und starker Zusammenhänge in Datenbanken Beispiel Warenkorbanalyse: Einkäufe im Supermarkt {Mehl, Eier} {Butter} allgemein: X Y, wobei X Y = Einschränkung: X Y hat mindestens Support s min und Konfidenz c min Terminologie Transaktion: Menge von Datenobjekten (items), die zusammen auftreten Support der Menge X Prozentsatz der Transaktionen, die X enhalten frequent item set : supp(x) > s min Support s einer Assoziationsregel X Y relative Häufigkeit des gemeinsamen Auftretens aller in der Regel vorkommenden Datenobjekte (Support von X Y) Konfidenz c einer Assoziationsregel X Y c% aller Transaktionen, die X enthalten, enthalten auch Y Assoziationsregeln 25

26 Bestimmung von Assoziationsregeln Beispiel Bestimmung des Supports (A): 75% (B), (C): 50% (D), (E), (F): 25% (A, C): 50% (A, B), (A, D), (B, C), (B, E), (B, F), (E, F): 25% Bestimmung von Assoziationsregeln, deren Support und Konfidenz größer als vorgegebene Schranken sind A C (Support = 50%, Konfidenz = 66.6%) Lfd Nr. Objekte 1 A,B,C 2 A,C 3 A,D 4 B,E,F s min = 50% c min = 50% A C C A (Support = 50%, Konfidenz = 100%) Naiver Ansatz Generierung aller und nachträgliche Eliminierung schwacher Regeln Assoziationsregeln 26

27 Apriori-Ansatz Auffinden aller häufig auftretenden Itemsets Beobachtung (Monotonie-Eigenschaft) Jede Teilmenge eines häufig auftretenden Itemsets ist selbst auch häufig Folgerung Nur Test von Itemsets der Größe k, die durch häufig auftretende Itemsets der Größe k-1 gebildet werden können Bildung von Assoziationsregeln für alle häufig auftretende Itemsets X Beobachtung für jede Teilmenge A X besitzt die Regel A (X A) minimalen Support Folgerung Betrachtung aller möglichen Teilmengen Bestimmung der Konfidenz: conf(a (X A)) := Datenbankunterstützung? supp( X) supp( A) Assoziationsregeln 27

28 Unterstützung durch Datenbanksysteme... eigentlich: Fehlanzeige!!! Nutzung von OLAP-Operatoren, z.b. CUBE()-Operator CUBE(A, B, C) Problem Generierung ALLER möglichen Kombinationen Explosion bei Vielzahl von Artikeln z.b. Woolworth mit Artikel -> Kombinationen CUBE(A) CUBE(A, B) Assoziationsregeln 28

29 Unterstützung durch Datenbanksysteme... eigentlich: Fehlanzeige!!! Nutzung von OLAP-Operatoren, z.b. CUBE()-Operator Problem Generierung ALLER möglichen Kombinationen Explosion bei Vielzahl von Artikeln z.b. Woolworth mit Artikel -> Kombinationen SQL-Erweiterung CUBE(A, B, C) GROUPING COMBINATIONS((A, B, C),2) GROUPING COMBINATIONS() d k Generierung aller Gruppierungskombinationen interne Selektionsmöglichkeit hinsichtlich Support interne Optimierung der Berechnung Assoziationsregeln 29

30 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Assoziationsregeln 30

31 4 CLUSTER-SUCHE Problem Auffinden von Häufungen im multidimensionalen Datenraum Ziel des Clustering Identifikation einer endlichen Menge von Kategorien/Klassen (Clustern) Objekte im gleichen Cluster sind möglichst ähnlich zueinander Objekte aus verschiedenen Clustern sind möglichst unähnlich zueinander notwendig: Distanzfunktion / Metrik Für Datensätze x = (x 1,..., x d ) mit numerischen Attributswerten x i Cluster-Suche 31

32 Klassen von Clusterverfahren Partionierende Verfahren Konstruktion zentraler Punkte (Centroide) / repräsentativer Punkte (Medoide) Schlechtes Clustering Optimales Clustering 5 x x 5 x x 5 1 x x Mittelwerte 1 x x Mittelwerte Schlechtes Clustering Optimales Clustering 1 5 Medoide Medoide Hierarchische Verfahren Erstellung von Dendogrammen Cluster-Suche 32

33 Klassen von Clusterverfahren Dichtebasiertes Clustering Erreichbarkeit / Verbundenheit innerhalb einer ε-umgebung Dichteschätzungsbasierte Verfahren Anwendung einer Kern-Funktion und Bestimmung der Dichte Suche nach attraktiven Punkten x*: f D (x*) > ξ Datenmenge Kern Funktion Dichte Funktion Cluster-Suche 33

34 Eigenschaften Vorteil dichtebasierter Verfahren Trennung von Dichteschätzung und Clusterermittlung Cluster-Algorithmus Dichteschätzung Cluster-Analyse Ergebnis Dichteschätzung... basierend auf Histogrammen... basierend auf Repräsentanten Unterstützung durch Datenbanksysteme??? Cluster-Suche 34

35 Probleme in hochdimensionalen Datenräumen Beobachtung Qualität der Dichteschätzung nimmt mir zunehmender Dimensionalität ab Idee Clustersuche in niedrig-dimensionalen Teilräumen DB-Unterstützung? GROUPING COMBINATIONS()-Operator generiert alle k-dimensionalen Teilräume eines n-dimensionalen Raum Nutzung von Assoziationsregeln, um Cluster im hochdimensionalen Raum zu identifizieren DB-Unterstützung? GROUPING COMBINATIONS()-Operator generiert alle häufigen Itemsets zur Berechnung der Assoziationsregeln Cluster-Suche 35

36 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Regelsuche MatViews Cluster-Suche Cluster-Suche 36

37 5 DATENBANKOPTIMIERUNG Aufgabe der Anfrageverarbeitung korrekte und möglichst effiziente Abarbeitung der Anfrage zu planen Initiierung der tatsächlichen Ausführung Lese-Anweisungen (SELECT) Modifikationsansweisungen (INSERT, UPDATE, DELETE, ref. Integritäten) Übersicht der Anfrageverarbeitung Anfrageoptimierung Anfrage Interndarstellung Zugriffs- & Integritätskontrolle Anfragerestrukturierung Anfragetransformation Logischer DB-Prozessor (Anfrageprozessor) Anfrageausführungsplan (QEP) Übersetzungszeit Laufzeit Ergebnis Ausführungskontrolle & Ergebnisbereitstellung Code- erzeugung Planparametrierung Physischer DB-Prozessor (Anfrageauswertungssystem) Datenbankoptimierung 37

38 Rahmenmodell für logische Zugriffspfade Externe Schemata Ebene der Basisdaten R 1 R 2 Konzeptionelles Schema Ebene der Materialisierung MV 1 MV 2 Interne Schemata... Ebene der Partitionierung P 1 1 P 1 2 P 1 3 logische Zugriffspfade Ebene der Indexstrukturen B*-Baum Grid-File HeaderkB-Baum Compression R*-Baum UB-Baum physische Zugriffspfade Datenbankoptimierung Bestandteil des konzeptionellen Schemas Bestandteil des internen Schemas 38

39 Idee der Materialisierten Sichten Beobachtung statistische Anfragen folgen bestimmten Mustern (Star-Queries) (partielle) Vorberechnung zur Ladezeit -> einmalig! transparente Nutzung zur Anfragezeit -> vielfach! Query SELECT P.Group, L.State, SUM(F.Sales) FROM Fact_Sales F NATURAL JOIN Product P NATURAL JOIN Location L WHERE L.Country = "France GROUP BY P.Group, L.State; Zentrale Probleme Transparentes Query-ReRouting (analog zur Index-Nutzung) Synchronisierung mit Änderungen der Basisdaten Auswahl von zu materialisierenden Sichten Summary Table CREATE TABLE Fact_Sales_View AS ( SELECT P.Family, L.City, T.Year, SUM(F.Sales), COUNT(F.Sales) FROM Fact_Sales F NATURAL JOIN Product P NATURAL JOIN Location L NATURAL JOIN Time T GROUP BY P.Family, L.City, T.Year); Datenbankoptimierung 39

40 Beispiel zur transparenten Nutzung von Vorberechnungen SELECT prodid, SUM(sales) FROM fact GROUP BY prodid; CREATE TABLE ast2 AS ( SELECT prodid, SUM(sales) AS sum_sales, COUNT(*) AS cnt FROM fact GROUP BY prodid) data initially deferred refresh immediate; Datenbankoptimierung 40

41 Beispiel zur transparenten Nutzung von Vorberechnungen (2) SELECT city, brand, group FROM fact f, products p, shops s WHERE f.shopid = s.shopid AND f.prodid = p.prodid GROUP BY city, brand, group; CREATE table ast1 AS ( SELECT city, state, country, familiy, group, area, color, brand FROM fact f, products p, shops s WHERE f.shopid = s.shopid AND f.prodid = p.prodid GROUP BY ROLLUP(country, state, city), ROLLUP(area, group, familiy), CUBE(brand, color)) data initially deferred refresh immediate; Datenbankoptimierung 41

42 Beispiel zur transparenten Nutzung von Vorberechnungen (3) a) Anfrageausführungsplan ohne materialisierte Summendaten Geschätzte Kostenreduktion: ca. 90% b) Anfrageausführungsplan mit materialisierten Summendaten Datenbankoptimierung 42

43 6 ZUSAMMENFASSUNG Data-Warehouse-Systeme Rahmenmodell für die Integration heterogener / operativ betriebender Datenbanken Umfassende Auswertung lokal abgelegter Datenbestände Methoden der Datenanalyse Multidimensionale Analyse Assoziationsregeln Bestimmung von Cluster Anforderungen an Datenbanktechnik Speicherung & Auswertung großer Datenbestände Zentrale Frage Wieviel spezifische Funktionalität geht in das Datenbanksystem Was sind erweiterte Datenbankoperatoren Interne Realisierung Zusammenfassung 43

Datenbankbasierte Analyse empirisch erfasster Massendaten

Datenbankbasierte Analyse empirisch erfasster Massendaten Datenbankbasierte Analyse empirisch erfasster Massendaten Von statistischen Datenbanken zum KDD Technische Universität Dresden Fakultät für Informatik Institut für Systemarchitektur Professur für Datenbanksysteme

Mehr

Seminar im Sommersemester 2004 an der Universität Karlsruhe (TH)

Seminar im Sommersemester 2004 an der Universität Karlsruhe (TH) Seminar im Sommersemester 2004 an der Universität Karlsruhe (TH) Verteilung und Integration von Informationen im Verkehrsbereich Thema: OLAP in verteilten Data-Warehouse- Umgebungen Vortrag: Christian

Mehr

OLAP und Data Warehouses

OLAP und Data Warehouses OLP und Data Warehouses Überblick Monitoring & dministration Externe Quellen Operative Datenbanken Extraktion Transformation Laden Metadaten- Repository Data Warehouse OLP-Server nalyse Query/Reporting

Mehr

Data Warehouse Technologien

Data Warehouse Technologien Veit Köppen Gunter Saake Kai-Uwe Sattler Data Warehouse Technologien Inhaltsverzeichnis Inhaltsverzeichnis vii 1 Einführung in Data-Warehouse-Systeme 1 1.1 Anwendungsszenario Getränkemarkt...............

Mehr

Datenbanktechnologie für Data-Warehouse-Systeme

Datenbanktechnologie für Data-Warehouse-Systeme Wolfgang Lehner Datenbanktechnologie für Data-Warehouse-Systeme Konzepte und Methoden dpunkt.verlag 1 1.1 1.2 1.3 1.4 1. 5 2 2.1 2.2 2.3 Einleitung 1 Betriebswirtschaftlicher Ursprung des Data Warehousing...

Mehr

Veit Köppen Gunter Saake Kai-Uwe Sattler. 2. Auflage. Data Warehouse Technologien

Veit Köppen Gunter Saake Kai-Uwe Sattler. 2. Auflage. Data Warehouse Technologien Veit Köppen Gunter Saake Kai-Uwe Sattler 2. Auflage Data Warehouse Technologien Inhaltsverzeichnis Inhaltsverzeichnis ix 1 Einführung in Data-Warehouse-Systeme 1 1.1 Anwendungsszenario Getränkemarkt...

Mehr

Einführungsveranstaltung: Data Warehouse

Einführungsveranstaltung: Data Warehouse Einführungsveranstaltung: 1 Anwendungsbeispiele Berichtswesen Analyse Planung Forecasting/Prognose Darstellung/Analyse von Zeitreihen Performancevergleiche (z.b. zwischen Organisationseinheiten) Monitoring

Mehr

Seminar Business Intelligence Teil II. Data Mining & Knowledge Discovery

Seminar Business Intelligence Teil II. Data Mining & Knowledge Discovery Seminar Business Intelligence Teil II Data Mining & Knowledge Discovery Was ist Data Mining? Sabine Queckbörner Was ist Data Mining? Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht?

Mehr

Das Multidimensionale Datenmodell

Das Multidimensionale Datenmodell Das Multidimensionale Datenmodell Konzeptuelle Modellierung Umsetzung des Modells Beispiel ER-Modell 2 / 36 Probleme ER-Modellierung Keine Unterscheidung Klassifikation, Attribute, Kenngrößen Dimension

Mehr

Einführung relationale Datenbanken. Themenblock: Erstellung eines Cube. Schlüssel. Relationenmodell Relationenname Attribut. Problem.

Einführung relationale Datenbanken. Themenblock: Erstellung eines Cube. Schlüssel. Relationenmodell Relationenname Attribut. Problem. Themenblock: Erstellung eines Cube Einführung relationale Datenbanken Problem Verwaltung großer Mengen von Daten Praktikum: Data Warehousing und Data Mining Idee Speicherung der Daten in Form von Tabellen

Mehr

Themenblock: Erstellung eines Cube

Themenblock: Erstellung eines Cube Themenblock: Erstellung eines Cube Praktikum: Data Warehousing und Data Mining Einführung relationale Datenbanken Problem Verwaltung großer Mengen von Daten Idee Speicherung der Daten in Form von Tabellen

Mehr

Data Warehousing. Fragen des Marketingleiters. Beispiel: : Amazon. Technisch... Amazon weltweit... Datenbank. Aufbau eines DWH OLAP <-> OLTP Datacube

Data Warehousing. Fragen des Marketingleiters. Beispiel: : Amazon. Technisch... Amazon weltweit... Datenbank. Aufbau eines DWH OLAP <-> OLTP Datacube Fragen des Marketingleiters Data Warehousing Wie viele Bestellungen haben wir jeweils im Monat vor Weihnachten, aufgeschlüsselt nach? Aufbau eines DWH OLAP OLTP Datacube Beispiel: : Amazon Technisch

Mehr

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH Einführung in OLAP und Business Analysis Gunther Popp dc soft GmbH Überblick Wozu Business Analysis mit OLAP? OLAP Grundlagen Endlich... Technischer Background Microsoft SQL 7 & OLAP Services Folie 2 -

Mehr

Kapitel 6 Einführung in Data Warehouses

Kapitel 6 Einführung in Data Warehouses Kapitel 6 Einführung in Data Warehouses Skript zur Vorlesung: Datenbanksysteme II Sommersemester 2008, LMU München 2008 Dr. Peer Kröger Dieses Skript basiert zu einem Teil auf dem Skript zur Vorlesung

Mehr

Vorwort zur 5. Auflage... 15 Über den Autor... 16

Vorwort zur 5. Auflage... 15 Über den Autor... 16 Vorwort zur 5. Auflage...................................... 15 Über den Autor............................................ 16 Teil I Grundlagen.............................................. 17 1 Einführung

Mehr

Kapitel 2 Terminologie und Definition

Kapitel 2 Terminologie und Definition Kapitel 2 Terminologie und Definition In zahlreichen Publikationen und Fachzeitschriften tauchen die Begriffe Data Warehouse, Data Warehousing, Data-Warehouse-System, Metadaten, Dimension, multidimensionale

Mehr

Frühjahrsemester 2011. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil

Frühjahrsemester 2011. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil Frühjahrsemester Data Warehousing Kapitel 5: Data Warehousing H. Schuldt Wiederholung aus Kapitel 5. Einführung Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Anfragen: Welches

Mehr

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 MIS Glossar by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 Aggregat Data Cube Data Marts Data Mining Data Warehouse (DWH) Daten Decision Support Systeme (DSS)

Mehr

Data Warehousing und Data Mining

Data Warehousing und Data Mining 2 Data Warehousing und Data Mining Kapitel 1: Data-Warehousing-Architektur von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser Umsatz im Vergleich zum letzten Jahr? In welchen Regionen

Mehr

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Ein Data-Warehouse bzw. Datenlager ist eine zentrale Datensammlung (meist eine Datenbank), deren Inhalt sich aus Daten unterschiedlicher

Mehr

Data Warehouse Technologien

Data Warehouse Technologien mitp Professional Data Warehouse Technologien von Veit Köppen, Gunter Saake, Kai-Uwe Sattler 2. Auflage 2014 Data Warehouse Technologien Köppen / Saake / Sattler schnell und portofrei erhältlich bei beck-shop.de

Mehr

Einführung. Informationssystem als Abbild der realen Welt

Einführung. Informationssystem als Abbild der realen Welt Was ist ein Datenbanksystem? Anwendungsgrundsätze Betrieb von Datenbanksystemen Entwicklung von Datenbanksystemen Seite 1 Informationssystem als Abbild der realen Welt Modellierung (Abstraktion) Sachverhalte

Mehr

Data Warehouse Grundlagen

Data Warehouse Grundlagen Seminarunterlage Version: 2.10 Version 2.10 vom 24. Juli 2015 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen

Mehr

2 Datenbanksysteme, Datenbankanwendungen und Middleware... 45

2 Datenbanksysteme, Datenbankanwendungen und Middleware... 45 Vorwort 15 Teil I Grundlagen 19 i Einführung In das Thema Datenbanken 21 I.I Warum ist Datenbankdesign wichtig? 26 i.2 Dateisystem und Datenbanken 28 1.2.1 Historische Wurzeln 29 1.2.2 Probleme bei der

Mehr

Multidimensionale Datenbanksysteme

Multidimensionale Datenbanksysteme Multidimensionale Datenbanksysteme Modellierung und Verarbeitung Von Dr.-Ing. Wolfgang Lehner IBM Almaden Research Center, San Jose, USA Technische Universität Darrr:ctadi FACHBEREICH INFORMATIK BIBLIOTHEK

Mehr

Frühjahrsemester 2010. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil

Frühjahrsemester 2010. Data Warehousing Kapitel 5: Data Warehousing. H. Schuldt. 5.1 Einführung. Filiale Allschwil Frühjahrsemester Data Warehousing Kapitel 5: Data Warehousing H. Schuldt Wiederholung aus Kapitel 5. Einführung Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale Liestal Anfragen: Welches

Mehr

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 17 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining opera- tionale DB opera- tionale DB opera- tionale DB Data Warehouse

Mehr

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P Index- und Zugriffsstrukturen für Data Warehousing Holger Brämer, 05IND-P Index- und Zugriffstrukturen für Data Warehousing Materialisierte Sichten Bitmap-Indexe Verbundindexe Materialisierte Sichten gehören

Mehr

Data-Warehouse-Technologien

Data-Warehouse-Technologien Data-Warehouse-Technologien Prof. Dr.-Ing. Kai-Uwe Sattler 1 Prof. Dr. Gunter Saake 2 1 TU Ilmenau FG Datenbanken & Informationssysteme 2 Universität Magdeburg Institut für Technische und Betriebliche

Mehr

Data-Warehouse-Systeme

Data-Warehouse-Systeme Vorlesung im Wintersemester 2008/09 Data-Warehouse-Systeme Dr. Stefanie Rinderle-Ma Institut für Datenbanken und Informationssysteme Universität Ulm stefanie.rinderle@uni-ulm.de Übersicht 1) Einführung

Mehr

Agenda. Themenblock: Data Warehousing (I) Referenzarchitektur. Eigenschaften eines Data Warehouse. Einführung Data Warehouse Data Access mit SQL

Agenda. Themenblock: Data Warehousing (I) Referenzarchitektur. Eigenschaften eines Data Warehouse. Einführung Data Warehouse Data Access mit SQL Themenblock: Data Warehousing (I) Praktikum: Data Warehousing und Data Mining 2 Eigenschaften eines Data Warehouse Referenzarchitektur Integrierte Sicht auf beliebige Daten aus verschieden Datenbanken

Mehr

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen (Folien von A. Kemper zum Buch 'Datenbanksysteme') Online Transaction Processing Betriebswirtschaftliche Standard- Software (SAP

Mehr

fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien

fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien Einführung Gegenstand der Vorlesung fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien Datenvolumen (effiziente Speicherung

Mehr

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung Ermittlung von Assoziationsregeln aus großen Datenmengen Zielsetzung Entscheidungsträger verwenden heutzutage immer häufiger moderne Technologien zur Lösung betriebswirtschaftlicher Problemstellungen.

Mehr

Objektorientierte Datenbanken

Objektorientierte Datenbanken OODB 11 Slide 1 Objektorientierte Datenbanken Vorlesung 11 vom 01.07.2004 Dr. Sebastian Iwanowski FH Wedel OODB 11 Slide 2 Inhalt heute: Datenbanken in betriebswirtschaftlichen Anwendungen OTLP (SAP) Data

Mehr

Einsatz von Datenbanken im Forschungslabor. Workflow und Data Mining

Einsatz von Datenbanken im Forschungslabor. Workflow und Data Mining Einsatz von Datenbanken im Forschungslabor Friedrich-Alexander-Universität Erlangen-Nürnberg Technische Fakultät, Institut für Informatik Lehrstuhl für Informatik 6 (Datenbanksysteme) Datenbanken weshalb?

Mehr

Oracle Datenbank / Ubuntu

Oracle Datenbank / Ubuntu Oracle Datenbank / Ubuntu Sebastian Gath & Hannes Schwarz Seminar Database Tuning & Administration Universität Konstanz - SS 2007 Administration Vorbereitung Zeitmessung Erste Zeitmessung 2 Ausgangssituation

Mehr

Vorwort zur zweiten Auflage...V. Vorwort zur ersten Auflage... VIII

Vorwort zur zweiten Auflage...V. Vorwort zur ersten Auflage... VIII Vorwort zur zweiten Auflage...V Vorwort zur ersten Auflage... VIII 1 Management Support Systeme und Business Intelligence Anwendungssysteme zur Unterstützung von Managementaufgaben...1 1.1 Computergestützte

Mehr

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik Data Warehousing Sommersemester 2005 Ulf Leser Wissensmanagement in der Bioinformatik ... Der typische Walmart Kaufagent verwendet täglich mächtige Data Mining Werkzeuge, um die Daten der 300 Terabyte

Mehr

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY Data Cube On-line Analytical Processing (OLAP). Einführung Ziel: Auffinden interessanter Muster in großen Datenmengen 2. Aggregation in SQL, GROUP BY 3. Probleme mit GROUP BY 4. Der Cube-Operator! Formulierung

Mehr

The integration of business intelligence and knowledge management

The integration of business intelligence and knowledge management The integration of business intelligence and knowledge management Seminar: Business Intelligence Ketevan Karbelashvili Master IE, 3. Semester Universität Konstanz Inhalt Knowledge Management Business intelligence

Mehr

Themenblock: Data Warehousing (I)

Themenblock: Data Warehousing (I) Themenblock: Data Warehousing (I) Praktikum: Data Warehousing und Data Mining Agenda Einführung Data Warehouses Online Transactional Processing (OLTP) Datenmanipulation mit SQL Anfragen mit SQL Online

Mehr

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER INHALTSVERZEICHNIS 1. Datenbanken 2. SQL 1.1 Sinn und Zweck 1.2 Definition 1.3 Modelle 1.4 Relationales Datenbankmodell 2.1 Definition 2.2 Befehle 3.

Mehr

bersicht Datenbanken und Datawarehouses Datenbank Datenbanksysteme Niels Schršter

bersicht Datenbanken und Datawarehouses Datenbank Datenbanksysteme Niels Schršter bersicht Niels Schršter EinfŸhrung GROUP BY Roll UpÔs Kreuztabellen Cubes Datenbank Ansammlung von Tabellen, die einen ãausschnitt der WeltÒ fÿr eine Benutzergruppe beschreiben. Sie beschreiben die funktionalen

Mehr

5 Data Warehouses und Data Mining

5 Data Warehouses und Data Mining 5 Data Warehouses und Data Mining Mittels OLAP Techniken können große Datenmengen unterschiedlich stark verdichtet und gezielt aufbereitet werden. Mittels Data Mining können große Datenmengen nach bisher

Mehr

Die Grundbegriffe Die Daten Die Informationen

Die Grundbegriffe Die Daten Die Informationen Die Grundbegriffe Die Daten sind diejenigen Elemente, die vom Computer verarbeitet werden. Die Informationen sind Wissenselemente, welche durch die Analyse von Daten erhalten werden können. Die Daten haben

Mehr

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery Kapitel II Datenbereitstellung 2004 AIFB / FZI 1 II. Datenbereitstellung 2004 AIFB / FZI 2 II. Datenbereitstellung Collect Initial Data identify relevant attributes identify inconsistencies between sources

Mehr

Aufgabe 1: [Logische Modellierung]

Aufgabe 1: [Logische Modellierung] Aufgabe 1: [Logische Modellierung] a) Entwerfen Sie für das von Ihnen entworfene Modell aus Aufgabe 2 des 1. Übungsblattes ein Star-Schema. b) Entwerfen Sie für das vorangegangene Modell einen Teil eines

Mehr

Vorlesung Datenbankmanagementsysteme

Vorlesung Datenbankmanagementsysteme Vorlesung Datenbankmanagementsysteme SQL zur Datenanalyse & Einführung Online Analytical Processing (OLAP) (auf Basis von Oracle) Vorlesung Datenbankmanagementsysteme SQL zur Datenanalyse M. Lange, S.

Mehr

Multidimensionales Datenmodell, Cognos

Multidimensionales Datenmodell, Cognos Data Warehousing (II): Multidimensionales Datenmodell, Cognos Praktikum: Data Warehousing und Mining Praktikum Data Warehousing und Mining, Sommersemester 2010 Vereinfachte Sicht auf die Referenzarchitektur

Mehr

3.17 Zugriffskontrolle

3.17 Zugriffskontrolle 3. Der SQL-Standard 3.17. Zugriffskontrolle Seite 1 3.17 Zugriffskontrolle Datenbanken enthalten häufig vertrauliche Informationen, die nicht jedem Anwender zur Verfügung stehen dürfen. Außerdem wird man

Mehr

Zusammenspiel von Business Intelligence mit betrieblicher Anwendungssoftware Falk Neubert, Universität Osnabrück

Zusammenspiel von Business Intelligence mit betrieblicher Anwendungssoftware Falk Neubert, Universität Osnabrück Zusammenspiel von Business Intelligence mit betrieblicher Anwendungssoftware 14. März 2013, IHK Osnabrück-Emsland-Grafschaft Bentheim Geschichte Kassenbuch des Liederkranz, 1886 Hutmachergesangvereins

Mehr

Gliederung Datenbanksysteme

Gliederung Datenbanksysteme Gliederung Datenbanksysteme 5. Datenbanksprachen 1. Datendefinitionsbefehle 2. Datenmanipulationsbefehle 3. Grundlagen zu SQL 6. Metadatenverwaltung 7. DB-Architekturen 1. 3-Schema-Modell 2. Verteilte

Mehr

Grundlagen von Datenbanken

Grundlagen von Datenbanken Grundlagen von Datenbanken Aufgabenzettel 1 Grundlagen Datenbanken: Kurzer historischer Überblick (1) Anwendung 1 Anwendung 2 Datei 1 Datei 2 Datei 3 Zugriff auf Dateien ohne spezielle Verwaltung 2 Exkurs:

Mehr

10. Vorlesung: Datenorganisation SS 2007

10. Vorlesung: Datenorganisation SS 2007 10. Vorlesung: Datenorganisation SS 2007 8 Parallele Transaktionen 9 9.1 Drei-Ebenen Ebenen-Architektur 9.2 Verteilte Datenbanken 9.3 Client-Server Server-Datenbanken 9.4 Föderierte Datenbanken 9.5 Das

Mehr

Datawarehouse Architekturen. Einheitliche Unternehmenssicht

Datawarehouse Architekturen. Einheitliche Unternehmenssicht Datawarehouse Architekturen Einheitliche Unternehmenssicht Was ist Datawarehousing? Welches sind die Key Words? Was bedeuten sie? DATA PROFILING STAGING AREA OWB ETL OMB*PLUS SAS DI DATA WAREHOUSE DATA

Mehr

Logische Modellierung von Data Warehouses

Logische Modellierung von Data Warehouses Logische Modellierung von Data Warehouses Vertiefungsarbeit von Karin Schäuble Gliederung. Einführung. Abgrenzung und Grundlagen. Anforderungen. Logische Modellierung. Methoden.. Star Schema.. Galaxy-Schema..

Mehr

Kap. 6 Data Warehouse

Kap. 6 Data Warehouse 1 Kap. 6 Data Warehouse 6.1 Was ist ein Data Warehouse, Motivation? 6.2 Data Cube und Cube-Operationen 6.3 Workshop: MS SQL Server, Cube Operationen 6.4 Physischer Entwurf, Implementierung von Cubes 6.5

Mehr

Datenbanken und Informationssysteme

Datenbanken und Informationssysteme Datenbanken und Informationssysteme Lehrangebot Stefan Conrad Heinrich-Heine-Universität Düsseldorf Institut für Informatik April 2012 Stefan Conrad (HHU) Datenbanken und Informationssysteme April 2012

Mehr

Profilbezogene informatische Bildung in den Klassenstufen 9 und 10. Schwerpunktthema Daten und Datenbanken

Profilbezogene informatische Bildung in den Klassenstufen 9 und 10. Schwerpunktthema Daten und Datenbanken Profilbezogene informatische Bildung in den Klassenstufen 9 und 10 Schwerpunktthema Robby Buttke Fachberater für Informatik RSA Chemnitz Fachliche Einordnung Phasen relationaler Modellierung Fachlichkeit

Mehr

Informationssysteme: Neuere Konzepte Teil II

Informationssysteme: Neuere Konzepte Teil II Informationssysteme: Neuere Konzepte Kapitel 1: Data-Warehousing-Architektur Folien teilweise übernommen von Matthias Gimbel 2 von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser

Mehr

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben Transbase Hypercube ist eine Transbase -Option, die die innovative Hypercube-Technologie für komplexe analytische Anwendungen (OLAP)

Mehr

OLTP: Online Transaction Processing

OLTP: Online Transaction Processing Moderne Betriebliche Anwendungen von Datenbanksystemen Online Transaction Processing (bisheriger Fokus) Data Warehouse-Anwendungen Data Mining OLTP: Online Transaction Processing Beispiele Flugbuchungssystem

Mehr

Business Intelligence Data Warehouse. Jan Weinschenker

Business Intelligence Data Warehouse. Jan Weinschenker Business Intelligence Data Warehouse Jan Weinschenker 28.06.2005 Inhaltsverzeichnis Einleitung eines Data Warehouse Data Warehouse im Zusammenfassung Fragen 3 Einleitung Definition: Data Warehouse A data

Mehr

Gliederung Datenbanksysteme

Gliederung Datenbanksysteme Gliederung Datenbanksysteme 5. Datenbanksprachen 1. Datendefinitionsbefehle 2. Datenmanipulationsbefehle 3. Grundlagen zu SQL 6. Metadatenverwaltung 7. DB-Architekturen 1. 3-Schema-Modell 2. Verteilte

Mehr

Teil VI. Datenbanken

Teil VI. Datenbanken Teil VI Datenbanken Überblick 1 Grundlegende Begriffe Motivation 2 Relationale Datenbanksysteme Das Relationale Datenmodell SQL 3 Entwurf von Datenbanken Das Enity Relationship (ER) Modell Abbildung von

Mehr

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel Data Warehousing Kapitel 1: Data-Warehousing-Architektur Folien teilweise übernommen von Matthias Gimbel 2 Analyse von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser Umsatz im Vergleich

Mehr

Data Warehouse. Kapitel 16. Abbildung 16.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 16. Abbildung 16.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 16 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining operationale DB operationale DB operationale DB Data Warehouse operationale

Mehr

Data Warehouse ??? Ein Data Warehouse ist keine von der Stange zu kaufende Standardsoftware, sondern immer eine unternehmensindividuelle

Data Warehouse ??? Ein Data Warehouse ist keine von der Stange zu kaufende Standardsoftware, sondern immer eine unternehmensindividuelle ??? Zusammenfassung, Ergänzung, Querverbindungen, Beispiele A.Kaiser; WU-Wien MIS 188 Data Warehouse Ein Data Warehouse ist keine von der Stange zu kaufende Standardsoftware, sondern immer eine unternehmensindividuelle

Mehr

Data Mining Anwendungen und Techniken

Data Mining Anwendungen und Techniken Data Mining Anwendungen und Techniken Knut Hinkelmann DFKI GmbH Entdecken von Wissen in banken Wissen Unternehmen sammeln ungeheure mengen enthalten wettbewerbsrelevantes Wissen Ziel: Entdecken dieses

Mehr

7. Übung - Datenbanken

7. Übung - Datenbanken 7. Übung - Datenbanken Informatik I für Verkehrsingenieure Aufgaben inkl. Beispiellösungen 1. Aufgabe: DBS a Was ist die Kernaufgabe von Datenbanksystemen? b Beschreiben Sie kurz die Abstraktionsebenen

Mehr

XAMPP-Systeme. Teil 3: My SQL. PGP II/05 MySQL

XAMPP-Systeme. Teil 3: My SQL. PGP II/05 MySQL XAMPP-Systeme Teil 3: My SQL Daten Eine Wesenseigenschaft von Menschen ist es, Informationen, in welcher Form sie auch immer auftreten, zu ordnen, zu klassifizieren und in strukturierter Form abzulegen.

Mehr

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 17 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining opera- tionale DB opera- tionale DB opera- tionale DB Data Warehouse

Mehr

Einteilung von Datenbanken

Einteilung von Datenbanken Datenbanksysteme (c) A.Kaiser; WU-Wien 1 Einteilung von Datenbanken 1. formatierte Datenbanken 2. unformatierte Datenbanken Information Retrieval Systeme 2 Wozu Datenbanken? Speicherung und Verwaltung

Mehr

Aufbau eines Data Warehouse für den Lebensmitteleinzelhandel

Aufbau eines Data Warehouse für den Lebensmitteleinzelhandel Die Fallstudie aus der Wirtschaftsinformatik: Aufbau eines Data Warehouse für den Lebensmitteleinzelhandel Dipl.-Kfm. Carsten Bange, Dr. Heiko Schinzer, Würzburg 1. Ausgangssituation Der hohe Wettbewerbsdruck

Mehr

Marketing Intelligence Vorstellung der Softwarekomponenten. Josef Kolbitsch Manuela Reinisch

Marketing Intelligence Vorstellung der Softwarekomponenten. Josef Kolbitsch Manuela Reinisch Marketing Intelligence Vorstellung der Softwarekomponenten Josef Kolbitsch Manuela Reinisch Übersicht Übersicht über die Systemlandschaft Übersicht über die Werkzeuge Workshop Systemlandschaft 1/8 Klassische

Mehr

Performance-Optimierung in SAP BW. Helmut Tack

Performance-Optimierung in SAP BW. Helmut Tack Performance-Optimierung in SAP BW Helmut Tack INHALTSVERZEICHNIS Inhaltsverzeichnis Einleitung 9 1 Grundlegende Betrachtungen 13 2 Grundlagen der SAP BW-Datenhaltung 17 2.1 Flache Datenspeicher 21 2.2

Mehr

ENTERBRAIN Reporting & Business Intelligence

ENTERBRAIN Reporting & Business Intelligence Überblick Vorhandene Listen/Analysen in ENTERBRAIN Die Daten in ENTERBRAIN Das Fundament des BI - Hauses Details zur ENTERBRAIN Staging Area Reports und Cubes auf Basis der Staging Area Data Mining mit

Mehr

Inhaltsverzeichnis. vii.

Inhaltsverzeichnis. vii. vii 1 Einführung in Data-Warehouse-Systeme 1 1.1 Anwendungsszenario Getränkemarkt 2 1.2 OLTP versus OLAP 4 1.2.1 OLAP-versus OLTP-Transaktionen 5 1.2.2 Vergleich von OLTP und OLAP 6 1.2.3 Abgrenzung: DBMS-Techniken

Mehr

Intelligence (BI): Von der. Nürnberg, 29. November 2011

Intelligence (BI): Von der. Nürnberg, 29. November 2011 Modelle für Business Intelligence (BI): Von der Anforderung zum Würfel Nürnberg, 29. November 2011 Warum Modelle für Business Intelligence (BI)? Warum Modelle für Business Intelligence (BI)? Bis zur Auswertung

Mehr

Christian Kurze BI-Praktikum IBM WS 2008/09

Christian Kurze BI-Praktikum IBM WS 2008/09 Einführung in die multidimensionale Datenmodellierung e mit ADAPT BI-Praktikum IBM WS 2008/09 1 Gliederung Einführung multidimensionale Datenmodellierung 1. Multidimensionales Modell BI-Praktikum IBM WS

Mehr

Kapitel 17: Date Warehouse

Kapitel 17: Date Warehouse Kapitel 17: Date Warehouse 1 OLTP versus OLAP OLTP (Online Transaction Processing) z.b. Flugreservierung, Handelsunternehmen kleine, kurze Transaktionen jeweils auf jüngstem Zustand OLAP (Online Analytical

Mehr

Umsetzung der Anforderungen - analytisch

Umsetzung der Anforderungen - analytisch Umsetzung der Anforderungen - analytisch Titel des Lernmoduls: Umsetzung der Anforderungen - analytisch Themengebiet: New Economy Gliederungspunkt im Curriculum: 4.2.5.5 Zum Inhalt: In diesem Modul wird

Mehr

SQL: statische Integrität

SQL: statische Integrität SQL: statische Integrität.1 SQL: statische Integrität Im allgemeinen sind nur solche Instanzen einer Datenbank erlaubt, deren Relationen die der Datenbank bekannten Integritätsbedingungen erfüllen. Integritätsbedingungen

Mehr

Vertrautmachen mit Daten

Vertrautmachen mit Daten Kapitel III Vertrautmachen mit Daten 2004 AIFB / FZI 1 III Vertrautmachen mit Daten (see also Data Preparation ) 2004 AIFB / FZI 2 III Vertrautmachen mit Daten III.1 OLAP III.1.1 Einführung in OLAP Wie

Mehr

Business Intelligence Praktikum 1

Business Intelligence Praktikum 1 Hochschule Darmstadt Business Intelligence SS 2014 Fachbereich Informatik Praktikumsversuch 1 Prof. Dr. C. Wentzel Dipl. Inf. Dipl. Math. Y. Orkunoglu Datum: 07.05.2014 Business Intelligence Praktikum

Mehr

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Datei: Asklepius DA Flyer_Leistung_2 Seite: 1 von:5 1 Umfassende Datenanalyse Mit Asklepius-DA

Mehr

Software-Engineering und Datenbanken

Software-Engineering und Datenbanken Software-Engineering und Datenbanken Prof. Dr. Bernhard Schiefer bernhard.schiefer@fh-kl.de http://www.fh-kl.de/~schiefer Prof. Dr. Bernhard Schiefer 1-1 Wesentliche Inhalte Begriff DBS Datenbankmodelle

Mehr

Data Warehousing: Anwendungsbeispiel

Data Warehousing: Anwendungsbeispiel Frühjahrsemester 2012 cs242 Data Warehousing / cs243 Datenbanken Kapitel 1: Einführung H. Schuldt Data Warehousing: Anwendungsbeispiel Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale

Mehr

Komponenten und Architekturen von Analytischen Informationssystemen (AIS)

Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Melanie Pfoh Konsultation 27. Juni 2013 Hinweis Diese Folien ersetzen keinesfalls den Übungsstoff des zugehörigen e-learning-kurses.

Mehr

Komponenten und Architekturen von Analytischen Informationssystemen (AIS)

Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Melanie Pfoh Konsultation Zusammenfassung OPAL 6. Übung Juni 2015 Agenda Hinweise zur Klausur Zusammenfassung OPAL Übungen / Kontrollfragen

Mehr

Data Mining und Knowledge Discovery in Databases

Data Mining und Knowledge Discovery in Databases Data Mining und Knowledge Discovery in Databases Begriffsabgrenzungen... Phasen der KDD...3 3 Datenvorverarbeitung...4 3. Datenproblematik...4 3. Möglichkeiten der Datenvorverarbeitung...4 4 Data Mining

Mehr

Datenbanken zur Entscheidungsunterstützung - Data Warehousing

Datenbanken zur Entscheidungsunterstützung - Data Warehousing Datenbanken zur Entscheidungsunterstützung - Data Warehousing Prof. Dr. T. Kudraß 1 Einführung Zunehmender Bedarf nach Analyse aktueller und historischer Daten Identifizierung interessanter Patterns Entscheidungsfindung

Mehr

Data Mining Standards am Beispiel von PMML. Data Mining Standards am Beispiel von PMML

Data Mining Standards am Beispiel von PMML. Data Mining Standards am Beispiel von PMML Data Mining Standards am Beispiel von PMML Allgemeine Definitionen im Data Mining Data Mining (DM) Ein Prozess, um interessante neue Muster, Korrelationen und Trends in großen Datenbeständen zu entdecken,

Mehr

Performanceaspekte in der SAP BI Modellierung

Performanceaspekte in der SAP BI Modellierung Performanceaspekte in der SAP BI Modellierung SAP BW 7.3 & SAP HANA Performance Indizes Aggregate DSO & InfoCube BWA SAP HANA Empfehlung 2 Performance Performance bedeutet, unter gegebenen Anforderungen

Mehr

Multidimensionales Datenmodell

Multidimensionales Datenmodell Multidimensionales Datenmodell Grundbegriffe fi Fakten, Dimensionen, Würfel Analyseoperationen fi Drill-Down, Roll-Up, Slice und Dice Notationen zur konzeptuellen Modellierung fi ME/R, ADAPT Relationale

Mehr

Mala Bachmann September 2000

Mala Bachmann September 2000 Mala Bachmann September 2000 Wein-Shop (1) Umsatz pro Zeit und Produkt Umsatz Jan Feb Mrz Q1 Apr 2000 Merlot 33 55 56 144 18 760 Cabernet-S. 72 136 117 325 74 1338 Shiraz 85 128 99 312 92 1662 Rotweine

Mehr

23. Daten-Analyse. Datenwarenhäuser. Grundlagen des OLAP (On-Line Analytical Processing)

23. Daten-Analyse. Datenwarenhäuser. Grundlagen des OLAP (On-Line Analytical Processing) 23. Daten-Analyse Datenwarenhäuser Grundlagen des OLAP (On-Line Analytical Processing) Data Mining: Klassifikation, Assoziationsregeln, Sequenzanalyse Datenmodelle, Datenbanksprachen und Datenbankmanagement-Systeme,

Mehr

Andreas Heuer Gunter Saake Kai-Uwe Sattler. Datenbanken. kompakt

Andreas Heuer Gunter Saake Kai-Uwe Sattler. Datenbanken. kompakt Andreas Heuer Gunter Saake Kai-Uwe Sattler Datenbanken kompakt Inhaltsverzeichnis Vorwort v 1 Was sind Datenbanken 1 1.1 Warum Datenbanken 1 1.2 Datenbanksysteme 4 1.3 Anforderungen: Die Codd'schen Regeln

Mehr

SQL structured query language

SQL structured query language Umfangreiche Datenmengen werden üblicherweise in relationalen Datenbank-Systemen (RDBMS) gespeichert Logische Struktur der Datenbank wird mittels Entity/Realtionship-Diagrammen dargestellt structured query

Mehr