Datenbankunterstützung für Data-Warehouse-Systeme

Größe: px
Ab Seite anzeigen:

Download "Datenbankunterstützung für Data-Warehouse-Systeme"

Transkript

1 Datenbankunterstützung für Data-Warehouse-Systeme Von statistischen Datenbanken zum KDD Technische Universität Dresden Fakultät für Informatik Institut für Systemarchitektur Professur für Datenbanksysteme Wolfgang Lehner DB-Stammtisch,

2 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Von statistischen Datenbanken zum KDD 2

3 1 EINLEITUNG: HISTORIE UND ANWENDUNGEN Statische Auswertung empirisch erfasster Massendaten erste erfolgreiche Anwendung von Datenverarbeitungsanlagen 1890 Geburtsstunde rechnergestützte Auswertung der amerikanischen und österreichischen Volkszählungsdaten Verwendung von Hollerith-Maschinen bis in die 50er Jahre Dominanz der elektromechanischen Lochkartenmaschine (Bull, 1925) weitere Meilensteine Transistortechnologie (v. Neumann-Konzept!) Magnettrommelspeicher (Billing & Booth, 1947) Magnetband im Mark III (Aiken)... zukünftige Entwicklungen... Einleitung: Historie und Anwendungen 3

4 Datenbankgestützte Auswertung von Massendaten... von statistischen Datenbanken zu Data-Warehouse-Systemen 1970: Codd stellt das relationale Datenmodell vor st SIGMOD-Datenbankkonferenz, San Jose (CA) 1st VLDB-Konferenz, Framingham (MA) 1981: 1st LBL Workshop on Statistical Database Management, Melno Park (CA) SSDB Auswertung wissenschaftlicher Datenbestände Zensusdaten Betriebswirtschaftliche Kennzahlen MIS / EIS / Reporting / : Definition: Data-Warehouse-System von W.H. Inmon 200x: Datenbankbasierte Infrastruktur für Integration und Analyse Einleitung: Historie und Anwendungen 4

5 Typische SSDB-/Data-Warehouse-Anwendungen Palomar Observatory Sky Survey Projekt 3 Terabyte Bilddaten schätzungsweise 2 Milliarden astronomisch relevante Objekte Auswertung: SKICAT (http://www-aig.jpl.nasa.gov/public/mls/skicat/skicat_home.html) Bildsegmentierung und Feature-Belegung (40 Attribute) Klassifikation von Objekten (Sterne bzw. Galaxien) NASA Earth Observing System (EOS) 1,9 TeraByte Datenvolumen pro Tag (10 PetaByte Gesamtvolumen) Erfassungszeitraum: 15 Jahre nur 10% des Datenmaterials wird analysiert Echtzeit-Übernahme des Messdatenstroms (51 MegaBit/sec bzw. 553 GigaByte pro Tag) jährlich ca Benutzer der EOS-Datenbank mittlere Objektgröße als Resultat einer Anfrage: 10 MegaByte Einleitung: Historie und Anwendungen 5

6 Betriebswirtschaftlicher Bereich Woolworth 800 Filialen, Produkte, Angestellte 300 Millionen Kundentransaktionen / Jahr zwischen parallele Benutzer des DWS Zentrales DHW integriert 20 operative Systeme (Verkaufszahlen, Lagerverwaltung, Planungsinstrumente,...) enormer Integrationsaufwand BMW-Group Angestellte, 40Mrd. Euro Umsatz zweistufige IT-Infrastruktur Zentrale IT pflegt seit 20 Jahren UWDM Resort-IT-Projekte müssen sich gegenüber dem UWDM abgleichen minimaler Integrationsaufwand beim Aufbau eines zentralen DWS Einleitung: Historie und Anwendungen 6

7 Klassisch statistischer Bereich GfK Nürnberg Gesellschaft für Absatz, Markt- und Konsumforschung weltweit tätig, Marktführerschaft in Europa, Kooperationen in USA und Asien TV-Einschaltquotenermittlung, Außenwerbung, Regionalforschung, Ad-Hoc- Marktforschung, Konsumentenverhalten DWH im Bereich Non-food betrachtete Artikel, 8000 Geschäfte in Deutschland (15 Kanäle, 50 Regionen) wöchentliche/monatliche Berichtsperiodizität Aufzeichnung aller Abverkäufe von Gebrauchs- und Konsumartikel Datenbestand online: 5 Jahre für Trendanalyse Beispiel IMS Health erfasst seit 1969 alle in Apotheken eingelösten (Kassen-) Rezepte Identifikation von Arzneimitteln und verschreibenden Arzt Klassifikation nach geographischen Aspekten, Fachrichtungen, Wirkstoffen Kunden: überwiegend Pharmafirmen Einleitung: Historie und Anwendungen 7

8 Methoden im Bereich der statistischen Datenanalyse Integration Analyse Extraktion Reporting,... Business Intelligence Transformation Schemaanpassung Datenanpassung gemeinsame Datenbasis - logisch konsistent - physisch optimiert OLAP Data Mining Knowledge Discovery Laden... Data-Warehouse-Systeme Einleitung: Historie und Anwendungen 8

9 Versuch einer Definition... nach W.H. Inmon A Data Warehouse is a subject-oriented, integrated, time-varying, non-volatile collection of data in support of the management's decision-making process.... nach Fayyad, Piatetsky-Shapiro & Smyth 1996 Knowledge Discovery in Databanken (KDD) ist der Prozess der (semi-) automatischen Extraktion von Wissen aus Datenbanken, das gültig, bisher unbekannt und potentiell nützlich ist. Data Mining ist die Anwendung effizienter Algorithmen, die die in einer Datenbank enthaltenen Muster liefern. Vorgehensmodelle... Daten Vorverarbeitung Fokussieren Selektion Zieldaten Transformation vorverarbeitete Daten Data Mining transformierte Daten Interpretation Evaluation Muster Wissen Einleitung: Historie und Anwendungen 9

10 Anforderungen an das Datenbanksystem Erweiterung der Anfragesprache Data Mining Komplexität der Anwendung OLAP Reporting,... Integration von Funktionalität in das DBS SQL Datenbankverwaltungssystem Datenbank Interne Unterstützung/ Optimierung Datenbanksystem Einleitung: Historie und Anwendungen 10

11 Gründe für den Einsatz von Datenbanksystemen Konsistenzerhaltung der Datenbasis strukturelle Konsistenz Widerspruchsfreiheit: logische und physische Konsistenz Vermeidung redundanter Daten (keine privaten / lokale abgelegten) Daten operationale Konsistenz Transaktionenkonzept Effizienz Unterstützung bei der Suche nach abgelegten Daten Deskriptive Formulierung von Anfragen Fehlertoleranz Synchronisation im Mehrbenutzerbetrieb Abfangen von System-, Geräte- und Medienfehler Einleitung: Historie und Anwendungen 11

12 Gründe für den Einsatz von Datenbanksystemen (2) Integrationswerkzeug ANSI/SPARC 3-Schema-Schichtenarchitektur Anwendungen Externe Schemata Datenneutralität Transformation Konzeptionelles Schema Datenunabhängigkeit... Interne Schemata Speichermedien Einleitung: Historie und Anwendungen 12

13 Komponenten eines Data-Warehouse-Systems Externe Schemata Konzept. Schema Metadaten-Repositorium Interne Aktualisierung Interne Aktualisierung Dispositive Datenbasis Detaildaten Data-Warehouse-System Data-Mart-Datenbasen Summendaten Bereich zur Datenanalyse Bereich zur Datenbereitstellung ANSI SPARC 3-Schema- Schichtenarchitektur! Konsolidierte Datenbasis Bereich zur Datenkonsolidierung Operational- Data-Store- Systeme Interne Aktualisierung Externe Aktualisierung Interne Schemata Basisdaten Transformation Bereich zur Datenbeschaffung und Transformation Externe Aktualisierung Externe Aktualisierung Quellsysteme Einleitung: Historie und Anwendungen 13

14 Data-Warehouse-System als Integrationsplattform Externe Schemata Konzeptionelles Schema Externe Schemata Externe Schemata Data-Mart- Schema... Data-Mart- Schema Externe Schemata Externe Data-Warehouse- Schemata Interne Schemata... Externe Schemata Externe Schemata Partielle Schemaintegration Analyseschema Basisschema Schematranslation Schematranslation Konzeptionelles Data-Warehouse- Schema... Extraktionsschema Extraktionsschema ODS- Schema Extraktionsschema Data-Staging- Schema Datenextraktion... Interne Data-Warehouse- Schemata Schemaextraktion Lokales konzeptionelles Quellenschema Lokale interne Quellenschemata Lokales konzeptionelles Quellenschema Lokale interne Quellenschemata Einleitung: Historie und Anwendungen 14

15 Eigenschaften eines Data-Warehouse-Systems Auswertungsorientierte Organisation der Daten Fachorientierung (engl. subject orientation) Modellierung eines spezifischen Anwendungsziels Integration von Daten aus unterschiedlichen Quellsystem Integrierte Datenbasis (engl. integration) Integration auf struktureller Ebene und Datenebene mehrerer Datenbanken Keine Aktualisierung durch den Benutzer Nicht flüchtige Datenbasis (engl. non-volatile) Stabile Datenbasis; einmal eingebrachte Daten werden nicht mehr entfernt oder geändert, nur lesender Zugriff (Optionale Historisierung mit expliziter temporaler Modellunterstützung) Historische Daten (engl. time variance) Daten werden über einen längeren Zeitraum gehalten Einleitung: Historie und Anwendungen 15

16 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Einleitung: Historie und Anwendungen 16

17 2 MULTIDIMENSIONALE ANALYSE Ausgangspunkt für OLAP (OnLine Analytical Processing) Komplex Strukturierte Statistische Tabelle Direkte Abbildung auf multidimensionale Datenwürfel Verkäufe Sony JVC Grundig Σ Supermarkt Fachmarkt Einzelhandel Σ Supermarkt Fachmarkt Einzelhandel Σ Süddeutschland Norddeutschland Σ Statistische Tabelle Multidimensionaler Datenwürfel Sony JVC Grundig Super- 139 markt 118 Fach- 208 markt 164 Einzel- 154 handel 121 Süddeutschland Norddeutschland Multidimensionale Analyse 17

18 Eigenschaften der multidimensionalen Modellierung Eigenschaften Verallgemeinerung der flachen Tabelle eines relationalen Ansatzes Inhärente Unterscheidung quantifizierender und qualifizierender Attribute Land Region Stadt Produkte Jahr Monat Tag Abbildung komplex strukturierter Begriffswelten in Form hierarchischer Dimensionsstrukturen Spezifische Operatoren zur Unterstützung des explorativen Charakters Gebiet Gruppe Familie Artikel Zeit Geographie Menge Preis Instanz eines Datenwürfels alle Würfelzellen aus dem Definitionsbereich des Datenwürfels nicht Teilmenge wie im relationalen Modell! Achtung: Würfel ist nur eine Metapher! Multidimensionale Analyse 18

19 Operatoren im Multidimensionalen Modell Slice and Dice Selektion eines Teilwürfels Roll Up / Drill-Down Aggregation / De-Aggregation Multidimensionale Analyse 19

20 Umsetzung des multidimensionalen Datenmodells MOLAP-Ansatz Client ROLAP-Ansatz Client HOLAP-Ansatz Client Präsentation Präsentation Präsentation Server OLAP Interface Server Server MDDB Anwendungslogik und multidimensionale Datenhaltung (MDDB) OLAP-Server RDBMS relationale Datenhaltung OLAP-Server RDBMS relationale Datenhaltung Multidimensionale Analyse 20

21 Vergleich der Datenbankentwurfstechniken Anforderungsanalyse Konzeptioneller DB-Entwurf Logischer DB-Entwurf Physischer DB-Entwurf Konzeptionelles Schema (unabhängig vom Zieldatenmodell) Logisches Schema (in konkretem Datenmodell) Internes Schema (in konkretem Datenbanksystem) Klassisch relationaler DB-Entwurf Varianten der Entity-Relationship- Methode Relationen mit Attributen Speicherorganisation (Primär- und Sekundärindexe, Partitionierung,...) Multidimensionaler DB-Entwurf diverse Entwurfsnotationen (me/r, muml,...) - Datenwürfel mit Summenattributen: - Fakten und Kennzahlen Dimensionshierarchien mit Kategorieattributen: - Relationale Speicherorganisation (ROLAP) - Multidimensionale Speicherorganisation (MOLAP) Multidimensionale Analyse 21

22 Relationale Abbildung Star-Schema Zentrale Faktentabelle kompositer Primärschlüssel aus den Dimensionen - eindeutige Kennzeichnung der Fakten wenige Spalten - viele Tupel (Millionen - Milliarden Tupel) Dimensionstabellen viele Spalten, da Strukturdaten PART PartKey Brand MFGR Type Size... 1 SuppKey Name Nation... 1 LINEITEM OrderKey N PartKey N SuppKey Quantity LineStatus ShipMode N Faktentabelle 1 ORDERS OrderKey OrderStatus OrderDate Name Address Nation Region... relativ wenig Tupel (weniger als 10% der Fact-Table) SUPPLIER Snowflake- Schema normalisierte Dimensionstabellen LINEITEM OrderKey N PartKey SuppKey Quantity LineStatus ShipMode... Faktentabelle 1 ORDERS OrderKey CustKey N OrderStatus OrderDate... 1 CUSTOMER CustKey Name Address NationKey Phone... N NATION NationKey Name RegionKey Comment normalisierte Auftragsdimension 1 N 1 REGION RegionKey Name Comment Multidimensionale Analyse 22

23 Unterstützung vom Datenbanksystem: CUBE-Operator Sony JVC Grundig Verkäufe( Region Geschäftstyp Marke Verkäufe) Norddeutschland Supermarkt Sony 12 Norddeutschland Supermarkt JVC 48 Norddeutschland Supermarkt Grundig 58 Norddeutschland Fachmarkt Sony 31 Norddeutschland Fachmarkt JVC 67 Norddeutschland Fachmarkt Grundig 66 Norddeutschland Einzelhandel Sony 15 Norddeutschland Einzelhandel JVC 55 Norddeutschland Einzelhandel Grundig 51 Süddeutschland Supermarkt Sony 22 Süddeutschland Supermarkt JVC 50 Süddeutschland Supermarkt Grundig 67 Süddeutschland Fachmarkt Sony Super- 139 markt 118 Fach- 208 markt 164 Einzel- 154 handel 121 Süddeutschland Norddeutschland Anwendung des CUBE-Operators Verkäufe( Region Geschäftstyp Marke Verkäufe) Norddeutschland Supermarkt Sony 12 Norddeutschland Supermarkt JVC 48 Norddeutschland Supermarkt Grundig 58 Norddeutschland Supermarkt ALL 118 Norddeutschland Fachmarkt Sony 31 Norddeutschland Fachmarkt JVC 67 Norddeutschland Fachmarkt Grundig 66 Norddeutschland Fachmarkt ALL 164 Norddeutschland Einzelhandel Sony 15 Norddeutschland Einzelhandel JVC 55 Norddeutschland Einzelhandel Grundig 51 Norddeutschland Einzelhandel ALL 121 Norddeutschland ALL ALL 403 Süddeutschland Supermarkt Sony Süddeutschland ALL ALL 501 ALL Supermarkt Sony 34 ALL Supermarkt JVC 98 ALL Supermarkt Grundig 155 ALL Supermarkt ALL 257 ALL Fachmarkt Sony ALL ALL Sony 172 ALL ALL JVC 382 ALL ALL Grundig 350 ALL ALL ALL 904 Multidimensionale Analyse 23

24 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Multidimensionale Analyse 24

25 3 ASSOZIATIONSREGELN Ziel Beschreibung häufig auftretender und starker Zusammenhänge in Datenbanken Beispiel Warenkorbanalyse: Einkäufe im Supermarkt {Mehl, Eier} {Butter} allgemein: X Y, wobei X Y = Einschränkung: X Y hat mindestens Support s min und Konfidenz c min Terminologie Transaktion: Menge von Datenobjekten (items), die zusammen auftreten Support der Menge X Prozentsatz der Transaktionen, die X enhalten frequent item set : supp(x) > s min Support s einer Assoziationsregel X Y relative Häufigkeit des gemeinsamen Auftretens aller in der Regel vorkommenden Datenobjekte (Support von X Y) Konfidenz c einer Assoziationsregel X Y c% aller Transaktionen, die X enthalten, enthalten auch Y Assoziationsregeln 25

26 Bestimmung von Assoziationsregeln Beispiel Bestimmung des Supports (A): 75% (B), (C): 50% (D), (E), (F): 25% (A, C): 50% (A, B), (A, D), (B, C), (B, E), (B, F), (E, F): 25% Bestimmung von Assoziationsregeln, deren Support und Konfidenz größer als vorgegebene Schranken sind A C (Support = 50%, Konfidenz = 66.6%) Lfd Nr. Objekte 1 A,B,C 2 A,C 3 A,D 4 B,E,F s min = 50% c min = 50% A C C A (Support = 50%, Konfidenz = 100%) Naiver Ansatz Generierung aller und nachträgliche Eliminierung schwacher Regeln Assoziationsregeln 26

27 Apriori-Ansatz Auffinden aller häufig auftretenden Itemsets Beobachtung (Monotonie-Eigenschaft) Jede Teilmenge eines häufig auftretenden Itemsets ist selbst auch häufig Folgerung Nur Test von Itemsets der Größe k, die durch häufig auftretende Itemsets der Größe k-1 gebildet werden können Bildung von Assoziationsregeln für alle häufig auftretende Itemsets X Beobachtung für jede Teilmenge A X besitzt die Regel A (X A) minimalen Support Folgerung Betrachtung aller möglichen Teilmengen Bestimmung der Konfidenz: conf(a (X A)) := Datenbankunterstützung? supp( X) supp( A) Assoziationsregeln 27

28 Unterstützung durch Datenbanksysteme... eigentlich: Fehlanzeige!!! Nutzung von OLAP-Operatoren, z.b. CUBE()-Operator CUBE(A, B, C) Problem Generierung ALLER möglichen Kombinationen Explosion bei Vielzahl von Artikeln z.b. Woolworth mit Artikel -> Kombinationen CUBE(A) CUBE(A, B) Assoziationsregeln 28

29 Unterstützung durch Datenbanksysteme... eigentlich: Fehlanzeige!!! Nutzung von OLAP-Operatoren, z.b. CUBE()-Operator Problem Generierung ALLER möglichen Kombinationen Explosion bei Vielzahl von Artikeln z.b. Woolworth mit Artikel -> Kombinationen SQL-Erweiterung CUBE(A, B, C) GROUPING COMBINATIONS((A, B, C),2) GROUPING COMBINATIONS() d k Generierung aller Gruppierungskombinationen interne Selektionsmöglichkeit hinsichtlich Support interne Optimierung der Berechnung Assoziationsregeln 29

30 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Assoziationsregeln MatViews Cluster-Suche Assoziationsregeln 30

31 4 CLUSTER-SUCHE Problem Auffinden von Häufungen im multidimensionalen Datenraum Ziel des Clustering Identifikation einer endlichen Menge von Kategorien/Klassen (Clustern) Objekte im gleichen Cluster sind möglichst ähnlich zueinander Objekte aus verschiedenen Clustern sind möglichst unähnlich zueinander notwendig: Distanzfunktion / Metrik Für Datensätze x = (x 1,..., x d ) mit numerischen Attributswerten x i Cluster-Suche 31

32 Klassen von Clusterverfahren Partionierende Verfahren Konstruktion zentraler Punkte (Centroide) / repräsentativer Punkte (Medoide) Schlechtes Clustering Optimales Clustering 5 x x 5 x x 5 1 x x Mittelwerte 1 x x Mittelwerte Schlechtes Clustering Optimales Clustering 1 5 Medoide Medoide Hierarchische Verfahren Erstellung von Dendogrammen Cluster-Suche 32

33 Klassen von Clusterverfahren Dichtebasiertes Clustering Erreichbarkeit / Verbundenheit innerhalb einer ε-umgebung Dichteschätzungsbasierte Verfahren Anwendung einer Kern-Funktion und Bestimmung der Dichte Suche nach attraktiven Punkten x*: f D (x*) > ξ Datenmenge Kern Funktion Dichte Funktion Cluster-Suche 33

34 Eigenschaften Vorteil dichtebasierter Verfahren Trennung von Dichteschätzung und Clusterermittlung Cluster-Algorithmus Dichteschätzung Cluster-Analyse Ergebnis Dichteschätzung... basierend auf Histogrammen... basierend auf Repräsentanten Unterstützung durch Datenbanksysteme??? Cluster-Suche 34

35 Probleme in hochdimensionalen Datenräumen Beobachtung Qualität der Dichteschätzung nimmt mir zunehmender Dimensionalität ab Idee Clustersuche in niedrig-dimensionalen Teilräumen DB-Unterstützung? GROUPING COMBINATIONS()-Operator generiert alle k-dimensionalen Teilräume eines n-dimensionalen Raum Nutzung von Assoziationsregeln, um Cluster im hochdimensionalen Raum zu identifizieren DB-Unterstützung? GROUPING COMBINATIONS()-Operator generiert alle häufigen Itemsets zur Berechnung der Assoziationsregeln Cluster-Suche 35

36 Inhaltsübersicht Teil 1: Teil 2: Teil 3: Historie Multidimensionale Analyse Einleitung Anwendungen Datenbanktechnik Optimierungsmöglichkeiten Infrastruktur Regelsuche MatViews Cluster-Suche Cluster-Suche 36

37 5 DATENBANKOPTIMIERUNG Aufgabe der Anfrageverarbeitung korrekte und möglichst effiziente Abarbeitung der Anfrage zu planen Initiierung der tatsächlichen Ausführung Lese-Anweisungen (SELECT) Modifikationsansweisungen (INSERT, UPDATE, DELETE, ref. Integritäten) Übersicht der Anfrageverarbeitung Anfrageoptimierung Anfrage Interndarstellung Zugriffs- & Integritätskontrolle Anfragerestrukturierung Anfragetransformation Logischer DB-Prozessor (Anfrageprozessor) Anfrageausführungsplan (QEP) Übersetzungszeit Laufzeit Ergebnis Ausführungskontrolle & Ergebnisbereitstellung Code- erzeugung Planparametrierung Physischer DB-Prozessor (Anfrageauswertungssystem) Datenbankoptimierung 37

38 Rahmenmodell für logische Zugriffspfade Externe Schemata Ebene der Basisdaten R 1 R 2 Konzeptionelles Schema Ebene der Materialisierung MV 1 MV 2 Interne Schemata... Ebene der Partitionierung P 1 1 P 1 2 P 1 3 logische Zugriffspfade Ebene der Indexstrukturen B*-Baum Grid-File HeaderkB-Baum Compression R*-Baum UB-Baum physische Zugriffspfade Datenbankoptimierung Bestandteil des konzeptionellen Schemas Bestandteil des internen Schemas 38

39 Idee der Materialisierten Sichten Beobachtung statistische Anfragen folgen bestimmten Mustern (Star-Queries) (partielle) Vorberechnung zur Ladezeit -> einmalig! transparente Nutzung zur Anfragezeit -> vielfach! Query SELECT P.Group, L.State, SUM(F.Sales) FROM Fact_Sales F NATURAL JOIN Product P NATURAL JOIN Location L WHERE L.Country = "France GROUP BY P.Group, L.State; Zentrale Probleme Transparentes Query-ReRouting (analog zur Index-Nutzung) Synchronisierung mit Änderungen der Basisdaten Auswahl von zu materialisierenden Sichten Summary Table CREATE TABLE Fact_Sales_View AS ( SELECT P.Family, L.City, T.Year, SUM(F.Sales), COUNT(F.Sales) FROM Fact_Sales F NATURAL JOIN Product P NATURAL JOIN Location L NATURAL JOIN Time T GROUP BY P.Family, L.City, T.Year); Datenbankoptimierung 39

40 Beispiel zur transparenten Nutzung von Vorberechnungen SELECT prodid, SUM(sales) FROM fact GROUP BY prodid; CREATE TABLE ast2 AS ( SELECT prodid, SUM(sales) AS sum_sales, COUNT(*) AS cnt FROM fact GROUP BY prodid) data initially deferred refresh immediate; Datenbankoptimierung 40

41 Beispiel zur transparenten Nutzung von Vorberechnungen (2) SELECT city, brand, group FROM fact f, products p, shops s WHERE f.shopid = s.shopid AND f.prodid = p.prodid GROUP BY city, brand, group; CREATE table ast1 AS ( SELECT city, state, country, familiy, group, area, color, brand FROM fact f, products p, shops s WHERE f.shopid = s.shopid AND f.prodid = p.prodid GROUP BY ROLLUP(country, state, city), ROLLUP(area, group, familiy), CUBE(brand, color)) data initially deferred refresh immediate; Datenbankoptimierung 41

42 Beispiel zur transparenten Nutzung von Vorberechnungen (3) a) Anfrageausführungsplan ohne materialisierte Summendaten Geschätzte Kostenreduktion: ca. 90% b) Anfrageausführungsplan mit materialisierten Summendaten Datenbankoptimierung 42

43 6 ZUSAMMENFASSUNG Data-Warehouse-Systeme Rahmenmodell für die Integration heterogener / operativ betriebender Datenbanken Umfassende Auswertung lokal abgelegter Datenbestände Methoden der Datenanalyse Multidimensionale Analyse Assoziationsregeln Bestimmung von Cluster Anforderungen an Datenbanktechnik Speicherung & Auswertung großer Datenbestände Zentrale Frage Wieviel spezifische Funktionalität geht in das Datenbanksystem Was sind erweiterte Datenbankoperatoren Interne Realisierung Zusammenfassung 43

OLAP und Data Warehouses

OLAP und Data Warehouses OLP und Data Warehouses Überblick Monitoring & dministration Externe Quellen Operative Datenbanken Extraktion Transformation Laden Metadaten- Repository Data Warehouse OLP-Server nalyse Query/Reporting

Mehr

Einführungsveranstaltung: Data Warehouse

Einführungsveranstaltung: Data Warehouse Einführungsveranstaltung: 1 Anwendungsbeispiele Berichtswesen Analyse Planung Forecasting/Prognose Darstellung/Analyse von Zeitreihen Performancevergleiche (z.b. zwischen Organisationseinheiten) Monitoring

Mehr

Datenbanktechnologie für Data-Warehouse-Systeme

Datenbanktechnologie für Data-Warehouse-Systeme Wolfgang Lehner Datenbanktechnologie für Data-Warehouse-Systeme Konzepte und Methoden dpunkt.verlag 1 1.1 1.2 1.3 1.4 1. 5 2 2.1 2.2 2.3 Einleitung 1 Betriebswirtschaftlicher Ursprung des Data Warehousing...

Mehr

Themenblock: Erstellung eines Cube

Themenblock: Erstellung eines Cube Themenblock: Erstellung eines Cube Praktikum: Data Warehousing und Data Mining Einführung relationale Datenbanken Problem Verwaltung großer Mengen von Daten Idee Speicherung der Daten in Form von Tabellen

Mehr

Kapitel 6 Einführung in Data Warehouses

Kapitel 6 Einführung in Data Warehouses Kapitel 6 Einführung in Data Warehouses Skript zur Vorlesung: Datenbanksysteme II Sommersemester 2008, LMU München 2008 Dr. Peer Kröger Dieses Skript basiert zu einem Teil auf dem Skript zur Vorlesung

Mehr

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001

MIS by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 MIS Glossar by Franziska Täschler, Winformation GmbH ftaeschler@winformation-gmbh.ch Ausgabe 01/2001 Aggregat Data Cube Data Marts Data Mining Data Warehouse (DWH) Daten Decision Support Systeme (DSS)

Mehr

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH

Einführung in OLAP und Business Analysis. Gunther Popp dc soft GmbH Einführung in OLAP und Business Analysis Gunther Popp dc soft GmbH Überblick Wozu Business Analysis mit OLAP? OLAP Grundlagen Endlich... Technischer Background Microsoft SQL 7 & OLAP Services Folie 2 -

Mehr

Data Warehousing. Fragen des Marketingleiters. Beispiel: : Amazon. Technisch... Amazon weltweit... Datenbank. Aufbau eines DWH OLAP <-> OLTP Datacube

Data Warehousing. Fragen des Marketingleiters. Beispiel: : Amazon. Technisch... Amazon weltweit... Datenbank. Aufbau eines DWH OLAP <-> OLTP Datacube Fragen des Marketingleiters Data Warehousing Wie viele Bestellungen haben wir jeweils im Monat vor Weihnachten, aufgeschlüsselt nach? Aufbau eines DWH OLAP OLTP Datacube Beispiel: : Amazon Technisch

Mehr

Kapitel 2 Terminologie und Definition

Kapitel 2 Terminologie und Definition Kapitel 2 Terminologie und Definition In zahlreichen Publikationen und Fachzeitschriften tauchen die Begriffe Data Warehouse, Data Warehousing, Data-Warehouse-System, Metadaten, Dimension, multidimensionale

Mehr

Data Warehouse Grundlagen

Data Warehouse Grundlagen Seminarunterlage Version: 2.10 Version 2.10 vom 24. Juli 2015 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen

Mehr

Data-Warehouse-Systeme

Data-Warehouse-Systeme Vorlesung im Wintersemester 2008/09 Data-Warehouse-Systeme Dr. Stefanie Rinderle-Ma Institut für Datenbanken und Informationssysteme Universität Ulm stefanie.rinderle@uni-ulm.de Übersicht 1) Einführung

Mehr

Agenda. Themenblock: Data Warehousing (I) Referenzarchitektur. Eigenschaften eines Data Warehouse. Einführung Data Warehouse Data Access mit SQL

Agenda. Themenblock: Data Warehousing (I) Referenzarchitektur. Eigenschaften eines Data Warehouse. Einführung Data Warehouse Data Access mit SQL Themenblock: Data Warehousing (I) Praktikum: Data Warehousing und Data Mining 2 Eigenschaften eines Data Warehouse Referenzarchitektur Integrierte Sicht auf beliebige Daten aus verschieden Datenbanken

Mehr

Seminar Business Intelligence Teil II. Data Mining & Knowledge Discovery

Seminar Business Intelligence Teil II. Data Mining & Knowledge Discovery Seminar Business Intelligence Teil II Data Mining & Knowledge Discovery Was ist Data Mining? Sabine Queckbörner Was ist Data Mining? Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht?

Mehr

fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien

fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien Einführung Gegenstand der Vorlesung fi Data Warehouse: Sammlung von Technologien zur Unterstützung von Entscheidungsprozessen fi Herausforderung an Datenbanktechnologien Datenvolumen (effiziente Speicherung

Mehr

Data Warehouse Technologien

Data Warehouse Technologien mitp Professional Data Warehouse Technologien von Veit Köppen, Gunter Saake, Kai-Uwe Sattler 2. Auflage 2014 Data Warehouse Technologien Köppen / Saake / Sattler schnell und portofrei erhältlich bei beck-shop.de

Mehr

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P

Index- und Zugriffsstrukturen für. Holger Brämer, 05IND-P Index- und Zugriffsstrukturen für Data Warehousing Holger Brämer, 05IND-P Index- und Zugriffstrukturen für Data Warehousing Materialisierte Sichten Bitmap-Indexe Verbundindexe Materialisierte Sichten gehören

Mehr

Oracle Datenbank / Ubuntu

Oracle Datenbank / Ubuntu Oracle Datenbank / Ubuntu Sebastian Gath & Hannes Schwarz Seminar Database Tuning & Administration Universität Konstanz - SS 2007 Administration Vorbereitung Zeitmessung Erste Zeitmessung 2 Ausgangssituation

Mehr

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 17. Abbildung 17.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 17 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining opera- tionale DB opera- tionale DB opera- tionale DB Data Warehouse

Mehr

Business Intelligence. Business Intelligence Seminar, WS 2007/08

Business Intelligence. Business Intelligence Seminar, WS 2007/08 Business Intelligence Seminar, WS 2007/08 Prof. Dr. Knut Hinkelmann Fachhochschule Nordwestschweiz knut.hinkelmann@fhnw.ch Business Intelligence Entscheidungsorientierte Sammlung, Aufbereitung und Darstellung

Mehr

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery

Kapitel II. Datenbereitstellung 2004 AIFB / FZI 1. Vorlesung Knowledge Discovery Kapitel II Datenbereitstellung 2004 AIFB / FZI 1 II. Datenbereitstellung 2004 AIFB / FZI 2 II. Datenbereitstellung Collect Initial Data identify relevant attributes identify inconsistencies between sources

Mehr

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen

Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen Data Warehouses und Moderne Betriebliche Anwendungen von Datenbanksystemen (Folien von A. Kemper zum Buch 'Datenbanksysteme') Online Transaction Processing Betriebswirtschaftliche Standard- Software (SAP

Mehr

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik

Data Warehousing. Sommersemester 2005. Ulf Leser Wissensmanagement in der Bioinformatik Data Warehousing Sommersemester 2005 Ulf Leser Wissensmanagement in der Bioinformatik ... Der typische Walmart Kaufagent verwendet täglich mächtige Data Mining Werkzeuge, um die Daten der 300 Terabyte

Mehr

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung

Ermittlung von Assoziationsregeln aus großen Datenmengen. Zielsetzung Ermittlung von Assoziationsregeln aus großen Datenmengen Zielsetzung Entscheidungsträger verwenden heutzutage immer häufiger moderne Technologien zur Lösung betriebswirtschaftlicher Problemstellungen.

Mehr

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel

Data Warehousing. Kapitel 1: Data-Warehousing-Architektur. Folien teilweise übernommen von Matthias Gimbel Data Warehousing Kapitel 1: Data-Warehousing-Architektur Folien teilweise übernommen von Matthias Gimbel 2 Analyse von Geschäftsprozessen Mögliche Fragestellungen Wie entwickelt sich unser Umsatz im Vergleich

Mehr

The integration of business intelligence and knowledge management

The integration of business intelligence and knowledge management The integration of business intelligence and knowledge management Seminar: Business Intelligence Ketevan Karbelashvili Master IE, 3. Semester Universität Konstanz Inhalt Knowledge Management Business intelligence

Mehr

Data Warehousing: Anwendungsbeispiel

Data Warehousing: Anwendungsbeispiel Frühjahrsemester 2012 cs242 Data Warehousing / cs243 Datenbanken Kapitel 1: Einführung H. Schuldt Data Warehousing: Anwendungsbeispiel Tresgros Tresgros Tresgros Filiale Muttenz Filiale Allschwil Filiale

Mehr

5 Data Warehouses und Data Mining

5 Data Warehouses und Data Mining 5 Data Warehouses und Data Mining Mittels OLAP Techniken können große Datenmengen unterschiedlich stark verdichtet und gezielt aufbereitet werden. Mittels Data Mining können große Datenmengen nach bisher

Mehr

Logische Modellierung von Data Warehouses

Logische Modellierung von Data Warehouses Logische Modellierung von Data Warehouses Vertiefungsarbeit von Karin Schäuble Gliederung. Einführung. Abgrenzung und Grundlagen. Anforderungen. Logische Modellierung. Methoden.. Star Schema.. Galaxy-Schema..

Mehr

Datawarehouse Architekturen. Einheitliche Unternehmenssicht

Datawarehouse Architekturen. Einheitliche Unternehmenssicht Datawarehouse Architekturen Einheitliche Unternehmenssicht Was ist Datawarehousing? Welches sind die Key Words? Was bedeuten sie? DATA PROFILING STAGING AREA OWB ETL OMB*PLUS SAS DI DATA WAREHOUSE DATA

Mehr

Komponenten und Architekturen von Analytischen Informationssystemen (AIS)

Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Melanie Pfoh Konsultation 27. Juni 2013 Hinweis Diese Folien ersetzen keinesfalls den Übungsstoff des zugehörigen e-learning-kurses.

Mehr

Multidimensionales Datenmodell

Multidimensionales Datenmodell Multidimensionales Datenmodell Grundbegriffe fi Fakten, Dimensionen, Würfel Analyseoperationen fi Drill-Down, Roll-Up, Slice und Dice Notationen zur konzeptuellen Modellierung fi ME/R, ADAPT Relationale

Mehr

Multidimensionales Datenmodell, Cognos

Multidimensionales Datenmodell, Cognos Data Warehousing (II): Multidimensionales Datenmodell, Cognos Praktikum: Data Warehousing und Mining Praktikum Data Warehousing und Mining, Sommersemester 2010 Vereinfachte Sicht auf die Referenzarchitektur

Mehr

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY Data Cube On-line Analytical Processing (OLAP). Einführung Ziel: Auffinden interessanter Muster in großen Datenmengen 2. Aggregation in SQL, GROUP BY 3. Probleme mit GROUP BY 4. Der Cube-Operator! Formulierung

Mehr

bersicht Datenbanken und Datawarehouses Datenbank Datenbanksysteme Niels Schršter

bersicht Datenbanken und Datawarehouses Datenbank Datenbanksysteme Niels Schršter bersicht Niels Schršter EinfŸhrung GROUP BY Roll UpÔs Kreuztabellen Cubes Datenbank Ansammlung von Tabellen, die einen ãausschnitt der WeltÒ fÿr eine Benutzergruppe beschreiben. Sie beschreiben die funktionalen

Mehr

Aufbau eines Data Warehouse für den Lebensmitteleinzelhandel

Aufbau eines Data Warehouse für den Lebensmitteleinzelhandel Die Fallstudie aus der Wirtschaftsinformatik: Aufbau eines Data Warehouse für den Lebensmitteleinzelhandel Dipl.-Kfm. Carsten Bange, Dr. Heiko Schinzer, Würzburg 1. Ausgangssituation Der hohe Wettbewerbsdruck

Mehr

WAHLPFLICHTBEREICH WIRTSCHAFTSINFORMATIK 'DATA WAREHOUSE'

WAHLPFLICHTBEREICH WIRTSCHAFTSINFORMATIK 'DATA WAREHOUSE' Take control of your decision support WAHLPFLICHTBEREICH WIRTSCHAFTSINFORMATIK 'DATA WAREHOUSE' Sommersemester 2008 Gliederung Business Intelligence und Data Warehousing On-Line Analytical Processing Ziel

Mehr

Data Warehouse. Kapitel 16. Abbildung 16.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen:

Data Warehouse. Kapitel 16. Abbildung 16.1: Zusammenspiel zwischen OLTP und OLAP. Man unterscheidet zwei Arten von Datenbankanwendungen: Kapitel 16 Data Warehouse OLTP Online Transaction Processing OLAP Online Analytical Processing Decision Support-Anfragen Data Mining operationale DB operationale DB operationale DB Data Warehouse operationale

Mehr

Data Mining und Knowledge Discovery in Databases

Data Mining und Knowledge Discovery in Databases Data Mining und Knowledge Discovery in Databases Begriffsabgrenzungen... Phasen der KDD...3 3 Datenvorverarbeitung...4 3. Datenproblematik...4 3. Möglichkeiten der Datenvorverarbeitung...4 4 Data Mining

Mehr

Vertrautmachen mit Daten

Vertrautmachen mit Daten Kapitel III Vertrautmachen mit Daten 2004 AIFB / FZI 1 III Vertrautmachen mit Daten (see also Data Preparation ) 2004 AIFB / FZI 2 III Vertrautmachen mit Daten III.1 OLAP III.1.1 Einführung in OLAP Wie

Mehr

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER INHALTSVERZEICHNIS 1. Datenbanken 2. SQL 1.1 Sinn und Zweck 1.2 Definition 1.3 Modelle 1.4 Relationales Datenbankmodell 2.1 Definition 2.2 Befehle 3.

Mehr

Christian Kurze BI-Praktikum IBM WS 2008/09

Christian Kurze BI-Praktikum IBM WS 2008/09 Einführung in die multidimensionale Datenmodellierung e mit ADAPT BI-Praktikum IBM WS 2008/09 1 Gliederung Einführung multidimensionale Datenmodellierung 1. Multidimensionales Modell BI-Praktikum IBM WS

Mehr

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse

Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Data Warehouse Definition (1) http://de.wikipedia.org/wiki/data-warehouse Ein Data-Warehouse bzw. Datenlager ist eine zentrale Datensammlung (meist eine Datenbank), deren Inhalt sich aus Daten unterschiedlicher

Mehr

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221

Oracle 10g und SQL Server 2005 ein Vergleich. Thomas Wächtler 39221 Oracle 10g und SQL Server 2005 ein Vergleich Thomas Wächtler 39221 Inhalt 1. Einführung 2. Architektur SQL Server 2005 1. SQLOS 2. Relational Engine 3. Protocol Layer 3. Services 1. Replication 2. Reporting

Mehr

Komponenten und Architekturen von Analytischen Informationssystemen (AIS)

Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Melanie Pfoh Konsultation Zusammenfassung OPAL 6. Übung Juni 2015 Agenda Hinweise zur Klausur Zusammenfassung OPAL Übungen / Kontrollfragen

Mehr

Steuerungsverfahren und ihre Datenstrukturen 02 - Datenmanagement

Steuerungsverfahren und ihre Datenstrukturen 02 - Datenmanagement Steuerungsverfahren und ihre Datenstrukturen 02 - Datenmanagement 1 Übersicht - Datenmanagement 1 Übersicht - Datenmanagement...1 2 Übersicht: Datenbanken - Datawarehouse...2 3 Übersicht: Data Mining...11

Mehr

Vorwort zur zweiten Auflage...V. Vorwort zur ersten Auflage... VIII

Vorwort zur zweiten Auflage...V. Vorwort zur ersten Auflage... VIII Vorwort zur zweiten Auflage...V Vorwort zur ersten Auflage... VIII 1 Management Support Systeme und Business Intelligence Anwendungssysteme zur Unterstützung von Managementaufgaben...1 1.1 Computergestützte

Mehr

Data Warehouses. Data Warehouse Architektur ... Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de

Data Warehouses. Data Warehouse Architektur ... Sommersemester 2011. Melanie Herschel melanie.herschel@uni-tuebingen.de Data Warehouses Sommersemester 2011 Melanie Herschel melanie.herschel@uni-tuebingen.de Lehrstuhl für Datenbanksysteme, Universität Tübingen Data Warehouse Architektur Data-Warehouse-System Teilsichten

Mehr

OLAP und Aggregierung

OLAP und Aggregierung Stärkung der SelbstOrganisationsfähigkeit im Verkehr durch I+K-gestützte Dienste Seminar Data Warehousing im Verkehrsbereich Sommersemester 2003 OLAP und Aggregierung von Jan Sandberger Betreuer: Heiko

Mehr

Einführung in Data Warehouses

Einführung in Data Warehouses Kapitel l6 Einführung in Data Warehouses Vorlesung: Dr. Matthias Schubert Skript 2009 Matthias Schubert Dieses Skript basiert auf dem Skript zur Vorlesung Datenbanksysteme II von Prof. Dr. Christian Böhm

Mehr

1. Einführung. Szenario: Getränkemarkt. DB-Schema. Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks

1. Einführung. Szenario: Getränkemarkt. DB-Schema. Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks . Einführung Motivation Überblick Anwendungen Abgrenzung Begriff Data Warehouse DW-Architektur Benchmarks Sattler / Saake Data-Warehouse-Technologien Szenario: Getränkemarkt Umsatz, Portfolio SSaufland

Mehr

Data Warehousing und Data Mining

Data Warehousing und Data Mining Data Warehousing und Data Mining Architektur und Komponenten von Data Warehouses Ulf Leser Wissensmanagement in der Bioinformatik Inhalt dieser Vorlesung Architektur Komponenten ETL Ulf Leser: Data Warehousing

Mehr

Data Mining Anwendungen und Techniken

Data Mining Anwendungen und Techniken Data Mining Anwendungen und Techniken Knut Hinkelmann DFKI GmbH Entdecken von Wissen in banken Wissen Unternehmen sammeln ungeheure mengen enthalten wettbewerbsrelevantes Wissen Ziel: Entdecken dieses

Mehr

Kapitel II. Datenbereitstellung. II. Datenbereitstellung. II.1 Grundlagen. II. Datenbereitstellung. Collect Initial Data. II.

Kapitel II. Datenbereitstellung. II. Datenbereitstellung. II.1 Grundlagen. II. Datenbereitstellung. Collect Initial Data. II. II. bereitstellung Kapitel II bereitstellung 1 2 II. bereitstellung II.1 Grundlagen Collect Initial Data identify relevant attributes identify inconsistencies between sources Describe Data characterize

Mehr

SAP Business Intelligence

SAP Business Intelligence SAP Business Intelligence Helmut Roos Diplom-Ingenieur Unternehmensberater Grundlagen zu Netweaver 7.0 D-67067 Ludwigshafen +49 (621) 5 29 44 65 Data Acquisition Common Read / Write Interface Open Interface

Mehr

Kapitel 3: Datenbanksysteme

Kapitel 3: Datenbanksysteme LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS Skript zur Vorlesung: Einführung in die Informatik: Systeme und Anwendungen Sommersemester 2015 Kapitel 3: Datenbanksysteme Vorlesung:

Mehr

Business Intelligence Praktikum 1

Business Intelligence Praktikum 1 Hochschule Darmstadt Business Intelligence SS 2014 Fachbereich Informatik Praktikumsversuch 1 Prof. Dr. C. Wentzel Dipl. Inf. Dipl. Math. Y. Orkunoglu Datum: 07.05.2014 Business Intelligence Praktikum

Mehr

Zusammenspiel von Business Intelligence mit betrieblicher Anwendungssoftware Falk Neubert, Universität Osnabrück

Zusammenspiel von Business Intelligence mit betrieblicher Anwendungssoftware Falk Neubert, Universität Osnabrück Zusammenspiel von Business Intelligence mit betrieblicher Anwendungssoftware 14. März 2013, IHK Osnabrück-Emsland-Grafschaft Bentheim Geschichte Kassenbuch des Liederkranz, 1886 Hutmachergesangvereins

Mehr

Sachindex. Array-Speicherung, 159 Attribut dimensionales, 48 Auswahl kostenbasierte, 232

Sachindex. Array-Speicherung, 159 Attribut dimensionales, 48 Auswahl kostenbasierte, 232 Sachindex abgeleitete Partitionierung, 168 abhängiger Data Mart, 37 Ableitbarkeit, 238, 244, 250 Ableiten, 31 Achse MDX, 146 Achsenspezifikation, 146 Ad-hoc-Reporting, 274 ADAPT, 54 Aggregatfunktion, 245

Mehr

Einführung in die Wirtschaftsinformatik VO WS 2009 / 2010

Einführung in die Wirtschaftsinformatik VO WS 2009 / 2010 Einführung in die Wirtschaftsinformatik VO WS 2009 / 2010 Daten Modelle Steuerung Wilfried Grossmann Inhalt Allgemeines Vorgehensmodell Empirische Grundlage Teil 1: Daten Daten Daten und Information Datenerhebung

Mehr

Data Warehouse. für den Microsoft SQL SERVER 2000/2005

Data Warehouse. für den Microsoft SQL SERVER 2000/2005 Warehouse für den Microsoft SQL SERVER 2000/2005 Begriffe 1 DWH ( Warehouse) ist eine fachübergreifende Zusammenfassung von Datentabellen. Mart ist die Gesamtheit aller Datentabellen für einen fachlich

Mehr

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie

Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben. Die Hypercube-Technologie Mit Transbase Hypercube Data Warehouse Anwendungen effizient betreiben Transbase Hypercube ist eine Transbase -Option, die die innovative Hypercube-Technologie für komplexe analytische Anwendungen (OLAP)

Mehr

SQL structured query language

SQL structured query language Umfangreiche Datenmengen werden üblicherweise in relationalen Datenbank-Systemen (RDBMS) gespeichert Logische Struktur der Datenbank wird mittels Entity/Realtionship-Diagrammen dargestellt structured query

Mehr

Data Warehouse Technologien

Data Warehouse Technologien Veit Köppen Gunter Saake Kai-Uwe Sattler Data Warehouse Technologien Sachindex B + -Baum, 185 R -Baum, 207 R a-baum, 207 R + -Baum, 206 abgeleitete Partitionierung, 154 abhängiger Data Mart, 35 Ableitbarkeit,

Mehr

Erweiterte Entwurfskonzepte im Data Warehousing

Erweiterte Entwurfskonzepte im Data Warehousing Universität Karlsruhe (TH) Fakultät für Informatik Institut für Programmstrukturen und Datenorganisation (IPD) Hauptseminar Imperfektion und erweiterte Konzepte im Data Warehousing Erweiterte Entwurfskonzepte

Mehr

OLAP und Data Mining. On-Line Analytical Processing. Coddsche Regeln OLAP. Data Mining. Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen

OLAP und Data Mining. On-Line Analytical Processing. Coddsche Regeln OLAP. Data Mining. Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen OLAP und Data Mining OLAP Begriff Coddsche Regeln FASMI Operationen und Anfragesprachen Data Mining Begriff und Prozeß Verfahren Vorlesung Data-Warehouse-Technologien 9-1 On-Line Analytical Processing

Mehr

Data Warehousing Grundbegriffe und Problemstellung

Data Warehousing Grundbegriffe und Problemstellung Data Warehousing Grundbegriffe und Problemstellung Dr. Andrea Kennel, Trivadis AG, Glattbrugg, Schweiz Andrea.Kennel@trivadis.com Schlüsselworte Data Warehouse, Cube, Data Mart, Bitmap Index, Star Queries,

Mehr

Umsetzung der Anforderungen - analytisch

Umsetzung der Anforderungen - analytisch Umsetzung der Anforderungen - analytisch Titel des Lernmoduls: Umsetzung der Anforderungen - analytisch Themengebiet: New Economy Gliederungspunkt im Curriculum: 4.2.5.5 Zum Inhalt: In diesem Modul wird

Mehr

Fachbereich Informatik Praktikum 1

Fachbereich Informatik Praktikum 1 Hochschule Darmstadt DATA WAREHOUSE SS2015 Fachbereich Informatik Praktikum 1 Prof. Dr. S. Karczewski Dipl. Inf. Dipl. Math. Y. Orkunoglu Datum: 14.April.2015 1. Kurzbeschreibung In diesem Praktikum geht

Mehr

Friedrich-Schiller-Universität Jena

Friedrich-Schiller-Universität Jena Friedrich-Schiller-Universität Jena Seminararbeit zum Thema Data Warehousing Abgrenzung, Einordnung und Anwendungen von Sebastian Hentschel Matrikelnummer 55281 Seminar Data Warehousing Sommersemester

Mehr

Marketing Intelligence Übersicht über Business Intelligence. Josef Kolbitsch Manuela Reinisch

Marketing Intelligence Übersicht über Business Intelligence. Josef Kolbitsch Manuela Reinisch Marketing Intelligence Übersicht über Business Intelligence Josef Kolbitsch Manuela Reinisch Übersicht Beispiel: Pantara Holding Der Begriff Business Intelligence Übersicht über ein klassisches BI-System

Mehr

Business Intelligence. Data Warehouse / Analyse Sven Elvers 2005-07-06

Business Intelligence. Data Warehouse / Analyse Sven Elvers 2005-07-06 Business Intelligence Data Warehouse / Analyse Sven Elvers 2005-07-06 Einleitung Dieses Dokument beschreibt einen für das Verständnis relevanten Teil der Präsentation. Business Intelligence Motivation

Mehr

Realisierung von OLAP Operatoren in einem visuellen Analysetool. Vortrag von Alexander Spachmann und Thomas Lindemeier

Realisierung von OLAP Operatoren in einem visuellen Analysetool. Vortrag von Alexander Spachmann und Thomas Lindemeier Realisierung von OLAP Operatoren in einem visuellen Analysetool Vortrag von Alexander Spachmann und Thomas Lindemeier Gliederung Ausgangssituation/Motivation Was ist OLAP? Anwendungen Was sind Operatoren?

Mehr

SQL Tutorial. SQL - Tutorial SS 06. Hubert Baumgartner. INSO - Industrial Software

SQL Tutorial. SQL - Tutorial SS 06. Hubert Baumgartner. INSO - Industrial Software SQL Tutorial SQL - Tutorial SS 06 Hubert Baumgartner INSO - Industrial Software Institut für Rechnergestützte Automation Fakultät für Informatik Technische Universität Wien Inhalt des Tutorials 1 2 3 4

Mehr

23. Daten-Analyse. Datenwarenhäuser. Grundlagen des OLAP (On-Line Analytical Processing)

23. Daten-Analyse. Datenwarenhäuser. Grundlagen des OLAP (On-Line Analytical Processing) 23. Daten-Analyse Datenwarenhäuser Grundlagen des OLAP (On-Line Analytical Processing) Data Mining: Klassifikation, Assoziationsregeln, Sequenzanalyse Datenmodelle, Datenbanksprachen und Datenbankmanagement-Systeme,

Mehr

Hinweise zur Klausur Zusammenfassung OPAL-Übungen / Kontrollfragen Fragen Vertiefung Modellierung

Hinweise zur Klausur Zusammenfassung OPAL-Übungen / Kontrollfragen Fragen Vertiefung Modellierung Komponenten und Architekturen von Analytischen Informationssystemen (AIS) Melanie Pfoh Konsultation Zusammenfassung OPAL 24. Juni 2014 Agenda Hinweise zur Klausur Zusammenfassung OPAL-Übungen / Kontrollfragen

Mehr

IV. Datenbankmanagement

IV. Datenbankmanagement Wirtschaftsinformatik 2 (PWIN) IV. Datenbankmanagement Kapitel 2: Datenmanipulationssprache SQL Wirtschaftsinformatik 2 (PWIN) SS 2009, Professur für Mobile Business & Multilateral Security 1 Agenda 1.

Mehr

Management Support Systeme

Management Support Systeme Management Support Systeme WS 24-25 4.-6. Uhr PD Dr. Peter Gluchowski Folie Gliederung MSS WS 4/5. Einführung Management Support Systeme: Informationssysteme zur Unterstützung betrieblicher Fach- und Führungskräfte

Mehr

Business Intelligence Data Warehouse. Jan Weinschenker

Business Intelligence Data Warehouse. Jan Weinschenker Business Intelligence Data Warehouse Jan Weinschenker 28.06.2005 Inhaltsverzeichnis Einleitung eines Data Warehouse Data Warehouse im Zusammenfassung Fragen 3 Einleitung Definition: Data Warehouse A data

Mehr

Cassandra Query Language (CQL)

Cassandra Query Language (CQL) Cassandra Query Language (CQL) Seminar: NoSQL Wintersemester 2013/2014 Cassandra Zwischenpräsentation 1 Gliederung Basic facts Datentypen DDL/DML ähnlich zu SQL Besonderheiten Basic facts CQL kurz für

Mehr

Download:.../~rieche. gehalten am 2. Februar 2004. Stephan Rieche. Vortrag. Thema: Index Selection. von. Seminar Advanced Data Warehouse

Download:.../~rieche. gehalten am 2. Februar 2004. Stephan Rieche. Vortrag. Thema: Index Selection. von. Seminar Advanced Data Warehouse Seminar Advanced Data Warehouse Thema: Index Selection Vortrag von Stephan Rieche gehalten am 2. Februar 2004 Download:.../~rieche Inhalt des Vortrages 1. Einleitung - Was ist das Index Selection Problem?

Mehr

Nachtrag: Farben. Farbblindheit. (Light und Bartlein 2004)

Nachtrag: Farben. Farbblindheit. (Light und Bartlein 2004) Nachtrag: Farben Farbblindheit (Light und Bartlein 2004) 1 Vorgeschlagene Farbskalen (Light and Bartlein 2004) Farbkodierung metrisch skalierter Daten Unterscheide: 1. Sequential Data (ohne Betonung der

Mehr

Informationsintegration

Informationsintegration Informationsintegration Grundlegende Architekturen Ulf Leser Inhalt diese Vorlesung Klassifikation verteilter, autonomer, heterogener Systeme Weitere Klassifikationskriterien Schichtenaufbau integrierter

Mehr

Relevante Fachgebiete für Data Mining

Relevante Fachgebiete für Data Mining Relevante Fachgebiete für Data Mining 1 Prozesse beim Data Mining 1. Data cleaning: Datensäuberung von Rauschen & Inkonsistenz 2. Data integration: Datenintegration aus multiplen Quellen 3. Data selection:

Mehr

1 Einleitung. Betriebswirtschaftlich administrative Systeme

1 Einleitung. Betriebswirtschaftlich administrative Systeme 1 1 Einleitung Data Warehousing hat sich in den letzten Jahren zu einem der zentralen Themen der Informationstechnologie entwickelt. Es wird als strategisches Werkzeug zur Bereitstellung von Informationen

Mehr

SQL. strukturierte Datenbankabfragesprache eine Datenbanksprache zur. Structured Query Language:

SQL. strukturierte Datenbankabfragesprache eine Datenbanksprache zur. Structured Query Language: SQL Structured Query Language: strukturierte Datenbankabfragesprache eine Datenbanksprache zur Definition, Abfrage und Manipulation von Daten in relationalen Datenbanken In der SQL-Ansicht arbeiten In

Mehr

Einführung in SQL. Sprachumfang: Indizes. Datensätzen. Zugriffsrechten

Einführung in SQL. Sprachumfang: Indizes. Datensätzen. Zugriffsrechten Einführung in SQL Die Sprache SQL (Structured Query Language) ist eine Programmiersprache für relationale Datenbanksysteme, die auf dem ANSI-SQL-Standard beruht. SQL wird heute von fast jedem Datenbanksystem

Mehr

Unterabfragen (Subqueries)

Unterabfragen (Subqueries) Unterabfragen (Subqueries) Die kürzeste Formulierung ist folgende: SELECT Felderliste FROM Tabelle1 WHERE Tabelle1.Feldname Operator (SELECT Feldname FROM Tabelle2 WHERE Bedingung); wobei Tabelle1 und

Mehr

SQL für Trolle. mag.e. Dienstag, 10.2.2009. Qt-Seminar

SQL für Trolle. mag.e. Dienstag, 10.2.2009. Qt-Seminar Qt-Seminar Dienstag, 10.2.2009 SQL ist......die Abkürzung für Structured Query Language (früher sequel für Structured English Query Language )...ein ISO und ANSI Standard (aktuell SQL:2008)...eine Befehls-

Mehr

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung

Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Asklepius-DA Die intelligente Technologie für die umfassende Analyse medizinischer Daten Leistungsbeschreibung Datei: Asklepius DA Flyer_Leistung_2 Seite: 1 von:5 1 Umfassende Datenanalyse Mit Asklepius-DA

Mehr

ENTERBRAIN Reporting & Business Intelligence

ENTERBRAIN Reporting & Business Intelligence Überblick Vorhandene Listen/Analysen in ENTERBRAIN Die Daten in ENTERBRAIN Das Fundament des BI - Hauses Details zur ENTERBRAIN Staging Area Reports und Cubes auf Basis der Staging Area Data Mining mit

Mehr

Exploration und Klassifikation von BigData

Exploration und Klassifikation von BigData Exploration und Klassifikation von BigData Inhalt Einführung Daten Data Mining: Vorbereitungen Clustering Konvexe Hülle Fragen Google: Riesige Datenmengen (2009: Prozessieren von 24 Petabytes pro Tag)

Mehr

Marketing Intelligence Vorstellung der Softwarekomponenten. Josef Kolbitsch Manuela Reinisch

Marketing Intelligence Vorstellung der Softwarekomponenten. Josef Kolbitsch Manuela Reinisch Marketing Intelligence Vorstellung der Softwarekomponenten Josef Kolbitsch Manuela Reinisch Übersicht Übersicht über die Systemlandschaft Übersicht über die Werkzeuge Workshop Systemlandschaft 1/8 Klassische

Mehr

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)

Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team

Mehr

1 Einführung. Unbekannte Begriffe: Business Intelligence, Knowledge Management, Unternehmensportale, Information Warehouse.

1 Einführung. Unbekannte Begriffe: Business Intelligence, Knowledge Management, Unternehmensportale, Information Warehouse. 1 Einführung mysap Business Intelligence stellt mit Hilfe von Knowledge Management die Verbindung zwischen denen, die etwas wissen und denen, die etwas wissen müssen her. mysap Business Intelligence integriert

Mehr

Business Intelligence im Krankenhaus

Business Intelligence im Krankenhaus Business Intelligence im Krankenhaus Dr. Thomas Lux Holger Raphael IT-Trends in der Medizin 03.September 2008 Essen Gliederung Herausforderungen für das Management im Krankenhaus Business Intelligence

Mehr

1. Data Warehouses - Einführung

1. Data Warehouses - Einführung 1. s - Einführung Definition Einsatzbeispiele OLTP vs. OLAP Grobarchitektur Virtuelle vs. physische Datenintegration Mehrdimensionale Datensicht Star-Schema, -Anfragen Data Mining Prof. E. Rahm 1-1 y yy

Mehr

Hetero-Homogene Data Warehouses

Hetero-Homogene Data Warehouses Hetero-Homogene Data Warehouses TDWI München 2011 Christoph Schütz http://hh-dw.dke.uni-linz.ac.at/ Institut für Wirtschaftsinformatik Data & Knowledge Engineering Juni 2011 1 Data-Warehouse-Modellierung

Mehr

Dominik Pretzsch TU Chemnitz 2011

Dominik Pretzsch TU Chemnitz 2011 Dominik Pretzsch TU Chemnitz 2011 Wir leben im Informationszeitalter und merken es daran, dass wir uns vor Information nicht mehr retten können. Nicht der überwältigende Nutzen der Information, sondern

Mehr

Austauschformate für Data Mining und OLAP

Austauschformate für Data Mining und OLAP Studiengang: Informatik Prüfer: Betreuer: Prof. Dr. B. Mitschang Dipl. Inform. Holger Schwarz begonnen am: 19. November 2000 beendet am: 18. Mai 2001 CR-Klassifikation: H.2.7, H.4.2 Studienarbeit Nr. 1811

Mehr