Data Warehousing Sommersemester 2004 Ulf Leser Wissensmanagement in der Bioinformatik
... Der typische Walmart Kaufagent verwendet täglich mächtige Data Mining Werkzeuge, um die Daten der 300 Terabyte Datenbank zu erforschen [Jim Gray, Computer Zeitung 17/2003] Was verkaufen wir wo am häufigsten? Gibt es einen Zusammenhang zwischen der Regalposition und den Umsatzzahlen von Produkten? Wie lange müssen wir Produkt X durchschnittlich lagern und wo? Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 2
Data Warehousing Vorlesung 2SWS Übung 2SWS Sprechstunde Nach Vereinbarung / Offene Türen IV.103 (030) 2093 3901 leser@informatik.hu-berlin.de Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 3
Termine Vorlesung: Do, 13.00 15.00 Uhr Übung: Do, 15.00 17.00 Uhr Welche Termine fallen aus? 20.5.: Christi Himmelfahrt Folien im Web jeweils vorab verfügbar Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 4
Einbettung Voraussetzungen DBS-I Relationalenmodell, ER, funkt. Abhängigkeiten Joins, Anfrageübersetzung, Anfrageoptimierung SQL Wiederholung wichtiger Konzepte diese Stunde JAVA Keine Voraussetzung DBS-II Oracle Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 5
Ziel der Vorlesung Umgang mit große Datenbanken Techniken und Konzepte des Data Warehousing Performance-optimierte Schema und Strukturen Multidimensionales statt relationales Datenmodell Advanced Features: Bitmap Index, Materialisierte Views, STAR- Joins, multidimensionale Indexstrukturen Erfahrung mit Gigabytes Unterschiede in Nutzungscharakteristika von Datenbanken kennen lernen Andere Anforderungen andere Methoden Missachtung lässt Projekte scheitern Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 6
Inhaltsübersicht 1- Heute Kurzzusammenfassung RDBMS Einleitung & Motivation Was ist ein DWH? Architektur & Prozesse Konzepte, Komponenten und Begriffe Modellierung von DWH Multidimensionale Modellierung Spezielle Operatoren auf MDDM Umsetzung des multidimensionalen Datenmodells Relationale Abbildung SQL-basierte DWH-Operatoren MDX Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 7
Inhaltsübersicht 2- Indexstrukturen für DWH Bitmap Indexe Multidimensionale Indexstrukturen Logische Optimierung Star-Join und Partitionierung Materialisierte Sichten Precomputed statt On demand Answering Queries using Views Extraction, Transformation & Load (ETL) Integrierte und aktuelle Daten für das DWH Updatestrategien Datenqualität und Data Cleansing Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 8
Gastvortrag 10.6.: Oracle Business Intelligence Tools Vorlesung eines Oracle-Mitarbeiters Hoffentlich mit Hands-On Erfahrung Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 9
Übung 1-2SWS Termin: Direkt nach der Vorlesung Maximale Teilnehmerzahl: 15 Studenten Erster Termin: Heute Ort: RUD 25, Raum 3.112 Anmeldung: Goya, email, Anwesenheit Inhalt Handhabung großer Datenmengen Modellierung von DWH DWH-Konzepte in Oracle Anfrageoptimierung Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 10
Übung 2- Gruppen a? Studenten Ablauf: 5 Aufgaben Jeweils 2-3 Wochen Zeit Präsentation der Arbeitsschritte und Ergebnisse Übungsschein Gruppe hat alle Aufgaben gelöst Einmal Ergebnis vorgestellt Wer kommt in die Übung? Drei Aufgaben sind als Wettbewerb konzipiert Siegerehrung am Ende des Semesters Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 11
Anrechenbarkeit Zusammen mit der Vorlesung Molekularbiologische Datenbanken ist es ein Halbkurs Dazu braucht man einen Übungsschein Entweder Molekularbiologische Datenbanken Oder Data Warehouses Weitere Kombinationen auf Anfrage Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 12
Literatur Primär Lehner: Datenbanktechnologie für Data Warehouse Systeme, dpunkt.verlag, 2003, ca. 40.- Euro Weitere Bauer/Günzel: Data Warehouse Systeme, dpunkt.verlag, 2001, ca. 50.- Euro Kimball et al. The Data Warehouse Life Cycle Toolkit, John Wiley & Sons, 1998 Jürgens: Index Structures for Data Warehouses, LNCS 1859, Springe- Verlag, 2000 Oehler: OLAP: Grundlagen, Modellierung und betriebswirtschaftliche Grundlagen, Hanser Verlag, 2000 Übersichtsartikel Chaudhuri, Dayal: An Overview of Data Warehousing and OLAP Technology, SIGMOD Record, 1997 Widom: Research Problems in Data Warehousing, CIKM, 1994 Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 13
Fragen? Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 14
Fragen Diplominformatiker? Semester? DBS-I? Übungsteilnahme? Prüfung? Ulf Leser: Data Warehousing, Vorlesung, Sommersemester 2004 15