Präsentation der Bachelorarbeit Einrichtung einer BI-Referenzumgebung mit Oracle 11gR1 Jörg Bellan Hochschule Ulm Fakultät Informatik Institut für Betriebliche Informationssysteme 15. Oktober 2009
Agenda 1 Inhalt der Arbeit 2 Datenvorbereitung 3 Oracle 4 Implementierung 5 Fazit
Vision Vision und Ziel des Projekts Aufbau einer BI-Referenzumgebung mit Oracle ETL, Reporting, OLAP & Data Mining sollen ermöglicht werden Vergleich von Oracle DBMS und Tools mit Open Source Lösungen Einsatz des Systems in der Lehre, zum Veranschaulichen der Zusammenhänge und Durchführung von Übungen
Aufgabenstellung Ziel der Bachelorarbeit Aufbau einer Business Intelligence Lösung mit Oracle bestehend aus: Core Data Warehouse Data Mart Anwendung der BI Lösung Erstellen von Reports Szenario Online DVD Shop mit Kunden-, Produkt- und Bestelldaten Das Data Warehouse integriert verschiedene Systeme DVD Store (OLTP System) DVD Laden (OLTP System) MovieSite (Internetseite mit Informationen über Filme, deren Schauspieler und verantwortliche Studios)
Aufbau des Dell DVD Store Open Source OLTP System, das einen Web-Shop simuliert bestehend aus: Rohdaten, Shell-Skripte und Web-Frontend (Java Server Pages) Typ Größe Kunden Produkte klein 10 MB 20.000 10.000 mittel 1 GB 2.000.000 100.000 groß 100 GB 200.000.000 1.000.000
Anpassungen des Dell DVD Store Probleme des Dell DVD Store Namen der Kunden und Bezeichnungen der Produkte bestehen aus willkürlichen Buchstabenkombinationen Wohnorte der Kunden ebenfalls nicht real und unbrauchbar für Analysen Durchgeführte Anpassungen Namen der Kunden durch reale Namen ersetzt (Zufallskombination von Vor- und Nachnamen) Zuweisung von realen Wohnorten mit korrekter Hierarchie Anpassung des Datums der Bestellungen (Rohdaten von 2004)
DVD Laden & MovieSite Aufbau von DVD Laden und MovieSite Das OLTP System DVD Laden und die Webseite MovieSite sind ebenfalls fiktive Datenbanken. Datenmodell und Skripte sind der Vorlesung Data Warehousing von Prof. Dr. von Schwerin entnommen. Skripte greifen auf zuvor extrahierte Daten des Dell DVD Store zu DVD Laden enthält neue (eigene) Kunden und Kunden, die auch in DVD Store registriert sind MovieSite weist den Filmen zufällig weitere Schauspieler zu und gilt als DIE Datenquelle für Produktinformationen für das DWH
Übersicht des BI Systems
Das DBMS Oracle 11g Release 1 Oracle 11g Release 1 Enterprise Edition kommerzielles DBMS der Firma Oracle Lizenzierung durch Mitgliedschaft in der OAI (Oracle Academic Initiative) Enterprise Edition beinhaltet spezielle Tools wie den Oracle Warehouse Builder Enterprise Edition bietet zudem weitere Optionen wie Data Mining, Partitioning, OLAP komplexe Struktur a Wichtiger Lerneffekt: Oracle-Verständnis von Datenbank afröhlich, LUTZ: Oracle 11g - Das umfassende Handbuch
Datenbankstruktur Datenbankstruktur mehrere Tablespaces (Systembedingte und Benutzerspezifische) Tablespaces werden Benutzern (= Schemata) zugewiesen Schemata enthalten die Datenbankobjekte Objekte werden in Tablespaces und somit in einer oder in mehreren Dateien gespeichert
Die verwendeten Tools Datenbankschnittstellen SQL*Plus direkte Kommunikation mit DB Enterprise Manager Database Control Datenbankverwaltung SQL Developer Abfragen, Prozeduren.. SQL Developer Data Modeler Datenmodell Data Warehousing Oracle Warehouse Builder [ETL] Reporting Oracle Business Intelligence Suite Oracle Business Intelligence Publisher [Reports erstellen]
Konzept
Datenmodell des Core Data Warehouse
Datenmodell des Data Mart
ETL mit dem Oracle Warehouse Builder Schritte zur Definition des ETL Prozesses Verbindungen zu Quell- und Zieldatenbanken bzw. -dateien im Oracle Warehouse Builder einrichten Tabellen inkl. Beziehungen oder Dimensionen definieren Mappings erstellen und so Transformationsphase modellieren Schritte zur Ausführung des ETL Prozesses Validierung und Bereitstellung (Deployment) der OWB Objekte mit dem Control Center Manager Start der Mappings oder besser der Prozessflüsse
ETL mit dem Oracle Warehouse Builder
Reporting mit dem Oracle BI Publisher notwendige Schritte zur Erstellung JDBC-Verbindung zu entsprechendem Datenbankschema Datenabfrage erstellen (manuell oder mit Query Builder) Layout definieren (RTF, PDF, Interaktiv..)
Reporting mit dem Oracle BI Publisher
Zwischenstand bei der Implementierung Erreichte Ziele Oracle 11g DBMS konfiguriert Quellsysteme und Prozeduren zur Simulation von produktivem Betrieb erstellt ETL Prozess inklusive Historisierung konfiguriert Reporting
Ausblick mögliche Weiterentwicklung Update der Datenbanksoftware, um ODBC-Verbindung zu MySQL-Datenbanken zu ermöglichen abschließende Konfiguration von Change Data Capture (CDC) Test und Ausbau der Historisierung der Kunden- (SCD Typ 2) und Produktdimensionen (SCD Typ 3) Data Mart nicht relational, sondern multidimensional speichern Anwendung der OLAP-Funktionalitäten der Oracle BI Suite Data Mining
Bewertung der Oracle Tools negative Merkmale Dokumentation von Oracle teilweise nicht ausreichend und Hilfe im Internet nicht immer möglich, da die Probleme sehr spezifisch sein können in der verwendeten Version sind noch Fehler enthalten OWB nicht intuitiv bedienbar, erfordert gewisse Einarbeitungszeit Hintergrundprozesse des OWB nicht transparent, Informationssuche durch unzureichende Dokumentation erschwert
Bewertung der Oracle Tools positive Merkmale homogenes System möglich, Tools harmonieren miteinander SQL Developer leicht zugänglich, umfangreich und intuitiv bedienbar OWB ist äußerst umfangreich und konzentriert den gesamten ETL Prozess in einer Anwendung BI Publisher bietet übersichtliche Oberfläche, Reports können mit der Weboberfläche erstellt werden, ohne spezifisches SQL Wissen zu erfordern
Anwendung in der Lehre Welche Erkenntnisse nützen der Lehre? Unterschiede zwischen Oracle und anderen BI Lösungen erkennen Besonderheiten des DBMS Oracle 11g Einsatz des ETL Tools OWB im Gegensatz zu Open Source Software und zu Skript-basierten ETL Prozessen Umgang mit professionellen BI Tools
Quellen & Literatur FRÖHLICH, LUTZ: Oracle 11g - Das umfassende Handbuch mitp-verlag, Bonn, 1. Auflage, 2009, ISBN: 978-3-8266-5913-3 ORACLE: Oracle Warehouse Builder User s Guide, 11g Release 1(11.1), Januar 2009 ORACLE: Oracle Business Intelligence Publisher Report Designer s Guide, Release 10.1.3.4, August 2008 Einführung zur Beamer-Klasse http://www2.informatik.hu-berlin.de/ mischulz/beamer.html The Beamer class (Manual for version 3.07) http://www.ctan.org/tex-archive/macros/latex/contrib/beamer/