Präsentation der Bachelorarbeit

Transkript

1 Präsentation der Bachelorarbeit Einrichtung einer BI-Referenzumgebung mit Oracle 11gR1 Jörg Bellan Hochschule Ulm Fakultät Informatik Institut für Betriebliche Informationssysteme 15. Oktober 2009

2 Agenda 1 Inhalt der Arbeit 2 Datenvorbereitung 3 Oracle 4 Implementierung 5 Fazit

3 Vision Vision und Ziel des Projekts Aufbau einer BI-Referenzumgebung mit Oracle ETL, Reporting, OLAP & Data Mining sollen ermöglicht werden Vergleich von Oracle DBMS und Tools mit Open Source Lösungen Einsatz des Systems in der Lehre, zum Veranschaulichen der Zusammenhänge und Durchführung von Übungen

4 Aufgabenstellung Ziel der Bachelorarbeit Aufbau einer Business Intelligence Lösung mit Oracle bestehend aus: Core Data Warehouse Data Mart Anwendung der BI Lösung Erstellen von Reports Szenario Online DVD Shop mit Kunden-, Produkt- und Bestelldaten Das Data Warehouse integriert verschiedene Systeme DVD Store (OLTP System) DVD Laden (OLTP System) MovieSite (Internetseite mit Informationen über Filme, deren Schauspieler und verantwortliche Studios)

5 Aufbau des Dell DVD Store Open Source OLTP System, das einen Web-Shop simuliert bestehend aus: Rohdaten, Shell-Skripte und Web-Frontend (Java Server Pages) Typ Größe Kunden Produkte klein 10 MB mittel 1 GB groß 100 GB

6 Anpassungen des Dell DVD Store Probleme des Dell DVD Store Namen der Kunden und Bezeichnungen der Produkte bestehen aus willkürlichen Buchstabenkombinationen Wohnorte der Kunden ebenfalls nicht real und unbrauchbar für Analysen Durchgeführte Anpassungen Namen der Kunden durch reale Namen ersetzt (Zufallskombination von Vor- und Nachnamen) Zuweisung von realen Wohnorten mit korrekter Hierarchie Anpassung des Datums der Bestellungen (Rohdaten von 2004)

7 DVD Laden & MovieSite Aufbau von DVD Laden und MovieSite Das OLTP System DVD Laden und die Webseite MovieSite sind ebenfalls fiktive Datenbanken. Datenmodell und Skripte sind der Vorlesung Data Warehousing von Prof. Dr. von Schwerin entnommen. Skripte greifen auf zuvor extrahierte Daten des Dell DVD Store zu DVD Laden enthält neue (eigene) Kunden und Kunden, die auch in DVD Store registriert sind MovieSite weist den Filmen zufällig weitere Schauspieler zu und gilt als DIE Datenquelle für Produktinformationen für das DWH

8 Übersicht des BI Systems

9 Das DBMS Oracle 11g Release 1 Oracle 11g Release 1 Enterprise Edition kommerzielles DBMS der Firma Oracle Lizenzierung durch Mitgliedschaft in der OAI (Oracle Academic Initiative) Enterprise Edition beinhaltet spezielle Tools wie den Oracle Warehouse Builder Enterprise Edition bietet zudem weitere Optionen wie Data Mining, Partitioning, OLAP komplexe Struktur a Wichtiger Lerneffekt: Oracle-Verständnis von Datenbank afröhlich, LUTZ: Oracle 11g - Das umfassende Handbuch

10 Datenbankstruktur Datenbankstruktur mehrere Tablespaces (Systembedingte und Benutzerspezifische) Tablespaces werden Benutzern (= Schemata) zugewiesen Schemata enthalten die Datenbankobjekte Objekte werden in Tablespaces und somit in einer oder in mehreren Dateien gespeichert

11 Die verwendeten Tools Datenbankschnittstellen SQL*Plus direkte Kommunikation mit DB Enterprise Manager Database Control Datenbankverwaltung SQL Developer Abfragen, Prozeduren.. SQL Developer Data Modeler Datenmodell Data Warehousing Oracle Warehouse Builder [ETL] Reporting Oracle Business Intelligence Suite Oracle Business Intelligence Publisher [Reports erstellen]

12 Konzept

13 Datenmodell des Core Data Warehouse

14 Datenmodell des Data Mart

15 ETL mit dem Oracle Warehouse Builder Schritte zur Definition des ETL Prozesses Verbindungen zu Quell- und Zieldatenbanken bzw. -dateien im Oracle Warehouse Builder einrichten Tabellen inkl. Beziehungen oder Dimensionen definieren Mappings erstellen und so Transformationsphase modellieren Schritte zur Ausführung des ETL Prozesses Validierung und Bereitstellung (Deployment) der OWB Objekte mit dem Control Center Manager Start der Mappings oder besser der Prozessflüsse

16 ETL mit dem Oracle Warehouse Builder

17 Reporting mit dem Oracle BI Publisher notwendige Schritte zur Erstellung JDBC-Verbindung zu entsprechendem Datenbankschema Datenabfrage erstellen (manuell oder mit Query Builder) Layout definieren (RTF, PDF, Interaktiv..)

18 Reporting mit dem Oracle BI Publisher

19 Zwischenstand bei der Implementierung Erreichte Ziele Oracle 11g DBMS konfiguriert Quellsysteme und Prozeduren zur Simulation von produktivem Betrieb erstellt ETL Prozess inklusive Historisierung konfiguriert Reporting

20 Ausblick mögliche Weiterentwicklung Update der Datenbanksoftware, um ODBC-Verbindung zu MySQL-Datenbanken zu ermöglichen abschließende Konfiguration von Change Data Capture (CDC) Test und Ausbau der Historisierung der Kunden- (SCD Typ 2) und Produktdimensionen (SCD Typ 3) Data Mart nicht relational, sondern multidimensional speichern Anwendung der OLAP-Funktionalitäten der Oracle BI Suite Data Mining

21 Bewertung der Oracle Tools negative Merkmale Dokumentation von Oracle teilweise nicht ausreichend und Hilfe im Internet nicht immer möglich, da die Probleme sehr spezifisch sein können in der verwendeten Version sind noch Fehler enthalten OWB nicht intuitiv bedienbar, erfordert gewisse Einarbeitungszeit Hintergrundprozesse des OWB nicht transparent, Informationssuche durch unzureichende Dokumentation erschwert

22 Bewertung der Oracle Tools positive Merkmale homogenes System möglich, Tools harmonieren miteinander SQL Developer leicht zugänglich, umfangreich und intuitiv bedienbar OWB ist äußerst umfangreich und konzentriert den gesamten ETL Prozess in einer Anwendung BI Publisher bietet übersichtliche Oberfläche, Reports können mit der Weboberfläche erstellt werden, ohne spezifisches SQL Wissen zu erfordern

23 Anwendung in der Lehre Welche Erkenntnisse nützen der Lehre? Unterschiede zwischen Oracle und anderen BI Lösungen erkennen Besonderheiten des DBMS Oracle 11g Einsatz des ETL Tools OWB im Gegensatz zu Open Source Software und zu Skript-basierten ETL Prozessen Umgang mit professionellen BI Tools

24 Quellen & Literatur FRÖHLICH, LUTZ: Oracle 11g - Das umfassende Handbuch mitp-verlag, Bonn, 1. Auflage, 2009, ISBN: ORACLE: Oracle Warehouse Builder User s Guide, 11g Release 1(11.1), Januar 2009 ORACLE: Oracle Business Intelligence Publisher Report Designer s Guide, Release , August 2008 Einführung zur Beamer-Klasse mischulz/beamer.html The Beamer class (Manual for version 3.07)