Data Warehouse in der Telekommunikation Hans-Friedrich Pfeiffer Talkline GmbH & Co.KG Elmshorn, 11.06.2007
Übersicht Historie Struktureller Aufbau des Dara Warehouse Anforderungen an das Data Warehouse Die Antwort : Automatisierung und Eigenentwicklung E-Business 2
Historie Historie Bis 1998 direktes Reporting auf dem Billingsystem ( BSCS ) Einführung von Festnetz und Internet führte zu Performance-Engpässen Geburtsstunde eines physikalisch getrennten DWHs ( 1998 ) Wechsel des Billingsystems unmittelbar bevorstehend Verankerung des Data Warehouse im Unternehmen Ursachen für das häufige Scheitern von DWH-Projekten Unterschätzung des personellen, zeitlichen und technischen Aufwands Konkurrenzkampf um DWH-Ressourcen Einführung eines Lenkungsausschusses für das DWH unter Beteiligung aller Unternehmensbereiche inkl. Top-Management gemeinsame Priorisierung und Festlegung der DWH-Projekte - nur wirklich relevante Projekte werden tatsächlich umgesetzt 3
Historie Data Warehouse als zentrale Schnittstelle Reports sollten zentral erstellt und verwaltet werden Urheberschaft muss zu jedem Zeitpunkt eindeutig geklärt sein Reports ähnlicher Thematik müssen vergleichbar sein / bleiben Festlegung unternehmensweit gültiger Definitionen zentraler Begriffe - Glossar erstellen 4
Struktureller Aufbau des Data Warehouse Hardware / Software Beginn mit Oracle 8.1.5, heute auf Oracle 10.2.0.2 Sun Solaris auf Sun Enterprise Server 25 K 800 GB Datenvolumen in Oracle 700 GB Datenvolumen unter SAS ( Staging Area ) Datenmodell Sternschema ( Fakten-Tabellen und Dimensionen ) relativ leichte Erweiterbarkeit des Datenmodells Bildung von Aggregaten mit klassischen SQL-Skripten Historisierung aggregierter Daten möglich Materialized Views haben sich nicht als vorteilhaft erwiesen - keine Abfrage-Transparenz bei Query-Rewrite - zu Anfang ( Oracle 8/9,x ) nur eingeschränkte Funktionalität 5
Struktureller Aufbau des Data Warehouse Datenmodell nicht normalisiert Speziell verwendete ORACLE-Features : Partitionierung großer Tabellen ( Range // Hash ) - einfacher Austausch / Löschung von Monatsdaten - gute Performance bei Abfragen / Aggregationen Compressed Tables 6
Anforderungen an das Data Warehouse die Telekommunikation ist gekennzeichnet durch häufige Änderungen der geschäftlichen Prioritäten und Schwerpunkte gefordert sind daher : schnelle Reaktionszeiten bei Anbindung / Reporting neuer Quellsysteme - interne Quellsysteme ( Oracle-Datenbanken : Kunden, Händler, Rechnungen, Aufträge ) - externe Quellsysteme ( Schnittstellendateien von D1, Vodafone, E-Plus und O 2 ) - hohe Datenaktualität und Datenqualität 7
Die Antwort : Automatisierung und Eigenentwicklung Automatisierung von Lade- und Verarbeitungsprozessen Aufwand für Tagesgeschäft minimieren Transparenz aller durchgeführten Arbeitsschritte ( Automatisiertes ) Nachladen fehlerhafter oder unvollständiger Daten Eigenentwicklung sämtlicher Prozessketten OraPerl, Shell-Skripte, SQL*Plus-Skripte, SAS schnelle Anpassungsfähigkeit Third-Party-Produkte bergen ein gewisses Risiko für mangelnde oder fehlende Features ( Black Box ) Kosten Behauptung : Eigenentwicklung ist kostenneutral zu Third-Party- Produkten Motivation und Identifikation Komplexität / Umfang des DWHs erfordert qualifiziertes Personal 8
Highlights des Data Warehouse ProCon ( Process Control ) In OraPerl entwickelter Scheduler - frei definierbare Abhängigkeiten - Ausführung von Programm(ketten) gemäß Abhängigkeiten - maximale Parallelisierung bis zum Fehler-Code 9
Highlights des Data Warehouse Generate Excel Generierung und automatische Versendung von Excel-Blättern auf der Grundlage einer Template-Datei - läuft unter UNIX - etwa 660 Excel-Blätter werden automatisiert erzeugt Auto-Loader In OraPerl geschriebenes Programm welches auf der Basis von Tabelleneinträge Schnittstellendateien von Remote Servern holen, registrieren und in ( mehrere ) Oracle-Tabellen laden kann - nachfolgende Aggregationsschritte deklarierbar - Überwachung von Formaten - Umrechnungen von Eingangsdaten, Mapping zu Dimensionen - Überwachung von Sequenz-Nummern, Header, Trailer 10
Data Warehouse und E-Business Onlineshop unter http://www.talkline.de Elektronische Rechnung Portale Zusätzliche Dienstleistungen wird als eigenständiger Vertriebskanal gesehen Analyse des Nutzungsverhalten - steuert Fokus der Weiterentwicklung 11
SEE YOU WWW.TALKLINE.DE 12