Data Warehouse in der Telekommunikation

Transkript

1 Data Warehouse in der Telekommunikation Hans-Friedrich Pfeiffer Talkline GmbH & Co.KG Elmshorn,

2 Übersicht Historie Struktureller Aufbau des Dara Warehouse Anforderungen an das Data Warehouse Die Antwort : Automatisierung und Eigenentwicklung E-Business 2

3 Historie Historie Bis 1998 direktes Reporting auf dem Billingsystem ( BSCS ) Einführung von Festnetz und Internet führte zu Performance-Engpässen Geburtsstunde eines physikalisch getrennten DWHs ( 1998 ) Wechsel des Billingsystems unmittelbar bevorstehend Verankerung des Data Warehouse im Unternehmen Ursachen für das häufige Scheitern von DWH-Projekten Unterschätzung des personellen, zeitlichen und technischen Aufwands Konkurrenzkampf um DWH-Ressourcen Einführung eines Lenkungsausschusses für das DWH unter Beteiligung aller Unternehmensbereiche inkl. Top-Management gemeinsame Priorisierung und Festlegung der DWH-Projekte - nur wirklich relevante Projekte werden tatsächlich umgesetzt 3

4 Historie Data Warehouse als zentrale Schnittstelle Reports sollten zentral erstellt und verwaltet werden Urheberschaft muss zu jedem Zeitpunkt eindeutig geklärt sein Reports ähnlicher Thematik müssen vergleichbar sein / bleiben Festlegung unternehmensweit gültiger Definitionen zentraler Begriffe - Glossar erstellen 4

5 Struktureller Aufbau des Data Warehouse Hardware / Software Beginn mit Oracle 8.1.5, heute auf Oracle Sun Solaris auf Sun Enterprise Server 25 K 800 GB Datenvolumen in Oracle 700 GB Datenvolumen unter SAS ( Staging Area ) Datenmodell Sternschema ( Fakten-Tabellen und Dimensionen ) relativ leichte Erweiterbarkeit des Datenmodells Bildung von Aggregaten mit klassischen SQL-Skripten Historisierung aggregierter Daten möglich Materialized Views haben sich nicht als vorteilhaft erwiesen - keine Abfrage-Transparenz bei Query-Rewrite - zu Anfang ( Oracle 8/9,x ) nur eingeschränkte Funktionalität 5

6 Struktureller Aufbau des Data Warehouse Datenmodell nicht normalisiert Speziell verwendete ORACLE-Features : Partitionierung großer Tabellen ( Range // Hash ) - einfacher Austausch / Löschung von Monatsdaten - gute Performance bei Abfragen / Aggregationen Compressed Tables 6

7 Anforderungen an das Data Warehouse die Telekommunikation ist gekennzeichnet durch häufige Änderungen der geschäftlichen Prioritäten und Schwerpunkte gefordert sind daher : schnelle Reaktionszeiten bei Anbindung / Reporting neuer Quellsysteme - interne Quellsysteme ( Oracle-Datenbanken : Kunden, Händler, Rechnungen, Aufträge ) - externe Quellsysteme ( Schnittstellendateien von D1, Vodafone, E-Plus und O 2 ) - hohe Datenaktualität und Datenqualität 7

8 Die Antwort : Automatisierung und Eigenentwicklung Automatisierung von Lade- und Verarbeitungsprozessen Aufwand für Tagesgeschäft minimieren Transparenz aller durchgeführten Arbeitsschritte ( Automatisiertes ) Nachladen fehlerhafter oder unvollständiger Daten Eigenentwicklung sämtlicher Prozessketten OraPerl, Shell-Skripte, SQL*Plus-Skripte, SAS schnelle Anpassungsfähigkeit Third-Party-Produkte bergen ein gewisses Risiko für mangelnde oder fehlende Features ( Black Box ) Kosten Behauptung : Eigenentwicklung ist kostenneutral zu Third-Party- Produkten Motivation und Identifikation Komplexität / Umfang des DWHs erfordert qualifiziertes Personal 8

9 Highlights des Data Warehouse ProCon ( Process Control ) In OraPerl entwickelter Scheduler - frei definierbare Abhängigkeiten - Ausführung von Programm(ketten) gemäß Abhängigkeiten - maximale Parallelisierung bis zum Fehler-Code 9

10 Highlights des Data Warehouse Generate Excel Generierung und automatische Versendung von Excel-Blättern auf der Grundlage einer Template-Datei - läuft unter UNIX - etwa 660 Excel-Blätter werden automatisiert erzeugt Auto-Loader In OraPerl geschriebenes Programm welches auf der Basis von Tabelleneinträge Schnittstellendateien von Remote Servern holen, registrieren und in ( mehrere ) Oracle-Tabellen laden kann - nachfolgende Aggregationsschritte deklarierbar - Überwachung von Formaten - Umrechnungen von Eingangsdaten, Mapping zu Dimensionen - Überwachung von Sequenz-Nummern, Header, Trailer 10

11 Data Warehouse und E-Business Onlineshop unter Elektronische Rechnung Portale Zusätzliche Dienstleistungen wird als eigenständiger Vertriebskanal gesehen Analyse des Nutzungsverhalten - steuert Fokus der Weiterentwicklung 11

12 SEE YOU 12