Operationalisierung des. Data Warehouse und Real Time Decision sind längst Alltag. Architekturbeispiele und Einsatzszenarien. <Insert Picture Here>

Transkript

1 Operationalisierung des <Insert Picture Here> Data Warehouse und Real Time Decision sind längst Alltag Architekturbeispiele und Einsatzszenarien

2 <Insert Picture Here> Frank Püchl, PAYBACK GmbH Bjoern Staender, Oracle Deutschland Alfred Schlaucher, Oracle Deutschland

3 15:00 16:15 <Insert Picture Here> Operationalisierung des Data Warehouse Oracle Data Warehouse PAYBACK: nosql DB als operationales DWH 16:15 16:45 P a u s e 1 6 : : 0 0 Realtime Decisions

4 Adaption von BI+W Systemen* Unaware Tactical Focused Strategic Pervasive Einzelne Berichte, Spreadsheets unkoordiniert Bereitstellung von Auswertesystemen auf einem techn. Level. Isolierte Lösungen gezielte Unterstützung einzelner Geschäftsfelder Zentrale, Übergreifendes Anforderungs- Management (BICCs) BI+ Performance Management Strategy Unternehmensweites standardisiertes Kennzahlensystem Einbettung BI in Prozesse Automatisierte Nutzung Unmittelbares Überführen von Wissen in Aktion *nach Gartner

5 Bei 154 unternehmensweit aufgestellten Oracle-DWH- Systemen* Das DWH darf nicht länger als X Std. still stehen, sonst sind operative Abläufe behindert. Keine unmittelbare Auswirkung 27 % 24 Std 43 % 4 Std. 18 % Wird das DWH auch über Analysen hinaus für operative Aufgaben genutzt nein 43 % kaum, 1 2 Prozesse 18 % Eine wachsende Anzahl von Gesch. Proz. 27 % Mindestens alle wichtigen Gesch. Proz. *Befragung / Auswertung deutscher Oracle-DB Kunden, 2012

6 Erfahrungen bei einem Telco-Unternehmen* Eignung von DWH-Systemen für operative Zwecke weil: Operativ eingesetzte Lösungen sind selbstverstärkend Daten sind verfügbar Flexible Entwicklungsprozesse (weil erprobte Vorgehensweisen) Kurze Umsetzungszeiten Schnittstellen vorhanden Zusatz- Anforderung Infrastruktur Oft aus Notsituationen heraus entstanden Zeitdruck Ungeklärte Anforderungen mit hoher Änderungswahrscheinlichkeit Bekanntheitsgrad Kunden- Zufriedenheit *Aus dem Vortrag Chancen und Risiken operativer DWH-Anwendungen Oracle DWH-Konferenz, März 2009

7 Was macht das DWH für den operativen Einsatz so interessant? 1 Zentral und Unternehmensweit Daten sollten zentral und leicht für alle Benutzergruppen gleichermaßen zugänglich sein 2 Erklärende Mehrwerte Business-Semantik Leicht verstehbare Daten: - Informationen statt Daten - Semantische Zusammenhänge 3 Historisierung Trendfähige Informationen durch Aufbewahrung und Aufbereitung historischer Daten 4 Entkopplung von op. System Flexibel und unabhängig von operativen Anwendungen analysieren können 7 A

8 Operationalisierte Verwendung ist kein Selbstzweck Mit Data Warehouse Integrationsfähigkeit/ Schnittstellenvielfalt Neutralisierung von Informationen Historische Sicht Hilfe bei komplexen, bereichsübergreifenden Aufgaben Ohne Data Warehouse Aufwand für Schnittstellen- Programmierung Gefahr von Einseitigkeit Fehlende Vergleiche und Statistiken, schwere Vorhersage Fehlendes Wissen über andere Sachgebiete Höhere Qualität Oft nur marginale Qualitätsanforderungen Fehlende Standards

9 Operational Data Warehouse: Abgrenzung zu reinem Realtime Decisioning Letztes Jahr Letztes Quartal Letzten Monat gestern jetzt Wettbewerber Gesamte Branche Gesamtes Unternehmen Benachbarte Abteilung Realtime Monitoring Operationale Verwendung und Realtime-Betrachtung dicht beieinander Eine reine Realtime-Betrachtung ist nur operatives Tun ohne jedes Gedächtnis Nur wer die Vergangenheit kennt, kann die Gegenwart verstehen

10 Was bedeutet: Operationalisierte Verwendung Unterstützung bei operativen (taktischen) Entscheidungen Separater Informationsbestand Abstrahiert und neutralisiert von OLTP-Aktivitäten Übergreifende Sicht Themenübergreifend Abteilungsübergreifend Aufgabenübergreifen Zeitpunktübergreifend (historisch) Allgemein verfügbar Im Sinne von Unternehmensressource Mehr als nur eine lokale, anwendungsbezogene Datenhaltung

11 Aspekte des Operativen - beratend - Lose Kopplung - keine Abhängigkeiten -Taktische Entscheidungen unterstützend steuernd operativ ausführend Eingebunden in operative Abläufe, - Feste Kopplung - Abhängigkeiten Controlling operational DWH Executives operational DWH z. B.* Skill-based Routining im Call Center z. B.* Warteschleifendauer im Call Center Kundenwertabhängige Retentionangebote Tarifwechsel-Kampagnen aufgrund von Tarifsimulation Kundenrückgewinnung Neukunden-(Antrags-)-Prüfung Händlerkommissionen Anfragen durch die Polizei Bonuspunkteermittlung Intercarrier-Billing für Messaging Gutscheine für Prepay Kunden *Beispiele aus einem Telco-Kontext

12 Die Folgen Operativ Taktisch Überschaubar / aggregiert überschaubar Hochvolumig / granular DWHs wachsen schneller als OLTPs Enormer Storage-Bedarf Schneller wachsende Kosten DWH Strategisch Jahr/Quartal/Monat Komplexe Informations- Ausarbeitung und Analysen Woche/Tag Periodische Berichte Stunde/Minute/Sekunde/Realtime oft und schnell wiederholbare Einzel-informationen 12

13 Bedingungen + architektonische Anforderungen im DWH Hohe Standardisierung Integriertes MDM Maximale Granularität Data Integration Layer Enterprise Information Layer User View Layer Process neutral / 3 NF? Kurze Latenzzeiten Sachgebietsübergreifend unternehmensweit Integrierte kompakte Ablage Fraglich, obsolet

14 Mittel Automatismen Berechnungen oder Aggregationen in Abhängigkeit von Schwellwerten und Events Funktionen zu den Daten bringen Daten so wenig wie möglich bewegen In Database-Aktivitäten Appliance-Lösungen (z. B. Exadata) Flexibel skalieren können Permanentes und planbares Wachstum Schnell aktionsfähig sein Hybridität Die Nähe von unterschiedlichen Anwendungen ermöglichen Die Nähe von OLTP und DWH muss machbar sein Offenheit Mit Standardmittel zugreifbare Daten (SQL)

15 Mittel im Oracle Data Warehouse Automatismen Berechnungen oder Aggregationen in Abhängigkeit von Schwellwerten und Events Funktionen zu den Daten bringen Daten so wenig wie möglich bewegen In Database-Aktivitäten Appliance-Lösungen (z. B. Exadata) Flexibel skalieren können Permanentes und planbares Wachstum Schnell aktionsfähig sein Hybridität Die Nähe von unterschiedlichen Anwendungen ermöglichen Die Nähe von OLTP und DWH muss machbar sein Offenheit Mit Standardmittel zugreifbare Daten (SQL) Automatisierte Kennzahlenstukturen InDatabase ETL InDatabase Analytics Exadata Oracle Marktführer In OLTP und DWH Klassisch offen

16 <Insert Picture Here> Die Oracle Data Warehouse Lösung

17 Data Integration Real Time & Batch Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement Any Source BI Server Data Integration Layer Enterprise Information Layer Data Management Concept Operational Data Layer Data Quality Rules Checks&Monitoring Information Layer Architecture Concept Reference Data Models InDatabase Dynamic Data Marts User View Layer InDatabase ROLAP InDatabase MOLAP InDatabase R Data Mining BI Apps Controlling HR Sales Interactive Dashboards Reporting & Publishing Ad-hoc Analysis DWH Logistic Utilities Oracle Database Management System Big Data Solution Metadata Utilities Business Catalogue Technical Auditing Marketing Financial Scorecards nosql Oracle Database Management System Server Server Cluster Operating System Cluster Optimized Network Hadoop Storage Hierarchy Optimiertes Netzwerk Exadata / Database Machine / Exalytics Big Data Appliance Exadata Exalytics Lifecycle Management Concept DWH System Monitoring Utilities DWH Security Utilities DWH Backup / Recovery Concept Concept Framework Office Integration Mobile

18 Oracle Produkt-Komponenten Data Warehouse / BigData Oracle EE OLAP InMemory DB Cache AD Comp Partitioning Advanced Analytics Label Sec RAC (8) Diagnostic+Tuning Spatial Data Integration NoSQL EE BigData Connectors BigData Appliance Exadata /DBM Business Intelligence

19 In-Database Analytics Engineered Systems Oracle Big Data Appliance Optimized for Hadoop, R, and NoSQL Processing Oracle Big Data Connectors Oracle Exadata System of Record Optimized for DW/OLTP Oracle Exalytics Optimized for Analytics & In-Memory Workloads Hadoop Open Source R Oracle NoSQL Database Applications Oracle Big Data Connectors Oracle Data Integrator Oracle Advanced Analytics (R + Data Mining) Data Warehouse Oracle Database Oracle Enterprise Performance Management Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery Stream Acquire Organize Discover & Analyze

20 <Insert Picture Here> Beispiele

21 T r a n s a k t I o n e n Beispiel: Kundenberatung einer Bank Zentralität und integrierte Sicht Database- Marketing K o n t a k t d a t e n Angebotsanfragen Partnerdaten Sparen Giro Transfers Depot Hypotheken Kredite

22 Optimierung von Prozessen Referenzdaten aus dem DWH für operative Entscheidungen Optimierung der Routen für Service-Techniker Optimierung von Wartungsaktivitäten Standort-Optimierung Automaten Über Chipkarten an das DWH angeschlossen Vergleichsdaten Historiendaten Zentrale Statistiken

23 Der optimale Verbrecher Tat und Täter-Profile aus dem Data Warehouse Tathergänge Motive Waffen Zeiten Orte Opfer Data Warehouse mit allen jemals stattgefundenen Ausprägungen Profile typischer Straftaten Wie sieht das wahrscheinliche Täterprofil aus? Personen Bei 8 gleichen Merkmalen sieht ein unbekanntes neuntes und zehntes Merkmal zu X Prozent SO und SO aus.

24 Beispiel: Telekommunikationsanbieter Unbemerkt im Hintergrund Call-Center-Steuerung Messung der Performance von Teams Kapazitätsverwaltung Systemübergreifende Auskunft für Kundenaufträge Steuerung Innen- Aussendienst (Netz- und Montage) Messung der Performance von Teams Vergleichswerte zur Orientierung Betriebsüberwachung IT Automatisierte Steuerung von Abläufen mit Hilfe von daten aus dem Warehouse Prämierung von Partnern Mit Hilfe von historischen Daten aus dem Data Warehouse Datenaktualität < 2 h Zugriffszeiten < 3 Sek. Nutzdaten ~ 50 TB Auskunft für Call Center Auskunft Self Service Proaktive Information Proaktive Information SMS Auskünft für Kundenberater vor Ort

25 Payback GmbH

26 PAYBACK Global Campaign System Overview

27 Integriertes Kampagnenmanagement bei Payback Maßgeschneiderte Multichannel Kampagnen Genaue Kunden-Kenntnis, daher sehr starke Personalisierung möglich Täglicher Abgleich aller OLTP-Daten sowie zusätzlicher Quellen Zielgruppenspezifische Ausspielung im DWH Allein in Deutschland über 20 Millionen Personen Berücksichtigung von n100 bis zu 1000 Merkmalen pro Kunde Ermittlung von Zielgruppen Bereitstellung von zielgruppenspezifischen Coupons für Kampagnen In 2012 über 5 Milliarden Coupons (3,8 Mrd. ecoupons, 1,4 Mrd Prints)

28 Der technische Hintergrund Der gesamte Konsolidierung, Segmentierung und Kampagnen-Steuerung findet täglich statt Komplette Tagesverarbeitung in weniger als 8 Stunden Zusätzliches Einspielen von Batch-Läufen mit mehreren Mrd. Sätzen läuft parallel Ohne eine Exadata X2 (Half Rack) wäre die Verareitung in einem 24 Stunden Fenster nicht möglich

29 Oracle Database Machine X2-2 Oracle Database Server Grid 8 compute servers 96 Intel Cores (gesamt) (Six-Core Intel X5670, 2,93 GHz) 768 GB DRAM (gesamt) Jeder Server 2x10Gb Ethernet Port 4x1Gb Ethernet Port 4x300 GB SAS Disks InfiniBand Network 40 Gb/sec unified server and storage network Fault Tolerant Enterprise Linux Exadata Storage Server Grid 14 storage servers 168 Platten / 112 Intel Cores 100 TB raw SAS disk storage or 336 TB raw SATA disk storage 5,3TB flash storage! 25 GB / Sec IO Datendurchsatz 50 GB / IO für Flash-Speicher 29

30 Anwendung: Punkteübersicht Social Media: Facebook Fans Newsletter: 4 Mio. Auflage > 500 Mio p.a. Punkteübersicht: Auflage 62 Mio. 12 x p.a. Bis zu 13 Mio. Auflage pro Versand > 95% Öffnungsrate Printmailings und Beileger: Auflage 70 Mio. Individuell gestaltbar Verschiedene Formate Points of Sale: Partnerfilialen Terminals für die Kunden (Punkteübersicht und Gutscheinein payback.de: 550 Mio. Seitenaufrufe Coupons: 5,2 Mrd. Coupons, davon 3,8 Mrd. digital 1,4 Mrd. Print PAYBACK Ap > 1 Mio. Downloa iphone & Android Mobile Couponin Mobile Services Zahlen GJ 2012 Online Offline Mobile

31 Anwendung: Punkteübersicht Bis zu 13 Millionen Briefsendungen Angereichert mit Material (z. B. Coupons) zu den verschiedenen Kampagnen Aufwendiger Prozess Segmentierung, Selektion, Konfektion, Print etc. Ursprüngliche Dauer bis zu 3 Wochen + Sicherheitszeitpuffer von 3 Wochen Nur quartalsweise machbar -> eingeschränkte Kampagnenschlagzahl Nach Exadata Einführung Reduzierung Prozesslaufzeit auf weniger als 5 Tage Ausweitung der Punkteübersichts-Briefe auf 12 mal im Jahr Aufgrund der erhöhten Schlagzahl mehr und differenziertere Kampagnen machbar.