Top Trends im Data Warehouse 2012

Transkript

1 Top Trends im Data Warehouse Einleitung Vor diesen Herausforderungen steht Business Intelligence heute. Im Wettbewerb bestehen: Daten sind ein Erfolgsfaktor! Das muss hierbei beachtet werden Zusammenfassung 2 1

2 Referent: Marcus Pilz Mitglied des Vorstands Manager BICC bis 2010 Vier Teams: (1) Daten (2) Tools (3) Projekte (4) Neue Technologien 33 Mitarbeiter Herausgeber Arbeits-, Organisations- Psychologie Datenquellen Anwender Management-Coaching, Strategieberatung, Seminare Gutachter, Fachbeirat neutral unabhängig die BI und DWH Community Verbreitung und Vertiefung von BI-Knowhow Berater Forscher Hersteller Anwender Kooperation mit: 2

3 neutral unabhängig die BI und DWH Community Verbreitung und Vertiefung von BI-Knowhow Berater Forscher Anwender Hersteller Kooperation mit: Mitglieder

4 Mitglieder

5 TDWI Buchprogramm praxisorientierte Fachbücher für BI-Professionals in Kooperation mit d.punkt Verlag verfügbar: Seit Juni verfügbar! Ab Oktober: Ab Dez.: Ab März 2013: Einleitung Vor diesen Herausforderungen steht Business Intelligence heute. Im Wettbewerb bestehen: Daten sind ein Erfolgsfaktor! Das muss hierbei beachtet werden Zusammenfassung 5

6 Regularien (extern / intern) Komplexität Flexibilität von Märkten & Kunden Heterogenität von Unternehmen und Applikationen unterschiedliche IT-Plattformen wachsendes Datenvolumen Globalisierung ecommerce Marktdurchdringung Suche nach Nischen Komplexität, z. B. von Datenhaltung und -Strukturen Heute Zukunft Einleitung Vor diesen Herausforderungen steht Business Intelligence heute. Im Wettbewerb bestehen: Daten sind ein Erfolgsfaktor! Das muss hierbei beachtet werden. Zusammenfassung. 6

7 Im Wettbewerb bestehen: Daten sind ein Erfolgsfaktor! Neue Datenvolumina und Datenformate Integration Verwendung von Analytics und Prädiktion von BI in operative Prozesse Volumen durch neue Vertriebskanäle: ecommerce Erster Web-Server am CERN bis 2012: 21 Jahre Internet 2012 bis 2032: 20 Jahre Internetwohin geht die Reise? 1 Quelle: Wikipedia 7

8 Volumen duch neue Endgeräte: Mobile BI: z. B. Apple Ixxx IPhone: > 270 Mio. Stück 1 IPad: > 100 Mio. Stück 1 Android: > 200 Mio. Stück 2 Stand: 1 Okt Okt neue Anwender für BI neue Daten für BI virtuelle Kreditkarte Mobile Account in Afrika Volumen durch Social Media, z. B. Facebook >955 Mio Nutzer 1 tgl. 20 TB Daten neue Analysemöglichkeiten Pharma-Beispiel Stand: 1 Okt

9 Neue Datenquellen durch Social Media, z. B. Facebook Sampling Model Building Real Time Automatisierung Online Spiele Ad serving Sensor Daten Handels Daten ecommerce SaaS, Web 2.0 mobile Plattformen Big Data Management Infrastructure Hohe Geschwindigkeit NewSQL Strukturierte Daten Konsistenz geplant Relational/SQL Echtzeit-Analytics ETL Unstrukturierte Daten Etwaige Konsistenz Datenmodelll? NoSQL ETL 2.0 ETL 2.0 Großes Volumen Analytic Datastore Andere OLAP Data Stores 9

10 Online Spiele Ad serving Sensor Daten Handels Daten Big Data Management Infrastructure Hohe Geschwindigkeit NewSQL -IBM DB2 - IBM InfoSphere Warehouse - IBM PureData Großes Volumen Analytic Datastore ecommerce - IBM InfoSphere BigInsights SaaS, Web 2.0 mobile Plattformen - IBM InfoSphere BigInsights - IBM InfoSphere Streams - IBM InfoSphere Data Explorer - IBM Content Analytics NoSQL Andere OLAP Data Stores Welche positiven Auswirkungen erwarten Sie, wenn sich der immer größere Datenbestand in Zukunft systematisch verarbeitet und auswerten lässt? Quelle: Big Data Studie 2012 Experton Group 2012 (n=158, Mehrfachnennung möglich, Angaben in Prozent 10

11 Welche Beweggründe hat Ihr Unternehmen bei der Beschäftigung mit Big Data? Quelle: Big Data Studie 2012 Experton Group 2012 (n=158, Mehrfachnennung möglich, Angaben in Prozent Welche Beweggründe hat Ihr Unternehmen bei der Beschäftigung mit Big Data? Deutscher Big-Data-Markt nach Marktsegmenten in Mio. Euro 48 % p.a. Deutsche Unternehmen agieren zur Zeit noch Verhalten. 198 Mio. Marktvolumen entsprechen nur 20 Prozent des europäischen Marktes. Getrieben durch Wettbewerbdruck und Exportabhängigkeit verändert sich dies bis 2016 stark: Wachstumsraten von 48 Prozent 50 Prozent des europäischen Marktes Marktvolumen von 1,6 Mrd Euro. Quelle: Experton Group

12 Big Data bei Vestas Anders Gregersen Windturbinen in >70 Ländern Leistung > 51 GW Supercomputer mit 2,8 Petabyte auf Servern Positionsbestimmung für Windräder 12

13 Big Data bei Vestas Analyse von Wetterdaten, Geländehöhe, Bodenbeschaffenheit, Satellitenbildern Zeitverbesserung von Wochen auf Stunden Antwortzeit -97% Kosten -40% Im Wettbewerb bestehen: Daten sind ein Erfolgsfaktor! Neue Datenvolumina und Datenformate: Web-Daten, IPad, Facebook Verwendung von Analytics und Prädiktion Integration von BI in operative Prozesse 13

14 bi ba Business Intelligence Business Analytics fokussiert auf statistische Analyse und Verarbeitung sozialer Daten Bargeldbestand 500 Filialen Kassen GAA 1,3 Mrd EUR 240 Mio EUR Rollen Bündel Sorten 8 Typen 6 Typen 40 Typen 1,5 Mrd EUR 14

15 Kapitalbindung reduzieren optimal planen inkl.frühwarnsystem optimal simulieren Versicherungskosten optimieren Just in Time liefern Strecken optimieren Leerfahrten vermeiden 15

16 max min Bank- Information Kunden- Information sonstige Informationen Dispo BündEUR Dispo USD Kunden-Kat A Kunden-Alter 4 - alt Limit GegendProfil 1 no Shop Dispo GBP Dispo CHF Dispo HartEUR Fremdkunden 1 - wenig Personal 4 - Achtung Kunden-Depot 3 - mittel Geldversorger A Recycling Direkt Zyklus tgl 16

17 17

18 Bargeldbestand 500 Filialen Kassen GAA 1,3 Mrd EUR 240 Mio EUR Rollen Bündel Sorten 8 Typen 6 Typen 40 Typen 1,5 Mrd EUR./. Ersparnis red. Kasse (500 Mio) EUR =1,0 Mrd EUR Im Wettbewerb bestehen: Daten sind ein Erfolgsfaktor! Neue Datenvolumina und Datenformate: Web-Daten, IPad, Facebook Verwendung von Analytics und Prädiktion Integration von BI in operative Prozesse 18

19 Filial- Vertrieb, zentrale Steuerung zentrale Erfolgsfaktoren dieses Beispiels Komfort, zusätzliche Funktionen Information Disposition sichere Prozesse Analyse Disposition, Kampagne Flexibilität, Methodik Simulation in Fachabteilungen zentrale Fachabteilung Vorhersage Disposition performante DataMart Architektur hochsichere Architektur DWH / BICC IT-AE IT-Prod. Analyse-Tools Kunden- Stamm Konto- Buchungen integrierte Daten Datenspeicher Geld- Versorger Kassen Buchung Zusatznutzen für Disposition op. Systeme Großbäckerei Absatz-Prognose-Modelle bspw. mit Wetterdaten Reduktion Retouren Verbesserung Umsatz 19

20 Großbäckerei Absatz-Prognose-Modelle bspw. mit Wetterdaten Reduktion Retouren Verbesserung Umsatz DWH dient als zentrale Daten- und Analyse-Plattform für opsys und Fachabteilungen Fachabteilung DWH / BICC IT-AE IT-Prod. Kredit- Datei SAP/HR Historie Datenspeicher Konto- Buchungen Personal SAP/FI Privatkunden Buchhaltung Risiko- Controlling Firmenkunden Kunden- Stamm Rating-Agenturen Finanzamt BaFin Adress-Händler GAA anderer Institute Kreditkarten-Daten KfW 20

21 Einleitung Vor diesen Herausforderungen steht Business Intelligence heute. Im Wettbewerb bestehen: Daten sind ein Erfolgsfaktor! Das muss hierbei beachtet werden Zusammenfassung Das muss hierbei beachtet werden Datenqualität gewinnt zusätzlich an Bedeutung. Management Der menschliche Faktor: BICC als zentrale OE für die komplexen Aufgaben. Agiles Projekt-Management Cloud Computing 21

22 Steuern der Datenqualität Klärvorgang Zufluss Abfluss See Metadaten 22

23 Bademeister Data Steward Fachlektorat: M. Pilz Metadaten Das muss hierbei beachtet werden Datenqualität gewinnt zusätzlich an Bedeutung. Management Der menschliche Faktor: BICC als zentrale OE für die komplexen Aufgaben. Agiles Projekt-Management Cloud Computing 23

24 Informations-Konsumenten interagieren intern und extern Informations- Konsument Personal Buchhaltung Risiko- Controlling Privatkunden Rating-Agenturen Finanzamt BaFin Adress-Händler Externe Systeme interagieren intern, extern und mit den Informations-Konsumenten Firmenkunden Informations- Konsument Personal Buchhaltung Risiko- Controlling Privatkunden Rating-Agenturen Finanzamt BaFin Adress-Händler operative Systeme SAP/HR Firmenkunden Kunden- Stamm Kredit- Datei SAP/FI Konto- Buchungen GAA anderer Institute Kreditkarten-Daten KfW 24

25 Informations- Konsument Das DWH/BICC moderiert Informations-Konsumenten und externe Systeme Personal Buchhaltung Risiko- Controlling Privatkunden Rating-Agenturen Finanzamt BaFin Adress-Händler DWH / BICC operative Systeme SAP/HR Firmenkunden Kunden- Stamm Kredit- Datei SAP/FI Konto- Buchungen Informations- Bedarfs- Analyse Management, Daten- Im- und Export Auswertung, Planung, Anwendung Verwaltung und Technologie GAA anderer Institute Kreditkarten-Daten KfW Funktionen des BICC 1 modellieren, transformieren und sammeln von Daten 2 historisieren und synchronisieren von Daten 3 IT-Plattform und Tools bereitstellen 4 Daten analysieren und Standardberichte vorgeben 5 Vorhersagen und Data Mining durchführen 6 operatives BI steuern und durchführen 25

26 Das muss hierbei beachtet werden Datenqualität gewinnt zusätzlich an Bedeutung. Management Der menschliche Faktor: BICC als zentrale OE für die komplexen Aufgaben. ggfs. agiles Projekt-Management Cloud Computing Projekt wird in Sprints mit max. 30 Tagen segmentiert informelles Team abhängig von Projekt-Art Kombination mit klassischer Software- Entwicklung möglich 26

27 Das muss hierbei beachtet werden Datenqualität gewinnt zusätzlich an Bedeutung. Management Der menschliche Faktor: BICC als zentrale OE für die komplexen Aufgaben. Agiles Projekt-Management Cloud Computing Wird häufig verwendet, bspw. durch VM heute interessant für KMU z. B. Outsourcing von Social-Media-Analyse 27

28 Marcus Pilz Mitglied des Vorstands TDWI Germany Lindlaustraße 2c Troisdorf 28