Strategien und konkrete Fallbeispiele für Big Data Analytics

Transkript

1 Strategien und konkrete Fallbeispiele für Big Data Analytics 2012 IBM Corporation Stefan Grossmann, BI Competence Center Lead, TUI Deutschland GmbH Marc Bastien, Client Technical Professional, IBM Information Management 2012 IBM Corporation

2 Strategien und konkrete Fallbeispiele für Big Data Analytics Stefan Grossmann, Business Intelligence Competence Center Lead, TUI Deutschland GmbH Marc Bastien, Client Technical Professional, IBM Information Management

3 Einleitung 1

4 Vor vier Jahren begannen wir, gemeinsam mit Unternehmen unsere Welt ein bisschen smarter zu machen. Tausende Kundenprojekte zeigten uns, dass Analytics dabei eine wesentliche Rolle spielen Copyright IBM Corporation 2012

5 Seitdem hat sich die Bedeutung von Analytics kontinuierlich gewandelt: Von der Einzelinitiative zur Notwendigkeit Von Geschäftsdaten zu Big Data Vom Pioniergeist einzelner Unternehmen zur Veränderung ganzer Branchen Copyright IBM Corporation 2012

6 Analytics schafft Wettbewerbsvorteile. Analytisch versierte Unternehmen übertreffen ihre Mitbewerber 2,2 x 260% From business initiative to business imperative wahrscheinlicher, bessere höhere Wahrscheinlichkeit, From Ergebnisse enterprise als der data to big zu den data Top Unternehmen Mitbewerber zu erzielen zu gehören From advancing single organizations to transforming entire industries 1,6 x Umsatz- Wachstum 2,0 x EBITDA- Wachstum 2,5 x Aktienkurs- Steigerung Quelle: The New Intelligent Enterprise, a joint MIT Sloan Management Review and IBM Institute of Business Value analytics research partnership Copyright Massachusetts Institute of Technology Outperforming in a data-rich, hyper-connected world, IBM Center for Applied Insights 6 study conducted in cooperation with the Economist Intelligence Unit and the IBM Institute of Business Value. 2012

7 Analytics ermöglicht erst die strategische Nutzung von Big Data. Volumen Geschwindigkeit Vielfalt 12Terabyte an Tweets pro Tag Analyse produktbezogener Äüßerungen (Sentiment-Analyse) Millionen Handelsereignisse pro Sekunde Erkennen möglicher Betrugsfälle von Überwachungskameras Überwachung relevanter Ereignisse Video- Feeds 350 Milliarden 500 Millionen 80% Zählerablesungen pro Jahr Verbindungsdaten pro Tag des Datenwachstums sind Bilder, Videos, Dokumente etc. Prognose des Stromverbrauchs Verhinderung der Kundenabwanderung (Churn) Steigerung der Kundenzufriedenheit Copyright IBM Corporation 2012

8 Massive Veränderungen durch Analytics beginnen mit diesen Initiativen: Ausbau, Bindung und Zufriedenstellung des Kundenstamms Steigerung der operativen Effizienz Transformation der Finanzprozesse Beispiele: Management von Kundenabwanderungen Social Media-Analyse / Stimmungsbarometer Kaufverhalten / Next best action Vorausschauende Instandhaltung Optimierung der Lieferkette Optimierung von Schadensmanagement / Reklamationen Kontinuierliche Planung, Prognose und Budgetierung Automatisierung des Finanzabschlussprozesses Echtzeit-Dashboards 4 Risiko-, Betrugsund Compliance- Management Transparenz von Risiken Leichtere Einhaltung von Richtlinien und gesetzlichen Vorgaben Betrugserkennung in Echtzeit Copyright IBM Corporation 2012

9 Konkrete Fallbeispiele 2

10 Social Media Analyse für Jedermann Herausforderung Umsatz für Filmstarts prognostizieren Lösung Flexible Twitter-Textanalyse mit InfoSphere BigSheets The Film Forecaster sounds like a big undertaking for USC, but it really came down to one communications masters student who then pulled in the tweets and analyzed them - Ryan Kim

11 Real-time Analytics für Smarter Cities Herausforderung Verkehrs- und Wetterdaten analysieren (GPS, Sensoren, Unfall- und Staumeldungen, ) Probleme prognostizieren, vorbeugen Lösung InfoSphere Streams Real-time analytics er GPS Daten / Sek. Ausweichempfehlungen, alternative Routen Ergebnisse 20% weniger Verkehr 50% kürzere Fahrzeiten 20% weniger Emissionen Königliches Technologie Institut, Stockholm Analyzing large volumes of streaming data in real-time is leading to smarter, more efficient and environmentally friendly traffic in urban areas Haris N. Kotsopoulos, Head of Transportation and Logistics

12 Log Analytics für vorbeugende Wartung Herausforderung Ausfälle erkennen und vorhersagen Vorbeugende Maßnahmen starten Veränderliche Formate (XML, Text, ) Variabel oder kein Schema Datenwachstum ~1 TB /day Lösung Reporting, Advanced Operators und explorative Analyse InfoSphere BigInsights und Streams Ergebnisse Vereinfachte Entwicklung Vereinfachte Administration Besserer Kundenservice IT Dienstleister You have done in 2 weeks what I have been trying to generalize for the past 6 months. -- Kundenprojektleiter

13 Anwendungsfälle in jeder Branche Financial Services Betrugserkennung Risikomanagement 360 Kundensich Transport Einfluss von Wetter u. Verkehrsaufkommen auf Fahrzeit, Logistik Produktion Prozesskontrolle Microchipentwicklung Gesundheitswesen Frühwarnung Epidemien Monitoring kritischer Parameter Fernüberwachung Telekommunikation CDR processing Geomapping Churn Vorhersage, Marketing Netzwerk Monitoring Energieversorger Klimaanalysen für Energieerzeugung Monitoring der Übertragung Smart Grid Management IT Log-Analyse transaktionaler Systeme Cybersecurity e-science Analyse flüchtiger Phänomene Synchrotron Forschung Retail 360 Kundensicht Click-stream Analyse Real-time Promotions Sicherheitsdienste Real-time multimodal surveillance Situational awareness Cyber security detection Copyright IBM Corporation 2012

14 So gehen wir vor Explorative Workshops Projekt Definition Projekt Angebot Realisierung & Coaching Projektergebnis Copyright IBM Corporation 2012

15 Die Tiefe unserer Erfahrung macht den Unterschied Beispiel: Risk Platform Innovation Monte-Carlo neu erfinden Massiv höhere Zahl an Variablen, Faktor 10 schnellere Ausführung Massiv paralleler Hadoop Ansatz erweitert zu föderiertem Modell mit Netezza-Appliance Innovationsansätze Hadoop-Technologien Massiv paralleler Ansatz mit Lokalitätsprinzip IBM Text Analytics & Advanced Parsing Large Scale Machine Learning zur Entwicklung von Predictive Models Auf Hadoop entwickelte Predictive Models auf Echt-Zeit Plattform transferieren, um auf untertägige Muster zu reagieren Warum IBM Tiefe Expertise in massiv paralleler Verarbeitung Spannbreite des Portfolios Fit for Purpose Architekturen Vision, wie Risk Analytics zu erweitern ist auf alle relevanten Quellen und Informationstypen Architektur erlaubt sehr schnelles Deployment neuer Modelle IBM Support und langfristige Partnerschaft

16 TUI Deutschland 3 Big Data Projekt

17 Case Study Big Data Technologie im Einsatz bei TUI Deutschland IBM Performance Darmstadt, Stefan Grossmann BI CC Lead

18 TUI ist die führende Reisemarke in Deutschland Markenbekanntheit 2010 Bekanntheit Logo (in %) Korrekte Markenzuordnung (ungestützt, in % Quelle: TUI Logotest 2010, International Consumer Insights, Group Marketing TUI Travel

19 Die TUI Veranstalter-Markenwelt im Quellmarkt Deutschland

20 Die Top Ten der deutschen Veranstalter 4,5 4,21 4 3,5 3,10 3,00 Umsatz in Milliarden Euro 2010/11 3 2,5 2 1,47 1,32 1,5 1,00 1 0,5 0,56 0,31 0,30 0,23 0 TUI Deutsc h-land TouristikThomas der REWE Cook Gruppe L Tur ist im TUI Umsatz enthalten FTI Group Alltours Aida Schauinsland Cruises GTI PhoenixStudiosus Travel Quelle: FVW Dossier: Deutsche Veranstalter 2011 / Ausgabe 25-26/11

21 Marktanteile der Veranstalter 2010/11 in Deutschland Sonsti ge 37,0 % TUI Deutschland 18,1 % REWE Touristik Group 13,3 % Schauinsland 2,4 % Adia Cruise s 4,3 % Alltour s 5,7 % FTI Group 6,3 % Thomas Cook 12,9 % Quelle: FVW Dossier: Deutsche Veranstalter 2011 / Ausgabe 25-26/1

22 Die touristische Wertschöpfungskette bei der TUI TUI Deutschland GmbH TUI Group Vertrieb Veranstalter Airline Incoming/ Services Hotels * Vertrieb ca Reisebüros 15 Online-Portale 15 Veranstaltermarken 40 (26) ** Flugzeuge Über 32 Incoming Agenturen 300 Hotels * TUI Hotels & Resorts, TUI AG ** Seit 25. Oktober 2009 fließen 14 Maschinen im Wet-Lease für Air Berlin Incoming/ Services

23 Der Markt polarisiert sich: Lifestyle & Individualität vs. Preisorientierung Geht s noch günstiger? Wachstum von differenzierten Produkten Steigende Preisorientierung

24 Überkapazitäten forcieren den Preiskampf Entwicklung Flugplätze Touristische Investitionen % TUIfly Air Berlin German Carrier ZGB.- Carrier Mrd. Invest 8 Mrd. Invest GJ '08/ GJ '11/12 Sitzplätz e in tsd Mrd Invest Source: WTC

25 Überkapazitäten werden günstig kombiniert und dem Kunden transparent vermittelt via Internet Dynamische Paketierer via Preisvergleichssyste m im Reisebüro Überkapazitäten Flug Überkapazitäten Hotel

26 Fluggesellschaften und Hotels vermarkten sich zunehmend selbst, v.a. über das Internet Online Travel Markt 2009 * 16,2 Mrd. 38% Online Tour Operator (OTA) 2 Reiseveranstalter 10% Leistungsträger 1 52% * PhoCusWright European Online Travel / Overview, Oktober incl. Linie/LCC, Hotel, Zug, Mietwagen 2 incl. Preisvergleichsseiten wie hotel.de, booking.com, hrs.de, etc.

27 Im nicht differenzierten Markt zählen Geschwindigkeit und Informationen wie hoch ist der aktuelle Marktpreis? welche Preisstrategie verfolgen die Wettbewerber? wo muss reagiert werden? wann muss gehandelt werden? Big Data TUI Deutschland IM Forum Berlin 2012

28 Die Anforderungen an ein Marktpreisvergleichssystem umfassende Anzahl Angebote berücksichtigen höchstmöglicher Detailgrad komplexe Zuordnungslogiken (z.b. Vergleichsgruppen) Zeitpunktvergleiche (wie ist der aktuelle Marktpreis?) Verlaufsanalysen (wie hat sich der Marktpreis verändert?) Langfristanalysen (welche Pricingsystematik wendet der Wettbewerb an?) Standardreporting automatisiert zur Verfügung stellen Ad-hoc Analysen über gesamten Datenbestand mit akzeptabler Performance

29 Geschwindigkeitsanforderungen sind mit herkömmlichen Ansätzen nicht mehr zu bewältigen Exemplarische Marktpreisdaten: 1 Abflughafen 1 Zielgebiet 1 Abreisetag Auswahl "relevanter" Wettbewerber Datensätze, ca. 3 MB Extrapolation der Gesamtmenge: min. 10 relevante Abflughäfen ca Zielgebiete mit hoher Preisdynamik min. 180 Abreisetage mehr Wettbewerber berücksichtigen: Faktor 2-4 In Summe ca. 155 TB nach 2 Jahren

30 Charakteristiken des Zielsystems Architektur TUI RightScale/IBM Amazon http(s) SOAP Web Browser Clients Cloud Management Service IBM BigInsights Enterprise Amazon Web Service (AWS) TUI http(s), (s)ftp, ssh, jdbc Server (CPU) EC2 Cognos Server Storage S3

31 Charakteristiken des Zielsystems Architektur, Administration, Nutzerrollen TUI 3 RightScale/IBM 4 BigInsights Cluster Cloud Admin Master Node BigInsights Admin 5 Data Node 1 Cognos User 6 7 Amazon Data Node n Cognos 10.2 Server

32 Erste Erfahrungen mit Berichten aus Big Insight Gewohnte Cognos Umgebung und vorbereitete Logik der Berichtsergebnisse sorgen für hohe Akzeptanz Performance als wesentliches Kriterium, Einflussfaktoren im Cloud und Cognos Umfeld beachten Rollenzuordnung in der Organisation zwischen Fachbereich und IT wichtig, Agilität bei neuen Reportanforderungen notwendig Welche Detailbetrachtungen auf dem großen Datenbestand sind sinnvoll? Entscheidungsbezug Ablage auf Aggregationsebenen für Integration mit anderen Daten im DWH notwendig? Neue Technologie muss sich in Gesamtarchitektur integrieren.

33 Projektphasen und Aufgaben Phase 1: Produktionsüberführung Betriebskonzept und Umsetzung Übergang von der IBM Demo Umgebung zur Right Scale Cloud-Verwaltung kontinuierliche Datenbewirtschaftung Rollen, Nutzer, Berechtigungen Datenmanagement/Housekeeping Betriebsmodus (online/offline) u.a. Phase 2: Produktion und Optimierung Umsetzung neuer fachlicher Anforderungen auf Basis des Datenbestandes Optimierung Performance und Datenmanagement z.b. Übergang von Hive zu HBase z.b.übergang von AWS zur TUI Private Cloud Erstellung weiterer Cognos Reports, Transformationen und Hive-Strukturen Schulung der TUI-Mitarbeiter Tests Oktober bis Dezember 2012 ab 2013

34 Ausblick Big TUI Weitere Handlungsfelder im erweiterten scope (unstrukturierte Daten, z.b. Hotelbewertungen, blogs, social media) Produktive Nutzung und weiterer Erfahrungsgewinn mit neuer Technologie, Visualisierung der Ergebnisse Neue Fragestellungen entstehen durch neue Möglichkeiten Rollout Cognos 10

35 Vielen Dank für Ihre Aufmerksamkeit!