Otto & Splunk. Michael Otremba Leiter Software Entwicklung Contact Center Systeme, Otto Group Dr. Guido Schroeder SVP Produkte, Splunk

Transkript

1 Copyright 2014 Splunk Inc. Otto & Splunk Michael Otremba Leiter Software Entwicklung Contact Center Systeme, Otto Group Dr. Guido Schroeder SVP Produkte, Splunk

2 Agenda Überblick: Maschinendaten, Operational Intelligence, Splunk Big Data Einsatzbeispiele mit Splunk in der Otto Group Produkt Demo / Anwendungsbeispiele 2

3 Wer sind wir? Ein paar Informationen über die Sprecher Michael Otremba Guido Schroeder Abteilungsleiter Software Entwicklung CRM Contact-Center Systeme Otto Group IT Senior Vice President Produkte Splunk Inc. 3

4 Big Data kommen von Maschinen Volume Velocity Variety Variability GPS, RFID, Hypervisor, Web Servers, , Messaging Clickstreams, Mobile, Telephony, IVR, Databases, Sensors, Telematics, Storage, Servers, Security Devices, Desktops

5 Wie sehen Maschinendaten eigentlich aus? Quellen Bestellsystem Middleware Fehler Call Center IVR Twitter

6 Maschinendaten enthalten wertvolle Informationen Quellen Customer ID Order ID Product ID Bestellsystem Order ID Customer ID Middleware Fehler Time Waiting On Hold Callcenter IVR Customer ID Twitter ID Customer s Tweet Twitter Company s Name

7 Paradigma Wechsel: Schema on Read, Suchen SCHEMA AT WRITE 30 YEARS SCHEMA AT READ NEXT 15 YEARS+ ERP, CRM, SFA, etc SQL APPS QUERY LANGUAGE Security Analytics, IT Operations, Digital Intelligence Search RDBMS DATA FABRIC 7

8 Enter Splunk spelunking: Höhlen erforschen, splunking: Maschinendaten erforschen Maschinendaten verfügbar und nutzbar machen und Mehrwert für jeden daraus generieren. Die führende Plattform für Maschinendaten 8 Splunk Analytics für Hadoop

9 Splunk 6: Die Plattform für Maschinendaten Maschinendaten Operational Intelligence Servers Online Services Security Web Services Networks GPS Location Packaged Applications Suchen und Analysen Proaktives Monitoring Operationale Visibilitaet Echtzeit Business Einsichten Storage Desktops Messaging Custom Applications Online Shopping Cart Smartphones and Devices Telecoms Web Clickstreams RFID Call Detail Records Databases Energy Meters HA Indexes and Storage Commodity Servers

10 HUNK: DER SCHNELLSTE WEG ZU MEHRWERT MIT HADOOP Splunk Analytics für Hadoop Hadoop (HDFS+MR) 10

11 Operational Intelligence mit Splunk Security & Compliance App Dev & App Mgmt. IT Operations Digital Intelligence Business Analytics Internet of Things Entwickler Plattform (REST API, SDKs) 11

12 Otto Splunk Relationship 12

13 Big Data: Technische Eckwerte einiger Systemkomponenten Die Gesamtarchitektur enthält ca. 450 unterschiedliche Systeme Contact-Center Systeme (synchron) 250 Geschäftsprozesse 50 Mio. Kontakte pro Jahr 3000 Agentenplätze 25 Firmen & Marken Ca. 250 verwendete Webservices / Methoden Webshop (synchron) 150 Geschäftsprozessen ca. 1 Mio Visits pro Tag Umsatz ca. 2 Mrd. Euro pro Jahr NOA Offline (asynchron) Über Jobs im Scheduling, Jobs in der Ausführung pro Tag Über verarbeitete asynchrone Nachrichten pro Tag NOA Online (synchron) Zu Spitzenzeiten über Requests / Min (über 400 Requests / Sek). 50 Firmen & Marken Durchschn. Antwortzeit < 100ms, 95% Quantile < 300ms ca. 400 aktive Webservices / Methoden

14 Historie von Splunk in der Otto Group Splunk 3 10 GB Lizenz NOA Operations- Rollout Es entsteht die Idee neben den Technischen Daten auch Business Werte zu loggen (erste Integrationen). SPLUNK 4 Transaction Profiling in Zusammenarbeit mit Splunk. Vorstellung auf Splunk.conf SPLUNK 6 Neue Themengebiete - Pivot - Security? - Audit? - Netzwerk? - Virtualisierung? Rollout im Call Center Umfeld Technische s End2End Monitoring aller 3000 Clients Erweiterung der Daten um Business Werte, KPI Ermittlung und Reporting. Splunk 5 Weitere Business Kennzahlen. ecommerce wird an Splunk Angeschlossen 1,5 TB Lizenz Lizenz ist mit den Anforderungen gewachsen, nächstes Upgrade steht ins Haus!

15 Shopoffice Shoppages Search & Navigation (SAN) Produkt Personalisaton (P13N) Order User After Sales Auth ELCH Tracking Große IT-Entwicklungsprojekte: Neue Otto E-Commerce-Plattform auf Basis einer vertikalen Architektur. Macro-Architektur 1 RESTfull Architektur Page-Assembly-Proxy 2 3 Shared Nothing als Architekturprinzip Vertikaler Systemschnitt 4 Zentrale Verantwortlichkeit für Daten & Datenversorgungsprozesse Inter-Backend-Proxy Backend- Systeme A B Buy when non core Gemeinsame Basistechnologien Micro-Architektur

16 Große IT-Entwicklungsprojekte: SPLUNK in Einsatz der Entwicklungs-,Test-, Produktionsphase unserer neuen E-Commerce-Plattform Datenversorgung Tracking Aftersales Order Produkt & Sales User P13N Shoppages Analyse Splunk> Transaktions- Messung Teilprozessorientierte Messung KPI Reporting Exception Messung Messung von Geschäftsprozessen

17 Operational Intelligence: Übergreifendes Monitoring und Alarmierung der Systeme und Prozesse. Alle technischen und fachlichen Prozesse werden auf allen Contact-Center-Stationen und innerhalb der Backendsysteme End2End in Echtzeit via Splunk> geloggt. Echtzeit-Monitoring: Bei Überschreiten definierter technischer Grenzwerte generiert Splunk auto-alerts. (Extremefeedback-Device) KPI-Messung und Darstellung: Anzeige der wichtigsten Geschäftsprozess-KPIs als Ampel im Dashboard oder als App.

18 Operational Intelligence: Geschäftsprozess KPIs und fachlicher Eckwerte auf mobilen Endgeräten Uneingeschränkter Zugriff auf die Eckdaten des Contact-Center-Geschäfts über die Mobile SPLUNK Apps Contact-Center und Erweiterungen APP im ipad2 von Splunk>. Echtzeit Benachrichtigungen: Auf ios, Android und Web Mobiles KPI-Dashboard: Die wichtigsten KPIs auf mobilen Endgeräten immer dabei. ipad App: Eigene ipad App, anzeigen aktueller und historischer KPIs- oder Bussinnes Daten. Schnelles ableiten von Produktions- Störungen wichtiger Prozesse.

19 Operational Intelligence: Fachbereichsbezogene Auswertung der aktuellen Praxisdaten Beliebige Kombination von Echtzeitdaten mit historischen Informationen zur SPLUNK Contact-Center APP im ipad2 Visualisierung und Steuerung des aktuellen Tagesgeschäfts. Ansprache-Verlauf der KCs: Darstellung der Ansprache aktuelle Woche vs. letzte Woche Kontakt-Auslastung der Contact-Center: Darstellung der Kontakt-Auslastung im RC im Vergleich zur letzten- und vorletzten Woche

20 Operational Intelligence: Auswertung kritischer Prozesse mit aktuellen Praxisdaten Fachliches Monitoring von kritischen Geschäftsprozessen inklusive SPLUNK Contact-Center APP im ipad2 Alarmierung der Fachabteilung. Chancenauswertung für Alternativangebote: Auswertung der aktuellen Verkaufschance mit Herleitung des Quellprozess / -System. Gutschein-Monitoring: Darstellung der angesprochenen Gutscheinmengen Inklusive Fehleransprachen. Ableitung für Prozessverbesserung und Alarmierung.

21 Operational Intelligence: fachliche Sicherheitsaspekte Auswertung kritischer Bestellmengen pro Artikel Fachliches Monitoring von geschäftskritischen KPIs Zentrale Bestellmengenüberwachung inklusive Alarmierung der Fachabteilung. Preisüberwachung: Alarmierung bei über- oder unterschreiten der Preisvorgaben aus dem Einkauf. Kontinuierliche Mengenüberwachung: Alarmierung bei Überschreitung von Abverkaufsvorgaben, bei teuren Artikeln.

22 Operational Intelligence: Systemübergreifendes Transaction Profiling mit SPLUNK POST /Backend/CustomerService HTTP/1.1 Content-Type: text/xml;charset=utf-8 SOAPAction: "placeorder" User-Agent: HttpClient/3.1 Host: xxx:yyy Content-Length: 1613 X_TransID: _03:04:59 02 placeorder xxx.xxx.xxx.xxx X-CtlBusinessProcess: OrderTaking X-CtlReqType: placeorder X-CtlReqSender: 02 X-CtlReqPrio: 1 X-CtlReqInterface: 2435 X-CtlReqTTL: 10000" <soapenv:envelope xmlns:soapenv=" xmlns:xsd=" xmlns:xsi=" <soapenv:body> </soapenv:body> </soapenv:envelope> Wo steckt mein Auftrag? Es können jetzt Request, über Systemgrenzen, von der Erzeugung bis in die Datenbank Transaction Profiling APP verfolgt werden.

23 Ausblick: Portal-Integration und direkte Fachbereichsnutzung über Datenmodelle / Pivot Tabellen Splunk Web-Developer Framework : Direkte Integration der Splunk Visualisierung in eigene Tools und Dashboards. Verwenden von SPLUNK SDKs REST-, JAVA- Schnittstellen innerhalb etablierter Plattformen und Systeme. Stärkeres einbinden der Fachbereichsanwender durch Verwendung der Datenmodel und Pivot-Funktionen von SPLUNK 6.

24 Thank you