Breaking Down Data Silos in Retailing

Transkript

1 Breaking Down Data Silos in Retailing Prof. Dr.-Ing. Wolfgang Maaß Lehrstuhl für Betriebswirtschaftslehre, insb.wirtschaftsinformatik im Dienstleistungsbereich Universität des Saarlandes Innovative Technologien im Handel (ITH) St. Wendel, 2013

2 Agenda Big Data (Data) Analytics Big Data Processing Linked Data (optional) Data Scientist Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 2

3 Big Data

4 Big Data Snippets Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 4

5 Ausgangssituation Online Händler verstärken zunehmend den Druck auf den stationären Handel à Omnichannel Retailing Das Verständnis über den Kunden wird zum kritischen Wettbewerbsfaktor à Integration von bestehenden und Gewinnung von neuen Kundendaten Herausforderung: Gemeinsames Verständnis für den Nutzen aus Produzenten- und Händlersicht und dem Schutz und Nutzen des Kunden Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 5

6 Daten Datenvolumen Weltweit 1,8 Zettabytes (10 21 Byte = Byte = 1,8 Billionen Gigabytes) an digitaler Information (Stand 2011) Wachstum des Gesamtvolumens in den letzten 5 Jahren um den Faktor 5 Trillion Byte Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 6

7 Daten Datenvolumen Internet: Erzeugung von 2,5 Exabyte pro Tag (1 Exabyte = 1000 Petabyte = 1Mio Terabyte = 1 Mrd Gigabyte) Google verarbeitet 24 Petabyte = Terabyte pro Tag (Stand 2012) Walmart: 2,5 Petabyte pro Tag 14 km pro Tag km pro Jahr Seagate 1TB Festplatte 1,4 cm Höhe Tbyte/Tag Tbyte/Tag Internet Google Walmart 0 Google Walmart Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 7

8 Big Data Verwendung von Information von Sensoren, RFID und anderen identifizierenden Geräten, um Geschäftsumgebungen auf einer feiner granularen Ebene verstehen zu können, um neue Produkte und Dienste zu kreieren und auf veränderte Nutzungsmuster reagieren zu können, in der Situation ihrer Entstehung. [Davenport et al. 2012] Big Data charakterisiert durch Volumen, Geschwindigkeit, Verschiedenheit und Wahrhaftigkeit [Laney (Gartner), 2001] "Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization. [Laney (Gartner), 2012] Huge Amount of Signal in the Noise [McAfee & Brynjolfsson, 2012] Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 8

9 Big Data im Retailing Produktinformation Hersteller Erweiterte Produktinformation Händler Über Meinungen Über Globus Über Konkurrenzprodukte Über den Hersteller Über Promotions Über den Produktpreis Über die Inhaltstoffe Herausforderungen: Geschwindigkeit, Kosten, Echtzeit à Erfassung, Unterstützung und Vorhersagen Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 9

10 (Data) Analytics

11 ? (Data) Analytics HiPPO (The highest-paid Person s Opinion) Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 11

12 Jeopardy! The Learning Curve IBM Watson Playing in the Winners Cloud v0.8 11/10 V0.7 04/10 v0.6 10/09 v0.5 05/09 v0.4 12/08 v0.3 08/08 v0.2 05/08 v0.1 12/07 Baseline 12/06 Machine Learning NLP, data mining,.. + Knowledge-base [L. Parida, IBM, 2013] Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 12

13 Einsatz von Analytics Studie (MIT Sloan Mgt Review & IBM): Entscheider, Manager und Analysten 30 Industrien 100 Ländern Intensiven oder signifikanten Druck erweitere Informations und Analyseansätze zu übernehmen Innovation zur Wettbewerbsdifferenzierung Organisation hat i.a. mehr Daten, als sie effektiv nutzen kann Erfahrene Entscheider wollen das Geschäft auf datenbasierten Entscheidungen führen Szenarien und Simulationen zur unmittelbaren Leitung für beste Aktionen bswp. Aktionen zu unerwarteten Wettbewerbern oder Kunden im Verkaufsraum, die Wechselwilligkeit zu Wettbewerbern signalisieren. Analytics schafft Werte [LaValle et al. 2012] Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 13

14 Top-Unternehmen Verwenden Data Analytics im weitest möglichen Sinne zur Unterstützung kleiner und großer Entscheidungen Doppelt so wahrscheinlich wird Analytics eingesetzt, um zukünftige Strategien zu leiten Doppelt so wahrscheinlich wird Analytics eingesetzt, um das tägliche Geschäft zu leiten Zweimal so viele Entscheidung basieren auf rigorosen Analyse im Vergleich zu schwachen Unternehmen Anwärter-Unternehmen: Auf Effizienz und Automatisierung bestehender Prozesse fokussiert; Kostensenkung Erfahrene Unternehmen: Entwicklung besserer Wege zur effektiven Sammlung, zum Einfließen und zum Agieren durch Analytics zur Optimierung der Organisation Transformierte Unternehmen: Substantielle Erfahrung mit Analytics über einen breiten Funktionsbereich. Nutzung von Data Analytics zur Wettbewerbsdifferenzierung; Fokus auf Entwicklung der Kundenprofitabilität und gezielte Investitionen in Nischen-Analytics Transformierte Organisationen sagten dreimal mehr wahrscheinlich als Anwärter- Unternehmen aus, dass sie ihre direkten Industrie-Konkurrenten wesentlich übertrumpfen. [LaValle et al. 2012] Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 14

15 Big Data Processing

16 Speicherung von Daten NoSQL-Typen Spaltenorientierte & Dokumentenorientierte Datenbanken: Schlüssel/Wert-Paare Speicherung von mehrdimensionalen Hash Maps Dimensionalität kann beliebig gewählt werden Datenstruktur: Baum Keys C P T, 1 T, 2 Values ZDF Terra X 19:30 45 min Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 16

17 MapReduce Überblick zur Ausführung MapReduce: von Google eingeführtes Framework für nebenläufige Berechnungen Big Data (mehrere Petabyte) auf Computerclustern (US- Patent 2010) Für große Datenmengen Für Datenverarbeitung ohne viel Synchronisation Schnelle Antwortzeiten Keine komplexen Rechenoperationen (Dean & Ghemawat 2004) Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 17

18 Verarbeitung von Daten MapReduce Performanz: Beschleunigung relativ zur Verarbeitung eines sequentiell-arbeitenden Rechners Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 18 (Ranger et al., 2007)

19 Verarbeitung von Daten Schritte des MapReduce Algorithmus (1) Splitting: Daten in M Arbeitspakete aufteilen und starten vieler Programmkopien in einem Cluster (2) Select Workers: Master wählt unbeschäftige Worker aus und ordnet ihnen Map oder Reduce Aufgaben zu (M map tasks und R reduce tasks) (3) Mapping: Ein Worker mit map task list den Inhalt des Arbeitspakets (Attribut- Wert-Paare) und leitet diese an nutzerdefinierte map -Funktion weiter. Ergebnisse (Schlüssel-Wert-Paare) werden lokal zwischengespeichert. (4) Shuffling: Partitionierung der Ergebnisse in R Regionen durch Partitionier- Funktion. Adressen zu R Regionen werden an Master geschickt, der diese den R Reduce Workers mitteilt. (5) Assign to Reduce Worker: Reduce Worker liest die Zwischendaten aus dem Worker Speicher und sortiert die Daten (6) Reducing: Reduce Worker leitet die Zwischendaten an die Reduce Funktion des Nutzers weiter. Ergebnisse werden an die Ergebnisdatei angehängt. (7) Final Results: Nach Abschluss aller Map und Reduce Aufgaben aktiviert der Master das Nutzerprogramm. (Dean & Ghemawat 2004) Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 19

20 Verarbeitung von Daten MapReduce Beispiel: Quelle: Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 20

21 Beispiel Handel mongodb-lösung Einkaufsdaten db.shopping.save( { userid: "Meyer", ts: ISODate(' :17:00'), revenue: 95 } ); db.shopping.save( { userid: "Mueller", ts: ISODate(' :23:00'), revenue: 110 } ); db.shopping.save( { userid: "Schmitz", ts: ISODate(' :02:00'), revenue: 120 } ); db.shopping.save( { userid: "Bruns", ts: ISODate(' :45:00'), revenue: 45 } ); db.shopping.save( { userid: "Meyer", ts: ISODate(' :05:00'), revenue: 105 } ); db.shopping.save( { userid: "Mueller", ts: ISODate(' :14:00'), revenue: 120 } ); db.shopping.save( { userid: "Schmitz", ts: ISODate(' :00:00'), revenue: 130 } ); db.shopping.save( { userid: "Bruns", ts: ISODate(' :37:00'), revenue: 65 } ); Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 21

22 Beispiel Handel mongodb-lösung Map var mapfunction = function() { var key = this.userid; var value = { }; userid: this.userid, total_revenue: this.revenue, count: 1, avg_revenue: 0 }; emit( key, value ); Erstellung von Schlüssel-Wert-Paaren für die Berechnung mit userid als Schlüssel und value als Wert Reduce var reducefunction = function(key, values) { var reducedobject = { userid: key, }; total_revenue: 0, count:0, avg_revenue:0 }; values.foreach( function(value) { reducedobject.total_revenue += value.total_revenue; reducedobject.count += value.count; } ); return reducedobject; Vedichtung der Daten und Speicherung in Datenstruktur (reducedobject) Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 22

23 Beispiel Handel mongodb-lösung Finalize var finalizefunction = function (key, reducedvalue) { if (reducedvalue.total_revenue > 0) reducedvalue.avg_revenue = reducedvalue.total_revenue / reducedvalue.count; return reducedvalue; }; db.shopping.mapreduce( mapfunction, reducefunction, { ) } out: { reduce: "revenue_stat" }, finalize: finalizefunction Erstellung von Schlüssel-Wert-Paaren für die Berechnung mit userid als Schlüssel und value als Wert Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 23

24 Beispiel Handel mongodb-lösung db.shopping.find(); { "_id" : ObjectId("51d6c1bdd41eca467ad23f5e"), "userid" : "Meyer", "ts" : ISODate(" T14:17:00Z"), "revenue" : 95 } { "_id" : ObjectId("51d6c1bdd41eca467ad23f5f"), "userid" : "Mueller", "ts" : ISODate(" T14:23:00Z"), "revenue" : 110 } { "_id" : ObjectId("51d6c1bdd41eca467ad23f60"), "userid" : "Schmitz", "ts" : ISODate(" T15:02:00Z"), "revenue" : 120 } { "_id" : ObjectId("51d6c1bdd41eca467ad23f61"), "userid" : "Bruns", "ts" : ISODate(" T16:45:00Z"), "revenue" : 45 } { "_id" : ObjectId("51d6c1bdd41eca467ad23f62"), "userid" : "Meyer", "ts" : ISODate(" T11:05:00Z"), "revenue" : 105 } { "_id" : ObjectId("51d6c1bdd41eca467ad23f63"), "userid" : "Mueller", "ts" : ISODate(" T13:14:00Z"), "revenue" : 120 } { "_id" : ObjectId("51d6c1bdd41eca467ad23f64"), "userid" : "Schmitz", "ts" : ISODate(" T17:00:00Z"), "revenue" : 130 } { "_id" : ObjectId("51d6c1bdd41eca467ad23f65"), "userid" : "Bruns", "ts" : ISODate(" T15:37:00Z"), "revenue" : 65 } db.revenue_stat.find(); { "_id" : "Bruns", "value" : { "userid" : "Bruns", "total_revenue" : 110, "count" : 2, "avg_revenue" : 55 } } { "_id" : "Meyer", "value" : { "userid" : "Meyer", "total_revenue" : 200, "count" : 2, "avg_revenue" : 100 } } { "_id" : "Mueller", "value" : { "userid" : "Mueller", "total_revenue" : 230, "count" : 2, "avg_revenue" : 115 } } { "_id" : "Schmitz", "value" : { "userid" : "Schmitz", "total_revenue" : 250, "count" : 2, "avg_revenue" : 125 } } Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 24

25 Beispiel Handel mongodb-lösung Erweiterung: VIP-Status zur Anrechnung auf einen erhöhten Umsatz (Verdoppelung). db.shopping.save( { userid: "Meyer", ts: ISODate(' :17:00'), revenue: 95, vip: 2 } ); db.shopping.save( { userid: "Mueller", ts: ISODate(' :23:00'), revenue: 110, vip: 1} ); db.shopping.save( { userid: "Schmitz", ts: ISODate(' :02:00'), revenue: 120, vip: 1 } ); db.shopping.save( { userid: "Bruns", ts: ISODate(' :45:00'), revenue: 45, vip: 1 } ); db.shopping.save( { userid: "Meyer", ts: ISODate(' :05:00'), revenue: 105, vip: 2 } ); db.shopping.save( { userid: "Mueller", ts: ISODate(' :14:00'), revenue: 120, vip: 1 } ); db.shopping.save( { userid: "Schmitz", ts: ISODate(' :00:00'), revenue: 130, vip: 1 } ); db.shopping.save( { userid: "Bruns", ts: ISODate(' :37:00'), revenue: 65, vip: 1 } ); { "_id" : "Bruns", "value" : { "userid" : "Bruns", "total_revenue" : 110, "count" : 2, "avg_revenue" : 55 } } { "_id" : "Meyer", "value" : { "userid" : "Meyer", "total_revenue" : 400, "count" : 2, "avg_revenue" : 200 } } { "_id" : "Mueller", "value" : { "userid" : "Mueller", "total_revenue" : 230, "count" : 2, "avg_revenue" : 115 } } { "_id" : "Schmitz", "value" : { "userid" : "Schmitz", "total_revenue" : 250, "count" : 2, "avg_revenue" : 125 } } Einfache Erweiterung des Datenschemas Univ.-Prof. Dr.-Ing. Wolfgang Maass Slide 25

26 Walmart Big Data Architecture 250-Knoten Hadoop Cluster (2012) Migration der existierenden Daten von Oracle auf eigene Systeme (2012) Beispiel Social Genome: Kontaktieren von Kunden oder deren Freunde, die online zu einem Produkt geschrieben haben, um ihnen Produktinformation und einen Discount zu schicken. Kombination aus öffentlichen Web-Daten, sozialen Daten und proprietären Daten, u.a. Kundenkaufdaten und Kontaktinformation Entwicklung von Muppet (OSS), da besser für Echtzeit und parallele Analysen Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 26

27 SAP HANA SAP HANA ist SAP s in-memory Computing Platform für Echtzeitanwendungen ermöglicht sofortigen Zugriff auf riesige Mengen strukturierter und unstrukturierter Daten aus unterschiedlichen Quellen und gibt sofort Antworten auf komplexe Anfragen Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 27

28 Linked Data semantische Verbindung von Daten über das Web

29 Idenifikation von Dingen URLs identifizieren Dokumente im Web Verwendung globaler Identifier für Daten und Objekte z.b., Berichte, Funktionen, Bauteile Reduktion der Verwirrung und Mehrdeutigkeit Ermöglicht das Matching von Identifiern und Übereinstimmung its der Name für das Amyloid Precursor Protein uniprot:p ist der Name für Alzheimer Krankheit omim: Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 29

30 Idenifikation von Dingen Sobald etwas identifizierbar ist, kann es verbunden werden uniprot:p05067 is a interacts with uniprot:p Uniprot:Protein Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 30

31 Graphen Amyloid precursor protein Alzheimer Disease label uniprot:p05067 is involved in label omim: is a is a Protein Disease Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 31

32 Graphen können kombiniert werden Gene Database transforming growth factor, beta 3 nci:has_description Pathway Database rea:process Platelet activation, signalling, aggregation CCCCGGCGCAGCGCGGCCGCA GCAGCCTCCGCCCCCCGCACG GTGTGAGCGCCCGACGCGGCC GAGGCGG nih:sequence TGFβ-3 TGFβ-3 Response to elevated platelet cytosol Ca2+ Homo sapiens nih:organism nih:location sameas rea:process rea:process Platelet degranulation nih:organism 14q Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 32

33 Die Bausteine 1. RDF Resource Description Framework Graphenbasierte Datenrepräsentation Knoten und Kanten Identifiziert Objekte (URIs) Verbindung von Daten (Relationen) 2. Vokabulare (Ontologien) Bietet gemeinsames Verständnis zu einer Domäne Organisiert Wissen in einer maschinen-verständlichen Weise Gibt ausnutzbare Bedeutung zu Daten Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 33

34 Data Scientists Verständnis von Analytics Beschlagen in IT mit einem höheren Abschluss in Informatik, Computational Physics oder Biologie Erweiterte Datenmanagement-Fähigkeiten, inkl. Programmierung, mathematisch-statistische Fähigkeiten, sowie Geschäftsscharfsinn und die Fähigkeit effektiv mit Entscheidern zu kommunizieren. [Davenport et al. 2012] Univ.-Prof. Dr.-Ing. Wolfgang Maaß Slide 34

35 Uni.-Prof. Dr.-Ing. Wolfgang Maaß Lehrstuhl für Betriebswirtschaftslehre, insb.wirtschaftsinformatik im Dienstleistungsbereich Universität des Saarlandes twitter: wmaass