Big Data in Business use cases. strategien. implementierungen.

Transkript

1 Big Data in Business use cases. strategien. implementierungen

2 Agenda I. Intro was ist big data eigentlich? II. Industry Use Cases - big data at work III. Deep Dive - big data für effektivere Geschäftsmodelle IV. Implementation - putting data to work

3 I. Was ist big data?

4 I. Was ist big data? Big Data ist ein Buzzword und ziemlich ungenau. Daten sind weder big noch small ; noch ist die Verarbeitung von großen Datenmengen sonderlich neuartig. Banken, Versicherungen, staatliche Einrichtungen und die Tourismusindustrie machen so etwas schon seit Jahren. OK, aber warum reden dann alle darüber? Weil es heute unglaublich billig und einfach ist, Daten im großen Stil zu aggregieren und auszuwerten. Richtig umgesetzt, ist das eine Werkzeug, für Wandel und Wachstum.

5 I. OK, und nu? Was ist den Big Data? Big Data wird definiert als eine Familie von open source Technologien, die ermöglichen, beliebige Mengen an unstrukturierten Daten zu sammeln, speichern und zu aggregieren. Das alles auf Standard Hardware und ohne Lizenzgebühren. Das macht es so extrem günstig. Weil Daten unstrukturiert sind, können aus beliebigen Quellen dort abgelegt werden. Die Anwendung von statistischen Verfahren auf diesen Daten zur Aufdeckung von Korrelationen und Kontext ist das was Big Data mächtig und smart macht.

6 I. Ja klar, data warehouses, kenne ich. Nein. Data Warehouse sind Werkzeuge zur Verarbeitung von Strukturierten Daten Ihrer Organisation. DWHs sind in der Regel eng in die Abläufe und Geschäftsprozesse integriert. Diese zu skalieren ist außerdem teuer und technisch aufwendig. Big Data Infrastrukturen sind das genaue Gegenteil. Sie skalieren ohne weiteres, existierende Prozesse sind irrelevant und die Daten sind unstrukturiert. Die Tools ermöglichen dabei eine kontinuierliche Offenlegung neuer Fakten in near real time.

7 I. Ein Paar Begrifflichkeiten Hadoop technology stack als Kombination von zwei 2003 Google whitepapers (MapReduce and GoogleFS). Erlaubt die lineare Skalierung von batch data processing (MR) und storage (HDFS). Stream processing stetiges processing von eingehenden Datenströmen, wie (ad) clicks, und (social) feeds in near real time (NRT). Lambda Architecture Kombination von batch und stream processing für exakte Verarbeitung (batch) und und sofort verfügbare (stream) aggregation.

8 I. schematisch Lambda Architektur Financials long term dataset Snapshot Snapshot Aggregated set Products Ingest Batch pipeline Google CRM Snapshot Snapshot Raw Snapshot Snapshot Snapshot Aggregated Snapshot Streaming pipeline Real Time Store

9 I. Algorithmen Algorithmen sind eindeutige, ausführbare Folge von Anweisungen zur Lösung von Problemen. Sie bestehen aus einem Deklarationsteil (Was wird benötigt?) und einem Anweisungsteil (Wie wird das Problem gelöst?). Im Kontext von Big Data bedienen wir uns von statistischen und transformativen Algorithmen zur Lösung von komplexen Problemen.

10 I. Machine Learning Datenaggregation an sich ist recht unspannend, wenn auch notwendig. Machine Learning ist der eigentliche game changer. ML wertet existierende Daten aus und erkennt wiederkehrende Muster und Klassifizierung in diesen Daten, aus denen Modelle generiert werden. Dieser werden auf neue Daten für Prädiktionen angewandt, um statistisches gesichert Vorherzusagen, was auf diesen Daten folgt. Auf Deutsch: mit vergangenen Daten und ML kann das Verhalten eines Kunden vorhergesagt werden, bevor er überhaupt selbst was tut.

11 I. In a nutshell die Schritte Interne und externe Daten sammeln, z.b. Externe social Interaktionen CRM Daten Transaktionen und andere Geschäftsdaten Aggregationsverfahren anwenden zur Klassifizierung und Entdeckung von Fakten Anwendung von Metriken für relevante Attribute Vorkommnisse verfolgen Machine Learning zur Modellgenerierung anwenden Modelle auf eingehende Datenströme zur Prädiktion anwenden.

12 II. Anwendungsfälle

13 II. Industry use cases Mobile Carrier Task: Alternative Monetarisierungsstrategien für eigene Carrierdaten Input: Call und Datenverbindungen mit Datum und geo Positionen, 1.4 TB Daten / Tag. Ziel: Ein Tool für den stationären Handel zur Analyse von Soziodemographischen Strukturen und Umsatzpotenzial für beliebige Orte in den USA.

14 II. Industry use cases Mobile Carrier Umsetzung: durch Kombination von US census Daten mit Gerätepositionen zur Nachtzeit, konnte die Soziodemographie einzelner (anonymer) Geräte bestimmt werden. Mit Hilfe eingegrenzter Geokoordinaten lassen sich die Soziodemographische Struktur exakt bestimmen.

15 II. Industry use cases Rechteinhaber Task: Copyright Verletzungen unlizensierter Texte and Bilder im Netz aufspüren Input: Artikel und Bildmaterial aus dem Datenbestand, kontinuierlich über ein Feed angeliefert Ziel: Kontinuierliches Monitoring relevanter Sites mit automatisiertem Reporting an die Rechtsabteilung

16 II. Industry use cases Rechteinhaber Umsetzung: key phrases Extraktion der Text, mit Such Maschinen Anbindung an Google, Bing um relevante Seiten aufzuspühren, Fingerprint - abgleich und -prüfung zur Plagiatsbestimmung. Angewandt auf120 Mio URLs pro Tag mit stream processing Plattformen, die bis 1.5 Mio Potentielle hits liefern und bis zu echte Lizenzverletzungen aufdecken.

17 II. Industry use cases Airbnb Task: Als kleine unbedeutende sieben Mann Bude in San Francisco ohne jegliche Tourismuserfahrung in 7 Jahren von 0 auf $ 675 Mio wachsen. Herausforderungen: Vertrauensfragen bei Anbietern Preisfindung Auftritt und Bewertungen von Angeboten Validierung der Nutzer Identität

18 II. Industry use cases Airbnb Umsetzung: Fokus auf Datensammlung externer und interner Quellen, wie: Lokale Quellen, Karten, Censusdaten Soziale Medien zur Validierung von Identitäten und Risikoeinstufung Bewertungen von Nutzern und Anbietern Einbindung von Eventdaten, Hotelpreisen und saisonale Aspekte zur Preisfindung...münden in aggregierten Datensätzen, die zur Optimierung von Umsätzen und zur Absicherung von Risiken dienen.

19 III. Deep dive

20 III. Deep Dive leveraging big data Unternehmen beruhen ihre Geschäftsprozess für Gewöhnlich auf explizite Datensätze, aus denen Ziele, KPIs und Forecasts abgeleitet werden. Explizite Datensätze sind CRM-Daten, Produkt, Finanzdaten und anderer Content, der aus dem Geschäft heraus entsteht. Ein Geschäftsmodell wird durch das Anzapfen impliziter Daten, die ein Unternehmen umgeben, mit Hilfe von big data Technologien revolutionieren, in dem bekannte und noch nicht bekannte Fakten zusammengeführt werden.

21 III. Was sind Implizite Daten? Implizite Daten wird wie folgt kategorisiert: Social Aktivitäten rund um Ihre Marken und Ihr Business Noch nicht aufgedeckte, potentielle Kundensegmente Korrelation zwischen Produkten / Kundeninteressen Interest-based Klassifizierung von Kunden

22 III. Wie wird es gemacht? 1. Datensammlung Der erste Schritt besteht darin, das Netz der Datensammlung mit weiteren, relevanten Datenquellen, breiter auszuspannen. (data lake - Strategie) Dies umfasst ebenfalls öffentliche APIs aus sozialen Netzen, so wie anonymisierte Profilierungsdaten aus Werbekanälen. 2. Exploratives Vorgehen und Aufbau von KPIs Dabei wird der Zusammenhang zwischen Datenquelle und Attributen bestimmt, klassifiziert und quantifiziert.

23 III. Wie wird es benutzt? 3. Klassifizierung und model training Metrifizierte Datensätze werden entsprechend Ihre Geschäftsrelevanz gewichtet und kategorisiert (z.b. Kunden entsprechend Ihrer conversion, Warenkorbgrößen etc..) und Transaktionen und Aktivitäten zugeordnet. Das Modell - Training wird aus diesen stetig aktualisierte gewichtete Klassifizierung gespeist.

24 III. Wie wird es benutzt? 4. Anwendung der Modell auf die eigenen Abläufe Die generierten Modelle werden verwendet, um im laufenden Betrieb Abläufe zu optimieren. So erfolgt z.b. mit Machine Learning eine dynamische Anpassung der Produktangeboten in Abhängigkeit der implizit festgestellten, individuellen Kundenbedürfnisse um die Conversion zu erhöhen.

25 III. Just listen. Das konstante Monitoring externer Faktoren und Ereignisse mit Listening Lösungen in sozialen Medien, um Daten abzugreifen, die für Ihre Marken und Ihr Unternehmen relevant sind, ist extrem nützlich, um: Auf shit storms unmittelbar reagieren zu können Relevante thematische Trends in Bezug auf Ihre Angebote zu entdecken Ihren Wettbewerb beobachten Ihre Kunden zu verstehen Und schließlich implizite Daten zu gewinnen.

26 III. Neue Potentiale entdecken Die Kombination von Prädiktiven Modellen mit Listening Lösungen ermöglicht: Die Validierung von Marktannahmen mit überprüfbaren KPIs Die Erkennung von neuen Trends Die Prüfung und Validierung neuer Produkte auf der Basis modelliertem Kundenverhalten Die Nachverfolgung komplexere Performance einzelner Produkte, deren cross selling Eigenschaften und anderer Conversion- Faktoren

27 II. Implementation

28 IV. Implementation - data at work Eine effektive Datenstrategie setzt diese initialen Schritte voraus: 1. Installieren sie ein dediziertes data team auf 2. Lösen Sie data ownership - Barrieren in ihrem Unternehmen auf und lassen Sie alle Daten in eine zentrale einlaufen 3. Installieren Sie Data Scientists in das data team, die Zusammenhänge in den Daten aufdecken und explorieren 4. Sorgen Sie für die automatisierte, stetige Verarbeitung dieser Daten im data team

29 IV. Struktur eines data teams Ein effektives data team besteht aus zwei Rollen: Entwickler und Data Scientists Die Entwickler sorgen für den Ingest (Dateneingang) und die Automatisierung Data Scientists untersuchen die Data und wenden statistische Modelle an

30 IV. Wandel umsetzen Mit Ihrem data team folgt nun: 1. Integrieren Sie das data team in Ihre Wertschöpfungskette 2. Führen Sie KPI getriebene Entscheidungsprozesse 3. Sichern Sie jeden Schritt der Wertschüpfungskette mit Metriken ab. 4. Stellen Sie jeden Schritt auf den Prüfstand.

31 IV. Transformation Das Geheimrezept explossionsartig wachsender Unternehmen wie Netflix, Airbnb und Uber ist totale data centricity. Existierende Geschäftsmodell werden stetig in Frage gestellt und optimiert Neue Modelle werden permanent validiert und getestet, was die Expansion in fremde, angrenzende Märkte antreibt.

32 Contact Hivemind Technologies AG Sechtemer Str Köln Tel