Big Data Use Case: Business Analytics

Transkript

1 Big Data Use Case: Business Analytics Ausgangssituation Ein Telekommunikationskonzern will das Thema Big Data für sich erschließen. Die gegründete Arbeitsgruppe hat Zugriff auf die Datenbestände des Unternehmens und wird von erfahrenen Analyse-Experten unterstützt. Der Konzern verspricht sich davon die Gewinnung neuer Business Intelligenz Kennzahlen, in dem erstmals die Masse der im Unternehmen vorhandenen Daten in einer einzigen Datenbank zusammengeführt und auf neue Erkenntnisse untersucht werden können. Im Weiteren sollen mit der Big Data Initiative bestehende interne Prozesse auf Effizienzsteigerung durch die neue Technologie untersucht werden. Durch die neuen Möglichkeiten sollen letztendlich auch neue Geschäftsprozesse geschaffen werden, die den Kunden einen Mehrwert bieten und sie damit an das Unternehmen binden. Herausforderung In der Arbeitsgruppe ist kein Knowhow bezüglich der technischen Realisation von Big Data Infrastruktur und dem Erstellen von Analyse-Algorithmen für die verschiedenen Big Data Frameworks vorhanden. Das neue System soll die Arbeitsgruppe in die Lage versetzen, neue Ideen zu generieren, diese eingehend zu evaluieren und bei Erfolg den Produktivbetrieb zu ermöglichen. Die Lösung muss sehr hohen Sicherheitsstandards genügen, da unter anderem mit sensiblen (Kunden / Unternehmens-) Daten gearbeitet wird. Aus diesem Grund betreibt der Telekommunikationskonzern eine eigene private Cloud Infrastruktur, welche auf Open- Stack basiert. Aufgrund der Größe des Unternehmens und der Anzahl an Idee werden mehrere Big Data Cluster gleichzeitig benötig, um verschieden Analysten das parallele Arbeiten an Ihren jeweiligen Fragestellungen zu ermöglichen. Hierfür ist es notwendig, die Ressourcen der eigenen Cloud-Umgebung anwendungsbezogen unter den Teams zu verteilen.

2 Lösung Der Telekommunikationskonzern entscheidet sich für den Einsatz von LambdaNow Enterprise, da hiermit die Anforderungen perfekt erfüllt werden: Durch die Möglichkeit verschiedene Big Data Verarbeitungsketten per Mausklick zusammenzustellen und in der unternehmenseigenen Cloud-Umgebung zu starten, brauchen die Analysten keine Hilfe von System-Administratoren um einen neuen technischen Ansatz zu probieren. Somit können sie nach Minuten Installationszeit der Verarbeitungskette in der Cloud direkt mit der Arbeit anfangen. Da LambdaNow SQL-Übersetzer für die verwendeten Big Data-Technologien mitbringt, ist das langwierige Erlernen einer neuen Eingabesprache für die Business Analysten nicht notwendig. In der Big Data-Welt hat sich die Lambda-Architektur als Datenmanagement-Konzept etabliert, das sich hervorragend sowohl für Langzeit- als auch Echtzeitdaten-Auswertung eignet. Die Lambda-Architektur basiert auf dem Gedanken verschiedener Schichten (Layer) für einzelne Funktionsblöcke, die dynamisch horizontal skaliert werden können, um sich an das jeweils anfallende Datenaufkommen anzupassen. Die hohe Skalierbarkeit von LambdaNow macht die Erweiterung von Clustern um einige weitere virtuellen Maschinen sehr einfach, per Mausklick kann somit die Leistungsfähigkeit eines Clusters von den Anforderungen des Testbetriebs auf die Voraussetzungen für den Produktivbetrieb erhöht werden. Der Einsatz von LambdaNow in der OpenStack- Cloud im Rechenzentrum des Unternehmens stellt sicher, dass der Telekommunikationskonzern jederzeit die volle Kontrolle über seine Daten und die Zugriffe der verschiedenen Benutzer ausüben kann. Somit sind alle rechtlichen Anforderungen an einen verantwortungsvollen Umgang mit sensiblen Kundendaten jederzeit erfüllt. Mit LambdaNow kann der Big Data Administrator jedem Benutzer der Plattform ein eigenes Kontingent an Cloud-Ressourcen zuweisen, über das der jeweilige Nutzer verfügen kann. Informative Widgets stellen die Art und Anzahl der momentan benutzten als auch der frei verfügbaren Cloud-Ressourcen dar, sie ermöglichen dem Administrator als auch den Benutzern einen verantwortungsvollen Umgang mit der dem Unternehmen zur Verfügung stehenden Rechenleistung. Die Oberfläche von LambdaNow Enterprise kann auf Wunsch an das Corporate Design des Unternehmens angepasst werden. Die Analysten habe somit das Gefühl, ein Produkt des eigenen Unternehmens zu verwenden, was die Akzeptanz der Big Data Plattform weiter erhöht. Außerdem kann der Telekommunikationskonzern mit LambdaNow Enterprise im Firmendesign auch seinen eigenen Kunden die Möglichkeit zur einfachen und unkomplizierten Benutzung von Big Data Infrastruktur bereitstellen und somit ohne große Entwicklungskosten ein neues Geschäftsfeld erschließen. Durch den Einsatz der LambdaNow Plattform konnte das Unternehmen beispielsweise herausfinden, das die Berechnungszeit für die täglichen Datenauswertung des Risk-Management von bisher fast 24 Stunden mittels eines Hadoop basierten Systems auf knapp 4 Stunden gesenkt werden konnte. Phone: +49 (0) Mail: info@altusinsight.de Web: App: IBAN: DE BIC: BEV0DEBB - Berliner Volksbank USt-ID: DE Geschäftsführer: Christian Richter Sebastian Kreusler AltusInsight GmbH Löwestrasse Berlin Register Berlin-Charlottenburg: HR B B

3 Big Data Use Case: Internet of Things Ausgangssituation Ein international tätiger Gerätehersteller entwickelt für Internet Service Provider (ISP) Kabelmodems, um deren Kunden TV-Programme und WLAN-Zugang bereitzustellen. Ein typischer ISP kauft durchschnittlich bis Geräte des Herstellers. Der Gerätehersteller will sich von seinen Mitbewerbern abgrenzen, indem er seinen Auftraggebern einen besonders guten Service garantiert. Da es bei der WLAN-Kommunikation jedoch häufig zu Störungen kommt, ist der Support des ISPs mit Anfragen zum Thema WLAN überlastet. Um die Servicequalität entscheidend zu verbessern, soll die WLAN-Qualität der ISP-Kunden zukünftig aktiv protokolliert und kontinuierlich ausgewertet werden, um so die Parameter der WLAN Übertragung immer im optimalen Zustand zu halten. Der ISP verspricht sich von dieser Maßnahme eine deutliche Reduzierung der Supportanfragen und damit einhergehend eine Kostensenkungen im Millionen-Euro-Bereich. Herausforderung Um auftretende WLAN-Kommunikationsprobleme der Kabelmodems frühzeitig zu erkennen und schnell aktiv gegensteuern zu können, möchte der Gerätehersteller seinen ISP-Kunden detaillierte Echtzeit-Reportings bereitstellen. Da jedes Kabelmodem alle zehn Minuten eine Logdatei von 10kB Größe an den Gerätehersteller sendet, entstehen pro Tag und Gerät 144 Logdateien und 1,4MB Daten. Bei Kabelmodems pro ISP bedeutet das Logdateien mit insgesamt ca. 1,4TB Daten jeden Tag. Herkömmliche Datenbanksysteme kapitulieren schnell bei der Entgegennahme und Verarbeitung dieser Datenströme.

4 Lösung In der Big Data-Welt hat sich die Lambda-Architektur als echtzeitfähiges Datenanalysesystem etabliert, das aber auch Langzeitspeicherung & Auswertung ermöglicht. Die Lambda-Architektur basiert auf dem Gedanken verschiedener Layer, die horizontal dynamisch skaliert werden können, um sich an die jeweils anfallenden Datenaufkommen anzupassen. Die Lambda-Architektur ermöglicht dem Gerätehersteller sowohl eine Echtzeitüberwachung des aktuellen WLAN-Zustands aller Modems als auch die komplette Parameter-Historie aller Kunden zu analysieren. Das Setup und der laufende Betrieb der komplexen Lambda-Infrastruktur wird durch den Gerätehersteller in einer öffentlichen Cloud-Umgebung bereitgestellt. Durch den Einsatz einer SaaS-Lösung sind extrem kurze Setup-Zeiten gewährleistet, wodurch auf erhöhte Datenaufkommen adhoc reagiert werden kann. Mit LambdaNow können eine kurze Time-to-Market, minimale Hardwarekosten und eine genaue Abrechnung der entstehenden Kosten bei maximaler Ausfallsicherheit gewährleistet werden. Technischer Hintergrund Der Dateneingang ist event-basiert und erfolgt mittels einer REST-API, an welche die Kabelmodems ihre WLAN-Logs übermitteln. Anschließend werden die Daten an einen Kafka-Cluster weitergeleitet, der die Daten für nachgeschaltete Analyse-Frameworks bereithält. Die Echtzeitverarbeitung im Speed-Layer wird mit Apache Samza realisiert und der Datenstrom der letzten 45 Minuten analysiert. Diese Ergebnisse werden den Support-Mitarbeiten des ISPs auf einem Echtzeit-Dashboard zur Verfügung gestellt. Die Auswertung der Langzeitdaten im Batch- Layer wird mit Hilfe eines ETL-Prozesses (Extrakt, Transform, Load) angestoßen. Die Daten werden dabei im Langzeitspeicher der Cloud-Umgebung (z.b. Amazon S3) persistiert und können dann von Hadoop/Hive ausgewertet werden. Der Support-Mitarbeiter hat damit Zugriff auf die WLAN-Historie aller Kunden und kann über den gesamten Datenbestand Analysen erstellen. Der Gerätehersteller kann diesen Service aufgrund der Skalierbarkeit in einer Cloud problemlos mehreren ISPs anbieten. Phone: +49 (0) Mail: Web: App: IBAN: DE BIC: BEV0DEBB - Berliner Volksbank USt-ID: DE Geschäftsführer: Christian Richter Sebastian Kreusler AltusInsight GmbH Löwestrasse Berlin Register Berlin-Charlottenburg: HR B B

5 Big Data Use Case: Mobile Games Ausgangssituation Ein international tätiger Hersteller von Computerspielen bietet viele verschiedene Spiele auf einer Online-Plattform an. Die Nutzer können auf der Plattform zwischen unterschiedlichen Spiele- Typen wählen (Strategie, Action, Geschicklichkeit,...). Alle Spiele bieten dem Spieler die Möglichkeit, innerhalb des Spiels digitale Güter zu kaufen um das Spielerlebnis schöner zu gestalten (z.b. Waffen, Fähigkeiten des Avatars,...). Wesentliche Spielzüge der Spieler werden mit einer Tracking-Engine aufgezeichnet und in einem Data-Warehouse für jedes Spiel getrennt analysiert. Die ausgewerteten Daten der Spieler werden dazu benutzt, das Spiel hinsichtlich Kundenzufriedenheit, Spielbarkeit und Umsatzgenerierung zu optimieren. Herausforderung Um die Zufriedenheit der Spieler weiter zu steigern und damit mehr Umsatz pro Spiel zu generieren, soll eine deutlich größere Anzahl von Daten pro Spieler erfasst werden. Das bisherige System hat jedoch dank des großen Erfolges der Spiele seine Kapazitätsgrenze erreicht. Die verwendete relationale Datenbank kann nicht mehr horizontal skaliert werden, so dass ein Wechsel der eingesetzten Technologie notwendig ist, um die Analyseumgebung leistungsfähiger zu gestalten. Die neue Analyseumgebung soll das Data- Warehouse in die Lage versetzen, ein Vielfaches an Datenpunkte pro Spieler zu erfassen und zu speichern. Um den Spieler besser einschätzen zu können, möchte die Marketingabteilung die Daten eines Spielers über verschiedene Spiele hinweg auswerten können.

6 Lösung In der Big Data-Welt hat sich die Lambda-Architektur als Datenmanagement-Konzept etabliert, das sich hervorragend zur Langzeitspeicherung und Auswertung eignet. Die Lambda-Architektur basiert auf dem Gedanken verschiedener Schichten (Layer) für einzelne Funktionsblöcke, die dynamisch horizontal skaliert werden können, um sich an das jeweils anfallende Datenaufkommen anzupassen. Das neue System ist in der Lage viel mehr Datenpunkte zu sammeln als bisher um damit eine deutlich detailliertere Ansicht der Aktivitäten der Spieler zu liefern. Durch die hohe Skalierbarkeit der Lösung ist es nun problemlos möglich, sämtlicher Nutzer aller angebotener Spiele der Plattform in einem einzigen Datenspeicher abzulegen. Dies eröffnet neue Auswertungsmöglichkeiten wie z.b. die Kohorten-Analyse. Aufgrund der gesteigerten Datenqualität kann die Business Intelligence-Abteilung dem Marketing jetzt qualitativ und quantitativ bessere Daten zur Verfügung stellen. Die neue Datenqualität ermöglicht fundiertere Entscheidungen bezüglich Art und Umfang der Marketingmaßnahmen. So können Spieler, die innerhalb einer Spielsituation über längere Zeit keinen Fortschritt mehr erzielen, mit gezielten Promotionsangeboten für z.b. spezielle Waffen motiviert werden. Technischer Hintergrund Der Dateneingang ist event-basiert und erfolgt mittels Tracking-Servern, welche die Informationen der verschiedenen Game-Server entgegennehmen. Anschließend werden die Daten an einen Kafka-Cluster weitergeleitet, der sie für nachgeschaltete Analyse-Frameworks bereithält. Das Datenmanagement wird mit Hilfe eines ETL- Prozesses (Extrakt, Transform, Load) organisiert. Innerhalb der Lambda-Architektur ist der Batch- Layer für die Speicherung der Langzeitdaten zuständig. Im vorliegenden Fall wurde der Batch-Layer mit Hadoop YARN realisiert, als Datenspeicher innerhalb des Clusters kommt das Hadoop Distributed File System (HDFS) zum Einsatz. Die Daten werden im Langzeitspeicher persistiert und können anschließend mit Hive - basierend auf Hadoop Map/Reduce - oder Spark ausgewertet werden. Zum Start des Projektes wurde keine Echtzeitfähigkeit implementiert. Da die Lambda-Architektur sehr modular aufgebaut ist, kann das Analysesystem zu einem späteren Zeitpunkt problemlos um einen Speed-Layer zur Echtzeitdatenauswertung erweitert werden. Dies steigert die Wahrscheinlichkeit des Kaufs digitaler Güter erheblich und verbessert die Kundenzufriedenheit nachhaltig. Phone: +49 (0) Mail: info@altusinsight.de Web: App: IBAN: DE BIC: BEV0DEBB - Berliner Volksbank USt-ID: DE Geschäftsführer: Christian Richter Sebastian Kreusler AltusInsight GmbH Löwestrasse Berlin Register Berlin-Charlottenburg: HR B B