EINFÜHRUNGSVORTRAG BIG DATA Datenanalyse als neuer Produktionsfaktor Produktionsfaktor 20. Mai 2014
Gigantische Datenmengen x10 die Menge der digitalen Informationen verzehnfacht sich alle 5 Jahre 90% der weltweit verfügbaren Daten sind in den vergangenen 2 Jahren entstanden 30 Milliarden Einträge auf Facebook jeden Monat Um Erfolg im Markt zu haben ist es essentiell, nicht nur detaillierte Einblicke in die zukünftige Entwicklung zu haben, sondern auch die Fähigkeit zu erarbeiten sich schnell einer bestimmten Entwicklung des Marktes anpassen zu können können.
Agenda 1 Nutzen und Bedeutung von Big Data 2 Einsatzmöglichkeiten von Big Data 3 Implementierung und Architektur 3
Agenda 1 Nutzen und Bedeutung von Big Data 2 Einsatzmöglichkeiten von Big Data 3 Implementierung und Architektur 4
Nutzen und Bedeutung von Big Data Definition und Strukturierung des Big Data Begriffes Für den Begriff Big Data findet sich in der Literatur und Presse keine einheitliche Definition. Grundsätzlich lässt sich der Begriff aber wie folgt strukturieren: Zielsetzungen Gewinnung und Nutzung entscheidungsrelevanter Erkenntnisse Prozessoptimierung in Echtzeit Größere Bandbreiten an Informationen Neue Arten von Daten und Analysen Definition von Big Data durch Unternehmen 18% 16% Echtzeitinformationen 15% Art der Informationen Informationen Integration aus verschiedenen Quellen qualitativ vielfältig Moderne Medienarten 13% unterschiedlich strukturiert Zustrom von Daten aus 13% neuen Technologien Große Datenmengen 10% Das neueste Modewort 8% Dynamik und Umfang schneller Wandel der Daten bisher unbekannter und stetig wachsender Daten aus sozialen Medien 0% 5% 10% 15% 20% Datenumfang Quelle: IBM/Oxford University (Mitte 2012) 7% n = 1.144 IT- und Business Experten weltweite Befragung 5
Nutzen und Bedeutung von Big Data Unser Verständnis von Big Data auf einen Blick Big Data umfasst die Bereitstellung von Konzepten, Methoden, Tools, Technologien und IT-Architekturen, um das exponentiell wachsende Angebot an vielfältigen Informationen für schnelle und fundierte Entscheidungen aufzubereiten. Big Data bezeichnet die Hochgeschwindigkeits-Analyse großer Datenmengen aus vielfältigen Quellen mit dem Ziel, wirtschaftlichen Nutzen zu erzeugen. Charakteristika von Big Data: Volume Datenvolumen verdoppelt sich ca. alle 2 Jahre Variety Vielfältige Datenquellen und -formate (Soziale Netzwerke, GPS-Signale, Youtube-Videos, ) Velocity Die Geschwindigkeit der Datenauswertung ( Echtzeit ) ist ein bedeutender Faktor KPMG betrachtet dabei zusätzlich die folgenden Charakteristika: Veracity Adäquate Governance- und Kontrollmechanismen ermöglichen es, sogar aus einer Kombination aus strukturierten und verunreinigten Daten gute Einblicke zu gewinnen Value Datenverfügbarkeit, Operative Prozessverbesserungen, Entscheidungsunterstützung, Inno- vationen & Produktentwicklung, Marketing & Sales, Monetarisierung der Daten- und -analyse Big Clarity Big Flexibility Big Efficiency Big Impact Verbessertes Verständnis durch die Verarbeitung großer Datenmengen Flexible und schnelle Anpassung der Datenanalyse Zeitnahe Bereitstellung von entschei- dungsrelevanten Informationen 6
Nutzen und Bedeutung von Big Data Kriterien zur Begriffscharakterisierung Das V5-Konzept Volume Variety Velocity Entstehung immer größerer Datenmengen in oft unbekanntem Ausmaß für die betreffenden Unternehmen Komplexität zahlreicher Datentypen steigt (strukturiert, semi-strukturiert, unstrukturiert) Informationsquellen werden vielfältiger neben dem klassischen Reporting werden Datenströme zunehmend in Geschäftsprozesse integriert (Echtzeitauswertungen) Self-Service Business Intelligence Veracity Zuverlässigkeit von Informationen (naturgemäße Unvorhersagbarkeit) Value Prozessverbesserungen Entscheidungsunterstützung Monetarisierung 7
Nutzen und Bedeutung von Big Data IT-Trends und deren Zusammenwirken mit Big Data Cloud Computing und SaaS Zunehmende Entwicklung dezentraler Informationsbereitstellungskonzepte Mobile Informationstechnologien Entstehung stark wachsender Datenmengen und Location Based Services Sensoren und M2M Vernetzung von Produktionsgütern, Maschinen und anderen Geräten Social Web Erzeugung und Distribution von Content durch die Nutzer von Social Media Anwendungen Big Data Neue Herausforderungen aber auch Möglichkeiten für den Umgang mit den Folgen dieser IT-Trends Trends Verfügbare Daten und die geeignete Technik, diese auszuwerten, sind notwendige Voraussetzungen. Aber wie kann die Nutzung dieser Informationen für Unternehmen aussehen? 8
Nutzen und Bedeutung von Big Data Mithilfe der klassischen Datenanalyse konnten bisher nur strukturgleiche und komplett strukturierte Daten verarbeitet werden Big Data ermöglicht die integrative Analyse sowohl strukturierter, semistrukturierter als auch unstrukturierter Daten. Big Data Datenwelt Strukturiert (Länge und Format definiert) Semistrukturiert (Länge und Format teils definiert) Unstrukturiert (Länge und Format undefiniert) Maschinell generiert vom Menschen generiert Maschinell generiert vom Menschen generiert Sensordaten (RFID, medizinische Geräte, GPS- Daten) Web-Log-Daten (Aktivitäten auf Servern und Netzwerken) Point-of-Sale-Daten (Kundendaten am POS) Finanzdaten (Aktienkurse) Inputdaten (Dateneingabe auf Computern) Clickstream-Daten (Websitelinks) Spieldaten (Aufzeichnung des Verhaltens bei Online- Spielen etc.) Satellitenbilder (Satellitenüberwachung, Wetterdaten) Wissenschaftliche Daten (Seismische u. athmosphärische Daten) Fotos und Videos (Verkehr) Radar- und Sonardaten (Ozeanographischseismische Profile) Interne Textdaten (Umfrageergebnisse, E- Mails) Social-Media-Daten (Facebook, Youtube) Mobildaten (Standortinfor- mationen, Messages) Websiteinhalte (verschiedene Inhalte auf Websites) 9
Nutzen und Bedeutung von Big Data Durch neue Methoden der Datenspeicherung und -verarbeitung können Marktteilnehmer Wert aus vielfältigen Daten generieren Es reicht nicht aus, relevante Daten zu identifizieren und zugänglich zu machen. Entscheidend für den Erfolg ist die Kompetenz, diese Daten zu nutzen. Unternehmen, die die Bedeutung von Big Data und Business Analytics erkennen, weisen eine doppelt so hohe Wahrscheinlichkeit auf zu den Top Performern in ihrer Industrie zu zählen als andere Unternehmen. (MIT Sloan Management Review) Big Data Value Distribution & Logistik Produktion Forschung & Entwicklung / Innovation Finanz- & Risiko- Controlling Marketing & Sales Monetarisierung von Daten und deren -analyse Detailliertere Marktsegmentierung (Mikrosegmente) Flexible Personalisierung des Angebots (Customization) Reduktion der Streuverluste/ Marketingkosten Echtzeit-Korrektur von Routen auf Basis aktueller Verkehrsdaten Optimierung von Lieferketten Auswertung der Machine-to- Machine- Kommunikation (M2M) Echtzeit-Analyse von Maschinendaten Wartungskosten Fehlerkosten Personalkosten Bestandsdaten Lagerkosten Fehlmengenkosten Neue Faktoren für die Bewertung des Kreditrisikos Betrugserkennung Prognosen/ Simulationen/ Szenarien in Echtzeit Ständig aktuelle Vl Values-at-Risk Besseres Verständnis der Kundenbedürfnisse Verkürzung der Time-to-Market Echtzeit-Analyse wissenschaftlicher Experimente (z.b. für neue Medikamente) Verkauf generierter Daten (z.b. Kunden-, Verkaufs-, Produktionsdaten) an externe Nutzer Angebot von Big Data-Analysetools und -methoden 10
Nutzen und Bedeutung von Big Data Evolution von einfacher Datenanalyse hin zu Big Data (technisch) Nachverfolgung In tegration & Nu utzen Manuell Benachrichtigung Visualisierung Reifegrad Zeitversetzte t t Analysen zur Ausweitung der Kontinuierliche i und iterative ti Daten als Produktionsfaktor nachträglichen Betrachtung Manuelle Aufbereitung und Datenerhebung Vorhersagen basierend auf Verarbeitung von Daten Neue Erkenntnisse im Analyse großer Datenvolumina möglich Interpretation der Analysen Datenauswertungen Hinblick auf Business Verarbeitung strukturierter und Geringe Datengranularität Nutzung von Data Performance unstrukturierter Daten und Qualität Warehouse/Mart Anwendung von Strukturunterschiede akzeptabel Manuelle Verarbeitung Systeme zur Unterstützung statistischen Methoden Erkennen von komplexen externer Informationen von Entscheidungen Vollständig automatisierte Zusammenhängen und Mustern Verarbeitung Datenauswertung in Echtzeit Data Mining Analyse von externen Daten Strukturgleiche Daten notwendig 11
Nutzen und Bedeutung von Big Data Evolution von einfacher Datenanalyse hin zu Big Data (fachlich) Nachverfolgung Nu utzen Visualisierung Manuell Benachrichtigung Komplexität Standard d Reporting Verstehen von Kontinuierliche i und iterative ti Daten als Produktionsfaktor Ad hoc Reporting Businessfaktoren Verarbeitung von Daten Analyse großer Datenvolumina KPI Monitoring Visualisieren von möglich Transaktionen Anomalien erkennen Visualisieren von Beziehungen Neue Erkenntnisse im Hinblick auf Business Performance Anwendung von statistischen Methoden Vollständig automatisierte Verarbeitung Data Mining Strukturgleiche Daten notwendig Verarbeitung strukturierter und unstrukturierter Daten Strukturunterschiede akzeptabel Erkennen von komplexen Zusammenhängen und Mustern Datenauswertung in Echtzeit Analyse von externen Daten 12
Nutzen und Bedeutung von Big Data Big Data Der Markt in Zahlen Kennzahlen belegen ein rasantes Wachstum des Big Data Marktes. Daraus ergeben sich sowohl für bestehende als auch für neue Unternehmen große Chancen, aber auch Herausforderungen. Ein starkes Wachstum im globalen Big Data Markt Ø36% jährlich 15,7 Mrd. in 2016 Ein neues Geschäftsmodell 270 Mio. globaler Umsatz durch reine Big Data Companies Optimistische Erwartungen Vorreiter Neue Anbieter mit Big Data- Lösungen 43% E-Businessder Unternehmen Unternehmen erwarten einen sind prädestiniert für Big Data Empolis & Mellmo Anwendungen gesellen sich zu ROI > 25% Ein wachsendes Angebot 80 weltweit nennenswerte Unternehmen bieten bereits Big Data Lösungen an Kompatibilität Schnittstellen ermöglichen den graduellen Übergang von konventionellen Systemen und neuen Technologien zu Big Data Lösungen Parstream, Exasol, Microsoft, SAP & Co. wachsenden Marktanteile Die Umsatzanteile von Europa (27% ) und den USA (42%) im globalen Big Data-Markt gleichen sich an* Quelle: BITKOM, Experton Group 2012 *Größere anfängliche Bedenken hinsichtlich des Datenschutzes und der Datensicherheit (vor allem in Deutschland) haben den USA gegenüber g Europa einen Vorsprung in der Entwicklung verschafft. Es wird erwartet, dass sich diese Marktanteile durch die Anpassung der europäischen Richtlinien auf einander zubewegen. 13
Agenda 1 Nutzen und Bedeutung von Big Data 2 Einsatzmöglichkeiten von Big Data 3 Implementierung und Architektur 14
Einsatzmöglichkeiten von Big Data Big Data ermöglicht Performanceverbesserungen und das Aufdecken neuer Potentiale auf allen Stufen der Wertschöpfungskette 1 Infrastructure Präventivanalyse zur Verhinderung des Ausfalls wichtiger Unternehmensysteme 2 HR Management Schnelle und bedarfsgerechte Reaktion auf saisonale Schwankungen, kurzfristige Änderungen etc. durch Big Data-Analysen 3 Tech. Development Verbesserte Informationsverar- beitung und analyse sowie Erweiterung des Unternehmens-Knowhow 4 Procurement Kombinierte Auswertung von Onlinerabattangeboten b t und eigenen Lagerbeständen 1 2 3 4 In nbound Lo ogistics Infrastructure Human Resource Management Technology Development Procurement 5 6 7 8 9 erations Op Ou utbound Lo ogistics Ma arketing & Sales Service 5 Inbound Logistics Nutzung von Realtime- POS-Daten zur Identifizierung von Outof-Stock-Situationen und Benachrichtigung der Lieferanten 6 Operations 7 Outbound Logistics 8 Marketing & Sales 9 Verhinderung Predictive Analytics zur Zielgenaue Kundenansprache machineller zielgenauen Prognose durch Produktionsausfälle von Absatzmengen Auswertung von Social durch Realtime- Vermeidung des Media-Profilen und Auswertung der Maschinendaten Aufbaus von unnötigen Lagerbeständen sonstigen Kundendaten Service Auswertung von Kundenfeedback aus externen Kanälen zur Verbesserung der Serviceaktivitäten 15
Einsatzmöglichkeiten von Big Data Nutzung von Informationen Was bedeutet Big Data für Unternehmen? Wo kommen Big Data Analysen heute schon zum Einsatz? einige Beispiele Daten Anwendungen Nutzung Fraport AG Auswertung von Sensor-Daten zur Vorhersage der Fluggast-Ströme, um so Warteschlangen an den Abfertigungspunkten weitestgehend zu vermeiden Sears Corp. (US-amerikanischer Handelskonzern) Kombination von Daten über Kunden, Produkte und Werbung zur Entwicklung kundenindividueller Werbung (heute auch von vielen anderen Handelsunternehmen, wie Amazon, genutzt) VISA Inc. Kann über Kreditkartentransaktionen vorhersagen, welches Ehepaar sich in absehbarer Zeit scheiden lässt, woraus auf die Kreditwürdigkeit geschlossen werden kann Weitere Beispiele für Einsatzszenarien Branche Energiewirtschaft Finanzwirtschaft Einsatzmöglichkeiten Steuerung des Energieverbrauches (über Speicherung und Auswertung von Messwerten) Zahlungsstromanalysen zur Betrugserkennung Handel Telekommunikation Click-Stream-Analysen im Online Handel (Echtzeit-)Kundenanalysen / Kaufverhaltensanalysen Location-Tracking Händler können diese Daten in Echtzeit verwenden, um Verbraucher, die in der Nähe von Shops sind, über Angebote zu informieren Social Web Individualisierte id i Werbung Echtzeitanalysen des Nutzerverhaltens 16
Einsatzmöglichkeiten von Big Data Big Data Aktivitäten von Unternehmen weltweit und in Deutschland Was sagen empirische Studien über den Planungsstand von Unternehmen zum Thema Big Data? Big Data Aktivitäten - internationaler Querschnitt Anteil an Unternehmen mit Big Data Initiativen in 2012 Pilotprojekte begonnen und erste Big Data Lösungen implementiert 28% Deutschland 34% 66% Noch keinerlei Big Data- Aktivitäten gestartet 48% Total 53% 47% Big Data Aktivitäten geplant 24% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% mit Big Data Initiative 2012 ohne Big Data Initiative 2012 Quelle: IBM/Oxford University (Mitte 2012) / n = 1061 / weltweite Studie Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie Big Data Aktivitäten in deutschen Unternehmen Heute noch kein Thema, auch nicht in Planung 25% Heute noch kein Thema, aber geplant 24% Bereits implementiert 8% Mit der Thematik beschäftigt, aber noch nicht umgesetzt 43% Key Findings zum Planungsstand alle Studien bestätigen, dass sich der Großteil der 25% Unternehmen mit der Thematik befasst Jedoch nur wenige Unternehmen konnten ihre Big Data Projekte bereits umsetzen fast 50% der deutschen Unternehmen befassten sich 2012 Quelle: Experton Group(Mrz./Apr. 2012) / n = 63 / deutschlandweite Studie noch nicht mit Big Data, nur wenige haben Projekte bereits umgesetzt 17
Einsatzmöglichkeiten von Big Data Welche Ziele verfolgen Unternehmen mit der Auswertung der Big Data? In welchen Bereichen fokussierten Unternehmen branchenübergreifend ihre Big Data Investitionen in 2012 Andere HR 7% Distribution/Logistik 5% 7% Finance/Accounting 8% Vertrieb 15% Die wichtigsten Zielsetzungen von Big Data Projekten für Unternehmen Neues Geschäftsmodell 14% Mitarbeiterzusammenarbeit 4% Herstellung/Produkti on 8% IT 11% Produktentwicklung 11% kundennaher Einsatz 43% Quelle: TATA Consultancy Services / n = 1.217 / weltweite Studie Marketing 15% Kundenservice 13% Risiko-/Finanzmanagement 15% Betriebliche Optimierung 18% Kundenorientierte Ergebnisse 49% Quelle: IBM/Oxford University (Mitte 2012) / n = 1067 / weltweite Studie Key Findings zum Einsatzgebiet und den Zielen Insgesamt stehen vor allem vertriebsnahe Beweggründe im Zusammenhang mit Big Data Projekten im Vordergrund d Auch die deutschlandweite Studie der EXPERTON Group sowie eine Studie des Fraunhofer Institutes führen zu einem ähnlichen Resümee Viel Potential wird zudem im Logistik-Bereich gesehen 18
Agenda 1 Nutzen und Bedeutung von Big Data 2 Einsatzmöglichkeiten von Big Data 3 Implementierung und Architektur 19
Implementierung und Architektur Anforderungen an Technologien zur Nutzung der Big Data Big Data Welche Folgen haben diese Dimensionen von Big Data für die IT? Daten Anwendungen Nutzung Folgen für Software-Lösungen Insbesondere im Software-Bereich vollziehen sich Folgen für Hardware-Lösungen signifikante Veränderungen, um den Ausbau der Bandbreiten zur Datenübermittlung Anforderungen an die Big Data gerecht zu werden Speichermöglichkeiten der wachsenden Daten Es ergeben sich deutliche Veränderungen für Datenbank-Technologien und Schwerpunkte bestehender Datenbanken verändern sich Bereiche, in denen mit den größten Wirkungen auf die IT-Infrastruktur gerechnet wird Sonstige 33% 0% 67% Kapazität Bandbreite 64% 26% 10% Netzwerk-Infrastruktur (Switching, Router, Loadbalancing) 64% 26% 10% Storage / Datenbanken 76% 23% 1% Server / CPU-Last 64% 30% 6% Analyse- & Reportingsysteme 55% 32% 13% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% hohe Zustimmung mittlere Zustimmung niedrige Zustimmung Quelle: Experton Group(Mrz./Apr. 2012) / n = 85 / deutschlandweite Studie 20
Implementierung und Architektur Analytische versus Big Data Systeme und die Auswirkungen auf den Analyseprozess Vergleich der Schwerpunkte Prozess der Big Data Analyse (explorative Analyse) Analytische Systeme (DW / BI) Zentrale Datenhaltung, alle Daten müssen exakt zueinander passen Qualitativ hochwertige Daten Strukturierte, bereinigte und aggregierte Daten Wiederkehrende Berichte Periodische Erstellung Big Data Systeme Daten existieren an mehreren Stellen, Ungenauigkeiten it sind akzeptabel Einfachheit der Nutzung Verarbeitung der Rohdaten mit vielen unterschiedlichen Formaten Interaktion in Echtzeit Optimiert für Flexibilität Business und IT identifizieren Datenquellen IT stellt Plattform zur Verfügung Business bewertet Daten (Basis für kreatives Erkunden der Daten) Zentralistische Organisation Heterogene, dezentrale Organisation Ergebnisse werden mit klassischen Quellen zusammengeführt 21
Implementierung und Architektur Überwindung der Herausforderungen bei der operativen Umsetzung der Big Data-Lösung Stufe Datenaufzeichnung / - sammlung Extraktion / Bereinigung Integration / Bereinigung Analyse / Modellierung Interpretation Umsetzung Identifikation relevanter Datenquellen Filterung der nützlichen Daten Generierung von Metadaten zur Beschreibung und Aufzeichnung der Daten Datenextraktion aus Originalquelle Überführung in analysefähige Formate Bereinigung der Daten zur Validierung (Fehlermodelle) Datenintegration zur Ermöglichung automatisierter Computeranalyse Datenbankdesign und -struktur Datenabfrage und Data Mining Interaktive Datenanalyse / Realtimeabfrage Verbindung von Datenbanken und Analytics- Software Applikationen, welche Nachvollziehbarkeit der Analyseergebnisse und ihrer Annahmen (Provenance) gewährleisten Visualisierung der Ergebnisse Herausforderungen Definition geeigneter Filter Definition iti der richtigen Metadaten t Datenbanksysteme, die den Ursprung der Daten nachvollziehen (Provenance) Schwierigkeiten bei der Überführung der Formate (applikationsabhängig) Fehlermodelle und Datenbereinigungsmethoden existieren oft noch nicht Heterogenität der Daten Frühe Entwicklungsstufe der Big Data Integration Vor- und Nachteile einzelner Designs Heterogenität, Dynamik, Interaktion und geringe Vertrauenswürdigkeit von Big Data Koordination zwischen Datenbanken und Analytics-Software In bestimmten Fällen geringe Vertrauenswürdigkeit und Fehleranfälligkeit von Big Data Komplexität erschwert die Visualisierung 22
Implementierung und Architektur Auswirkungen auf die IT-Architektur der transaktionalen und analytischen Systeme Durch die veränderten Schwerpunkte, die sich durch Big Data Systeme ergeben, entstehen auch veränderte technische Anforderungen. Folgende Techniken spielen besonders wichtige Rollen. In-Memory Application Verteilung von Daten auf Knoten (Skalierbarkeit durch Parallelisierung der Auswertung) Verarbeitung mit Map-Reduce Technik (Datenanalyse, die Informationen strukturiert, shuffelt und anschließend reduziert) Ablage von Daten im Arbeitsspeicher Ermöglicht deutlich schnellere Datenbank-Abfragen Vor allem für analytische Anwendungen geeignet Steht für Not only SQL Datenbanken, die einen nichtrelationalen Ansatz verfolgen Verzicht auf starre Schemata, Daten werden ohne feste Struktur gespeichert Die bestehende IT- Infrastruktur vieler Unternehmen erlaubt einen graduellen Übergang auf Big Data Lösungen bzw. die Integration mit Big Data Konzepten 23
Implementierung und Architektur Maßgeschneiderte Big Data-Architektur für Ihren Anwendungsfall Um das große Datenvolumen schnell verarbeiten zu können, ist der Aufbau einer maßgeschneiderten Big Data-Architektur notwendig. Big Data Applikationen Reporting & Visualisierung Analytics (Traditionell & Advanced) Analytische Data Warehouses & Data Marts Datenbanken & Tools Operative Datenbanken Reports Alerts Visualisierung Dashboards Cockpits Analyse BI Suite Modelle Beliebige Reporting -Tools SQL In Memory DB Stream Engine Beliebige Analytics ODS KI Indizes DW -Tools Daten Informationsbeschaffung Verfeinerung (Hadoop) Transformation Laden SQL, No SQL New SQL, Files Automa atisierte Ab blaufsteuer rung Sicherheitsinfrastruktur Physische Infrastruktur 24
Implementierung und Architektur Technologien & Informationsaustausch Big Data Technologien (Auswahl) Regelmäßiger Informationsaustausch Verteilung von Daten auf Knoten (Skalierbarkeit durch Parallelisieren der Auswertung) Verarbeitung mit Map-Reduce Technik (Datenanalyse, die Informationen strukturiert, verteilt und anschließend reduziert) In-Memory Application Ablage von Daten im Arbeitsspeicher Ermöglicht deutlich schnellere Datenbank-Abfragen Vor allem für analytische Anwendungen geeignet Steht für Not only SQL Datenbanken, die einen nicht-relationalen Ansatz verfolgen Verzicht auf starre Schemata, Daten werden ohne feste Struktur gespeichert HANA 25
Implementierung und Architektur Funktionsweise von Hadoop Der Einsatz hat Folgen für: Volume Variety Velocity Zwei grundlege ende techn ische Prinz zipien HDFS* Map Reduce Cluster-Datei-System verteilt die Daten auf verschiedene Systeme in einem Rechnerverbund Datenverarbeitung im Ablageort durch die Aufteilung der Datenverarbeitung in kleine Portionen und ihre parallele Abwicklung Ablage der Daten in zerlegter Form (die Größe der Datenblöcke ist vom System definiert) Replikation der Blöcke beugt Datenverlust bei Knotenausfall vor ( Sicherheits-Blöcke ) Systemvoraussetzungen für den Hadoop-Einsatz Grundsätzlich mit Hilfe von Standardrechnern durchführbar Dateisystem muss auf Fehlertoleranz ausgelegt sein, da in einem solchen Rechnerverbund von Hardwareausfällen auszugehen ist (funktioniert mit beschriebener Replikation der Blöcke) Java Developer Kit ab V 1.6 Linux als Betriebssystem wird empfohlen *HDFS = Hadoop Distributed File System 26
Implementierung und Architektur Funktionsweise von in Memory-Datenbanken In-Memory Der Einsatz hat Folgen für: Velocity Application Warum ist das Speichern von Informationen im Arbeitsspeicher für Big Data Analysen so interessant? Wenn Daten im Arbeitsspeicher und nicht auf anderen Speichermedien abgelegt werden, wird die Geschwindigkeit erhöht, mit der Datenbanken auf diese Daten zugreifen können. Daten können schnell ausgewertet und damit beispielsweise sogar in Echtzeit in Prozesse eingebunden werden! 27
Implementierung und Architektur Funktionsweise von NoSQL Der Einsatz hat Folgen für: Varietyy Was macht den Einsatz einer Datenbanksprache, die nicht nur relationale Datenstrukturen verarbeiten können, notwendig? Unstrukturierte Datenmengen können nicht mit Datenbanken ausgewertet werden, die auf Relationen und Tabellen aufbauen. Was ist der Unterschied von NoSQL zu herkömmlichen h SQL-Datenbankstrukturen? t kt NoSQL benutzt eine festen Tabellenschemata als Datenspeicher SQL kann schlecht mit häufig ändernden Datenstrukturen umgehen, die aber zunehmend wichtiger werden NoSQL hat nur geringe Sicherheit bezüglich der Datenkonsistenz, deren Problematik sich jedoch aufgrund der häufig extrem hohen Datenmenge relativiert 28
Implementierung und Architektur Big Data Security Exemplarische Risiken entlang der Prozesskette Risiken für die Datensicherheit und den Datenschutz existieren entlang der gesamten Prozesskette von der Erfassung bis zur Bereitstellung der Berichte. Die Sicherheits- anforderungenngen steigen mit Zunahme der Datenmenge, der Datenvielfalt und der Geschwindigkeit der Verarbeitung. Exemplarische Darstellung Risiken: Netzwerk nicht verfügbar Fehler während der Übertragung Risiken: Verlust der Vertraulichkeit im Datentransfer Nicht-autorisierte Änderung von Daten im Transfer Erfassung / Extraktion SAP Non-!! SAP Quellsysteme Analyse Analytics Berichtswesen!!! Risiken: Datensynchronisation nicht möglich, da Quellsysteme nicht verfügbar Nichteinhaltung von Gesetzen bei der Erfassung und Speicherung von Daten Unsichere Rechtslage bei der Verarbeitung (z.b. bzgl. Datenschutz) Risiken: Nicht-authorisierte Änderungen von Daten Gefahr von Datenschutzverstössen durch Anreicherung von Daten Mangelnde Zugriffskontrolle auf Daten Risiken: Mangelnder Zugriffsschutz (Nachträgliche) Manipulation der Berichte? 29
Implementierung und Architektur Big Data Security Risikobewertung Erfassung / Extraktion Analyse Berichtswesen SAP Non- 1 2 Analytics 3 1 SAP 1 2 1 2 4 1 3 4 3 4 Quellsysteme Top Risiken (Auszug) Exemplarisch IT Risiko Matrix (exemplarisch) 1 2 3 4 Gefährdung der Aussagequalität der Berichte aufgrund von nicht autorisierten Änderungen der Daten oder dem Verlust der Verfügbarkeit einzelner Komponenten Verlust der Vertraulichkeit /Integrität während der Datenübertragung durch unzureichende Sicherheitsmaßnahmen (Keine digitalen Signaturen, keine Verschlüsselung) Verlust der Zugriffskontrolle von Daten durch unzureichende Berechtigungskonzepte Nichteinhaltung von Gesetzen und Unternehmensrichtlinien Wahrsche einlichkeit Sehr Hoch Mittel 2 3 4 5 1 5 Unsichere Rechtslage z.b. hinsichtlich des Datenschutzes kann zu unbewussten rechtlichen Verstößen führen Sehr Gering Sehr Mittel Kritisch niedrig Schadenshöhe 30
Ansprechpartner Michael Brenner Senior Manager Consulting Alfredstraße 277 Tel. +49 (201) 455-8569 D 45133 Essen Mobil +49 (174) 3277231 mbrenner@kpmg.com Moritz Schneider Manager Consulting Tersteegenstraße 19-31 Tel. +49 (211) 475-8679 D40474 Düsseldorf Mobil +49 (174) 3904722 moritzschneider@kpmg.com 31
2014 KPMG AG Wirtschaftsprüfungsgesellschaft, a subsidiary of KPMG Europe LLP and a member firm of the KPMG network of independent member firms affiliated with KPMG International Cooperative ("KPMG International"), a Swiss entity. All rights reserved. Der Name KPMG, das Logo und cutting through complexity sind eingetragene Markenzeichen von KPMG International Cooperative ( KPMG International ) ).