Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren

Transkript

1 Foto: Anita Ritenour CC BY 2.0 Erfurt, 2.Juli 2014 Big-Data-Analysen: Möglichkeiten, Herausforderungen und Gefahren Kai-Uwe Sattler! Ilmenau!

2 Was sind Big Data? Foto: Scott Ableman CC BY-NC-ND 2.0 2

3 Big Data Big Data = zu groß für herkömmliche Methoden, wie z.b. SQL-Datenbanken, Statistik, Quelle: Gartner Newsroom Google Trends 3

4 Die 3Vs von Big Data Variety Text, Photo, Video XML RDBMS MB Batch Intervall Realtime ZB PB Velocity Volume Quelle: META Group

5 Warum Big Data? Verfügbarkeit großer Datenmengen! Weblogs, Soziale Netze, IP und Mobilfunk, Umweltsensorik und Surveillance, Tracking (Warenbewegung, Fitness, )! Verknüpfung verschiedener Daten: persönliche Daten und Beziehungen, Interessen, Aufenthaltsorte,! verfügbare Speicherplatz- und Verarbeitungskapazität! Hardware-Preisverfall, Data Center und Cloud Computing, 5

6 Warum Big Data? neuer Markt! IT-Lösungen für Big Data (Cloud Computing, MapReduce, In-Memory- Computing, NoSQL, Data Mining, )! Data as a Service, Data Broker! Mustersuche und Vorhersagemodelle! typisches Verhalten: Produktempfehlungen beim Shopping, Fraud Detection (Kreditkarten),! Vorhersage von Verhalten, Ereignissen: Aktienkurse, Grippefälle, 6 Foto: 401(K) 2012 CC-BY-SA 2.0 Quelle: Google Flu Trends

7 Datenaufkommen Google: 20 PB Daten pro Tag, 35 h Video- Uploads pro Minute! Valve Steam: 20 PB Content pro Monat! CERN s LHC: 15 PB Daten pro Jahr Studie von EMC 2011:! 1,8 Zettabyte Daten ( )! Verdopplung alle 2 Jahre als DVD-Stapel: km! als Filme: 200 Mrd. Filme mit 47 Millionen Jahre Spielzeit Studie Deutsche Telekom zu vernetzten Fahrzeugen:! 5 GB pro Fahrzeug und Monat (ca. 40. Mill. Fahrzeuge in D) 7 Quelle: Foto:

8 Techniken zur Analyse von Big Data Foto: Sergei Golyshev CC BY-NC-SA 2.0 8

9 Data Mining semi-automatische Extraktion von gültigen, potentiell nützlichen und bisher unbekannten Wissen aus Daten! deskriptive Verfahren: Extraktion von Mustern oder Parametern, die Daten beschreiben! Korrelationen, Cluster, Anomalien, Trajektorien,! prädiktive Verfahren: Nutzung von Merkmalen zur Vorhersage unbekannter oder zukünftiger Werte anderer Merkmale Foto: Paul Lowry CC BY 2.0 9

10 Data Mining: Clustering Ziel: Gruppierung von ähnlichen Objekten! Alter Einkommen Ähnlichkeitsmaß! Dimensionsauswahl! Anwendung:! Kundensegmentierung! Erstellung von Profilen! Alter Zusammenfassung ähnlicher Dokumente 10 Einkommen

11 Data Mining: Frequent Itemsets Ziel: Aufdeckung statistischer Zusammenhänge zwischen Variablen! Ableitung von Assoziationsregeln! Anwendungen:! Warenkorbanalyse! Kunde Artikel #1 Bier, Pringles #2 Bier, Milch, Pringles #3 Bier, Milka, Pringles #4 Bier, Milka, Cola Wenn jemand Bier kauft, dann kauft er auch Pringles! Ko-Lokation von Ereignissen! Muster in Graphen 11

12 Data Mining: Klassifikation Ziel: Zuordnung von Objekten zu verschiedenen vorgegebenen Klassen, d.h. Vorhersage von Merkmalen (Klassenzuordnung) anhand anderer Merkmale! Ableitung des Klassifikationsmodells aus einer Trainingsmenge! Beispiel: Entscheidungsbaum Kunde Schulden 12 hoch ja Einkommen nein Einkommen niedrig nein Schulden Wohneigentum ja ja ja Wohneigentum Kreditwürdig 1 nein hoch ja ja 2 nein niedrig nein nein 3 ja hoch nein nein nein nein

13 Analyse sozialer Netzwerke Daten mit persönlichen Profilen und Bekanntschaftsbeziehungen (Facebook, Twitter, , )! Ziele: Identifikation von! Hubs, Communities,! Anwendungen:! People You May Know! Recruiting! kollaboratives Filtern! Netzwerkanalyse: Diffusionsmechanismen, Anna Luca Martin Leon Quelle: LinkedIn InMaps Fabian Laura Kevin 13

14 Erstellung von Bewegungsprofilen Generierung geoferenzierter Daten durch! Navigationssysteme, GPS-Tracker, Smartphones (Mobilfunk, GPS), Fitness-Tracker,! Nutzung für! Region of Interest #ID; Zeit; Ort 42; 15:00; 51.9, ; 15:05, 51.9, , 15:06, 52.2, 9.8! =1h Verkehrs- und Routenplanung, lokationsbasierte Dienste, Dauer zum Ziel, Häufige Orte 14

15 Herausforderungen Datenvolumen:! 10 Mrd. Webseiten a 20 KB = 200 TB! Computer mit 50 MB/s Disk IO, 200 Disks! Lesen der Daten = 1085 h = 45 Tage! aber: mit 200 Maschinen nur 5 h!! Heterogenität der Daten:! Struktur: verschiedene Formate (Dateien, Texte, Bilder, Videos, Datenbanken)! Inhalt: verschiedene Repräsentationen gleicher Sachverhalte (z.b. für die gleiche Person)! Dynamik:! Sensordaten: schmutzig, zeitlich begrenzt gültig, potentiell unendlich lange Ströme Foto: Maria Ly CC BY-SA

16 Datenparallele Verarbeitung Zerlegung der Daten in Partitionen! verteilte und parallele Verarbeitung der Partitionen Foto: Yahoo! Skalierbarkeit der Algorithmen für Server! Umgang mit Fehlern (etwa durch Ausfälle) 16

17 Datenparallele Verarbeitung mit MapReduce Programmierparadigma für datenparallele Verarbeitung! von Google entwickelt! verfügbar u.a. im Rahmen von Apache Hadoop! Einsatzbereich:! große Mengen (schwach) strukturierter Daten! Cluster-Umgebung aus Commodity Hardware für kosteneffiziente Skalierung! Plattform für verschiedene Projekte: HDFS, Pig, Hive, Spark 17

18 MapReduce: Prinzip Extrahieren, Filtern, Transformieren, Aggregieren, Eingabe inp 1 inp 2 inp n [Schlüssel, Datensatz] map map map map [Schlüssel, Datensatz] shuffle & sort [Schlüssel, Datensätze] reduce reduce reduce f(datensätze) Ergebnis out 1 out 2 18

19 Big-Data-Analyse als Prozess Datenakquisition Extraktion & Bereinigung Integration & Aggregation Modellbildung & Analyse Auswahl und Erfassung der Daten, Online-Filterung Informations-/Featureextraktion, Behandlung von Datenfehlern, Verbesserung der Datenqualität Transformation, Behandlung von Heterogenitäten, Verdichtung Datenanalyse, Data Mining Interpretation Bewertung und Interpretation der Ergebnisse 19

20 Möglichkeiten und Risiken Foto: andy_c CC BY

21 Möglichkeiten: esciences Beispiel Sloan Digital Sky Survey:! Kartierung von 25% des Himmels mit Spektroskopie! >1000 wiss. Artikel basierend auf Datenanalyse datengetriebene Forschung in den Naturwissenschaften: Astronomie, Ozeanographie, Genforschung,! teilweise 25-50% des Budgets für Cyber-Infrastruktur! The quest for knowledge used to begin with grand theories. Now it begins with massive amount of data. Welcome to the Petabyte Age. Datenexploration als 4. Paradigma Quelle: 21

22 Möglichkeiten: ebusiness Produktempfehlungen auf Shopping- Sites durch Warenkorbanalyse Fraud Detection: Erkennung von Kreditkartenmissbrauch! Beispiel Mastercard: jährlicher Schaden von ca. 8 Mrd. $, 65 Mrd. Transaktionen/ Jahr, > Regeln Produktgestaltung! Herr Müller nutzt seine Kreditkarte nur am Wochenende zum Tanken. Beispiel Netflix: 33 Mill. Kunden, 30 Mill. Abspielvorgängen, 3 Mill. Suchen, 4 Mill. Bewertungen täglich! Nutzung für Planung neuer Serien basierend auf Kunden 22

23 Möglichkeiten: Prozessoptimierung Beispiel UPS Analyse von Sensordaten der Fahrzeuge! ORION = On-Road Integrated Optimization and Navigation! Streckenoptimierung, Vorhersage der Ankunftszeiten! Einsparung von 85 Mill. Meilen / Jahr (Quelle: Wired) 23 Quelle: Wikipedia B A D 4 E G 5 H 7 C 2 F

24 Risiken: Signal vs. Rauschen Datenaufkommen Rauschen Signal heute siehe auch spurious tail (N. Taleb): Vergrößerung der Stichprobe verstärkt Rolle des Rauschens / des Zufalls 24

25 Risiken: Privacy Aufdecken von Identitäten durch Verknüpfung und Analyse von Daten! AOL Search Data Leak 2006! Veröffentlichung von 20 Mill. Suchanfragen! Identifikation einzelner Personen anhand ihrer Suchhistorie: Thelma Arnold, User927,! Data Broker Report, FTC Mai 2014! Beispiel Acxiom: umfassende Daten von über 700 Mill. Kunden weltweit, bis zu Datenpunkte pro Kunde! Dienste: Marketing, Risikobewertung (Kreditwürdigkeit, Identitäts-/ Missbrauchserkennung), Personensuche! Datensammlung aus verschiedensten Quellen (inkl. Offline-Daten) ohne Wissen der Kunden, fehlende Transparenz! falsche Risikobewertung, Datenmissbrauch 25

26 Risiken: Filterblase Personalisierung von Suchergebnissen, Nachrichten,! Ranking/Filterung von Suchergebnissen bei Suchmaschinen durch Signale wie Suchhistorie, Nutzung von Ergebnissen, Ads,! Risiko der intellektuellen Isolierung durch Einschränkung/ Ranking der Suchergebnisse If you like this, you like that. Facebook-Experiment mit Manipulation von Newsfeeds! Filterung der Nachrichten von Nutzern! Einfluss positiver/negativer Nachrichten 26

27 Fazit und Ausblick Big Data als Herausforderung für Datenmanagement und Datenanalyse! geschätztes Marktvolumen: $ 50 Mrd. in 2017 (Quelle: Wikibon)! neue Disziplinen (Data Sciences) und Märkte (Data Broker)! Technologien nicht selbstbeschränkend; daher Regeln und Transparenz erforderlich 27 Foto: Dolina Wiedzy CC BY-NC 2.0