Big Data ft. 20. Februar 2014 IHK Darmstadt DR. ROBERTO RAO, AXXESSIO GMBH

Transkript

1 Big Data ft 20. Februar 2014 IHK Darmstadt DR. ROBERTO RAO, AXXESSIO GMBH

2 Inhalte Big Data Was ist das? Anwendungsfälle für Big Data Big Data Architektur Big Data Anbieter Was passiert in Zukunft mit Big Data? 2

3 Big Data Was ist das?

4 Rohstoffe wie Gold sind nur in einer geringen Dichte vorhanden 300 Kg Erz + 20 Tonnen Giftstoffe (u.a. Cyanid) Kg an Ressourcen müssen aufgewendet werden um einen Goldring herzustellen 4

5 Spaltbares Uran muss aufwendig getrennt werden 238 U 99,3 % 235 U 0,7 % 235 U 100 % Spaltbares Material Natururan 1000 Kg Uranerz ergeben 1 Kg Uran Gaszentrifugen 5

6 Big Data ist ähnlich zur Rohstoffgewinnung Internet Seiten, Web-Foren, Blogs Social Networks, s, Sensoren Aus enorm vielen Daten sollen nur die wertvollen Informationen extrahiert werden. Volume (Datenvolumen) Variety (Vielfalt) Velocity (Tempo) Value (Wert) Veracity (Datenqualität) Volatility (Aufbewahrung) 6 Dokumente Bilder Text Wertvolle Information Aufwendige Trennung von wertlosen und wertvollen Informationen

7 Vielfältige Daten Kunde Name Vorname Kundennummer Ort Artikel Bezeichnung EAN Preis MwSt - Attribute - Tupel KundenNr EAN Netto MwSt Brutto Datum DE ,21 19% 24, DE ,77 19% 97, DE ,31 7% 2, Relationale DB SQL Query: SELECT SUM(BRUTTO) WHERE KUNDENNR =

8 Mit Big Data hat die Goldgräberzeit auch in der IT begonnen LOW DENSITY DATA LOW VALUE HIGH DENSITY DATA HIGH VALUE Das Fußballspiel morgen ist der Hammer! Das dürfen wir nicht verpassen. VG Micky Sehr geehrter Herr Mayer, Leider kann ich morgen nicht da sein, da ich einen wichtigen Termin habe. Hallo Stefan, wie geht es dir? Wir hatten gestern einen schönen Abend. Die Politiker haben einen Schatten. Wird mal Zeit, dass wir sie abschaffen. Eine neue Regierung wär Hallo Martha, Du musst 1 Kg Mehl und 3 Eier nehmen. Du rührst dann 10 Minuten und backst es. Hi Gerd, Die Schule fällt morgen aus. Was wollen wir machen? Die Bombe müssten wir dann um ca. 11 Uhr zünden. Da sind die meisten Leute unterwegs. TAXONOMIE CLUSTERING FILTER Regierung abschaffen Bombe Die Politiker haben einen Schatten. Wird mal Zeit, dass wir sie abschaffen. Eine neue Regierung wär Die Bombe müssten wir dann um ca. 11 Uhr zünden. Da sind die meisten Leute unterwegs. 8

9 Erst große Plattenspeicher machen Big Data möglich 9

10 Anwendungsfälle für Big Data

11 Anwendungsfälle Finanzdienstleister Erkennung betrügerischer Transaktionen in Echtzeit, Risikoabschätzungen, beschleunigte Fallbearbeitung, individualisierte Dienstleistungen Versicherungen Beschleunigte Fallbearbeitung, bessere Risikoabschätzung, verhaltensbezogene Bepreisung Telekommunikation Qualitätssicherung, individualisierte Ansprache und Dienstleistungen, Betrugserkennung, neue Produkte Produktion Präventive Wartung und Überwachung, vernetzte Geräte, individualisierte Dienstleistungen, Marktüberwachung Energie Kurzfristige Bedarfsprognosen, vernetzte, individualisierte Geräte, vorausschauende Steuerung Handel Prognosen für die Absatzplanung, dynamische Preisbildung, Marktüberwachung und individualisierte Ansprache Öffentliche Sicherheit Schnelle Lageerfassung und Früherkennung gefährlicher Ereignisse Gesundheit Vernetzte Geräte, präventive Steuerung, effizientes Fallmanagement, datengetriebene Entwicklung Mobilität Vernetzte Autos, Navigation, Stauhilfe 11

12 Beispiel: Kreditkartenmissbrauch Kreditkartenunternehmen erstellen ein Muster aus den Zahlungsdaten Visa hat ca. 2 Mrd. Kreditkarten weltweit Werden einige Tage später Einkäufe im Reiseland getätigt, liegt evtl. ein Missbrauch vor! Durch Big Data hat sich die Dauer der Analyse von 45 Min. auf 4 Sek. verkürzt Quelle: Bild der Wissenschaft, Ulrich Schmitz 12

13 Versicherungsbetrug Aus Terabytes an personen- und raumbezogenen Daten kann Versicherungsbetrug aufgedeckt werden. NetReveal von Detica setzt Personen zueinander in Beziehung und korreliert sie mit Ereignissen (z.b. Schadensmeldungen) Identische Personen, Brüder, Neffen, Vettern hatten in der selben Region Schadenersatz nach einem Auffahrunfall geltend gemacht Fingierte Auffahrunfälle Quelle: Bild der Wissenschaft, Ulrich Schmitz 13

14 Energiewirtschaft Smart Meter für 40 Mio Haushalte ab 2020 Heute Standard Last Profil (SLP) Eine Ablesung pro Jahr 40 Mio. Datensätze / Jahr 40 TB / Jahr Künftig (mögliches Szenario) Registrierende Leistungsmessung (RLM) Ein Datensatz pro 15 Min 1,5 Billionen Datensätze / Jahr 1,5 Exabytes / Jahr 14

15 Big Data Architektur

16 Traditionelle Architektur Strukturierte Daten System 1 Integration System 2 DWH Analytics System 3 16

17 Big Data Architektur Strukturierte und unstrukturierte Daten System 1 System 2 Distributed File System Map / Reduce DWH System 3 Analytics 17

18 Hadoop Ökosystem MAHOUT machine learning, Bibliothek von Algorithmen z.b. Clustering PIG Scripting von MapReduce jobs HIVE HQL für MapReduce Key-Value DB HBASE MapReduce Java frame work HDFS Hadoop distributed file system * Es existieren weitere Komponenten des Hadoop Ökosystems, die hier nicht dargestellt sind (Oozi, Ambari, ZooKeeper, Hcatalog, Scoop, Flume, etc.) 18

19 HDFS (hadoop distributed file system) File.txt 1 TB Client Node A auf Node 1 B auf Node 2 C auf Node 3 Name Node A B C Data Node 1 A B C Data Node 2 Data Node 3 Data Node N 19

20 MapReduce local remote Worker Worker Worker Worker Worker Worker Aggregation Worker Endergebnis Verteilte Daten MAP PHASE Zwischenergebnisse 20 REDUCE PHASE

21 MapReduce am WordCount-Beispiel 21

22 Big Data Anbieter

23 Anbieter IBM Microsoft HP Oracle EMC 2 Exasol Teradata 23

24 Was passiert in Zukunft mit Big Data?

25 Welche Chancen und Risiken ergeben sich in Zukunft 25

26 Chancen und Risiken in der Medizin Chancen Risiken Klinische Studien Krankenakten Klinische Studien Krankenakten Wissenschaftliche Veröffentlichungen Wissenschaftliche Veröffentlichungen Neue Zusammenhänge erlauben neue Therapien Errechnen von Risiko- Patienten 26

27 Vielen Dank für Ihre Aufmerksamkeit Unsere Standorte Hauptsitz Bonn Niederlassung Köln Niederlassung Darmstadt Niederlassung Bern Kurfürstenallee Bonn Tel Fax Wilhelmstraße Köln Tel Fax Kasinostraße Darmstadt Tel Fax Frohbergweg Bern Tel Fax