Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Transkript

1 Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER

2 Inhalt Vorwort XI 1 Management Summary 1 2 Was? Mein klassisches Business ist konkurrenzlos, nicht wahr? Der heimliche Markteroberer: Amazon Der klare Fall: Google Der zunehmende Lebensinhalt: Facebook Nachrichtenquelle Nr. 1: Twitter Die wilden Kleinen Das unscheinbare Orakel: Prismatic Der stille Mitlauscher: Boundary Big Data ist das neue Öl, nicht wahr? Technologie steht im Vordergrund, nicht wahr? Die Essenz von Daten ist angewendete Information Die Big Data"-Schmerzen und -Symptome Die 3 V's - ganz einfach, oder? 23 Velocity 23 Volume 24 Variety Das lokale Denken: Business-Verbesserung 25 Bessere Angebote durch mehr Wissen 26 Menschen zusammenbringen 27

3 2.6.3 Das kostenbewusste Denken: Kostenreduktion 28 Geld mit günstiger Maschinerie und geeigneten Technologien sparen 28 Kosten durch Analyse drücken Die Wachsamkeit: Die Gefahren aus dem bösen Internet 30 Enterprise-Level Stalking 30 Fraud Detection Das globale Denken: Weltverbesserung 32 Öffentlichen Verkehr endlich funktionsfähig machen 32 Precogs implementieren 33 3 Wie? Typische falsche Hoffnungen Große Daten sind wie alle anderen Daten, nicht wahr? Tools machen es für mich, nicht wahr? Meine Prozesse müssen sich nicht ändern, nicht wahr? Angewandte Wissenschaft ist der entscheidende Marktvorteil Mathe pauken Ihr Staff- die einzig sinnvolle Investition Ich kann Big Data mit normalen Entwicklern, nicht wahr? Also, alle Entwickler zurück in die Schule schicken? Die neuen Berufsgruppen Polyglott, auf jeder Ebene Big Data"-Schmerzen lassen sich erzeugen Alles protokollieren, was Nutzer tun Nutzer solange wie möglich beim Online-Angebot halten Nutzer anregen, mehr zu tun und Daten zu hinterlassen Soziale Netzwerke anzapfen Crowdsourcing Wissen, wer wo ist IT-Strategie im Big Data"-Licht Daten bzw. Informationen sind gemeinsame Sprache von Business und IT Daten sind Ihr Gold 63

4 Wie werden Daten klassischerweise behandelt? 64 Wie werden große, chaotische Daten behandelt? 66 Wie leitet man Informationen aus vielen und chaotischen Daten ab? 69 Wie hält man Unmengen chaotischer Daten sauber? 71 Wie kombiniert man mehrere Datenquellen? Was bedeutet es, datenzentriert zu arbeiten? Statistiken lügen nicht Der entscheidende Unterschied zwischen schnell und gleich Die Macht der Suche Die Macht der Empfehlung Die Macht des Bildes IT-Instrumente richtig nutzen oder richtige Instrumente nutzen Commodity Hardware nutzen Alles aus der Technik herauspressen Dort in den Wolken Die Open Source Welt hat klar die Nase vorn Big Data"-Perspektiven Wie speichert man große Datenmengen? 89 Der schwierige Weg der RDBMS 89 Tipps und Tricks 91 Der Preis der Verteilung 93 Und noch ein paar Randthemen Wie bereitet man große Datenmengen auf? Wie stellt man große Datenmengen bereit? Wie analysiert man große Daten in Echtzeit? Wie visualisiert man große Datenmengen? Von der Hand in den Mund Segen für Europa, Fluch für Big Data: Datenschutz Womit? Willkommen im Zoo der Big Data" -Technologien Einige theoretische Grundlagen Verteilte Systeme bzw. verteilte Data Stores 117

5 Hashing und Delta-Tracking 119 Replikation und Redundanz 121 Objekte versionieren 126 Sharding 130 Herr der Ringe 134 Anti-Entropy und Garbage Collection 136 Infrastrukturinformationen aktuell halten 138 CAP - nicht die Kappe 138 Eventual Consistency Caching bzw. In-Memory-Datenhaltung Graphen - ein Sonderfall Analytics sind das A und O. Aber womit machen? Was ist NoSQL? Key/Value Stores Document Stores In-Memory Stores Graphen, mal wieder ein Sonderfall und noch weitere Hundert Stores Und was ist mit der Cloud? Was ist NewSQL? Wo kommen klassische RDBMS ins Spiel Was ist MapReduce? Und welche Programmiersprache ist nun die beste für Big Data"? Kann/muss ich alles mit Java machen? Ist JavaScript nicht etwa nur für Script-Kiddies? Analyse von Logs Time-Series-Daten Umgang mit Commodity Hardware Wie kann ich es richtig flott machen? Was ist (Fast-)Echtzeit? Die superschnelle Technik Suche, Index und Secondary Index Die Antwort der Dinosaurier, die Appliances Kann ich das alles mit einem einzigen Tool machen? 177

6 4.16 Visualisierung Wohin mit meinen aktuellen Errungenschaften? Wohin mit meiner Enterprise-Architektur? Wohin mit meinem Enterprise-Datenmodell? Wohin mit meinem MDM? Wohin mit meinem Enterprise-Technologie-Stack? Wohin mit meiner SOA? Wohin mit meiner BI-Lösung? Wohin mit der Cloud? Ist Big Data" also Hadoop mit einem Schuss MongoDB? Way Forward Aktuelle Trends NoSQL und der Rest der Welt Hadoop und der Rest der Welt Hauptspeicher und Plattenspeicher werden immer billiger Die Monster wachen auf Wie starte ich mit Big Data? Ich habe schon Big Data. Wie mache ich weiter? ROI, TCO und dergleichen und worauf es ankommt Wo und wie kann ich mich weiter informieren? Persönlicher Blick in die ferne Zukunft 208 Stichwortverzeichnis 211