BIG DATA FÜR IT-ENTSCHEIDER RIESIGE DATENMENGEN UND MODERNE TECHNOLOGIEN GEWINNBRINGEND NUTZEN. EXTRA: Mit kostenlosem E-Book

Transkript

1 BIG DATA FÜR IT-ENTSCHEIDER pavlo BARON RIESIGE DATENMENGEN UND MODERNE TECHNOLOGIEN GEWINNBRINGEND NUTZEN EXTRA: Mit kostenlosem E-Book

2 Baron Big Data für IT-Entscheider CHV Newsletterhinweis Computer Bleiben Sie auf dem Laufenden! Der Hanser Computerbuch-Newsletter informiert Sie regelmäßig über neue Bücher und Termine aus den verschiedenen Bereichen der IT. Profitieren Sie auch von Gewinnspielen und exklusiven Leseproben. Gleich anmelden unter

3

4 Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen

5 Der Autor: Pavlo Baron, Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autor und Verlag übernehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autor und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Waren be zeich nungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbiblio grafie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden Carl Hanser Verlag München, Lektorat: Brigitte Bauer-Schiewek Herstellung: Irene Weilhart Copy editing: Jürgen Dubau, Freiburg/Elbe Layout: le-tex publishing services, Leipzig Umschlagdesign: Marc Müller-Bremer, München Umschlagrealisation: Stephan Rönigk Druck und Bindung: Kösel, Krugzell Ausstattung patentrechtlich geschützt. Kösel FD 351, Patent-Nr Printed in Germany print-isbn: e-book-isbn:

6 Inhalt Vorwort... XI 1 Management Summary Was? Meinklassisches Business istkonkurrenzlos, nichtwahr? Derheimliche Markteroberer: Amazon Derklare Fall:Google DerzunehmendeLebensinhalt:Facebook NachrichtenquelleNr.1:Twitter Diewilden Kleinen Dasunscheinbare Orakel: Prismatic Derstille Mitlauscher:Boundary BigData istdasneueöl, nichtwahr? Technologie stehtimvordergrund, nichtwahr? DieEssenzvonDatenistangewendete Information Die BigData -Schmerzenund-Symptome Die3V s ganzeinfach,oder? Velocity Volume Variety Daslokale Denken:Business-Verbesserung Bessere Angebotedurch mehrwissen Menschenzusammenbringen... 27

7 VI Inhalt Das kostenbewusstedenken:kostenreduktion Geld mit günstiger Maschinerie und geeigneten Technologien sparen Kostendurch Analysedrücken Die Wachsamkeit: Die Gefahren aus dem bösen Internet Enterprise-LevelStalking Fraud Detection Das globale Denken:Weltverbesserung Öffentlichen Verkehr endlich funktionsfähigmachen Precogs implementieren Wie? TypischefalscheHoffnungen Große Datensind wiealleanderen Daten,nichtwahr? Tools machenes fürmich,nichtwahr? MeineProzesse müssensich nichtändern,nichtwahr? AngewandteWissenschaftistderentscheidendeMarktvorteil Mathepauken IhrStaff dieeinzig sinnvolleinvestition Ich kann Big Data mit normalen Entwicklern, nicht wahr? Also, alleentwicklerzurückindieschuleschicken? Dieneuen Berufsgruppen Polyglott,aufjederEbene Big Data -Schmerzenlassen sicherzeugen Alles protokollieren, wasnutzertun Nutzersolangewiemöglich beimonline-angebot halten Nutzeranregen, mehrzutununddaten zuhinterlassen Soziale Netzwerkeanzapfen Crowdsourcing Wissen,wer woist IT-Strategieim BigData -Licht Daten bzw. Informationen sind gemeinsame Sprache von Business undit Datensind IhrGold... 63

8 Inhalt VII Wiewerden Datenklassischerweise behandelt? Wiewerden große, chaotischedatenbehandelt? Wie leitet man Informationen aus vielen und chaotischen Datenab? WiehältmanUnmengenchaotischerDatensauber? Wiekombiniert manmehrere Datenquellen? Wasbedeutet es,datenzentriert zuarbeiten? Statistikenlügennicht Der entscheidende Unterschied zwischen schnell und gleich DieMachtderSuche DieMachtderEmpfehlung DieMachtdesBildes IT-Instrumente richtig nutzen oder richtige Instrumente nutzen Commodity Hardware nutzen Alles ausdertechnikherauspressen Dortinden Wolken DieOpen SourceWelthatklardieNasevorn BigData -Perspektiven Wiespeichertman große Datenmengen? DerschwierigeWegderRDBMS Tipps undtricks DerPreis derverteilung Undnochein paarrandthemen Wiebereitet mangroße Datenmengen auf? Wiestellt mangroße Datenmengen bereit? Wieanalysiert mangroße DateninEchtzeit? Wievisualisiert man große Datenmengen? Von derhandin denmund SegenfürEuropa, FluchfürBig Data:Datenschutz Womit? Willkommen imzooder BigData -Technologien Einigetheoretische Grundlagen Verteilte Systemebzw.verteilteDataStores

9 VIII Inhalt Hashing unddelta-tracking Replikation undredundanz Objekteversionieren Sharding HerrderRinge Anti-EntropyundGarbageCollection Infrastrukturinformationenaktuell halten CAP nichtdiekappe EventualConsistency Cachingbzw.In-Memory-Datenhaltung Graphen ein Sonderfall Analytics sinddas AundO.Aberwomit machen? Was istnosql? Key/Value Stores DocumentStores In-Memory Stores Graphen,malwieder einsonderfall undnochweitere HundertStores Undwasistmit dercloud? Was istnewsql? Wokommen klassische RDBMSinsSpiel Was istmapreduce? Und welche Programmiersprache ist nun die beste für Big Data? Kann/mussich alles mit Javamachen? IstJavaScriptnichtetwanurfürScript-Kiddies? AnalysevonLogs Time-Series-Daten UmgangmitCommodity Hardware Wiekannich esrichtigflottmachen? Wasist (Fast-)Echtzeit? Diesuperschnelle Technik Suche,IndexundSecondary Index Die AntwortderDinosaurier: dieappliances Kannichdas alles miteinemeinzigen Tool machen?

10 Inhalt IX 4.16 Visualisierung Wohinmit meinen aktuellen Errungenschaften? Wohinmitmeiner Enterprise-Architektur? Wohinmitmeinem Enterprise-Datenmodell? Wohinmitmeinem MDM? Wohinmitmeinem Enterprise-Technologie-Stack? Wohinmitmeiner SOA? Wohinmitmeiner BI-Lösung? WohinmitderCloud? Ist Big Data alsohadoop mit einemschussmongodb? Way Forward Aktuelle Trends NoSQLundderRest derwelt Hadoop undderrest derwelt Hauptspeicher und Plattenspeicher werden immer billiger DieMonsterwachenauf Wiestarteichmit BigData? IchhabeschonBig Data.Wiemacheichweiter? ROI,TCOunddergleichen undworauf es ankommt Woundwiekannichmich weiterinformieren? Persönlicher Blick indiefernezukunft Stichwortverzeichnis...211

11

12 Vorwort Als das Konsumenteninteresse am Internet Mitte der Neunziger explodierte, rangen viele IT-Entscheider darum zu verstehen, wie sie darauf reagieren sollten. Microsoft ignorierte die Wichtigkeit des Internet bekanntermaßen mehrerejahrelang,bisbillgatesdenfehlererkannteundseineriesigefirmain eine neue Richtung steuerte. Vermögen wurden gewonnen und verloren. Die IT-Landschaft hat sich für immer verändert. Heute ringen dieselben Entscheider und ihre Nachfolger darum, aus der Big Data -Bewegung schlau zu werden. Ist es ein Hype oder ein weiterer Umbruch wie das Internet? Viele befürchten, dass es ihre Geschäfte ruiniert, wenn sie nicht irgendwie aktiv werden. Die anderen spüren, dass in ihren Daten Gold steckt. Pavlo Baron hat das Buch geschrieben, welches die besagten Entscheider händeringend benötigen. Er nutzt seine langjährige Hands-on-Erfahrung und generalistische Sicht, um den Menschen Big Data zu erläutern, deren Karriere davon abhängt, es zu verstehen. Pavlo klärt den Hype, die Mythen und die Verwirrung um Big Data, indem er anhand realer Szenarien Beispiele zeigt, worum es dabei überhaupt geht und was es nicht ist. Er erläutert neue Datenquellen wie z.b. Geodaten und Sentiment Analysis aus sozialen Medien wie Twitter und Facebook. Er beschreibt, wie Daten neue Geschäftschancen erschaffen und steuern, wie z.b. mobile Anwendungen, die den Aufenthaltsort des Nutzers berücksichtigen, oder zielgerichtete Suche oder Datenvisualisierung. Doch dies ist nicht einfach ein Buch über Big Data aus Business-Perspektive. Pavlo taucht in die technischen und für die Softwareentwicklung spezifischen Probleme ein, die unbedingt geklärt werden müssen. Wo können wir uns neue Formen von Daten besorgen? Welche Tools sollten wir nutzen und welche nicht? Wie bereinigen wir die Daten? Wie kombinieren wir Daten aus verschiedenen Quellen, extrahieren nützliche Erkenntnisse daraus, und wie visualisie-

13 XII Vorwort ren wir die Ergebnisse? Wie können wir beweglich bleiben und schnell auf sich ändernde Sachverhalte reagieren? Pavlo adressiert außerdem übliche Missverständnisse bezüglich der Zeit und der Daten. Wann benötigen wir Reaktionsfähigkeit in Echtzeit? Wann ist die Batch-Verarbeitung ausreichend? Er betrachtet spezifische Technologieentscheidungen: Wann sind traditionelle Relational Database Management Systems (RDBMS) ausreichend? Was sind die NoSQL -Systeme und wann sollten wir sie nutzen? Sollten wir neue Programmiersprachen und die dazugehörigen Tools erforschen? Big Data ist ein chaotischer Bereich der IT, der sich rapide ändert, aber spannende Möglichkeiten für das Wachstum der Organisation und neue Business- Chancen bietet. Pavlo Barons Buch gibt Ihnen die erforderliche Straßenkarte, um auf diesem Gebiet zu navigieren und die für Ihre Organisation besten Chancen zu finden. Dean Wampler, Ph.D., ( 28. Dezember 2012 übersetzt aus dem Englischen