Vorwort. Pavlo Baron. Big Data für IT-Entscheider. Riesige Datenmengen und moderne Technologien gewinnbringend nutzen. ISBN (Buch):

Transkript

1 Vorwort Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen ISBN (Buch): ISBN (E-Book): Weitere Informationen oder Bestellungen unter sowie im Buchhandel. Carl Hanser Verlag, München

2 Vorwort Als das Konsumenteninteresse am Internet Mitte der Neunziger explodierte, rangen viele IT-Entscheider darum zu verstehen, wie sie darauf reagieren sollten. Microsoft ignorierte die Wichtigkeit des Internet bekanntermaßen mehrerejahrelang,bisbillgatesdenfehlererkannteundseineriesigefirmain eine neue Richtung steuerte. Vermögen wurden gewonnen und verloren. Die IT-Landschaft hat sich für immer verändert. Heute ringen dieselben Entscheider und ihre Nachfolger darum, aus der Big Data -Bewegung schlau zu werden. Ist es ein Hype oder ein weiterer Umbruch wie das Internet? Viele befürchten, dass es ihre Geschäfte ruiniert, wenn sie nicht irgendwie aktiv werden. Die anderen spüren, dass in ihren Daten Gold steckt. Pavlo Baron hat das Buch geschrieben, welches die besagten Entscheider händeringend benötigen. Er nutzt seine langjährige Hands-on-Erfahrung und generalistische Sicht, um den Menschen Big Data zu erläutern, deren Karriere davon abhängt, es zu verstehen. Pavlo klärt den Hype, die Mythen und die Verwirrung um Big Data, indem er anhand realer Szenarien Beispiele zeigt, worum es dabei überhaupt geht und was es nicht ist. Er erläutert neue Datenquellen wie z.b. Geodaten und Sentiment Analysis aus sozialen Medien wie Twitter und Facebook. Er beschreibt, wie Daten neue Geschäftschancen erschaffen und steuern, wie z.b. mobile Anwendungen, die den Aufenthaltsort des Nutzers berücksichtigen, oder zielgerichtete Suche oder Datenvisualisierung. Doch dies ist nicht einfach ein Buch über Big Data aus Business-Perspektive. Pavlo taucht in die technischen und für die Softwareentwicklung spezifischen Probleme ein, die unbedingt geklärt werden müssen. Wo können wir uns neue Formen von Daten besorgen? Welche Tools sollten wir nutzen und welche nicht? Wie bereinigen wir die Daten? Wie kombinieren wir Daten aus verschiedenen Quellen, extrahieren nützliche Erkenntnisse daraus, und wie visualisie-

3 XII Vorwort ren wir die Ergebnisse? Wie können wir beweglich bleiben und schnell auf sich ändernde Sachverhalte reagieren? Pavlo adressiert außerdem übliche Missverständnisse bezüglich der Zeit und der Daten. Wann benötigen wir Reaktionsfähigkeit in Echtzeit? Wann ist die Batch-Verarbeitung ausreichend? Er betrachtet spezifische Technologieentscheidungen: Wann sind traditionelle Relational Database Management Systems (RDBMS) ausreichend? Was sind die NoSQL -Systeme und wann sollten wir sie nutzen? Sollten wir neue Programmiersprachen und die dazugehörigen Tools erforschen? Big Data ist ein chaotischer Bereich der IT, der sich rapide ändert, aber spannende Möglichkeiten für das Wachstum der Organisation und neue Business- Chancen bietet. Pavlo Barons Buch gibt Ihnen die erforderliche Straßenkarte, um auf diesem Gebiet zu navigieren und die für Ihre Organisation besten Chancen zu finden. Dean Wampler, Ph.D., ( 28. Dezember 2012 übersetzt aus dem Englischen

4 Leseprobe Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen ISBN (Buch): ISBN (E-Book): Weitere Informationen oder Bestellungen unter sowie im Buchhandel. Carl Hanser Verlag, München

5 1 Management Summary Bei Big Data geht es um das Was?, gefolgt von Wie? und umgesetzt mithilfe von Womit?. Big Data beschäftigt sich mit dem Sammeln von Daten und der Gewinnung wertvoller und nützlicher Informationen aus diesen Daten. Und auch mit der Findung und Schaffung sowie Nutzung von weiteren bzw. neuen Datenquellen, um noch mehr nützliche Informationen daraus zu gewinnen. Dabei können die Daten in beliebiger Form und Menge vorliegen. Wenn Sie die besagten Informationen haben und weiter anreichern, können Sie daraus Schritte zur Verbesserung Ihres Business ableiten. Oder Sie können darauf ganze Strategien aufbauen. Oder, wenn Sie klein genug denken, einfach IhrenKundeninsozialenNetzwerkennachspionierenundabhängigvonihrem Verhalten dort deren Scoring anpassen. Oder wenn Sie groß genug denken, können Sie diese Information dazu nutzen, die Welt zu einem besseren Ort zu machen, das Leben Ihrer Mitmenschen zu vereinfachen oder gar Epidemien zu bekämpfen oder Verbrechen vorzubeugen. Big Data ermöglicht es den Menschen mit höherer fachlicher Kompetenz, Entscheidungen so einfach und qualifiziert wie möglich zu treffen. Das menschliche Gehirn ist eine sehr gute Maschine, aber es ist sehr schlecht darin, aus Milliarden von aufeinander aufbauenden oder unabhängigen Faktoren und Ereignissen eine qualifizierte Entscheidung abzuleiten. Denn die linke Hirnhälfte ist nun mal langsam und rechnet sequentiell 1. Computer sind wiederum anders. Sie können nur mit sehr großer Mühe unabhängige visuelle und akustische Faktoren parallel zu einem inneren Bild zu verarbeiten, wie es das menschliche Gehirn in der rechten Hälfte tut. Dafür 1

6 2 1 Management Summary kann aber der Computer wahnsinnig schnell und fehlerfrei logische Ketten mit unzähligen Faktoren durchrechnen. Allein dem Computer das Treffen von qualifizierten und weitreichenden Entscheidungen zu überlassen, ist mehr als falsch. Er hat keinen Bauch, in dem er Gefühle hat. Er kann sich nicht in die aktuelle Situation mithilfe von Intuition hineinversetzen, denn er hat keine. Er ist sehr dumm darin, menschliche Emotionen zu verstehen. Und wenn er es könnte, wäre es mehr als langweilig. Zumindest für mich persönlich. Was das Big Data so spannend und nützlich macht, ist die Möglichkeit, die Computerfähigkeiten mit dem menschlichen Gehirn zu kombinieren, ohne dabei Cyborgs zu produzieren. Der Computer errechnet aus Milliarden von Faktoren ein paar Entscheidungsoptionen und das immer und immer wieder, und der Mensch trifft die finale Entscheidung mit all seiner Intuition, dem Situationsgefühl und seiner Erfahrung. Ich werde in dem Buch viel über die Datenzentriertheit sprechen, allerdings nicht um jeden Preis. Man darf nicht in die falsche Bequemlichkeit verfallen, Maschinen das Denken zu überlassen, denn damit kann man nur scheitern 2. Big Data ist also die Informations- und Technologiegrundlage für die Empfehlungssysteme bzw. Entscheidungsunterstützungssysteme. Die Technologie, also das Womit?, ist dabei weit nachgelagert. Als Erstes suchen Sie nach dem Was? in irgendwelchen Daten, die Sie bereits haben oder erst benötigen. Wenn Sie wissen, was Sie wissen wollen, kommt das Wie? ins Spiel, welches Ihnen aus der analytischen bzw. generell wissenschaftlichen Perspektive heraus hilft, das Was? zu beantworten. Und das Womit? ergibt sich dann automatisch, weil Sie technische Unterstützung dafür benötigen werden. Der Zoo an Technologien und Anbietern im Bereich von Big Data ist schier riesig und unüberschaubar geworden. Und am Ende des Tages hören Sie nur Hadoop, MongoDB und Business Intelligence aus dem Hause EMC. Und Facebook, natürlich. Und dann schreiben Sie in Ihre Strategiefolien an irgendeiner recht zentralen Stelle Big Data. Und das höhere Management fragt Sie ununterbrochen und mit Nachdruck, warum Sie immer noch kein Hadoop machen. Habe ich recht? Ehrlich, habe ich nicht recht? Nein, ich habe unrecht. Eigentlich erwartet man von Ihnen oder Sie erwarten es von sich selbst, Innovation ins Unternehmen zu bringen und diese voranzutreiben. Man erwartet von Ihnen, dass die IT Ihres Unternehmens dem Business dabei hilft, bei Marktentwicklungen immer eine Nase vor allen anderen zu sein. Man erwartet von Ihnen, dass sie die Business-Bedürfnisse mit IT- 2

7 1 Management Summary 3 Lösungen umsetzen. Und man erwartet von Ihnen, dass Sie Ihre Kosten unter Kontrolle haben. Ich helfe Ihnen mit diesem Buch. Ich sortiere für Sie den besagten Zoo auseinander, kaue Ihnen einzelne Teilgebiete vor und mache es Ihnen leichter, Ihre qualifizierten und tragfähigen Entscheidungen qualifiziert und tragfähig zu treffen. Und sich Ihren Vorgesetzten und/oder Kunden gegenüber als kompetenter Partner darzustellen. Ich zeige Ihnen hier, wie Sie mithilfe von Big Data innovativ und konkurrenzfähig werden und bleiben. Und kostenbewusst. Der Preis dafür sind ein paar Euro für das Buch und ein wenig Zeit und Interesse. Ende der Management Summary. Nun, lieber IT-Entscheider mit vollem, mehrdimensionalem Terminkalender und dünnem Geduldsfaden, wenn Sie möchten, können Sie an dieser Stelle gerne mit dem Lesen aufhören. Denn genau das hätten Sie höchstwahrscheinlich gemacht, wenn Sie mich mit dem Schreiben beauftragt hätten. Wir Techniker haben dafür ein Kürzel: tl;dr. Es ist Internet-Slang und heißt too long; didn t read, zu Deutsch also zu lang; hab s nicht gelesen. Wir wissen sehr wohl, welches Schicksal in der Regel die restlichen Seiten eines Dokuments jenseits der Management Summary erwartet. Aber Sie haben doch nicht wirklich gedacht, ich mache es Ihnen so leicht, oder? SiemüssensichschondurchdasganzeBuch quälen,daserspareichihnen nicht. Vielleicht als kleiner Racheakt für all die Management Summaries, die ich in meinem Leben schreiben musste und immer noch schreiben muss. Aber vielmehr deswegen, dass es nun wirklich an der Zeit ist, das Big Data -Haus in Ordnung zu bringen, vor allem aus der Managementperspektive. Ich habe für Sie in diesem Buch alles zusammengefasst, was Sie aktuell und in Zukunft über Big Data wissen und verstehen sollten bzw. eigentlich müssen, um qualifizierte Entscheidungen treffen zu können. Denn genau dafür werden Sie bezahlt, nicht wahr? Genau. Und ich werde dafür bezahlt, Sie bei diesen Entscheidungen zu unterstützen. Nicht durch die Tantiemen. Denken Sie ruhig größer. Betrachten Sie also das ganze Buch als Management Summary, denn wenn ich Ihnen hier die gesamte Materie in epischer Breite beschreiben würde, lägen jetzt anderthalb Meter Brockhaus-Enzyklopädie vor Ihnen. Stattdessen halten Sie einen recht dünnen Band in weichem Umschlag in der Hand. Machbare Aufgabe, oder? Denke ich auch. Das Buch richtet sich an alle, die in der IT Entscheidungen treffen dürfen bzw. müssen: IT-Leiter, CIOs, CTOs und Architekten, Lead Developer und wie Sie alle da draußen heißen mögen. Sie können das Buch sogar Ihrem Top-

8 4 1 Management Summary Management und Ihren Kunden geben dann haben Sie schneller eine gemeinsame Gesprächsbasis geschaffen und können in die konkreten Details einsteigen. Das Buch arbeitet sich entlang der drei Fragen Wie?, Was? und Womit? und gibt Antworten darauf im Kontext von Big Data. Die Antworten beziehen sich vor allem im Technologischen auf alle drei Fragen, doch dieses schrittweise Denken führt meiner Erfahrung nach ganz gut zum Ziel, und das nicht nur bei Big Data. Was?, Wie? und Womit? also. Ja, das ist definitiv meine Absicht, das Ganze ein bisschen nach Wer? Wie? Was? oder den fünf W s der ersten Hilfe im Straßenverkehr klingen zu lassen. Soviel, um wütenden -Fragen vorzubeugen. Ich spiele den Besserwisser, der Ihnen in Ihrer verantwortungsvollen Position etwas über das Leben erzählt. Ja, das tue ich. Nutzen Sie den Vorteil des Lesers, denn ich habe mich jahrelang mit dem Thema auseinander gesetzt und gebe nun komprimiert meine Erkenntnisse und Erfahrungen an Sie weiter. Die drei besagten Fragen werden also in den jeweiligen Buchkapiteln eingehend diskutiert und beantwortet. Am Ende des Buches findet sich der Ausblick in die Zukunft und Handlungsempfehlungen. Mehr ist zu diesem Thema auf oberster Strukturebene nicht zu sagen da müssen Sie schon in die einzelnen Inhalte einsteigen. Auch hier halte ich gegen die typische, gesichtslose Kurzform der Management Summary. Ich bin aus moralischen und einfach menschlichen Gründen nicht mit allem einverstanden, was ich Ihnen als Möglichkeiten in dem Buch aufzeige. Big Data ist ein dünnes Eis, denn früher oder später wird es mehr oder weniger sensible und persönliche Daten von Menschen betreffen. Ich spiele einfach einen motivierenden Berater für Sie, der Sie auf die Reise durch dieses stellenweise verminte Feld mitnimmt. Die journalistische Pflicht zwingt mich zur Vollständigkeit und Neutralität in alle Richtungen, was allerdings doch nicht immer möglich ist. Außerdem werde ich im ganzen Buch durchgehend Big Data in Anführungszeichen setzen, weil ich diesen Begriff für unsinnig und inzwischen allzu gehypt halte. Um Ihnen das Verständnis zu erleichtern, bleibe ich jedoch bei Big Data, gebe Ihnen aber mit den Anführungszeichen immer das Signal, nicht auf den Begriff selbst, sondern auf die Inhalte und Herausforderungen zu achten. Und ich hoffe, am Ende der Lektüre verwerfen Sie gedanklich den Begriff und nennen die Sache bei dem Namen, der für Sie und Ihr Unternehmen am komfortabelsten ist. Ich habe das Buch komplett in meiner Freizeit und basierend auf meiner eigenen, neutralen Meinung geschrieben. Es repräsentiert nicht unbedingt an allen Stellen die Meinung und die Strategie meines aktuellen Arbeitgebers oder

9 1 Management Summary 5 eines meiner ehemaligen oder auch künftigen Arbeitgeber. Mir ist es wichtig, Ihnen eine herstellerunabhängige Sicht zu vermitteln, frei von Zwängen, die das Thema Big Data zu einem Hype gemacht haben. Falls diese Sicht Sie in irgendeiner Weise auf die Palme bringt, so richten Sie bitte Ihren Wut direkt gegen mich und gehen Sie mit mir in eine konstruktive Diskussion ich freue mich darauf! So, das wäre jetzt auch erledigt. Und damit Sie wissen, wer Sie hier so frech berät, hier sind ein paar Takte über meine Wenigkeit. Ich bin seit über 20 Jahren in der IT-Industrie unterwegs. Und ich berühre bis heute die Tastatur. Nicht (nur), um hübsche Slides zu erstellen, sondern um konkret zu programmieren und Systeme zu administrieren, Messungen durchzuführen, automatisierbare Tests zu implementieren etc. Und das in verschiedenen Sprachen und Technologien. Und darauf bin ich stolz. Wenn es sich für Sie aber allzu sehr nach einfachem Entwickler anhört, hilft Ihnen vielleicht die Information, dass ich u.a. Enterprise-Architekt von Sixt und Chief IT-Architekt von PlanetHome (UniCredit/HypoVereinsbank) war. Auch Entwickungsleiter in diversen Unternehmen, z.b. bei M-net (Telekommunikation). Auch eine eigene Firma habe ich gehabt. Aktuell bin ich Lead Architekt der codecentric AG. Ich spreche regelmäßig auf nationalen und internationa-

10 6 1 Management Summary len Konferenzen, wovon zahlreiche Slides und Videos zeugen, die Sie von mir im Web finden können. Meine aktuellen Schwerpunkte sind verteilte Systeme, Hochskalierbarkeit, Machine Learning, Natural Language Processing. Und das alles mündet in Big Data. Ich bin viel unterwegs, um in konkreten Kundenprojekten große Big Data -Lösungen auf Basis von Riak, MongoDB und Neo4j zu bauen. Dabei kombiniere ich diese mit vielen weiteren Tools wie Nginx, Redis, RabbitMQ etc., von denen ich Ihnen in diesem Buch berichten werde. Und natürlich fehlt auch große MapReduce-Erfahrung nicht ich contribute z.b. Code zu Disco und habe mehrere Jahre konkrete Hadoop-Erfahrung zu vermelden, auch in Randbereichen. Ich habe bereits drei Bücher in Deutschland veröffentlicht, die allesamt ganz unterschiedlich sind: Pragmatische IT-Architektur 3, FragileAgile 4 und Erlang/OTP 5. Ich bin generell sehr sarkastisch, was man in den Büchern, in meinen Vorträgen und auch z.b in meinem Geek s Guide To The Working Life 6 feststellen kann. Eine mehr oder weniger aktuelle Aufstellung meiner Aktivität lässt sich auf meiner Webseite 7 finden. Die Wahrscheinlichkeit ist aber höher, dass meine Twitter-Meldungen immer die aktuellsten Informationen und Überlegungen enthalten. Dort bin ich zu finden. Dessen aber genug. Legen wir los mit dem eigentlichen Thema. Fangen wir mal mit dem Was? an

11 Stichwortverzeichnis Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen ISBN (Buch): ISBN (E-Book): Weitere Informationen oder Bestellungen unter sowie im Buchhandel. Carl Hanser Verlag, München

12 Stichwortverzeichnis A Abstraktion 43 Schicht 43 Service43, 99, 104, 133, 185 Analyse 9, 31 33, 40, 57, 70, 72, 75, 76, 86, 102, 111, 166, 178, 189, 194, 196, 198, 206 Aggregate 101 Aggregation 168, 199 Algorithmus 40, 50, 69, 94, 101, 115, 178, 199, 203 Effizienz94, 135 FalseNegative119 False Positive 119 Feature73 Machine Learning 6, 38, 41, 45, 69, 149, 179, 200, 206 Accuracy 48, 70 Error Rate 48 Klassifizierung 41, 113 Supervised Machine Learning 41 Unsupervised Machine Learning 41 Mathematik 40 42, 48, 67, 73, 149 Natural Language Processing 6, 41, 45, 69, 112, 151, 178, 185 Document Classification 42 Sentiment Analysis 42, 114 Trigramm112 Prognose 40, 41, 57, 70 Sample103, 150 Statistik 38, 40, 64, 69, 149, 199, 206 Wahrscheinlichkeit 38, 40, 70 Anbieter 8, 196, gen 155 Akamai32 Basho153 BITKOM207 Cloudera164 Coursera 46, 206 DataSift 57 DataStax 153 EMC160 Gnip57 HortonWorks 164 Loggly 167 MapR164 NeoTechnology158 Oracle197, 199 Postgres 199 Splunk167 VMware157 Anwendungsfall 29, 93, 109, 115, 158, 196, 200 Überwachung33 CERN101 Filterung71 FraudDetection31 Klick-Zähler 52 Library of Congress 105 Logs 45, 50, 54, 158, 168, 169, 179, 200 Meinungsbildung 57 Routen-Optimierung 33 Spracherkennung 70, 112 Time-Series 157, 158, 168, 169 Tracking61, 120, 199, 200

13 212 Stichwortverzeichnis Videostrom33 Zahlungsverkehr95 B Best Practices 72, 164 Betriebssystem 43, 45, 146, 174 Business Intelligence 2, 29, 59, 74, 186, 196, 198, 202 DWH187 ETL198 Mining 187 OLAP187 C Caching 68 Cache-Miss 144 Kohärenz 145 Write-Behind-Cache 92, 144 Write-Through-Cache 92, 144 CAP 93, 138, 140 APSystem141 CPSystem139 Partition Tolerance 139 Cloud 8, 28, 86, 94, 96, 154, 159, 170, 176, 188, 196, 205 AWS100 CloudFront 99 EC286, 100, 103 Riak-CS154, 196 S386, 96, 154, 196 CRM 26, 158, 183 D Datenbank 38, 49, 64, 66, 72, 77, 78, 92, 104, 130, 139, 150, 152, 156, 161, 165, 166, 168, 178, 194, 195, 198, 202 Backup96, 121 Chunk164 Column 154 Graphendatenbank195 HDFS115 Infrastruktur178 Konsistenz 121, 139, 140 NewSQL160, 194, 198 NoSQL66, 72, 88, 123, 151, 159, 160, 168, 178, 184, 194, 198, 204, 207 DocumentStore72, 155, 159, 198 Graphendatenbank158, 179, 198 In-Memory Store 68, 146, 156, 197, 198 Key/Value Store 72, 152, 175, 184, 199 Partitioning 91, 130 RDBMS67, 72, 89, 123, 126, 131, 147, 151, 155, 158, 161, 178, 194, 195, 198 Read44 Relation198 Schlüssel 130, 152, 155 Auto-Increment 122 Hashwert78, 94, 119, 122, 136, 199 ID78, 94 UUID 119, 122 Stored Procedure 90 Version126 MVCC130 Siblings137, 153 Tombstone137 Write44, 122, 137, 139, 153, 164 E Enterprise-Architektur 91, 181 F Framework 38, 43, 48, 70, 90, 195 O/RM38, 90 G Graph 148, 157 Knoten148 Pfad148 Traversieren 148 H Hardware 28, 83, 85, 86, 170, 197 Ausfall94, 96 Cluster38, 83, 87, 93, 96, 118, 134, 138, 149, 163 Commodity Hardware 28, 67, 83, 84, 170, 209 CPU85, 146, 171 Firewall107 FPGA175 GPU175

14 Stichwortverzeichnis 213 Hauptspeicher 37, 71, 197, 198 HDD172 I/O171 Infrastruktur92, 134 DMZ107 Kapazität 37 Knoten93, 122, 124, 129, 137, 153 Maschinerie 28 Netzwerk 43, 85, 103, 158, 171, 173 Backpressure 118 Physik84 Platte 37, 67, 71, 85, 119, 146, 171, 198 RAID170 Rechnerarchitektur 43 SSD 171 Virtualisierung 86 I Industrie 194 Öffentlicher Verkehr 32 Ad-Tech22 Bank8, 13, 31, 54, 95 Gambling32 High Frequency Trading 22, 76 Immobilien 12 Krankenhaus75 Online-Spiele 31 Partnervermittlung 31 Telekommunikation 15, 79, 169 CDR59, 169 Traveling76 Versicherung 8, 10, 13, 31, 58, 60 K Kosten 28, 35, 83, 85, 198, 204 CapEx35, 204 Investition 35, 162, 203 OpEx35, 204 ROI203 TCO203 L Location 57, 59, 60, 112, 199 IP-Adresse 56, 59, 87 Locking 127 Optimistic Locking 127, 143 Pessimistic Locking 127 M MapReduce 6, 162, 187, 196 In-Database-MapReduce 154, 162 Split196 Marketing 42, 73, 200 Cross-Selling 55 Werbung26, 59 Modell 64, 89, 92, 152 Relation67, 68, 89 Join 68 Schema68 N New Economy 43 Amazon8, 22, 86, 99, 189 Boundary 18 Facebook 2, 13, 22, 26, 54, 66, 108 Foursquare 60 Google 11, 22, 66, 73, 77, 83, 88, 94, 106, 112, 154, 207 Instagram14 LinkedIn47, 207 Netflix100, 190 Prismatic17, 207 Qype60 Simple 54 Square16 Startup14, 16, 33, 88, 103, 194 Twitter 6, 15, 22, 30, 55, 66, 88, 95, 110, 112, 206 Vimeo 99 Yahoo88 YouTube99 P Prozess 39, 44, 181 Configuration Management 87 Continuous Delivery 43, 87 DevOps43, 185 Manipulationssicherheit 43 Qualitätssicherung 43

15 214 Stichwortverzeichnis Rollentrennung 43 Vieraugenprinzip 43 Q Query 160, 195 CQL195 CRUD64, 88 Cypher195 SQL35, 195 Queue 102, 104, 111, 118, 175 JMS111 Publish/Subscribe 102 S Schmerzen 11, 12, 22, 50, 57, 83, 89 Alarm101 Anomalie101, 103 Aufbereitung 97 Batch102, 168, 169, 179, 189, 196, 197, 200, 202 Bottleneck 104, 128, 133 Datenmenge37, 80, 91, 97, 176, 196 Datensicherheit 105, 107 Anonymous 107 Lulzssec 107 Datenverlust126 Echtzeit100, 169, 173, 194 Fast-Echtzeit 71, 72, 102, 166, 168, 172, 174, 179, 187, 197, 202 Latenz95, 139, 161 Performance45, 85, 90, 103, 150 Single Point of Error 128 Single Point of Failure 119, 133, 164 SocialHacking107 Symptome 50 Transformation103 Variety23, 25 Velocity 23 Verfügbarkeit95, 99, 139, 161 Volume 23, 24 Schnittstelle 196 JDBC195 Protocol Buffers 154, 184, 195 REST104, 154, 158, 184, 195 Service62 SpringData195 Thrift 184, 195 SOA 62, 185 Soziale Netzwerke 12, 25, 26, 31, 55, 70, 88, 110, 200, 207 Staff DataScientist45, 48, 202 DBA93, 130, 162, 177 Team35 Strategie 2, 21, 47, 61, 87, 196 Business25 Business-IT-Alignment 205 Buy204, 209 Closed Source 88 Community 27, 88, 204 Crowdsourcing58, 60, 104 Datenschutz56, 59, 105, 108 Datenzentriertheit 2, 10, 14 Empfehlungssysteme 2, 9, 79, 208 Entscheidungsunterstützungssysteme 2, 34, 193, 208 Expertise41 Forschung46, 59 Full-Stack 45, 205 Gamification 14, 53, 108, 201 Human Business 203 Information 1, 21, 31, 35, 37, 41, 50, 57, 59, 62, 69, 70, 74, 198, 200, 202, 203 Innovation 2, 11, 105, 199, 204 Make204, 209 Marktvorteil36, 40, 84 Master Data Management 64, 182 MechanicalSympathy44 Open Source 38, 47, 87, 112, 153, 175, 204 Perspektive 27, 89, 207 Policy 39, 96, 203 Polyglott49, 151, 167, 190 Qualitätssteigerung 46 Scale-Up161 Technologie 20, 28, 37, 43, 44, 49, 68, 72, 94, 110, 117, 166, 176, 181, 185, 197, 198 Transparenz 54 Trial-And-Error 40 UserExperience53

16 Stichwortverzeichnis 215 Visualisierung 80, 151, 167, 180, 188, 191, 206 Dashboard102, 183 Wissenschaft 12, 40, 41, 47, 69, 150, 206 Suchfunktion 77, 90 Secondary Index 154, 175 Trefferliste 77 T Tool 38, 109, 117, 150, 177 Akka 174 Appliance 43, 176, 197, 201, 205 Bash49 BerkleyDB 159 C10K-Server 174 Cascalog206 Cassandra 153, 195 Clojure48, 166 Corpora70, 112 Couchbase156 CouchDB155, 184 D3180 Disco6, 115, 162 DiscoDB164 ElasticSearch176 Erlang49, 115, 155, 166, 169, 174, 185 ESB36, 43, 98, 104 F#48 Funktionale Programmierung 48 Greenplum 160 Hadoop 2, 6, 49, 88, 102, 115, 116, 151, 162, 164, 168, 184, 191, 196, 201 HBase164 HDFS164, 184, 196 Hive165, 168 IPython178, 180 Java48, 49, 111, 150, 158, 166, 175 JavaScript 49, 81, 104, 111, 166, 167 JSON104, 111, 115 Julia150 jvectormap 81 JVM49, 115, 155, 158, 174, 196, 197 LingPipe 151 Lucene175 Mahout 151 MATLAB150 memcached 174 MongoDB2, 6, 49, 155, 165, 184, 191, 198, 201 MySQL49, 178 Neo4j6, 158, 169, 195 Nginx6, 174 NLTK112, 151 Node.js167, 174 NuoDB160 Octave150 OpenNLP151 Oracle Loader for Hadoop 88, 196 OrientDB159 Perl49 Pig165, 168 Python48, 49, 110, 150, 166, 180, 185 R48, 49, 150, 166, 178 RabbitMQ 6, 155, 185 Redis6, 157, 169, 174 Riak6, 153, 159, 184, 196 Ruby166 SAPHANA159, 197 Scala48, 49, 166 Sensor75 Solr 176 Storm168, 174, 206 Tool-Chain 109 Tweepy 110 VoltDB 160 XML174 ZeroMQ 175 Transaktion 91, 118, 140 ACID91, 140, 160, 161 BASE140 Zweiphasen-Commit 91 Trend 102, 106, 194 U Uhrzeit 94, 118, 153 Atomuhr 128 NTP128 Zeitstempel 48, 91, 94, 127, 168 V Version 155

17 216 Stichwortverzeichnis Verteilte Systeme 6, 44, 48, 49, 95, 102, 117, 122, 198 Anti-Entropy 137 Asynchrone Kommunikation 118 Callback 95 Clock128 Complex Event Processing 101, 167, 168, 174 Consens119 Consistent Hashing 134, 136, 147 Content Delivery Network 99, 175 Data Locality 86, 115, 196 Dynamo153 Event95, 101, 168 Eventual Consistency 95, 141, 154 Fault-Tolerance 44 Garbage Collection 137 Gossip 138, 153 Heartbeat119 HintedHandoff139 HintedHandoff124, 140, 153 Kompensation 95, 118 Konsistenz 9, 95 Merkle-Tree 120, 153 Message 95 Parallelität 44, 49, 145 Polling 95 Prozessor 97, 115, 163 Quorum119, 125 SloppyQuorum125, 136 Redundanz147 Rehashing 133 Replikation96, 121, 122, 147, 202 LazyReplication122 Master/Master148, 161 Master/Slave 122, 148, 157, 158, 161 OperationTransfer121 State Transfer 121 Ring134, 153 Session 142 Sharding 91, 130, 136, 147, 149, 156 Snapshot96, 187 Split-Brain-Effekt 119 Timeout 118 VectorClock129, 136, 153 Voting 119 Worker 163