Big Data. Mit DVD. Was ist wichtig im Hadoop-Ökosystem? Hadoop 2 als universelle Data Processing Platform

Transkript

1 Mit DVD Jobs im Wandel: Was für Informatiker bedeutet 2/2015 Auf der Heft-DVD Über 8 GByte Software für Entwickler Multimedia: 5 Videos zur Hoch leistungsdatenbank EXASolution Hadoop: Cloudera s Distribution Including Hadoop (CDH) IDEs: Eclipse, IntelliJ IDEA, Juno Tools, Datenbanken, Sprachen: Enterprise-Search- Engines, Big-Data- Frameworks, NoSQL-/NewSQL- Datenbanken, Programmiersprachen Literatur: MongoDB Der praktische Einstieg (Auszüge), Visual Business Analytics (Auszüge) Mehr als nur MapReduce: Was ist wichtig im Hadoop-Ökosystem? Hadoop 2 als universelle Data Processing Platform SQL, NoSQL, NewSQL, In-Memory: Zeitgemäße Datenbanktechniken unter der Lupe Enterprise Search mit Apache Solr und Elasticsearch JavaScript, Python, R und Julia: Die wichtigsten Programmiersprachen zur Datenanalyse und Datenvisualisierung Datengetriebene IT-Projekte: Data Science neue Königsdisziplin der Datenerhebung und Datenschutz

2

3 EDITORIAL Kein Ende der Fahnenstange Der Begriff ist in den letzten zehn Jahren sicherlich überstrapaziert worden. Begünstigt durch zunehmend billiger werdenden Hauptspeicher und Mechanismen paralleler Programmierung zur schnellen Datenverarbeitung haben sich Analysten, Marketingabteilungen unterschiedlichster Firmen sowie Konferenz- und Schulungsanbieter schnell auf die mit verbundenen Techniken und Schlagwörter gestürzt. Die Folge war ein klassischer Hype mit all seinen Sonnen- und Schattenseiten. So ist eine stark vom Big-Data-Framework Apache Hadoop und seinem Ökosystem getriebene technische Basis entstanden, die es allerdings erst mal zu monetarisieren gilt. Viele unserer Leser waren zu Recht erst mal skeptisch, selbst noch 2012, als der Branchenverband BITKOM zum Trend ausrief, und auch noch 2014, als die CeBIT zum Leitthema kürte. So attraktiv die immer wieder zitierten Anwendungsszenarien und so erschreckend bis faszinierend die Datensammelwut beispielsweise einer NSA sind, fehlte es vielen Unternehmen lange Zeit an der Idee oder Strategie, wie sich aus ihren großen Datenmengen geschäftsrelevante Informationen mit Gewinn ziehen lassen. Das ändert sich nun so langsam, wie ich in Gesprächen auf unser eigenen Big-Data- Konferenz data2day erfahren durfte, die im November letzten Jahres ihre Premiere hatte. So wie insgesamt für das Thema, was eine Studie des Jobportals Dice.com insofern bestätigt, dass sich unter den Top 10 der bestbezahlten Skills sieben Schlagwörter aus dem Big-Data-Umfeld befinden: Cassandra, MapReduce, Cloudera, HBase, Pig, Flume und Hadoop. (Unter den Top 20 sind es gar 14: Hier kommen Hive, NoSQL, ZooKeeper, Data Architect, Data Scientist, Solr und hinzu.) Die Nachfrage treibt ganz eindeutig die Honorare in die Höhe. Mag es auf Wirtschafts-, Job- und Projektseite signifikant vorwärtsgehen, ist selbst bei Hadoop womöglich noch lange nicht das Ende der Fahnenstange erreicht. So vermeldete der bei Cloudera angestellte Hadoop-Schöpfer Doug Cutting Mitte März 2015 immer noch eine jährliche Verdopplung der Hadoop-Anwender. Das bedeutet zugleich, dass über die Hälfte der Nutzer Einsteiger in das Thema sind. Für sie mag das Sonderheft den größten Wert haben, aber auch für alle anderen an Big-Data- und NoSQL-Themen Interessierten haben wir Lesenswertes konfektioniert. Wir wünschen Ihnen viel Spaß bei der Lektüre. ALEXANDER NEUMANN Und auch die Artikel in diesem Sonderheft deuten darauf hin, dass mittlerweile mehr als nur ein skeptisch zu sehender Hype zu zugegebenermaßen reifen Techniken ist. Beispielsweise hat sich mit den Data Scientists eine eigene Berufsgruppe herausgebildet, für nicht wenige die derzeit spannendste in der IT. Für die damit verbundenen Fähigkeiten Klaas Wilhelm Bollhöfer skizziert sie im Heft als Mischung aus klassischem Ingenieursstudium, programmatischen und mathematischen Grundlagen sowie Business- und Design-Denken aus der Internet-Ära sind Experten natürlich nicht so einfach zu finden. ix Developer

4 INHALT IX DEVELOPER ist mittlerweile mehr als nur ein Hype. Die Techniken und Konzepte dahinter sind branchenübergreifend angekommen, und Unternehmen haben begonnen in ihre Prozesse und Kultur ein - zubinden. ab Seite 7 Hadoop ohne Apache Hadoop irgendwie nicht vor - stellbar. Und doch ist weit mehr als nur Hadoop. Schließlich ist ein ganzer Zoo mit das Framework unterstützenden oder mit ihm konkurrierenden Projekten entstanden. Selbst mit dem guten alten SQL lässt sich hier schon einige Zeit arbeiten. ab Seite 29 Trends Aus Informationshalden wertvolle Erkenntnisse filtern 8 Klaas Wilhelm Bollhöfer zum Status quo von im Gespräch 14 Datengetriebene IT-Projekte im Wandel 16 Recht und (Datenschutz-)Recht 18 Security Strategien zum Schutz der Big-Data-Datenbestände und -Infrastruktur 24 Hadoop MapReduce/YARN Hadoop 2 als universelle Data Processing Platform 30 Ökosystem Die wichtigsten Projekte der Hadoop-Community 36 Der Hadoop-Markt unter wirtschaftlichen Aspekten 44 Apache Spark Hadoop-Konkurrent mit In-Memory-Technik 46 Hadoop konkret Mapper- und Reducer-Scheduling in Hadoop 50 Geodaten mit Hadoop und Hive verarbeiten 54 NoSQL Überblick Traditionelle und moderne Datenbanktechnik 58 Dokumentenorientierte Datenbanken NoSQL-Datenbank MongoDB 60 Erste Gehversuche mit MongoDB 64 Hochverfügbare, performante und skalierbare Webanwendungen mit Apache Cassandra 70 Graphendatenbanken Was ist an Neo4J und Konsorten besonders? 76 Abfragesprachen für Graphendatenbanken 83 Moderne Datenbanksysteme Konzepte und Anwendungsfälle von In-Memory Computing 89 4 ix Developer 2015

5 NoSQL Relationale Datenbanken haben seit geraumer Zeit eine ernstzunehmende Konkurrenz bekommen. Denn die unterschiedlichen NoSQL-Konzepte erfüllen in vielen Fällen die heutigen Anforderungen an Datenbanken viel besser als die arrivierten relationalen Vertreter. Wären da nicht schon wieder andere Trends wie NewSQL & Konsorten ab Seite 57 Analyse und Programmiersprachen Data Science ist das Hype-Thema im Big-Data-Umfeld schlechthin. Wie gut, dass die Data Scientists bei ihrer Analyse schon auf bewährte Patterns, Werkzeuge und Programmiersprachen zur Visualisierung ihrer Daten zurückgreifen können. ab Seite 115 SQL-Entwicklung für Process Mining auf SAP HANA 94 NewSQL-Datenbanken: SQL liebt NoSQL 98 NoSQL-Vergleich MongoDB, Elasticsearch, Riak dreimal das Gleiche? 102 Enterprise Search Wie Apache Solr und unter einen Hut passen 106 Elasticsearch erfolgreich skalieren 110 Analyse Data Science Neue Königsdisziplin der Datenerhebung und -analyse 116 Entwurfsmuster Analytics Design Patterns 122 Data Visualization Einführung in die Datenvisualisierung 126 Datenvisualisierung mit der JavaScript-Bibliothek D3.js 132 Karl van den Bergh und Michael O Connell von Tibco im Gespräch 138 Programmiersprachen Sprachen zur Datenanalyse Python für Data Science und 142 R mit großen Daten: Tipps und Tricks für effiziente R-Programme 146 Julia: Neue dynamische und trotzdem performante Programmiersprache 150 Sonstiges Editorial 3 DVD-Inhalt 6 Inserentenverzeichnis 125 Impressum 125 Artikel mit Verweisen ins Web Alle Links: enthalten am Ende einen Hinweis darauf, dass diese Webadressen auf dem Server der ix abrufbar sind. Dazu gibt man den ix-link in der URL-Zeile des Browsers ein. Dann kann man auch die längsten Links bequem mit einem Klick ansteuern. Alternativ steht oben rechts auf der ix-homepage ein Eingabefeld zur Verfügung. ix Developer