BIG DATA. in der Praxis. Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren

Größe: px
Ab Seite anzeigen:

Download "BIG DATA. in der Praxis. Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren"

Transkript

1 jonas FREIKNECHT BIG DATA in der Praxis Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren Auf DVD: 18 fertige Beispielprojekte plus Videotutorials

2 Inhalt Vorwort XI 1 Einleitung Big-Data Historische Entstehung Big-Data ein passender Begriff? Die drei V Das vierte V Veracity Der Verarbeitungsaufwand ist big Sicht der Industrien auf Big-Data Eingliederung in BI und Data-Mining Hadoop Hadoop kurz vorgestellt HDFS das Hadoop Distributed File System Hadoop 2.x und YARN Hadoop als Single-Node-Cluster aufsetzen Falls etwas nicht funktioniert Map-Reduce Aufsetzen einer Entwicklungsumgebung Implementierung eines Map-Reduce-Jobs Ausführen eines Jobs über Kommandozeile Verarbeitung im Cluster Aufsetzen eines Hadoop-Clusters Starten eines Jobs via Hadoop-API Verketten von Map-Reduce-Jobs Verarbeitung anderer Dateitypen YARN-Anwendungen Logging und Log-Aggregation in YARN Eine einfache YARN-Anwendung

3 VIII Inhalt 3.15 Vor- und Nachteile der verteilten Verarbeitung Die Hadoop Java-API Ein einfacher HDFS-Explorer Cluster-Monitor Überwachen der Anwendungen im Cluster Gegenüberstellung zur traditionellen Verarbeitung Big-Data aufbereiten Optimieren der Algorithmen zur Datenauswertung Ausdünnung und Gruppierung Ausblick auf Apache Spark Markt der Big-Data-Lösungen Das Hadoop-Ecosystem Ambari Sqoop Flume HBase Hive Pig Zookeeper Mahout Spark Data Analytics und das Reporting NoSQL und HBase Historische Entstehung Das CAP-Theorem Typen von Datenbanken Umstieg von SQL und Dateisystemen auf NoSQL oder HDFS Methoden der Datenmigration HBase Das Datenmodell von HBase Aufbau von HBase Installation als Stand-alone Arbeiten mit der HBase Shell Verteilte Installation auf dem HDFS Laden von Daten HBase Bulk Loading über die Shell Datenextrakt aus einer Datenbank über Sqoop HBase Java-API Der Umstieg von einem RDBMS auf HBase

4 Inhalt IX Data-Warehousing mit Hive Installation von Hive Architektur von Hive Das Command Line Interface (CLI) HiveQL als Abfragesprache Anlegen von Datenbanken Primitive Datentypen Komplexe Datentypen Anlegen von Tabellen Partitionierung von Tabellen Externe und interne Tabellen Löschen und leeren von Tabellen Importieren von Daten Zählen von Zeilen via count Das SELECT-Statement Beschränken von SELECT über DISTINCT SELECT auf partitionierte Tabellen SELECT sortieren mit SORT BY und ORDER BY Partitionieren von Daten durch Bucketing Gruppieren von Daten mittels GROUP BY Subqueries verschachtelte Abfragen Ergebnismengen vereinigen mit UNION ALL Mathematische Funktionen String-Funktionen Aggregatfunktionen User-Defined Functions HAVING Datenstruktur im HDFS Verändern von Tabellen Erstellen von Views Löschen einer View Verändern einer View Tabellen zusammenführen mit JOINs Hive Security Implementieren eines Authentication-Providers Authentication-Provider für HiveServer Verwenden von PAM zur Benutzerauthentifizierung Hive und JDBC Datenimport mit Sqoop Datenexport mit Sqoop Hive und Impala Unterschied zu Pig Zusammenfassung

5 X Inhalt 7 Big-Data-Visualisierung Theorie der Datenvisualisierung Diagrammauswahl gemäß Datenstruktur Visualisieren von Big-Data erfordert ein Umdenken Aufmerksamkeit lenken Kontextsensitive Diagramme D-Diagramme Ansätze, um Big-Data zu visualisieren Neue Diagrammarten Werkzeuge zur Datenvisualisierung Entwicklung einer einfachen Visualisierungskomponente Auf dem Weg zu neuem Wissen aufbereiten, anreichern und empfehlen Eine Big-Data-Table als zentrale Datenstruktur Anreichern von Daten Anlegen einer Wissensdatenbank Passende Zuordnung von Daten Diagrammempfehlungen über Datentypanalyse Diagrammempfehlungen in der BDTable Textanalyse Verarbeitung u nstrukturierter Daten Erkennung von Sprachen Natural Language Processing Klassifizierung Sentiment-Analysis Mustererkennung mit Apache UIMA Zusammenfassung und Ausblick Häufige Fehler Anhang Installation und Verwendung von Sqoop Hadoop für Windows 7 kompilieren Literaturverzeichnis Index

6 1 Einleitung Der Begriff Big-Data ist in den letzten Jahren vom bloßen Buzz-Word hin zu einem greif baren technischen Begriff gereift. Hadoop und NoSQL-Technologien haben maßgeblich zu dieser Evolution beigetragen und bestimmen derzeit den Inhalt vieler Fachzeitschriften und -bücher. In den jeweiligen Texten werden meist generelle Beschreibungen des Mehrwerts, der durch den Einsatz besagter Technologien für Banken, Automobilhersteller, Forschungseinrichtungen, Versicherungen etc. entsteht, hervorgehoben und die Notwendigkeit betont, sich mit den hauseigenen und öffentlichen großen Datenmengen zu beschäftigen, um dem eigenen Unternehmen einen Wettbewerbsvorteil zu verschaffen, indem es durch die Auswertung besagter Daten neue, geschäftskritische Informationen gewinnt. Die Aufgabenstellung ist also klar: Beschäftigen Sie sich mit Big-Data und sehen Sie zu, dass Sie alle Ihnen zugängliche Datenquellen nutzen, um die Entscheidungsfindung in Ihrem Unternehmen positiv zu beeinflussen. Die Frage nach dem Wie bleibt jedoch weitestgehend unbeantwortet. Wie gewinne ich neue Informationen aus meinen Daten? Wie integriere ich denn Hadoop und Co. in unsere bisherige Business-Intelligence-Architektur? Und wie schaffe ich es, BigData in all seinen Ausprägungen aufzubereiten, zu visualisieren und den Fachabteilungen zugänglich zu machen? Wie und mit welchen Tools erstelle ich eine Big-Data-Architektur, um für neue, bisher unbekannte Herausforderungen optimal aufgestellt zu sein? Dieser Fragenkatalog ließe sich beliebig fortführen und erweitern, denn Sie haben vielleicht schon gemerkt, worauf ich hinaus möchte die technischen Aspekte des Big-DataTrends werden nur selten in ausreichendem Detailgrad diskutiert. Und wenn, dann nicht in Form von Gesamtlösungen, sondern in kleinen, gut verdaulichen Häppchen. Gründe dafür gibt es viele. Einerseits gibt es bisher wenige Referenzimplementierungen, außer vielleicht bei Branchengrößen wie Google, Facebook oder Yahoo. Zweitens entsteht die Big-Data-Bewegung nicht nur durch einen einzelnen neuen Technologientrend. Vielmehr basiert diese auf vielen verschiedenen Ansätzen, die erst im Zusammenspiel ihr ganzes Potenzial ent falten. Darunter fallen sicherlich neben Hadoop und Co. NoSQL-Datenbanken, DataWarehousing-Komponenten für große Datenmengen, die Map-Reduce-, YARN- und SparkProgrammiermodelle und all diejenigen Ansätze, die bereits etablierte Lösungen, etwa im Bereich des Data-Minings oder der ETL-Prozesse (Extract, Transform, Load), mit der Big- Data-Thematik verheiraten. Sie sehen, dass das Thema aus technischen Gesichtspunkten unglaublich umfangreich ist und viele neue Bereiche bietet, in denen es sich neues Wissen anzueignen gilt. Wichtig ist daher, dass Sie eine hohe Affinität zum Forschen und zum Experimentieren mitbringen,

7 2 1 Einleitung denn nicht immer ist die erste Wahl einer Software die richtige. Häufig wählt man diese erst in der zweiten oder dritten Iteration. Dazu kommt, dass viele Projekte, die Big-Data adressieren, noch recht jung sind, ständig wachsen und in jedem größeren Release neue Funk tionen integriert werden, die es wieder kennenzulernen und für einen Einsatz im Unter nehmen zu bewerten gilt. Was Sie in diesem Buch erwartet Ich möchte mich mit Ihnen den oben genannten Herausforderungen stellen und das Thema Big-Data aus einer technischen Sicht in Gänze und mit genügend Tiefgang beleuchten. Die folgenden Seiten sollen sich also nicht nur den fachlichen Neuerungen der Big-Data-Bewegung widmen, sondern vor allem einen praktischen Einstieg in sämtliche Bereiche bieten, die für die Verarbeitung von Daten aus sozialen Netzwerken, unstrukturierten Webseiten, umfangreichen Fließtextdokumenten und geografischen Daten nötig sind. Dabei wird nicht nur gezeigt werden, wie große Datenmengen in einem Cluster verarbeitet, sondern auch über ein Data-Warehouse bereitgestellt oder mit neuen, innovativen Diagrammen visualisiert werden können. Ich möchte mit Ihnen das Thema NoSQL besprechen und im praktischen Teil HBase als Vertreter dieser Kategorie aktiv einsetzen. Apache Hive wird als DataWarehouse-Software vorgestellt, um zu zeigen, inwiefern auf Big-Data mit Abfragesprachen ähnlich SQL zugegriffen werden kann. Sie werden lernen, welche neuen Diagrammarten dabei unterstützen, große Datenmengen mit komplexen Beziehungen untereinander zu visualisieren und zu verstehen. Diese versprochenen Erläuterungen möchte ich Ihnen nicht nur in Textform geben, sondern Sie aktiv in den Entwicklungsprozess mit einbeziehen und Ihnen, wo möglich, die theoretischen Hintergründe näher bringen. Neben den bekannten Apache-Projekten wie Hadoop, Hive und HBase werden wir auch einige weniger bekannte Frameworks wie Apache UIMA oder Apache OpenNLP besprechen, um gezielt die Verarbeitung unstrukturierter Daten zu behandeln. Dazu werden wir gemeinsam viele kleinere Projekte entwickeln, um die Kniffe bezüglich der Nutzung der neuen Software kennenzulernen und zu verstehen. Mein Ziel ist es, Sie auf den Effekt und den Mehrwert der neuen Möglichkeiten aufmerksam zu machen, sodass Sie diese konstruktiv in Ihr Unternehmen tragen können und für sich und Ihre Kollegen somit ein Bewusstsein für den Wert Ihrer Daten schaffen. Voraussetzungen Wie im Vorwort erwähnt, ist die wichtigste Voraussetzung sicherlich die Experimentierfreude und die Bereitschaft, Neues zu erlernen und alte Gewohnheiten und Denkweisen kurze Zeit abzuschalten. Die technischen Vorkenntnisse, die Sie mitbringen sollten, um dieses Buch flüssig lesen und nachvollziehen zu können, lassen sich in die drei Bereiche Entwicklungsumgebungen, Entwicklung und Betrieb unterteilen. Sie sollten sich mit Eclipse, Java EE und dem Betrieb von Enterprise-Anwendungen auf einem Java Application-Server auskennen. Des Weiteren ist es von Vorteil, wenn Sie gängige Webtechnologien wie HTML und JavaScript verstehen, denn damit werden wir später die Datenvisualisierung erarbeiten. Da wir zusammen Hadoop, HBase, Hive, Sqoop etc. auf Ubuntu installieren werden, ist es ebenfalls hilfreich, sich in einer Unix-Umgebung bewegen zu können und die grundliegenden Befehle zu kennen, um etwa Verzeichnisse zu wechseln, anzulegen oder zu löschen. Zudem ist ein etwas stärkerer PC vonnöten, um alle Szenarien aus dem Buch zu Hause

8 1 Einleitung 3 konstruieren zu können. Ich rate daher zu einem Mehrkernprozessor mit einer Taktfrequenz von mindestens 3 GHz und mindestens 12 Gigabyte RAM. Die gute Nachricht ist, dass Sie für die Software, die wir einsetzen werden (Eclipse, Glassfish, Ubuntu...), kein Geld bezahlen müssen, denn alle Komponenten stehen in vollem Umfang kostenlos im Internet zur Verfügung. Wenn ich Sie mit diesen Anforderungen nun ein wenig abgeschreckt habe, möchte ich Sie auch gleich wieder beruhigen. Anstatt in diesem Buch zu erklären, wie eine Lösung aussehen könnte, möchte ich diese mit Ihnen ganz konkret Schritt für Schritt aufbauen und Sie so hin zu einer fertigen und funktionstüchtigen Implementierung führen. In meinem letzten Buch habe ich die Erfahrung gemacht, dass dieses Vorgehen sehr gut angenommen wird und dass es sich lohnt, lieber einen Teil zu detailliert zu erklären, als etwaige Fragen offenzulassen. Wenn Sie sich also nicht sicher sind, ob Ihnen dieses Buch zu viel abverlangt, dann seien Sie mutig. Das sage ich nicht, da ich hoffe, durch die Verkäufe meinen nächsten Urlaub finanzieren zu können, sondern da ich davon ausgehe, dass Sie mit einem technischen Interesse an Big-Data bereits über die eine oder andere Vorerfahrung im Bereich der Informationsverarbeitung verfügen und Sie sich somit getrost der vorliegenden Lektüre widmen können. Für wen ist dieses Buch geschrieben? Dieses Buch ist ganz klar für Menschen konzipiert, die sich in ihrem Beruf praktisch mit dem Thema Big-Data auseinandersetzen. Doch ich möchte ganz klar sagen, dass sich nun nicht nur studierte Informatiker angesprochen fühlen sollen, sondern auch solche, die aus anderen Disziplinen kommen und vielleicht eine tolle Idee (und jede Menge Daten) haben und damit z. B. planen, ein Start-up zu gründen. Ich hoffe ebenso, mit dieser Lektüre Studenten und Auszubildende begleiten zu dürfen, die das Buch als Ergänzung zu einer Vor lesung oder zum Schreiben einer Seminararbeit verwenden. Wenn Sie sich also zu einer Gruppe der in Bild 1.1 genannten Tätigkeitsfelder zählen oder sich mit einem der aufgeführten Themen beschäftigen, dann lohnt sich ein Blick in die folgenden Seiten. Informatiker Analysten BI-Verantwortliche Data-Scientists Consultants Studenten und Auszubildende Informatiker Mathematiker Physiker Chemiker Biologen Start-ups Daten auf mobilen Geräten Visualisierung Smarter-Cities IT-Interessierte Datenbewusstsein entwickeln Neuerungen entdecken Fachsimpeln Bild 1.1 Gruppen und Themen, die in Zusammenhang mit Big-Data genannt werden Neulich war ich in einer Buchhandlung in Hannover und habe zwei neue Werke mit dem Wort Big-Data im Titel entdeckt, die fernab der technischen Fachliteratur lagen. Da ich gerade begonnen hatte, dieses Buch zu schreiben, weckten sie natürlich mein Interesse und ich blätterte ein wenig darin. Der Inhalt bestand aus theoretischen Anwendungsfällen, rechtlichen Fragen zum Datenschutz und ein bisschen Panikmache durch Begriffe wie Prism, NSA und Gläserner Mensch. Für mich eine wunderbare Vorlage für einen Absatz über 1-1

9 4 1 Einleitung das Thema: Für wen dieses Buch nicht geschrieben ist. Denn so interessant die Diskussionen auch sind, möchte ich mich in diesem Buch ganz vorbehaltlos ausschließlich mit den technischen Details beschäftigen. Wenn Sie also ein wenig gehofft haben, nach dem Lesen dieses Buches auf der nächsten Familienfeier mit ein bisschen Insiderwissen über amerikanische Geheimdienste glänzen zu können, muss ich Sie enttäuschen. Ich verspreche Ihnen aber, dass Sie bei der nächsten Fachsimpelei mit Kollegen und Freunden bei einer Tasse Kaffee durchaus etwas zu erzählen haben werden. Warum Big-Data in der Praxis? Ich muss gestehen, dass ich, wenn ich selber Bücher oder Fachzeitschriften lese, gerne größere Theorieblöcke überspringe und mir zuerst die praktischen Teile anschaue. Vielleicht sind Sie, genau wie ich, ein Learning-by-Doing-Typ, dem es liegt, sich Wissen anhand von praktischen Erfahrungen anzueignen. Wenn ich Befehle auf der Tastatur eingebe, kann ich mir diese einfach besser merken und häufig entsteht auch dann ein tiefergehendes Interesse an der Materie, mit der ich mich gerade beschäftige, sodass ich dann bereit bin, die Theorie nachzuholen. Genau diesen Gedanken möchte ich in diesem Buch praktizieren, sodass fachliche mit technischen Erklärungen einhergehen und sich symbiotisch ergänzen. Dadurch erhoffe ich mir den Effekt, dass Sie die Verbindung zwischen Hintergrundwissen und der tatsächlichen Anwendung schnell herstellen und verinnerlichen und Ihnen dennoch beim Lesen nicht langweilig wird. Vorgehensweise und Struktur Dieses Buch ist so aufgebaut, dass ich zu Beginn eine theoretische Einführung in alle Themen rund um Big-Data gebe. Neben der historischen Entwicklung des Begriffs und der Diskussion einiger unterschiedlicher Definitionen, möchte ich Ihnen mithilfe von Studien und Umfragen zeigen, welche Industrien welche Themen mit dem Begriff Big-Data verbinden, und somit die Erwartungshaltung verschiedener Menschen in Bezug auf den Trend darlegen. Eine Gegenüberstellung der Begrifflichkeiten BI, Data-Mining und Big-Data soll dabei helfen, Zusammenhänge, Unterschiede und gegenseitige Ergänzung der drei Begrifflichkeiten zu erkennen, und Sie befähigen, diese gegeneinander abzugrenzen und an anderer Stelle Schnittpunkte zwischen ihnen zu finden. Im Anschluss folgt ein Kapitel über Hadoop, in dem ich dessen Installation, Konfiguration und Bedienung erkläre und dabei jeweils auf die Besonderheiten bei der Verwendung mit einem Single- oder Multi-Node-Cluster eingehe. Es schließt sich die Entwicklung von MapReduce-Jobs und YARN-Anwendungen an, gefolgt von einem ausführlichen Abschnitt zur Arbeit mit der Hadoop-API, um den Zugriff auf das HDFS, den Resource-Manager etc. zu erklären. Nachdem die Funktionsweise und die Idee hinter Hadoop bekannt sind, stelle ich in Kapitel 4 kurz vor, welche Projekte um Hadoop herum in dessen Eco-System existieren und welche Aufgaben diese haben. In Kapitel 5 wird das Thema NoSQL aufgegriffen, theoretisch erläutert und praktisch unter Zuhilfenahme von HBase umgesetzt. Dabei zeige ich nicht nur, wie HBase installiert und eingerichtet wird, sondern auch wie auf dessen Daten, entweder über das Terminal oder die Java-API, zugegriffen werden kann.

10 1 Einleitung 5 Analog dazu wird in Kapitel 6 das Thema Data-Warehousing mit Apache Hive besprochen und gezeigt, wie sich Hive in das Big-Data-Umfeld integrieren lässt. Elementarer Bestandteil dieses Kapitels ist die Abfragesprache HiveQL mit all ihren Ausprägungen und die Verwendung von Hive über einen herkömmlichen JDBC-Adapter, um aus einer Java-Anwendung Abfragen absetzen und auswerten zu können. Das Thema Datenvisualisierung beschäftigt uns dann in Kapitel 7, in dem ich zuerst einige Visualisierungsframeworks vorstelle und vergleiche und dann mit D3.js ein Set von Visualisierungskomponenten erarbeite, mit denen wir in einer Beispielanwendung ein paar ansehnliche Diagramme zeichnen werden. Im theoretischen Teil dieses Kapitels geht es darum, was man beachten muss, wenn Sie planen, große Datenmengen auf kleinem Raum unterzubringen, und welche Trends und Möglichkeiten es dabei gibt. In Kapitel 8 soll das Thema Informationsgewinnung nähergebracht werden, das zum einen einen Zusammenschnitt aller bisher kennengelernten Techniken in einer schicken Gesamtlösung vereint und des Weiteren auf die Besonderheiten bei der Verarbeitung von unstrukturierten Daten mit aktuellen Text-Mining-Frameworks eingeht, darunter Apache UIMA und Apache OpenNLP. Diese werden ebenfalls als Bestandteil in das hier zu entwickelnde Programm einfließen. Das Buch schließt in den letzten beiden Kapiteln mit einem Beiwerk ab, das einerseits Lösungen zu häufigen Fehlern bei der Arbeit mit Hadoop, Hive und HBase anbietet und zum anderen einige ergänzende Anleitungen bereitstellt, die den Inhalt des Buches ergänzen sollen. DVD zum Buch Auf der DVD, die diesem Buch beiliegt, finden Sie die fertigen Projekte, die wir gemeinsam in diesem Buch erarbeiten werden. Nutzen Sie diese gerne als Nachschlagewerk, um Vorgehensweisen und Verwendung der entsprechenden APIs im Detail zu verstehen. Des Weiteren stelle ich für einige Aufgaben Video-Tutorials bereit, die u. a. die Installation von Hadoop, Hive und HBase zeigen, sodass Sie jeden einzelnen Schritt der Erklärungen genau nachverfolgen können. Last but not least sind auf der DVD diverse Testdatensätze zu finden, die gerne während der Entwicklung und Erprobung der Anwendungen genutzt werden dürfen. Für die Daten in der Wissensdatenbank liegen im Ordner Lizenzdateien die Quellen der Daten vor. Die generierten Beispieldatensätze sind von mir zufällig gewählt bzw. generiert, sodass Übereinstimmungen von Namen, Adressen, Berufen oder anderen Eigenschaften mit denen von realen Personen nur zufällig sind. Wenn Sie Fragen oder Anregungen bezüglich dieses Buches haben, würde ich mich freuen, wenn Sie mich über meinen Blog kontaktieren. Nun wünsche ich Ihnen viel Spaß bei der vorliegenden Lektüre.

BIG DATA. in der Praxis. Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren

BIG DATA. in der Praxis. Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren jonas FREIKNECHT BIG DATA in der Praxis Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren Auf DVD: 18 fertige Beispielprojekte plus Videotutorials Freiknecht Big Data in der

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting

Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis

Mehr

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik

Mehr

Prof. Dr.-Ing. Rainer Schmidt 1

Prof. Dr.-Ing. Rainer Schmidt 1 Prof. Dr.-Ing. Rainer Schmidt 1 Business Analytics und Big Data sind Thema vieler Veröffentlichungen. Big Data wird immer häufiger bei Google als Suchbegriff verwendet. Prof. Dr.-Ing. Rainer Schmidt 2

Mehr

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe

Hadoop Demo HDFS, Pig & Hive in Action. Oracle DWH Konferenz 2014 Carsten Herbe Hadoop Demo HDFS, Pig & Hive in Action Oracle DWH Konferenz 2014 Carsten Herbe Wir wollen eine semi-strukturierte Textdatei in Hadoop verarbeiten und so aufbereiten, dass man die Daten relational speichern

Mehr

Kapitel 6,»Objektorientierte Programmierung«, widmet sich der objektorientierten Programmierung mit Python.

Kapitel 6,»Objektorientierte Programmierung«, widmet sich der objektorientierten Programmierung mit Python. 1.3 Aufbau des Buchs lichkeiten offen. Auf die Unterschiede der beiden Versionen gehe ich besonders ein, sodass ein späterer Umstieg von der einen zur anderen Version leichtfällt. Erste Zusammenhänge werden

Mehr

Big Data. Mit DVD. Was ist wichtig im Hadoop-Ökosystem? Hadoop 2 als universelle Data Processing Platform

Big Data. Mit DVD. Was ist wichtig im Hadoop-Ökosystem? Hadoop 2 als universelle Data Processing Platform Mit DVD Jobs im Wandel: Was für Informatiker bedeutet 2/2015 Auf der Heft-DVD Über 8 GByte Software für Entwickler Multimedia: 5 Videos zur Hoch leistungsdatenbank EXASolution Hadoop: Cloudera s Distribution

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

i i apitel apitel K K Inhalt Inhalt

i i apitel apitel K K Inhalt Inhalt Seite iv 0 Einleitung........................................... 1 Kombination der Leistungsbereiche.............. 3 Über dieses Buch.................................. 3 Arbeiten mit den Beispielanwendungen..........

Mehr

Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?

Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke? Hans-Peter Zorn Inovex GmbH Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke? War nicht BigData das gleiche NoSQL? Data Lake = Keine Struktur? flickr/matthewthecoolguy Oder gar ein Hadump? flickr/autohistorian

Mehr

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen

Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien

Mehr

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh

SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org

Apache Lucene. Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache Lucene Mach s wie Google! Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org 1 Apache Apache Software Foundation Software free of charge Apache Software

Mehr

Self Service BI mit Office 2013 Raúl B. Heiduk

Self Service BI mit Office 2013 Raúl B. Heiduk 1 Self Service BI mit Office 2013 Raúl B. Heiduk Partner: 2 Agenda Begrüssung Vorstellung Referent Inhalt F&A Weiterführende Kurse 3 Vorstellung Referent Name: Raúl B. Heiduk Ausbildung: Dipl. Ing. (FH),

Mehr

on Azure mit HDInsight & Script Ac2ons

on Azure mit HDInsight & Script Ac2ons Willkommen beim #GAB 2015! on Azure mit HDInsight & Script Ac2ons Lokale Sponsoren: HansPeter Grahsl Netconomy Entwickler & Berater FH CAMPUS 02 Twi9er: @hpgrahsl Überblick Inhalte Was ist HDInsight? Wozu

Mehr

USER CASE: SCOUT ALS FRAMEWORK FÜR FINANCIAL TECH

USER CASE: SCOUT ALS FRAMEWORK FÜR FINANCIAL TECH USER CASE: 2. Scout User Group Meeting eclipsecon Unconference 2015 LUDWIGSBURG, 2. NOVEMBER 2015» DAVID KLEIN, ENRION GMBH Content 1. Kurzvorstellung Enrion 2. Die Suche nach einem passenden Framework

Mehr

Vorwort. Aufbau und Struktur

Vorwort. Aufbau und Struktur Vorwort Herzlich willkommen zu einem Fachbuch aus dem Verlag Comelio Medien. Dieses Buch aus dem Bereich Datenbanken soll Sie dabei unterstützen, die Oracle SQL zu lernen, um DB-Objekte zu erstellen und

Mehr

Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH

Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel Carsten Herbe metafinanz Informationssysteme GmbH In unserer Business Line Business Intelligence & Risk gibt es fünf Bereiche: Risk,

Mehr

Einführung in SQL Datenbanken bearbeiten

Einführung in SQL Datenbanken bearbeiten Einführung in SQL Datenbanken bearbeiten Jürgen Thomas Entstanden als Wiki-Buch Bibliografische Information Diese Publikation ist bei der Deutschen Nationalbibliothek registriert. Detaillierte Angaben

Mehr

Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover, 18.03.2015

Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover, 18.03.2015 Symbiose hybrider Architekturen im Zeitalter digitaler Transformation Hannover, 18.03.2015 Business Application Research Center (BARC) B (Analystengruppe Europas führendes IT-Analysten- und -Beratungshaus

Mehr

APPS für ios 9 professionell entwickeln

APPS für ios 9 professionell entwickeln thomas SILLMANN 2. Auflage APPS für ios 9 professionell entwickeln // Sauberen Code schreiben mit Objective-C und Swift // Stabile Apps programmieren // Techniken und Methoden von Grund auf verstehen Inkl.

Mehr

Big Data in der Praxis

Big Data in der Praxis Big Data in der Praxis Lösungen mit Hadoop, HBase und Hive. Daten speichern, aufbereiten, visualisieren von Jonas Freiknecht 1. Auflage Hanser München 2014 Verlag C.H. Beck im Internet: www.beck.de ISBN

Mehr

NoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner

NoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner NoSQL Einstieg in die Web 2.0 Datenbanken 2., akutalisierte und erweiterte Auflage HANSER Geleitwort Vorwort Vorwort zur 2. Auflage

Mehr

1. Übungsblatt. Besprechung: 27.10 (Gruppe A), 3.11 (Gruppe B)

1. Übungsblatt. Besprechung: 27.10 (Gruppe A), 3.11 (Gruppe B) DATENBANKEN IN DER PRAXIS: DATA WAREHOUSING Wintersemester 2015/2016 Prof. Dr. Jens Teubner DBIS Group Übung: Dr. Cornelia Tadros ISSI Group Allgemeine Hinweise 1. Übungsblatt Besprechung: 27.10 (Gruppe

Mehr

Vorwort. Zu dieser Reihe. Autoren. Vorwort

Vorwort. Zu dieser Reihe. Autoren. Vorwort Vorwort 11 12 Vorwort Herzlich Willkommen zu einem Fachbuch von Comelio Medien, ein Bereich der Comelio GmbH. Wir hoffen sehr, dass Sie mit der Darstellung und Aufbereitung zu den verschiedenen Themengebieten

Mehr

Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn

Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn Schlüsselworte Hadoop, Hive, Sqoop, SQL Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn Einleitung In diesem Vortrag werden, nach einer kurzen Einführung in Apache Hadoop, die beiden Werkzeuge

Mehr

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer

Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer Big in Azure Ein Beispiel mit HD Insight Ralf Stemmer Agenda owas ist Big? Was ist HD Insight? owelche Probleme kann man damit lösen? odemo Was ist Big? Was ist HD Insight? Datenexplosion - Rasanter Zuwachs

Mehr

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration

June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen

Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und

Mehr

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER

Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Geleitwort 1 Vorwort 1 1 Einführung 1 1.1 Historie 1 1.2 Definition und

Mehr

Apache HBase. A BigTable Column Store on top of Hadoop

Apache HBase. A BigTable Column Store on top of Hadoop Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,

Mehr

Installation SQL- Server 2012 Single Node

Installation SQL- Server 2012 Single Node Installation SQL- Server 2012 Single Node Dies ist eine Installationsanleitung für den neuen SQL Server 2012. Es beschreibt eine Single Node Installation auf einem virtuellen Windows Server 2008 R2 mit

Mehr

QUICK-START EVALUIERUNG

QUICK-START EVALUIERUNG Pentaho 30 für 30 Webinar QUICK-START EVALUIERUNG Ressourcen & Tipps Leo Cardinaals Sales Engineer 1 Mit Pentaho Business Analytics haben Sie eine moderne und umfassende Plattform für Datenintegration

Mehr

Big Data Anwendungen Chancen und Risiken

Big Data Anwendungen Chancen und Risiken Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria

Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards

Mehr

Ruby on Rails 3.1 Expertenwissen

Ruby on Rails 3.1 Expertenwissen Stefan Sprenger Kieran Hayes Ruby on Rails 3.1 Expertenwissen Eine praxisorientierte Einführung in die Entwicklung mit Ruby on Rails dpunkt.verlag vül Inhaltsverzeichnis 1 Einleitung 1.1 Zielsetzung 1.2

Mehr

Einführung in git. Ben Oswald. 27. April 2014. Im Rahmen der Vorlesung Entwicklung mobiler Anwendungen

Einführung in git. Ben Oswald. 27. April 2014. Im Rahmen der Vorlesung Entwicklung mobiler Anwendungen Einführung in git Im Rahmen der Vorlesung Entwicklung mobiler Anwendungen Ben Oswald 27. April 2014 Inhaltsverzeichnis 1 Einleitung 1 1.1 Was ist git?..................................... 1 1.2 Warum sollten

Mehr

Leseprobe. Jonas Freiknecht. Big Data in der Praxis. Lösungen mit Hadoop, HBase und Hive. Daten speichern, aufbereiten, visualisieren

Leseprobe. Jonas Freiknecht. Big Data in der Praxis. Lösungen mit Hadoop, HBase und Hive. Daten speichern, aufbereiten, visualisieren Leseprobe Jonas Freiknecht Big Data in der Praxis Lösungen mit Hadoop, HBase und Hive. Daten speichern, aufbereiten, visualisieren ISBN (Buch): 978-3-446-43959-7 ISBN (E-Book): 978-3-446-44177-4 Weitere

Mehr

Vorwort zur 5. Auflage... 15 Über den Autor... 16

Vorwort zur 5. Auflage... 15 Über den Autor... 16 Vorwort zur 5. Auflage...................................... 15 Über den Autor............................................ 16 Teil I Grundlagen.............................................. 17 1 Einführung

Mehr

Mobile Analytics mit Oracle BI - was steckt in den Apps?

Mobile Analytics mit Oracle BI - was steckt in den Apps? Mobile Analytics mit Oracle BI - was steckt in den Apps? Schlüsselworte Oracle BI, OBIEE, Mobile, Analytics Einleitung Gerd Aiglstorfer G.A. itbs GmbH Eching Oracle erweiterte im Laufe dieses Jahres das

Mehr

Zeitgemäße Verfahren für ganzheitliche Auswertungen

Zeitgemäße Verfahren für ganzheitliche Auswertungen Intelligente Vernetzung von Unternehmensbereichen Zeitgemäße Verfahren für ganzheitliche Auswertungen Sächsische Industrie- und Technologiemesse Chemnitz, 27. Juni 2012, Markus Blum 2012 TIQ Solutions

Mehr

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER

Pavlo Baron. Big Data. für IT-Entscheider. Riesige Datenmengen. und moderne Technologien. gewinnbringend nutzen HANSER Pavlo Baron Big Data für IT-Entscheider Riesige Datenmengen und moderne Technologien gewinnbringend nutzen HANSER Inhalt Vorwort XI 1 Management Summary 1 2 Was? 7 2.1 Mein klassisches Business ist konkurrenzlos,

Mehr

EXASOL Anwendertreffen 2012

EXASOL Anwendertreffen 2012 EXASOL Anwendertreffen 2012 EXAPowerlytics Feature-Architektur EXAPowerlytics In-Database Analytics Map / Reduce Algorithmen Skalare Fkt. Aggregats Fkt. Analytische Fkt. Hadoop Anbindung R LUA Python 2

Mehr

ETL in den Zeiten von Big Data

ETL in den Zeiten von Big Data ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse

Mehr

Java Applet Alternativen

Java Applet Alternativen White Paper Java Applet Alternativen Version 1.0, 21.01.2014 Tobias Kellner tobias.kellner@egiz.gv.at Zusammenfassung: Aufgrund diverser Meldungen über Sicherheitslücken in Java haben in letzter Zeit Browser-Hersteller

Mehr

NET.Compact Framework

NET.Compact Framework FRANZIS PROFESSIONAL SERIES Robert Panther Programmieren mit dem NET.Compact Framework Pocket PC - Smartphone - Handheld Mit 178 Abbildungen FRANZIS Vorwort 9 Einleitung 11 1.1 Warum dieses Buch? 11 1.2

Mehr

Oracle, Datenbank, PowerPoint, Dokumente, PPTX, Automatisierung, Prozess-Automatisierung, smaxt

Oracle, Datenbank, PowerPoint, Dokumente, PPTX, Automatisierung, Prozess-Automatisierung, smaxt Automatische Generierung serialisierter, individualisierter PowerPoint-Präsentationen aus Oracle Datenbanken Andreas Hansel Symax Business Software AG Parkstrasse 22, D-65189 Wiesbaden Schlüsselworte Oracle,

Mehr

Knasmüller.book Seite vii Mittwoch, 28. März 2001 11:11 11. vii. Inhaltsverzeichnis

Knasmüller.book Seite vii Mittwoch, 28. März 2001 11:11 11. vii. Inhaltsverzeichnis Knasmüller.book Seite vii Mittwoch, 28. März 2001 11:11 11 vii 1 Einführung 1 1.1 Motivation.................................... 1 1.2 Vorteile der neuen Techniken...................... 3 1.3 Aufbau des

Mehr

Oracle Warehouse Builder 3i

Oracle Warehouse Builder 3i Betrifft Autoren Art der Info Oracle Warehouse Builder 3i Dani Schnider (daniel.schnider@trivadis.com) Thomas Kriemler (thomas.kriemler@trivadis.com) Technische Info Quelle Aus dem Trivadis Technologie

Mehr

mitp für Kids OpenOffice für Kids von Hans-Georg Schumann 1. Auflage

mitp für Kids OpenOffice für Kids von Hans-Georg Schumann 1. Auflage mitp für Kids OpenOffice für Kids von Hans-Georg Schumann 1. Auflage OpenOffice für Kids Schumann schnell und portofrei erhältlich bei beck-shop.de DIE FACHBUCHHANDLUNG Thematische Gliederung: Integrierte

Mehr

Eine völlig andere Form Abfragen zu erstellen ist, sie mit Hilfe der Datenbankabfragesprache SQL zu gestalten.

Eine völlig andere Form Abfragen zu erstellen ist, sie mit Hilfe der Datenbankabfragesprache SQL zu gestalten. Einführung SQL 2010 Niko Becker Mit unseren Übungen zu ACCESS können Sie Aufbau und Struktur einer relationalen Datenbank kennenlernen. Wir zeigen Ihnen wie Sie Tabellen, Formulare und Berichte erstellen

Mehr

SQL Einstieg und Anwendung

SQL Einstieg und Anwendung Wolfgang D. Misgeld 2008 AGI-Information Management Consultants May be used for personal purporses only or by libraries associated to dandelon.com network. SQL Einstieg und Anwendung Mit SQL-3, IBM DB2,

Mehr

Konventionen. Danksagung

Konventionen. Danksagung Einleitung Konventionen Im Folgenden möchte ich Sie mit ein paar Konventionen vertraut machen, die Ihnen bei der Lektüre des Buches helfen sollen. Namen von neu im Text eingeführten Programmen, Produkten

Mehr

SEW Übung EMFText. 1 Aufgabe. 2 Domänenbeschreibung. 3 Installation von Eclipse/EMFText. 4 Schritt-für-Schritt Anleitung. 4.

SEW Übung EMFText. 1 Aufgabe. 2 Domänenbeschreibung. 3 Installation von Eclipse/EMFText. 4 Schritt-für-Schritt Anleitung. 4. SEW Übung EMFText 1 Aufgabe Erstellen Sie eine textuelle Domänenspezifische Sprache Domain-specific Language (DSL) mit dem Werkzeug EMFText. Die Sprache soll dazu dienen Formulare (Fragen, Antworttypen

Mehr

Review Freelancer-Workshop: Fit für Big Data. Mittwoch, 29.04.2015 in Hamburg

Review Freelancer-Workshop: Fit für Big Data. Mittwoch, 29.04.2015 in Hamburg Review Freelancer-Workshop: Fit für Big Data Mittwoch, 29.04.2015 in Hamburg Am Mittwoch, den 29.04.2015, hatten wir von productive-data in Zusammenarbeit mit unserem langjährigen Partner Informatica zu

Mehr

Arbeiten mit ACCESS 2013

Arbeiten mit ACCESS 2013 Dipl.-Hdl., Dipl.-Kfm. Werner Geers Arbeiten mit ACCESS 2013 Datenbanken mit Datenmodellierung Tabellen, Abfragen, Formularen und Berichten Beziehungen Makros Datenaustausch SQL Structured Query Language

Mehr

Grundlagen Datenbanken Sommersemester 2008

Grundlagen Datenbanken Sommersemester 2008 Rechnerübung SQL Installation SQL Server: SQLite ist eine SQL Datenbank, die keine Installation erfordert und direkt über die Kommandozeile angesprochen werden kann. Geht auf http://www.sqlite.org/download.html

Mehr

Architekturen. Von der DB basierten zur Multi-Tier Anwendung. DB/CRM (C) J.M.Joller 2002 131

Architekturen. Von der DB basierten zur Multi-Tier Anwendung. DB/CRM (C) J.M.Joller 2002 131 Architekturen Von der DB basierten zur Multi-Tier Anwendung DB/CRM (C) J.M.Joller 2002 131 Lernziele Sie kennen Design und Architektur Patterns, welche beim Datenbankzugriff in verteilten Systemen verwendet

Mehr

Agile Analytics Neue Anforderungen an die Systemarchitektur

Agile Analytics Neue Anforderungen an die Systemarchitektur www.immobilienscout24.de Agile Analytics Neue Anforderungen an die Systemarchitektur Kassel 20.03.2013 Thorsten Becker & Bianca Stolz ImmobilienScout24 Teil einer starken Gruppe Scout24 ist der führende

Mehr

Teil III: Maßnahmen ableiten

Teil III: Maßnahmen ableiten Einleitung faden, an dem Sie sich entlangarbeiten können, um so Schritt für Schritt an die relevanten Informationen zu kommen. Zunächst geht es darum, einzelne Kundengruppen samt ihrer Bedürfnisse (im

Mehr

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden Jens Kaminski ERP Strategy Executive IBM Deutschland Ungebremstes Datenwachstum > 4,6 Millarden

Mehr

1. Einführung. 2. Vorbereitung. 3. Import von Firmenkunden

1. Einführung. 2. Vorbereitung. 3. Import von Firmenkunden 1. Einführung Über den Kundenimport können Sie Kundendaten aus vielen gängigen Formaten bequem in orgamax importieren, ohne diese einzeln eingeben zu müssen. In dieser Dokumentation sind verschiedene Szenarien,

Mehr

Das Kompetenzmodell digi.comp8 (NMS, AHS Unterstufe)

Das Kompetenzmodell digi.comp8 (NMS, AHS Unterstufe) Das Kompetenzmodell digi.comp8 (NMS, AHS Unterstufe) Quelle: http://digikomp.at/praxis/portale/digitale-kompetenzen/digikomp8nms-ahs-unterstufe/kompetenzmodell.html Kompetenzmodell (Übersicht) "Digitale

Mehr

MySQL Queries on "Nmap Results"

MySQL Queries on Nmap Results MySQL Queries on "Nmap Results" SQL Abfragen auf Nmap Ergebnisse Ivan Bütler 31. August 2009 Wer den Portscanner "NMAP" häufig benutzt weiss, dass die Auswertung von grossen Scans mit vielen C- oder sogar

Mehr

Hibernate Das Praxisbuch für Entwickler

Hibernate Das Praxisbuch für Entwickler Sebastian Hennebrüder 2008 AGI-Information Management Consultants May be used for personal purporses only or by libraries associated to dandelon.com network. Hibernate Das Praxisbuch für Entwickler Galileo

Mehr

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen

Mehr

MySQL Installation. AnPr

MySQL Installation. AnPr Name Klasse Datum 1 Allgemeiner Aufbau Relationale Datenbank Management Systeme (RDBMS) werden im Regelfall als Service installiert. Der Zugriff kann über mehrere Kanäle durchgeführt werden, wobei im Regelfall

Mehr

tdwi E U R D P E OPEN SOURCE BUSINESS INTELLIGENCE HANSER MÖGLICHKEITEN, CHANCEN UND RISIKEN QUELLOFFENER BI-LÖSUNGEN

tdwi E U R D P E OPEN SOURCE BUSINESS INTELLIGENCE HANSER MÖGLICHKEITEN, CHANCEN UND RISIKEN QUELLOFFENER BI-LÖSUNGEN OPEN SOURCE BUSINESS INTELLIGENCE MÖGLICHKEITEN, CHANCEN UND RISIKEN QUELLOFFENER BI-LÖSUNGEN uwehaneke Stephan TRAHASCH tobias HAGEN tobias LAUER (Hrsg.)' tdwi E U R D P E HANSER Vorwort 9 Einführung

Mehr

PostgreSQL. Professionell und praxisnah. Jens Hartwig. An imprint of Pearson Education

PostgreSQL. Professionell und praxisnah. Jens Hartwig. An imprint of Pearson Education Jens Hartwig PostgreSQL Professionell und praxisnah An imprint of Pearson Education München Boston San Francisco Harlow, England Don Mills, Ontario Sydney Mexico City Madrid Amsterdam Inhalt 1 Einleitung

Mehr

Schlussbewertung FB VI SOFTWAREPROJEKT II WS 09/10 TEAM. Alexander Kalden Dominik Eckelmann Marcel Pierry Julian Heise Besha Taher

Schlussbewertung FB VI SOFTWAREPROJEKT II WS 09/10 TEAM. Alexander Kalden Dominik Eckelmann Marcel Pierry Julian Heise Besha Taher Schlussbewertung FB VI SOFTWAREPROJEKT II WS 09/10 TEAM Alexander Kalden Dominik Eckelmann Marcel Pierry Julian Heise Besha Taher 729631 745097 736477 745011 741297 Inhalt Schlussbewertung... 3 Bewertung

Mehr

Nach einem erfolgreichen Login sehen Sie die Startseite. Diese bietet Ihnen einen direkten Zugriff auf die folgenden Punkte:

Nach einem erfolgreichen Login sehen Sie die Startseite. Diese bietet Ihnen einen direkten Zugriff auf die folgenden Punkte: Kurzanleitung für Forscher In drei Schritten zu einem vollständigen Profil Stand: 6.06.0 Diese Anleitung beschreibt die ersten Schritte zur Komplettierung des eigenen Profils mit entsprechenden Inhalten.

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

Zeiterfassung-Konnektor Handbuch

Zeiterfassung-Konnektor Handbuch Zeiterfassung-Konnektor Handbuch Inhalt In diesem Handbuch werden Sie den Konnektor kennen sowie verstehen lernen. Es wird beschrieben wie Sie den Konnektor einstellen und wie das System funktioniert,

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Moderne Datenbankentwicklung mit Hilfe von SQL Server Data Tools

Moderne Datenbankentwicklung mit Hilfe von SQL Server Data Tools Moderne Datenbankentwicklung mit Hilfe von SQL Server Data Tools David Schäfer Vorstellung: HMS Analytical Software Anwendungs-Know-how, u.a. Banken und Versicherungen Pharma- und Medizinprodukte Technologie-Know-how,

Mehr

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013

Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013 Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013 The unbelievable Machine Company? 06.05.13 The unbelievable Machine Company

Mehr

XML und Datenbanken

<Trainingsinhalt> XML und Datenbanken XML und Datenbanken i training Inhaltsverzeichnis Vorwort 11 Kapitel 1 XML 13 1.1 Voraussetzungen für XML 14 1.2 Allgemeines 14 1.3 Migration von HTML zu XML 16 1.4 Argumente für XML

Mehr

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER

DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER DATENBANKEN SQL UND SQLITE VON MELANIE SCHLIEBENER INHALTSVERZEICHNIS 1. Datenbanken 2. SQL 1.1 Sinn und Zweck 1.2 Definition 1.3 Modelle 1.4 Relationales Datenbankmodell 2.1 Definition 2.2 Befehle 3.

Mehr

Vorwort... 11 Azure Cloud Computing mit Microsoft... 12 Danksagungen... 13 Kontakt zum Autor... 13

Vorwort... 11 Azure Cloud Computing mit Microsoft... 12 Danksagungen... 13 Kontakt zum Autor... 13 Inhaltsverzeichnis Vorwort... 11 Azure Cloud Computing mit Microsoft... 12 Danksagungen... 13 Kontakt zum Autor... 13 Einleitung... 15 Zielgruppe... 16 Aufbau... 16 Inhalt der einzelnen Kapitel... 17 Systemanforderungen...

Mehr

Datenbanken für Online Untersuchungen

Datenbanken für Online Untersuchungen Datenbanken für Online Untersuchungen Im vorliegenden Text wird die Verwendung einer MySQL Datenbank für Online Untersuchungen beschrieben. Es wird davon ausgegangen, dass die Untersuchung aus mehreren

Mehr

Big Data Vom Hype zum Geschäftsnutzen

Big Data Vom Hype zum Geschäftsnutzen Big Data Vom Hype zum Geschäftsnutzen IBM IM Forum, Berlin, 16.04.2013 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Hype 15.04.2013 BARC 2013 2 1 Interesse an Big Data Nature 09-2008 Economist 03-2010

Mehr

Inhaltsverzeichnis VII

Inhaltsverzeichnis VII Inhaltsverzeichnis 1 Die Grundlagen zu CMS auch eine lange Reise beginnt mit dem ersten Schritt............................................ 1 1.1 Was behandeln wir in dem einleitenden Kapitel?....................

Mehr

Die altgriechische Schrift auf dem Computer

Die altgriechische Schrift auf dem Computer Die altgriechische Schrift auf dem Computer Stand: 02.11.09 Inhaltsverzeichnis 1. Altgriechische Texte mit Windows 7, Vista und XP schreiben... 1 1.1 Die altgriechische Tastatur anlegen... 2 1.1.1 Die

Mehr

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim

Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com

Mehr

Anleitung OpenCms. Die Blog-Seite

Anleitung OpenCms. Die Blog-Seite Anleitung OpenCms Die Blog-Seite INHALT Inhalt...2 Erstellung eines einzelnen Blog-Elementes...3 Erstellen von Kategorien...5 Hauptverzeichnis _categories anlegen...5 Einrichten der einzelnen Kategorien...7

Mehr

Informatik I Tutorial

Informatik I Tutorial ETH Zürich, D-INFK/D-BAUG Herbstsemester 2015 Dr. Martin Hirt Daniel Jost Informatik I Tutorial Dieses Tutorial hat zum Ziel, die notwendigen Tools auf dem eigenen Computer zu installieren, so dass ihr

Mehr

1) JAVA JRE auf der QNAP Box installieren

1) JAVA JRE auf der QNAP Box installieren Hallo, hier eine kleine unvollständige Anleitung wie das CCU-Historian auf der QNAP läuft. Wenn Du eine QNAP hast, solltest Du diesen Weg nur dann beschreiten, wenn Du einmal eine Kommandozeile gesehen

Mehr

Inhalt. TEIL I Grundlagen. 1 SAP HANA im Überblick... 31. 2 Einführung in die Entwicklungsumgebung... 75

Inhalt. TEIL I Grundlagen. 1 SAP HANA im Überblick... 31. 2 Einführung in die Entwicklungsumgebung... 75 Geleitwort... 15 Vorwort... 17 Einleitung... 19 TEIL I Grundlagen 1 SAP HANA im Überblick... 31 1.1 Softwarekomponenten von SAP HANA... 32 1.1.1 SAP HANA Database... 32 1.1.2 SAP HANA Studio... 34 1.1.3

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

Sof o t f waretechn h o n l o og o i g en n f ü f r ü v e v rteilte S yst s eme Übung

Sof o t f waretechn h o n l o og o i g en n f ü f r ü v e v rteilte S yst s eme Übung Softwaretechnologien für verteilte Systeme Übung Organisatorisches Gruppen mit 3-4 Personen bearbeiten ein zugewiesenes Thema Abgabe besteht aus einer Arbeit mit 10-15 Seiten und ~30 Minuten Präsentation

Mehr

Oracle BI EE mit großen Datenmengen

Oracle BI EE mit großen Datenmengen Oracle BI EE mit großen Datenmengen Christian Casek Riverland Solutions GmbH München Schlüsselworte: Oracle BI EE, Oracle BI Applications, Informatica, RPD, große Datenmengen, Performance, Performanceoptimierung,

Mehr

Google Caffeine. Was ist es, was ändert sich, wie bereite ich mich vor?

Google Caffeine. Was ist es, was ändert sich, wie bereite ich mich vor? Google Caffeine Was ist es, was ändert sich, wie bereite ich mich vor? Wer ist das? Johannes Beus, SISTRIX Suchmaschinenoptimierung seit 5 Monaten Betrieb eigener Webprojekte unterschiedlichster Themengebiete

Mehr

Oracle BI Publisher in der Oracle Business Intelligence Enterprise Edition Plus. Eine Mehrwertdiskussion

Oracle BI Publisher in der Oracle Business Intelligence Enterprise Edition Plus. Eine Mehrwertdiskussion Oracle BI Publisher in der Oracle Business Intelligence Enterprise Edition Plus Eine Mehrwertdiskussion Der Oracle BI Publisher als Teil der Oracle BI Suite versus Oracle BI Publisher Standalone Der Oracle

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr