Die wichtigsten Hadoop-Komponenten für Big Data mit SAS
|
|
|
- Samuel Bieber
- vor 6 Jahren
- Abrufe
Transkript
1 Die wichtigsten Hadoop-Komponenten für Big Data mit SAS
2 Herzlich Willkommen bei Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education Consultant Xing-Profil: Training Bastian Weiß KYBEIDOS GmbH Senior Big Data Solution Architect Xing-Profil: Hinweise zum Ablauf des Webinars: Teilnehmer sind automatisch stumm geschaltet Sie können Nachrichten an den Moderator senden und Fragen stellen
3 Gliederung: I. Hadoop II. Hive III. SAS und Hadoop IV. Demo
4 Thema I. Was ist Hadoop? Fakten: begonnen 2004 von Doug Cutting auf Basis von Googles-MapReduce und Filesystem Entwickelt von Yahoo und Google Seit 2008 ein Apache TopLevel-Projekt
5 Thema I. Was ist Hadoop? Kernkomponenten von Hadoop 1. HDFS verteiltes Dateisystem 2. MapReduce verteiltes Rechnen 3. YARN verteiltes Ressourcenmanagement
6 Thema I. Was ist Hadoop? HDFS-Prinzip 1. Aufteilung in HDFS-Blöcke 2. Speichern der Blöcke auf den Datenknoten 3. Replikation der HDFS-Blöcke Large File Block 1 Block 2 Block 3 Block 1 Block 3 Block 1 Block 2 Block 1 DN1 DN2 Block 2 Block 3 Block 3 DN4 DN5 Block 2 DN3
7 Thema I. Was ist Hadoop? Hadoop Architektur Verteilte & skalierbare Struktur Parallele Lese- und Schreibevorgänge NameNode Secondary Datanode Datanode Datanode
8 Thema I. Was ist Hadoop? Hadoop Architektur HDFS Lesevorgang 1. Client Request Client Secondary Datanode Datanode Datanode
9 Thema I. Was ist Hadoop? Hadoop Architektur HDFS Lesevorgang 1. Client Request 2. File/Block Lookup Client Secondary Datanode Datanode Datanode
10 Thema I. Was ist Hadoop? Hadoop Architektur HDFS READ 1. Client Request 2. File/Block Lookup 3. Receive Block location Client Secondary Datanode Datanode Datanode
11 Thema I. Was ist Hadoop? Hadoop Architektur HDFS READ 1. Client Request 2. File/Block Lookup 3. Receive Block location 4. Read Blocks Client Secondary Datanode Datanode Datanode
12 Thema I. Was ist Hadoop? Hadoop Architektur HDFS READ 1. Client Request 2. File/Block Lookup 3. Receive Block location 4. Read Blocks 5. Assemble File Client Secondary Datanode Datanode Datanode
13 Thema I. Was ist Hadoop? Hadoop Architektur Write 1. Client Request Client Secondary Datanode Datanode Datanode
14 Thema I. Was ist Hadoop? Hadoop Architektur Write 1. Client Request 2. receive write location Client Secondary Datanode Datanode Datanode
15 Thema I. Was ist Hadoop? Hadoop Architektur Write 1. Client Request 2. receive write location 3. split file to blocks Client Secondary Datanode Datanode Datanode
16 Thema I. Was ist Hadoop? Hadoop Architektur Write 1. Client Request 2. receive write location 3. split file to blocks 4. send blocks to DN Client Secondary Datanode Datanode Datanode
17 Thema I. Was ist Hadoop? Hadoop Architektur HDFS 1. Client Request 2. receive write location 3. split file to blocks 4. send blocks to DN 5. replicat blocks Client Name node Secondary Datanode Datanode Datanode
18 Thema I. Was ist Hadoop? Vorteile: Hadoop Architektur HDFS 1. Skalierbare Architektur 2. Ausfallsicheres Dateisystem 3. Extrem hohe Lese- und Schreibraten 4. Niedrige Hardwareanforderung
19 Thema I. Was ist Hadoop? Hadoop Architektur MapReduce Fakten: 1. Programmiermodel/ Algorithmus der 2004 von Google entwickelt wurde 2. Ermöglicht einfache und strukturierte Entwicklung von verteilten Kalkulationen 3. Besteht aus drei Phasen 1. MAP- Phase 2. Shuffel-Phase 3. Reduce-Phase
20 Thema I. Was ist Hadoop? MapReduce Beispiel Buchstabenzählen 1. File 2. Split 3. Map 3. Shuffle & Sort 4. Reduce A,1 B,1 R,1 A,1 A,1 ABR CCR ACR Text File >300 MB ABR CCR ACB Blöcke je 128 MB C,1 C,1 R,1 A,1 C,1 B,1 B,1 B,1 C,1 C,1 C,1 R,1 R,1 A,2 B,2 C,3 R,2
21 Thema I. Was ist Hadoop? Hadoop Architektur HDFS+ MR DN1 DN2 DN3 Ein Mapper je HDFS Block Gemeinsames Ressourcenmanagement MapReduce ABR CCR ACB Vereinfachte Entwicklung
22 Hadoop Ökosystem Hbase Ambari Atlas Ranger..
23 Thema II. Was ist Hive? Fakten: SQL Engine von Facebook entwickelt Seit 2008 Apache Top Level Projekt für Batchverarbeitung und interaktive analytische Aufgaben erfolgreiche Usecases (DWH, ETL, ) mit teilweise > 300 Petabyte Daten
24 Thema II. Was ist Hive? Über HIVE Bestandteil jeder Hadoop-Distributionen SQL Engine create, drop, join, select, insert HQL-Abfrage (SQL like) auf HDFS Daten Partitionierung, Clustering Update und Delete nur mit Aktivierung der ACID-Features Verschiedene Dateiformate (ORC, CSV, Parquet, Json.)
25 Thema II. Was ist Hive? Ökosystem Hive Architektur 2 Masterkomponenten Hive-Server Metastore Jede Client-Abfrage über HiveServer Abgleich mit Metastore Ausführung mit SQL-Engine HDFS Client HiveServer2 Metastore DN1 DN2 DN3
26 Thema II. Was ist Hive? Hive Beispiele für das erstellen eines HIVE Schemas mit unterschiedlichen Dateiformaten und optionen
27 Thema III. SAS und Hadoop Ökosystem SAS & Hadoop
28 Thema III. SAS und Hadoop Ökosystem SAS & Hadoop Vorteile im Überblick Verteiltes Dateisystem Sehr performante Abfragen auf riesigen Datenmengen Beliebig skalierbar
29 Thema III. SAS und Hadoop Ökosystem SAS & Hadoop Vorteile von SAS Enterprise Analytic Plattform von ETL bis Analytik Enterprise Ready Lineage & Governance Umfangreiche Statistik-Anwendungen und Bibliotheken
30 Thema III. SAS und Hadoop Ökosystem SAS & Hadoop Stärken kombinieren Statistik, Modelle, Datamining, Business Intelligence, Lösungen, Visualisierung, Datenbereitstellung, Backup/Archivierung, Transformation, Schemata
31 Thema III. SAS und Hadoop Ökosystem SAS & Hadoop SAS Schnittstellen Mit SAS 9.3 Version SAS Access for ODBC Mit SAS 9.4 Version SAS Access for Hadoop (HIVE) SAS Access for Impala SAS Embedded Processes SAS Data Loader
32 Thema IV. Demo Demo
33 FRAGEN?
34 Vielen Dank für Ihre Teilnahme! Weitere Informationen und Kurse zu diesem Thema Die wichtigsten Hadoop-Komponenten für Big Data mit SAS: ein Überblick Juni 2017, Heidelberg September 2017, Heidelberg November 2017, Heidelberg Die wichtigsten Hadoop-Komponenten für Big Data mit SAS: Vertiefung und Praxis Juli 2017, Heidelberg September 2017, Heidelberg November 2017, Heidelberg
35 Nächstes 22. Mai 2017 Visualisierung leicht gemacht: Grafiken und Karten in SAS Visual Analytics Bruno Müller
36 Folien zum Download unter WIE HAT IHNEN UNSER WEBINAR GEFALLEN? sas.com
WEBINAR@LUNCHTIME THEMA: " SCHICKE BERICHTE SCHNELL ERSTELLT MIT DEM SAS ENTERPRISE GUIDE" HELENE SCHMITZ
WEBINAR@LUNCHTIME THEMA: " SCHICKE BERICHTE SCHNELL ERSTELLT MIT DEM SAS ENTERPRISE GUIDE" HELENE SCHMITZ EBINAR@LUNCHTIME HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh SAS
THEMA: HALTEN SIE IHRE SAS UMGEBUNG SAUBER MIT DEM SAS ENVIRONMENT MANAGER FRANK LEISTEN, FLITCON GMBH
WEBINAR@LUNCHTIME THEMA: HALTEN SIE IHRE SAS UMGEBUNG SAUBER MIT DEM SAS ENVIRONMENT MANAGER FRANK LEISTEN, FLITCON GMBH EBINAR@LUNCHTIME HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh
THEMA: SAS STORED PROCESSES ALS WEB-/REST-SERVICE AUFRUFEN" BRUNO MÜLLER
THEMA: SAS STORED PROCESSES ALS WEB-/REST-SERVICE AUFRUFEN" BRUNO MÜLLER EBINAR@LUNCHTIME HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education Consultant
THEMA: AUSGABEDATEIEN PFIFFIG NUTZEN IM SAS ENTERPRISE GUIDE " KARIN GROSS
WEBINAR@LUNCHTIME THEMA: AUSGABEDATEIEN PFIFFIG NUTZEN IM SAS ENTERPRISE GUIDE " KARIN GROSS WEBINAR@LUNCHTIME HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh SAS Institute GmbH
WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" HANS-JOACHIM EDERT
WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. HANS-JOACHIM EDERT EBINAR@LUNCHTIME
THEMA: ZUSAMMENHANGSANALYSEN FÜR KATEGORIALE VARIABLEN " TORSTEN SCHOLZ
W THEMA: ZUSAMMENHANGSANALYSEN FÜR KATEGORIALE VARIABLEN " TORSTEN SCHOLZ HERZLICH WILLKOMMEN BEI W Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education Consultant Training Dr. Torsten Scholz
WEBINAR@LUNCHTIME THEMA: "SAS STORED PROCESSES - SCHNELL GEZAUBERT" HELENE SCHMITZ
WEBINAR@LUNCHTIME THEMA: "SAS STORED PROCESSES - SCHNELL GEZAUBERT" HELENE SCHMITZ HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education Consultant Training
Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht
Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik
SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh
SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?
Einführung in Hadoop
Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian
Hans-Peter Zorn Inovex GmbH. Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke?
Hans-Peter Zorn Inovex GmbH Wer gewinnt das SQL-Rennen auf der Hadoop-Strecke? War nicht BigData das gleiche NoSQL? Data Lake = Keine Struktur? flickr/matthewthecoolguy Oder gar ein Hadump? flickr/autohistorian
Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes
Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)
Beratung. Results, no Excuses. Consulting. Lösungen. Grown from Experience. Ventum Consulting. SQL auf Hadoop Oliver Gehlert. 2014 Ventum Consulting
Beratung Results, no Excuses. Consulting Lösungen Grown from Experience. Ventum Consulting SQL auf Hadoop Oliver Gehlert 1 Ventum Consulting Daten und Fakten Results, no excuses Fachwissen Branchenkenntnis
WEBINAR@LUNCHTIME THEMA: SAS ADMINISTRATION LEICHT GEMACHT MIT SAS 9.4 ALLE SYSTEME IM BLICK" ANKE FLEISCHER
WEBINAR@LUNCHTIME THEMA: SAS ADMINISTRATION LEICHT GEMACHT MIT SAS 9.4 ALLE SYSTEME IM BLICK" ANKE FLEISCHER EBINAR@LUNCHTIME HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh
THEMA: FINDEN LEICHT GEMACHT NÜTZLICHE SUCHFUNKTIONEN IN SAS" DR. DOROTHEE HILDEBRANDT
WEBINAR@LUNCHTIME THEMA: FINDEN LEICHT GEMACHT NÜTZLICHE SUCHFUNKTIONEN IN SAS" DR. DOROTHEE HILDEBRANDT HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education
Hadoop in a Nutshell Einführung HDFS und MapReduce. Oracle/metafinanz Roadshow Februar 2014
Hadoop in a Nutshell Einführung HDFS und MapReduce Oracle/metafinanz Roadshow Februar 2014 Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services die
Einführung in Hadoop & MapReduce. Dr. Kathrin Spreyer Big Data Engineer
Einführung in Hadoop & MapReduce Dr. Kathrin Spreyer Big Data Engineer München, 19.06.2013 Agenda Einleitung 1. HDFS 2. MapReduce 3. APIs 4. Hive & Pig 5. Mahout Tools aus Hadoop-Ökosystem 6. HBase 2 Worum
Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS
HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS AGENDA VISUAL ANALYTICS 9:00 09:30 Das datengetriebene Unternehmen: Big Data Analytics mit SAS die digitale Transformation: Handlungsfelder für IT
Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim
Tobias Neef Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Datenbearbeitung in der Cloud anhand von Apache Hadoop Hochschule Mannheim Tobias Neef Fakultät für Informatik Hochschule Mannheim tobnee@gmail.com
Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de
Big Data in a Nutshell Dr. Olaf Flebbe of ät oflebbe.de Zu mir Bigdata Projekt, benutzt Apache Bigtop Linux seit Anfang vor Minix/ATARI Linuxtag 2001? Promoviert in Computational Physics in Tü Seit Jan
Oracle Big Data Technologien Ein Überblick
Oracle Big Data Technologien Ein Überblick Jürgen Vester Oracle Deutschland B.V. & Co KG Um was geht es bei Big Data? Bei Big Data sprechen wir eine Klasse von Daten an, die in der
Hadoop und SAS Status und Ausblick WIEN, JUNI 2015 GERNOT ENGEL, CLIENT SERVICE MANAGER SAS AUSTRIA
Copyright o p y r i g h t 2012, 2 0 1 2, SAS S A S Institute s t i t u tinc e In. c All. Arights l l r i g hreserved. t s r e s e r ve d. Hadoop und SAS Status und Ausblick WIEN, JUNI 2015 GERNOT ENGEL,
!"#$"%&'()*$+()',!-+.'/',
Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook
June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration
June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen
NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse
NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden
Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer
Big in Azure Ein Beispiel mit HD Insight Ralf Stemmer Agenda owas ist Big? Was ist HD Insight? owelche Probleme kann man damit lösen? odemo Was ist Big? Was ist HD Insight? Datenexplosion - Rasanter Zuwachs
Hadoop Eine Erweiterung für die Oracle DB?
Hadoop Eine Erweiterung für die Oracle DB? Nürnberg, 18.11.2015, Matthias Fuchs Sensitive Über mich 10+ Jahre Erfahrung mit Oracle Oracle Certified Professional Exadata Certified Oracle Engineered Systems
Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.
Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und
THEMA: BERECHTIGUNGEN LEICHT GEMACHT ROLLEN FÜR MEHR ÜBERBLICK"
WEBINAR@LUNCHTIME THEMA: BERECHTIGUNGEN LEICHT GEMACHT ROLLEN FÜR MEHR ÜBERBLICK" SAS MANAGEMENT CONSOLE: USER MANAGER Der User Manager in der SAS Management Console dient zur Administration von Usern,
ETL in den Zeiten von Big Data
ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse
Oracle Big Data Technologien Ein Überblick
Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"
Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired
make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,
Bernd Fondermann brainlounge. Blaue oder rote Pille: SQL oder MapReduce?
Bernd Fondermann brainlounge Blaue oder rote Pille: SQL oder MapReduce? TODOs pills on all pages upd source code 1 Blaue oder rote Pille - SQL oder MapReduce? Bernd Fondermann, BigDataCon/JAX 2012 2 Rote
Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien
Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf
Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen
DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension
Dateisysteme und Datenverwaltung in der Cloud
Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1
Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr
Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit
Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn
Schlüsselworte Hadoop, Hive, Sqoop, SQL Big Data und SQL - das passt! Philipp Loer ORDIX AG Paderborn Einleitung In diesem Vortrag werden, nach einer kurzen Einführung in Apache Hadoop, die beiden Werkzeuge
Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS. Carsten Herbe DOAG Konferenz November 2014
Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS Carsten Herbe DOAG Konferenz November 2014 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und
Analytik Mittels R als übergreifende Plattform
Analytik Mittels R als übergreifende Plattform Detlef E. Schröder Oracle DWH Community STCC DB Mitte @DetEgbSchroeder, http://www.oracledwh.de Themen Anforderungen an Datenmanagement R - Grundsätzliches
Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen
DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension
Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG HADOOP
HERZLICH WILLKOMMEN ZUR VERANSTALTUNG HADOOP AGENDA HADOOP 9:00 09:15 Das datengetriebene Unternehmen: Big Data Analytics mit SAS die digitale Transformation: Handlungsfelder für IT und Fachbereiche Big
Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012
Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing
Spark, Impala und Hadoop in der Kreditrisikoberechnung
Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort
Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2
Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es
DduP - Towards a Deduplication Framework utilising Apache Spark
- Towards a Deduplication Framework utilising Apache Spark utilising Apache Spark Universität Hamburg, Fachbereich Informatik Gliederung 1 Duplikaterkennung 2 Apache Spark 3 - Interactive Big Data Deduplication
Big Data Informationen neu gelebt
Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen
Hadoop & SQL Wie Hadoop um SQL erweitert werden kann. Oracle/metafinanz Roadshow 11./18. Februar
Hadoop & SQL Wie Hadoop um SQL erweitert werden kann Oracle/metafinanz Roadshow 11./18. Februar Head of Data Warehousing DWH Principal Consultant DWH Senior Consultant Wir fokussieren mit unseren Services
Hadoop. High Performance Batches in der Cloud. Hadoop. Folie 1 25. Januar 2011
High Performance Batches in der Cloud Folie 1 Alles geht in die Cloud Image: Chris Sharp / FreeDigitalPhotos.net Cloud und Batches passen zusammen Batches Cloud Pay-per-Use Nur zeitweise genutzt Hohe Rechenkapazitäten
einfach. gut. beraten. Oracle Big Data Konnektoren: Hadoop und die Oracle DB DOAG Konferenz + Ausstellung 2016 Nürnberg Philipp Loer
einfach. gut. beraten. Oracle Big Data Konnektoren: Hadoop und die Oracle DB DOAG Konferenz + Ausstellung 2016 Nürnberg Philipp Loer info@ordix.de www.ordix.de Agenda Hadoop Hive OLH: Oracle Loader for
Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen
Hadoop aus IT-Operations Sicht Teil 1 Hadoop-Grundlagen Brownbag am Freitag, den 26.07.2013 Daniel Bäurer inovex GmbH Systems Engineer Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und
DIE DATEN IM ZENTRUM: SAS DATA MANAGEMENT
DIE DATEN IM ZENTRUM: SAS DATA RAINER STERNECKER SOLUTIONS ARCHITECT SAS INSTITUTE SOFTWARE GMBH Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d. NEUE WEGE GEHEN SAS DATA GOVERNANCE & QUALITY
Neue Ansätze der Softwarequalitätssicherung
Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik
Big Data Hype und Wirklichkeit Bringtmehrauchmehr?
Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or
Vorwort zur 5. Auflage... 15 Über den Autor... 16
Vorwort zur 5. Auflage...................................... 15 Über den Autor............................................ 16 Teil I Grundlagen.............................................. 17 1 Einführung
Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.
Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition
Hadoop. Simon Prewo. Simon Prewo
Hadoop Simon Prewo Simon Prewo 1 Warum Hadoop? SQL: DB2, Oracle Hadoop? Innerhalb der letzten zwei Jahre hat sich die Datenmenge ca. verzehnfacht Die Klassiker wie DB2, Oracle usw. sind anders konzeptioniert
Big Data Lösungen mit Apache Hadoop. Gunnar Schröder, T-Systems Multimedia Solutions GmbH
Big Data Lösungen mit Apache Hadoop Gunnar Schröder, T-Systems Multimedia Solutions GmbH Was ist Big Data? 2 Charakteristiken von Big Data Three Vs of Big Data VOLUME Terabytes Petabytes Exabytes Zettabytes
Big Data und Oracle bringen die Logistik in Bewegung
OPITZ CONSULTING Deutschland GmbH Dortmund, 07.05.2014 Bild-Quelle: Web-Seite von Pasta ZARA, Big Artikel Data So und entstehen Oracle bringen unsere die Nudeln Logistik in Bewegung http://de.pastazara.com/so-entstehen-unsere-nudeln
THEMA: ZUGRIFF AUF RELATIONALE DATENBANKEN GEWUSST WIE! BRUNO MÜLLER
WEBINAR@LUNCHTIME THEMA: ZUGRIFF AUF RELATIONALE DATENBANKEN GEWUSST WIE! BRUNO MÜLLER EBINAR@LUNCHTIME HERZLICH WILLKOMMEN BEI WEBINAR@LUNCHTIME Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education
Die IBM Netezza Architektur für fortgeschrittene Analysen
Michael Sebald IT Architect Netezza Die IBM Netezza Architektur für fortgeschrittene Analysen 2011 IBM Corporation Was ist das Problem aller Data Warehouse Lösungen? I / O Transaktionaler und analytischer
Big Data. Mit DVD. Was ist wichtig im Hadoop-Ökosystem? Hadoop 2 als universelle Data Processing Platform
Mit DVD Jobs im Wandel: Was für Informatiker bedeutet 2/2015 Auf der Heft-DVD Über 8 GByte Software für Entwickler Multimedia: 5 Videos zur Hoch leistungsdatenbank EXASolution Hadoop: Cloudera s Distribution
GPU-basierte Beschleunigung von MapReduce am Beispiel von OpenCL und Hadoop
am Beispiel von OpenCL und Masterseminar Hochschule für Technik, Wirtschaft und Kultur Leipzig Leipzig, 02.11.2011 Gliederung 1 Grundlagen 2 3 Gliederung 1 Grundlagen 2 3 Was ist? Clustersystem zur verteilten
Hadoop-as-a-Service (HDaaS)
Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Arnold Müller freier IT Mitarbeiter und Geschäftsführer Lena Frank Systems Engineer @ EMC Marius Lohr Systems Engineer @ EMC Fallbeispiel:
BIW - Überblick. Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004
BIW - Überblick Präsentation und Discoverer Demonstration - Teil 1 - Humboldt Universität zu Berlin am 10. Juni 2004 Annegret Warnecke Senior Sales Consultant Oracle Deutschland GmbH Berlin Agenda Überblick
Review Freelancer-Workshop: Fit für Big Data. Mittwoch, 29.04.2015 in Hamburg
Review Freelancer-Workshop: Fit für Big Data Mittwoch, 29.04.2015 in Hamburg Am Mittwoch, den 29.04.2015, hatten wir von productive-data in Zusammenarbeit mit unserem langjährigen Partner Informatica zu
90 Prozent der heute weltweit vorhandenen Daten wurden dabei erst in den letzten zwei Jahren generiert.
QualysoftGruppe Jeden Tag werden 2,5 Trillionen Byte an Daten erstellt. 90 Prozent der heute weltweit vorhandenen Daten wurden dabei erst in den letzten zwei Jahren generiert. Diese Daten stammen aus
Datenaustausch Hadoop & Oracle DB. DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Carsten Herbe metafinanz Informationssysteme GmbH
DOAG Konferenz 2013 Nürnberg, 19.-21. November 2013 Carsten Herbe metafinanz Informationssysteme GmbH Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT.
Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!
Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler
Big Data Analytics: Herausforderungen und Systemansätze. Prof. Dr. Erhard Rahm. http://dbs.uni-leipzig.de
Big Data Analytics: Herausforderungen und Systemansätze Prof. Dr. Erhard Rahm http://dbs.uni-leipzig.de 2 Massives Wachstum an Daten Gartner: pro Tag werden 2.5 Exabytes an Daten generiert 90% aller Daten
Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel. Carsten Herbe metafinanz Informationssysteme GmbH
Hadoop & SQL Oracle BI & DWH Konferenz 2013 19./20. März 2013, Kassel Carsten Herbe metafinanz Informationssysteme GmbH In unserer Business Line Business Intelligence & Risk gibt es fünf Bereiche: Risk,
Big Data Management Thema 14: Cassandra
Thema 14: Cassandra Jan Kristof Nidzwetzki Thema 14: Cassandra 1 / 25 Übersicht 1 Grundlagen Überblick Geschichte Datenmodel 2 Architektur Der logische Ring Persistenz der Daten Tunable Consistency Read
R im Enterprise-Modus
R im Enterprise-Modus Skalierbarkeit, Support und unternehmensweiter Einsatz Dr. Eike Nicklas HMS Konferenz 2014 Was ist R? R is a free software environment for statistical computing and graphics - www.r-project.org
Einführung in die Hadoop-Welt HDFS, MapReduce & Ökosystem. Big Data für Oracle Entwickler September 2014 Carsten Herbe
HDFS, MapReduce & Ökosystem Big Data für Oracle Entwickler September 2014 Carsten Herbe Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence
Dokumentenorientierte Datenbanken - MongoDB
Dokumentenorientierte Datenbanken - MongoDB Jan Hentschel Ultra Tendency UG Übersicht Dokumente sind unabhängige Einheiten Bessere Performance (zusammengehörige Daten werden gemeinsam gelesen) Objektmodell
Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover
Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:
Big Data 10.000 ft. 20. Februar 2014 IHK Darmstadt DR. ROBERTO RAO, AXXESSIO GMBH
Big Data 10.000 ft 20. Februar 2014 IHK Darmstadt DR. ROBERTO RAO, AXXESSIO GMBH Inhalte Big Data Was ist das? Anwendungsfälle für Big Data Big Data Architektur Big Data Anbieter Was passiert in Zukunft
SAS Education. Grow with us. Anmeldung bei SAS Education. Kurstermine Juli Dezember 2015 für Deutschland, Österreich und die Schweiz
2015 SAS Education Kurstermine Juli Dezember 2015 für Deutschland, Österreich und die Schweiz Anmeldung bei SAS Education Deutschland www.sas.de/education Tel. +49 6221 415-300 education@ger.sas.com Fax
Big Data in der industriellen Praxis. Gunnar Fabritius Business Intelligence & Big Data Consulting T-Systems Multimedia Solutions
Big Data in der industriellen Praxis Gunnar Fabritius Business Intelligence & Big Data Consulting T-Systems Multimedia Solutions Über T-Systems Multimedia Solutions Wir begleiten Großkonzerne und mittelständische
Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht)
Performanceoptimierung mit Exadata Verarbeitung extremer Datenmengen mit PL/SQL basierter Datenbewirtschaftung (Erfahrungsbericht) Christian Haag, DATA MART Consulting Consulting Manager Oracle DWH Team
SQL Server 2008 Überblick. Steffen Krause Technical Evangelist Microsoft Deutschland GmbH http://blogs.technet.com/steffenk
SQL Server 2008 Überblick Steffen Krause Technical Evangelist Microsoft Deutschland GmbH http://blogs.technet.com/steffenk SQL Server 2008 Sichere, vertrauenswürdige Datenplattform Optimierte und vorhersehbare
Big Data Anwendungen Chancen und Risiken
Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data
on Azure mit HDInsight & Script Ac2ons
Willkommen beim #GAB 2015! on Azure mit HDInsight & Script Ac2ons Lokale Sponsoren: HansPeter Grahsl Netconomy Entwickler & Berater FH CAMPUS 02 Twi9er: @hpgrahsl Überblick Inhalte Was ist HDInsight? Wozu
R Statistik im Oracle Produktstack
R Statistik im Oracle Produktstack Matthias Fuchs DWH Architect ISE Information Systems Engineering GmbH ISE Information Systems Engineering Gegründet 1991 Mitarbeiteranzahl: 50 Hauptsitz in Gräfenberg,
Apache HBase. A BigTable Column Store on top of Hadoop
Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,
Hadoop und Zookeeper
AG June 5, 2010 Outline MapReduce paper MapReduce abstract wenn s mal ein paar Daten mehr sind... im großen geht immer was schief Herausforderungen an Applikationen Daten Redundanz Knotensterben einplanen
PVFS (Parallel Virtual File System)
Management grosser Datenmengen PVFS (Parallel Virtual File System) Thorsten Schütt thorsten.schuett@zib.de Management grosser Datenmengen p.1/?? Inhalt Einführung in verteilte Dateisysteme Architektur
Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria
Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards
Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen
Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien
Data Mining und Machine Learning
Data Mining und Machine Learning Teil 7: Verteiltes Rechnen mit Map Reduce Dr. Harald König, FHDW Hannover 30. November 2015 Inhalt 1 Verteiltes Rechnen 2 Map Reduce 3 Anwendungen 4 Map Reduce: Weiterführende
AFS / OpenAFS. Bastian Steinert. Robert Schuppenies. Präsentiert von. Und
AFS / OpenAFS Präsentiert von Bastian Steinert Und obert Schuppenies Agenda AFS Verteilte Dateisysteme, allg. Aufbau Sicherheit und Zugriffsrechte Installation Demo Vergleich zu anderen DFs Diskussion
Big Data. Hype oder Chance? Sebastian Kraubs
Big Data Hype oder Chance? Sebastian Kraubs Heute reden alle über Big Data Quellen: http://blogs.sybase.com/sybaseiq/2011/09/big-data-big-opportunity/ und McKinsey Studie 2011 Anwendungen Daten Technologien
Lessons learned in Big Data Projekten mit Hadoop. Dominik Benz, Inovex GmbH 2014/09/25, Java User Group Hessen
Lessons learned in Big Data Projekten mit Hadoop Dominik Benz, Inovex GmbH 2014/09/25, Java User Group Hessen Motivation Big is beautiful! Class A extends Mapper ROI, $$, Big Data is like Teenagesex: Everyone
MapReduce in der Praxis
MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation
DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle
DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell
Logical Data Warehouse SQL mit Oracle DB und Hadoop
Logical Data Warehouse SQL mit Oracle DB und Hadoop Matthias Fuchs DWH Architekt ISE Information Systems Engineering GmbH Ingo Reisky Senior Consultant Opitz Consulting Deutschland GmbH ISE Information
WEBINAR@LUNCHTIME THEMA: "SAS HASH MACHT SÜCHTIG HASH OBJEKTE ALS PERFORMANTER ZUGRIFF AUF VERGLEICHSWERTE"
Copyr i g ht 2012, SAS Ins titut e Inc All rights res er ve d WEBINAR@LUNCHTIME THEMA: "SAS HASH MACHT SÜCHTIG HASH OBJEKTE ALS PERFORMANTER ZUGRIFF AUF VERGLEICHSWERTE" SZENARIO WERTE AUS EINER REFERENZTABELLE
Datenbanksysteme 2015
Datenbanksysteme 2015 Kapitel 09: Datenbankapplikationen Oliver Vornberger Institut für Informatik Universität Osnabrück Datenbankapplikationen ODBC MS Visio MS Access Embedded SQL JDBC Application SQLJ
Oracle Big Data Technologien Ein Überblick
Oracle Big Data Technologien Ein Überblick Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden Neue Beziehungen finden...
Prof. Dr.-Ing. Rainer Schmidt 1
Prof. Dr.-Ing. Rainer Schmidt 1 Business Analytics und Big Data sind Thema vieler Veröffentlichungen. Big Data wird immer häufiger bei Google als Suchbegriff verwendet. Prof. Dr.-Ing. Rainer Schmidt 2