Big Data Analytics: Herausforderungen und Systemansätze. Prof. Dr. Erhard Rahm.
|
|
- Emil Günther
- vor 2 Jahren
- Abrufe
Transkript
1 Big Data Analytics: Herausforderungen und Systemansätze Prof. Dr. Erhard Rahm
2 2 Massives Wachstum an Daten Gartner: pro Tag werden 2.5 Exabytes an Daten generiert 90% aller Daten weltweit wurden in den 2 letzten Jahren erzeugt.
3 3 Datenproduzenten: Soziale Netze, Smartphones, Sensoren 12+ TBs of tweet data every day 30 billion RFID tags today (1.3B in 2005) 4.6 billion camera phones world wide? TBs of data every day 100s of millions of GPS enabled devices sold annually 25+ TBs of log data every day 76 million smart meters in M by billion people on the Web by end 2011
4 Big Data Challenges Volume Variety Velocity: Veracity: Skalierbarkeit von Terabytes nach Petabytes (1K TBs) bis Zettabytes (1 Milliarde TBs) variierende Komplexität: strukturiert, teilstrukturiert, Text / Bild / Video Near-Realtime, Streaming Vertrauenswürdigkeit Value Erzielen des (wirtschaftl.) Nutzens durch Analysen 4
5 5 Potentiale für Big Data-Technologien Daten sind Produktionsfaktor ähnlich Betriebsmitteln und "Humankapital " Essentiell für viele Branchen und Wissenschaftsbereiche Valide Grundlage für zahlreiche Entscheidungsprozesse Vorhersage/Bewertung/Kausalität von Ereignissen Kurzfristige Analysen von Realdaten im Geschäftsleben Beispiele Nutzungsanalyse auf Web-Sites Empfehlungsdienste (Live Recommendations) Analyse/Optimierung von Werbe-Massnahmen
6 Neuartige Anwendungen für Big Data Analytics 6
7 7 Big Data Analysis Pipeline Source: Agrawal et al: Big Data: Challenges and Opportunities, 2011
8 8 Gliederung Einführung Big Data Trends / Challenges / Applications Architekturen Data Warehouse Appliances / In-Memory DWH NoSQL /Cloud (Hadoop & Co) Kombinationen Forschungsarbeiten DeDoop Datenintegration BIIG: Graphbasierte BI
9 9 Architekturalternativen Data Warehouse Appliances Column Store, In-Memory-Optimierungen Parallele DB-Vearbeitung mit vielen Knoten/Cores, Spezial-Hardware, z.b. FPGA (Netezza) Massiv skalierbare Cloud-Architekturen Nutzung von NoSQL Data Stores Frameworks zur automatischen Parallelisierung datenintensiver Aufgaben (MapReduce / Hadoop) Kombinationen: DWH + Cloud/Hadoop
10 10 Analyse-Pipeline Datenvorverarbeitung und Datenintegration Unterstützung von Stream-Daten und Cloud-Infrastrukturen (Hadoop)
11 11 SAP HANA: In-Memory-Datenbanktechnologie Quelle: SAP
12 12
13 13 SAP HANA - Merkmale Dramatische Beschleunigung der DB-Verarbeitung Vermeidung langsamer Plattenzugriffe neue auf In-Memory-Verarbeitung zugeschnittene Datenstrukturen und Algorithmen Vermeidung von Indexstrukturen, Cubes etc. Gleichzeitige Unterstützung von OLTP + OLAP Record Store und Column Store (Datenkompression) Hohe Datenaktualität Einschränkungen Entwicklung noch am Anfang Geschlossene Umgebung Hohe Kosten
14 14 Probleme relationaler Datenbanken Schema-getrieben ( Schema First ) weniger geeignet für semi-strukturierte (Web-) Daten zu starr für irreguläre Daten relativ hohe Kosten, v.a. für Parallele DBS (kein Open-Source System) Skalierbarkeitsprobleme für Big Data (Web Scale) Milliarden von Webseiten Milliarden von Nutzern von Websites und sozialen Netzen ACID aufwändig / strenge Konsistenz nicht immer erforderlich
15 15 Entwicklung seit ca Ursprünglicher Fokus: moderne web-scale Datenbanken Merkmale nicht-relational open-source verteilt, horizontal (auf große Datenmengen) skalierbar schema-frei, Datenreplikation einfache API eventually consistent / BASE (statt ACID) fehlende Standardisierung Zunehmende Koexistenz mit SQL NoSql" wird als Not only Sql interpretiert
16 Grobeinordnung NoSQL-Systeme 16
17 17 MapReduce Map Phase Reduce Phase Framework zur automatischen Parallelisierung von Auswertungen auf großen Datenmengen Entwicklung bei Google Apache Open-Source- Implementierung: Hadoop Partitioning Grouping Grouping Grouping Nutzung v.a. zur Verarbeitung riesiger Mengen teilstrukturierter Daten in einem verteilten Dateisystem Konstruktion Suchmaschinenindex Clusterung von News-Artikeln Spam-Erkennung
18 Hadoop Ökosystem 18
19 19 Hadoop Ökosystem Zunehmende Unterstützung für SQL-Anbindung Cloudera Impala Apache Drill Scoop: JDBC-Konnektor für Bulk-Datentransfer Unterstützung für Stream-Daten (Sensordaten, Twitter, Logs etc) : Flume Unterstützung für Graph-Daten: Giraph
20 20 Google: Trend zu massiv verteilten Datenbanken 2003/04 Google Filesystem (GFS), Map-Reduce Basis für Apache HDFS, Hadoop 2006: Google BigTable Basis für HBase (2008), Facebook-Nutzung (2010+) 2012: Neues verteiltes SQL/ACID-fähiges DBS Spanner Ziel: Millionen Knoten mit über verschiedene Data-Center verteilten Daten Basis für unternehmenskritische Anwendungen, v.a. Online- Werbung (Google F1)
21 21 IBM Big Data Platform Visualization & Discovery Applications & Development Systems Management Accelerators Hadoop System Stream Computing Data Warehouse Contextual Discovery Information Integration & Governance Cloud Mobile Security Quelle: IBM
22 22
23 23 Big Data Architekturen: Fazit Konvergenz von DWH-Appliances, Streaming und Hadoop-Technologien Optimierte DWH-Appliances für die meisten Unternehmen ausreichend (< 100 Terabyte) In-Memory-Optimierung, Column Stores essentiell Scaleout auf Cloud-Plattformen / Hadoop Für sehr große Datenmengen Nutzung preiswerter Hardware/Software Besonders für semistrukturierte Daten (Web, soziale Netzwerke) / ETL und Machine Learning Nutzung von SQL und höheren Schnittstellen als nur MapReduce
24 24 Gliederung Einführung Big Data Trends / Challenges / Applications Architekturen Data Warehouse Appliances / In-Memory DWH NoSQL /Cloud (Hadoop & Co) Kombinationen Forschungsarbeiten DeDoop Datenintegration BIIG: Graphbasierte BI
25 25 Forschungsarbeiten Web Data Integration Lab (WDI-Lab) Cloud Data Management / Big Data Skalierbares Daten-Management / Last-Balancierung mit Hadoop Machine Learning auf Hadoop DeDoop: Deduplication based on Hadoop Business Analytics mit NoSQL/Graph-Daten Zwei Startups in 2012 Web Data Solutions GmbH, Data Virtuality GmbH
26 26 Integration von Webdaten, z.b. Produktangebote Identifikation semantisch äquivalenter Objekte (Objekt-Matching) Fusion oder Datenvergleich / Analyse Herausforderungen: Schlechte Datenqualität Heterogene Repräsentationen Fehlerhafte Angaben Große Datenmengen Verarbeitung in Echtzeit
27 27 Dedoop: Efficient Deduplication with Hadoop Parallele Ausführung von Datenintegrations/Match-Workflows mit Hadoop Browser-basiertes GUI Mächtige Funktionsbibliothek mit vielen Match-Techniken Lernbasierte Konfiguration Automatische Generieren und Starten von Map/Reduce- Jobs auf unterschiedlichen Clustern Automatische Lastbalancierung Monitoring der Ausführung
28 Dedoop Überblick 28
29 29 Browser-basierte Spezifikation Graphical HDFS file manager and File-Viewer Support common file operations Simple metadata operations to facilitates workflow definition Input section Select data sources, id attributes, final output directory Attributes to appear in match result Attribute mapping in case of two sources Blocking Section Standard Blocking, Sorted Neighborhood, Cartesian, Tokenset-Similarity Blocking key generation functions Matching section Similarity Functions Match classification (learning-based, threshold-based)
30 30 Graph-basierte Analysen Umfassende Auswertung von Beziehungen in Unternehmensdaten von relationalen DWH unzureichend abgedeckt Bsp.: welche Mitarbeiter sind in erfolgreichen Projektabschlüssen wie beteiligt Framework BIIIG: Business Intelligence with Integrated Instance Graphs
31 BIIIG-Analysen 31
32 Danke für die Aufmerksamkeit! 32
Datenintegration für Big Data. Prof. Dr. Erhard Rahm. http://dbs.uni-leipzig.de
Datenintegration für Big Data Prof. Dr. Erhard Rahm http://dbs.uni-leipzig.de 1 2 Massives Wachstum an Daten Gartner: pro Tag werden 2.5 Exabytes an Daten generiert 90% aller Daten weltweit wurden in den
Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP
Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,
8. Big Data und NoSQL-Datenbanken
8. Big Data und NoSQL-Datenbanken Motivation Big Data wachsende Mengen und Vielfalt an Daten Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline, Hadoop, MapReduce
7. Big Data und NoSQL-Datenbanken
7. Big Data und NoSQL-Datenbanken Motivation Big Data Herausforderungen Einsatzbereiche Systemarchitekturen für Big Data Analytics Analyse-Pipeline Hadoop, MapReduce, Spark/Flink NoSQL-Datenbanken Eigenschaften
8. Big Data und NoSQL-Datenbanken
8. Big Data und NoSQL-Datenbanken Motivation Big Data Wachsende Mengen und Vielfalt an Daten Herausforderungen Systemarchitekturen für Big Data Analytics Analyse-Pipeline, Near-Real-Time Data Warehouses
NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse
NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden
DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle
DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell
Oracle BI&W Referenz Architektur Big Data und High Performance Analytics
DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen
Analyse von unstrukturierten Daten. Peter Jeitschko, Nikolaus Schemel Oracle Austria
Analyse von unstrukturierten Daten Peter Jeitschko, Nikolaus Schemel Oracle Austria Evolution von Business Intelligence Manuelle Analyse Berichte Datenbanken (strukturiert) Manuelle Analyse Dashboards
Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen
Big Data Plattformen für polystrukturierte Daten neue Chancen und Herausforderungen Oracle DWH-Konferenz 21. März 2012 Dr. Carsten Bange Gründer & Geschäftsführer BARC Big Data bietet Methoden und Technologien
Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht
Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik
Big Data Hype und Wirklichkeit Bringtmehrauchmehr?
Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or
Big Data in Azure. Ein Beispiel mit HD Insight. Ralf Stemmer
Big in Azure Ein Beispiel mit HD Insight Ralf Stemmer Agenda owas ist Big? Was ist HD Insight? owelche Probleme kann man damit lösen? odemo Was ist Big? Was ist HD Insight? Datenexplosion - Rasanter Zuwachs
Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick. Volker.Hinz@microsoft.com
Die Microsoft-Komplettlösung für Datawarehousing, Big Data und Business Intelligence im Überblick Volker.Hinz@microsoft.com Was sagt der Markt? Fakten Meinung der Analysten zu Microsofts Angeboten Nutzen
ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik
ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten
Living Lab Big Data Konzeption einer Experimentierplattform
Living Lab Big Data Konzeption einer Experimentierplattform Dr. Michael May Berlin, 10.12.2012 Fraunhofer-Institut für Intelligente Analyseund Informationssysteme IAIS www.iais.fraunhofer.de Agenda n Ziele
Einführung in Hadoop
Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian
Von Big Data zu Executive Decision BI für den Fachanwender bis hin zu Advanced Analytics 10.45 11.15
9.30 10.15 Kaffee & Registrierung 10.15 10.45 Begrüßung & aktuelle Entwicklungen bei QUNIS 10.45 11.15 11.15 11.45 Von Big Data zu Executive Decision BI für den Fachanwender bis hin zu Advanced Analytics
In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden
In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden Jens Kaminski ERP Strategy Executive IBM Deutschland Ungebremstes Datenwachstum > 4,6 Millarden
Big Data Mythen und Fakten
Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher
WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" HANS-JOACHIM EDERT
WEBINAR@LUNCHTIME THEMA: SAS TOOLS FÜR DIE DATENVERARBEITUNG IN HADOOP ODER WIE REITET MAN ELEFANTEN?" Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. HANS-JOACHIM EDERT EBINAR@LUNCHTIME
Big Data Anwendungen Chancen und Risiken
Big Data Anwendungen Chancen und Risiken Dr. Kurt Stockinger Studienleiter Data Science, Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften Big Data Workshop Squeezing more out of Data
Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes
Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)
BIG DATA HYPE ODER CHANCE
BIG DATA HYPE ODER CHANCE 1 Fuchs Dominik 16.05.2014 Fahrplan 2 Begriff Big Data Die 3 V s Fallbeispiel Google Was? Wie? Womit? Fazit & Ausblick in die Zukunft Der Begriff Big Data 3 Datenmengen, die zu
Überblick und Vergleich von NoSQL. Datenbanksystemen
Fakultät Informatik Hauptseminar Technische Informationssysteme Überblick und Vergleich von NoSQL Christian Oelsner Dresden, 20. Mai 2011 1 1. Einführung 2. Historisches & Definition 3. Kategorien von
Big Data in Marketing und IT
Big Data in Marketing und IT Chancen erkennen, Strategien entwickeln und Projekte erfolgreich umsetzen T-Systems Hacker Day 30. September 2015 Prof. Dr. Alexander Rossmann Reutlingen University Big Data
Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor
Das Zettabyte CeBIT 2011 Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zetabyte: analytische Datenbanken Die Datenflut. Analytische Datenbanken: Was ist neu? Analytische Datenbanken:
Step 0: Bestehende Analyse-Plattform
Die Themen 09:30-09:45 Einführung in das Thema (Oracle) 09:45-10:15 Hadoop in a Nutshell (metafinanz) 10:15-10:45 Hadoop Ecosystem (metafinanz) 10:45-11:00 Pause 11:00-11:30 BigData Architektur-Szenarien
Oracle Big Data Technologien Ein Überblick
Oracle Big Data Technologien Ein Überblick Ralf Lange Global ISV & OEM Sales NoSQL: Eine kurze Geschichte Internet-Boom: Erste Ansätze selbstgebauter "Datenbanken" Google stellt "MapReduce"
!"#$"%&'()*$+()',!-+.'/',
Soziotechnische Informationssysteme 5. Facebook, Google+ u.ä. Inhalte Historisches Relevanz Relevante Technologien Anwendungsarchitekturen 4(5,12316,7'.'0,!.80/6,9*$:'0+$.;.,&0$'0, 3, Historisches Facebook
Möglichkeiten für bestehende Systeme
Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-
Software EMEA Performance Tour 2013. 17.-19 Juni, Berlin
Software EMEA Performance Tour 2013 17.-19 Juni, Berlin Accenture s High Performance Analytics Demo-Umgebung Dr, Holger Muster (Accenture), 18. Juni 2013 Copyright 2012 Hewlett-Packard Development Company,
June 2015. Automic Hadoop Agent. Data Automation - Hadoop Integration
June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration + Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen
Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired
make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,
NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt
NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle
NoSQL Databases and Big Data
Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt NoSQL & Big Data Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle
Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen. Frank Irnich SAP Deutschland
Echtzeiterkennung von Cyber-Angriffen auf IT-Infrastrukturen Frank Irnich SAP Deutschland SAP ist ein globales Unternehmen... unser Fokusgebiet... IT Security für... 1 globales Netzwerk > 70 Länder, >
TRACK II Datenmanagement Strategien & Big Data Speicherkonzepte. TRACK I Big Data Analytics & Self Service BI
9.30 10.15 Kaffee & Registrierung 10.15 10.45 Begrüßung & aktuelle Entwicklungen bei QUNIS 10.45 11.15 11.15 11.45 Von Big Data zu Executive Decision BI für den Fachanwender bis hin zu Advanced Analytics
ETL in den Zeiten von Big Data
ETL in den Zeiten von Big Data Dr Oliver Adamczak, IBM Analytics 1 1 Review ETL im Datawarehouse 2 Aktuelle Herausforderungen 3 Future of ETL 4 Zusammenfassung 2 2015 IBM Corporation ETL im Datawarehouse
Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer. NoSQL. Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER
Stefan Edlich Achim Friedland Jens Rampe Benjamin Brauer NoSQL Einstieg in die Welt nichtrelationaler Web 2.0 Datenbanken HANSER Geleitwort 1 Vorwort 1 1 Einführung 1 1.1 Historie 1 1.2 Definition und
Prozess- und Datenmanagement Kein Prozess ohne Daten
Prozess- und Datenmanagement Kein Prozess ohne Daten Frankfurt, Juni 2013 Dr. Wolfgang Martin Analyst und Mitglied im Boulder BI Brain Trust Prozess- und Datenmanagement Erfolgreiche Unternehmen sind Prozessorientiert.
Wide Column Stores. Felix Bruckner Mannheim, 15.06.2012
Wide Column Stores Felix Bruckner Mannheim, 15.06.2012 Agenda Einführung Motivation Grundlagen NoSQL Grundlagen Wide Column Stores Anwendungsfälle Datenmodell Technik Wide Column Stores & Cloud Computing
Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence
Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence IBM Netezza Roadshow 30. November 2011 Carsten Bange Gründer & Geschäftsführer BARC Die Krise hat die Anforderungen
SOA im Zeitalter von Industrie 4.0
Neue Unterstützung von IT Prozessen Dominik Bial, Consultant OPITZ CONSULTING Deutschland GmbH Standort Essen München, 11.11.2014 OPITZ CONSULTING Deutschland GmbH 2014 Seite 1 1 Was ist IoT? OPITZ CONSULTING
Symbiose hybrider Architekturen im Zeitalter digitaler Transformation. Hannover, 18.03.2015
Symbiose hybrider Architekturen im Zeitalter digitaler Transformation Hannover, 18.03.2015 Business Application Research Center (BARC) B (Analystengruppe Europas führendes IT-Analysten- und -Beratungshaus
SAP HANA eine Plattform für innovative Anwendungen
SAP HANA eine Plattform für innovative Anwendungen Top Intelligence: Big Data & SAP HANA Zürich, Frankfurt, Hamburg, München, Mülheim/R Februar 2014 Dr. Wolfgang Martin Analyst und Mitglied im Boulder
Datenbanktechnologien für Big Data
Datenbanktechnologien für Big Data Oktober 2013 Prof. Dr. Uta Störl Hochschule Darmstadt Big Data Technologien Motivation Big Data Technologien NoSQL-Datenbanksysteme Spaltenorientierte Datenbanksysteme
Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien
Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf
Einführung in Hauptspeicherdatenbanken
Einführung in Hauptspeicherdatenbanken Harald Zankl Probevorlesung 13. 01., 13:15 14:00, HS C Inhaltsverzeichnis Organisation Überblick Konklusion Harald Zankl (LFU) Hauptspeicherdatenbanken 2/16 Organisation
Zeitgemäße Verfahren für ganzheitliche Auswertungen
Intelligente Vernetzung von Unternehmensbereichen Zeitgemäße Verfahren für ganzheitliche Auswertungen Sächsische Industrie- und Technologiemesse Chemnitz, 27. Juni 2012, Markus Blum 2012 TIQ Solutions
Apache HBase. A BigTable Column Store on top of Hadoop
Apache HBase A BigTable Column Store on top of Hadoop Ich bin... Mitch Köhler Selbstständig seit 2010 Tätig als Softwareentwickler Softwarearchitekt Student an der OVGU seit Oktober 2011 Schwerpunkte Client/Server,
Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.
Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und
Big Data Informationen neu gelebt
Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen
Review Freelancer-Workshop: Fit für Big Data. Mittwoch, 29.04.2015 in Hamburg
Review Freelancer-Workshop: Fit für Big Data Mittwoch, 29.04.2015 in Hamburg Am Mittwoch, den 29.04.2015, hatten wir von productive-data in Zusammenarbeit mit unserem langjährigen Partner Informatica zu
LOG AND SECURITY INTELLIGENCE PLATFORM
TIBCO LOGLOGIC LOG AND SECURITY INTELLIGENCE PLATFORM Security Information Management Logmanagement Data-Analytics Matthias Maier Solution Architect Central Europe, Eastern Europe, BeNeLux MMaier@Tibco.com
Stratosphere. Next-Generation Big Data Analytics Made in Germany
Stratosphere Next-Generation Big Data Analytics Made in Germany Robert Metzger Stratosphere Core Developer Technische Universität Berlin Ronald Fromm Head of Big Data Science Telekom Innovation Laboratories
Spark, Impala und Hadoop in der Kreditrisikoberechnung
Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort
Kann man Big Data managen?
Kann man Big Data managen? Information Governance in Retail-Unternhmen Uwe Nadler Senior Managing Consultant Big Data Architect Sales Leader Information Governance D-A-CH Themen Die Bedeutung von Information
NoSQL-Datenbanken. Kapitel 1: Einführung. Lars Kolb Sommersemester 2014. Universität Leipzig http://dbs.uni-leipzig.de 1-1
NoSQL-Datenbanken Kapitel 1: Einführung Lars Kolb Sommersemester 2014 Universität Leipzig http://dbs.uni-leipzig.de 1-1 Inhaltsverzeichnis NoSQL-Datenbanken Motivation und Definition Kategorisierung, Eigenschaften
Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013
Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013 The unbelievable Machine Company? 06.05.13 The unbelievable Machine Company
Big Data Herausforderungen und Chancen für Controller. ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC
Big Data Herausforderungen und Chancen für Controller ICV Jahrestagung, 19.05.2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC BARC: Expertise für datengetriebene Organisationen Beratung Strategie
SQL on Hadoop für praktikables BI auf Big Data.! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh
SQL on Hadoop für praktikables BI auf Big Data! Hans-Peter Zorn und Dr. Dominik Benz, Inovex Gmbh War nicht BigData das gleiche NoSQL? 2 Wie viele SQL Lösungen für Hadoop gibt es mittlerweile? 3 ! No SQL!?
Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover
Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:
Big Data in der Forschung
Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ) Gartner Hype Cycle July 2011 Folie 2 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die
DduP - Towards a Deduplication Framework utilising Apache Spark
- Towards a Deduplication Framework utilising Apache Spark utilising Apache Spark Universität Hamburg, Fachbereich Informatik Gliederung 1 Duplikaterkennung 2 Apache Spark 3 - Interactive Big Data Deduplication
Big Data Vom Hype zum Geschäftsnutzen
Big Data Vom Hype zum Geschäftsnutzen IBM IM Forum, Berlin, 16.04.2013 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Hype 15.04.2013 BARC 2013 2 1 Interesse an Big Data Nature 09-2008 Economist 03-2010
Jörg Schanko Technologieberater Forschung & Lehre Microsoft Deutschland GmbH joergsc@microsoft.com
Jörg Schanko Technologieberater Forschung & Lehre Microsoft Deutschland GmbH joergsc@microsoft.com Funktionsüberblick Sharepoint Technologien Erweiterungen Integration Architektur Betrieb Fragen 1 Collaboration
Big Data 10.000 ft. 20. Februar 2014 IHK Darmstadt DR. ROBERTO RAO, AXXESSIO GMBH
Big Data 10.000 ft 20. Februar 2014 IHK Darmstadt DR. ROBERTO RAO, AXXESSIO GMBH Inhalte Big Data Was ist das? Anwendungsfälle für Big Data Big Data Architektur Big Data Anbieter Was passiert in Zukunft
Trends im Markt für Business Intelligence. Patrick Keller, Senior Analyst & Prokurist CeBIT 2016
Trends im Markt für Business Intelligence Patrick Keller, Senior Analyst & Prokurist CeBIT 2016 18.03.2016 BARC 2016 2 IT Meta-Trends 2016 Digitalisierung Consumerization Agilität Sicherheit und Datenschutz
Big Data: Solaranlagen reparieren Waschmaschinen? 2014 IBM Corporation
Big Data: Solaranlagen reparieren Waschmaschinen? Agenda Kurze Vorstellung Der Kunde und der ursprüngliche Ansatz Bisherige Architektur Vorgeschlagene Architektur Neue Aspekte der vorgeschlagenen Architektur
Big Data Eine Einführung ins Thema
Joachim Hennebach Marketing Manager IBM Analytics 11. Februar 2016 Big Data Eine Einführung ins Thema Nur kurz: Was ist Big Data? (Die 5 Vs.) Volumen Vielfalt Geschwindigkeit Datenwachstum Von Terabytes
Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!
Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler
Kann man Big Data managen? Wie passt Big Data in Information Governance Konzepte? Uwe Nadler Senior Managing Consultant Information Agenda Architect
Kann man Big Data managen? Wie passt Big Data in Information Governance Konzepte? Uwe Nadler Senior Managing Consultant Information Agenda Architect Themen Die Bedeutung von Information Governance Was
Universität Leipzig Institut für Informatik Auffinden von Dubletten in ECommerce Datenbeständen
Universität Leipzig Institut für Informatik Auffinden von Dubletten in ECommerce Datenbeständen Hanna Köpcke AG 3: Objekt Matching Agenda Problemstellung FEVER-System - Manuell definierte Match-Strategien
Detecting Near Duplicates for Web Crawling
Detecting Near Duplicates for Web Crawling Gurmeet Singh Manku et al., WWW 2007* * 16th international conference on World Wide Web Detecting Near Duplicates for Web Crawling Finde near duplicates in großen
Big & Smart Data. bernard.bekavac@htwchur.ch
Big & Smart Data Prof. Dr. Bernard Bekavac Schweizerisches Institut für Informationswissenschaft SII Studienleiter Bachelor of Science in Information Science bernard.bekavac@htwchur.ch Quiz An welchem
Oracle Big Data Technologien Ein Überblick
Oracle Big Data Technologien Ein Überblick Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden Neue Beziehungen finden...
BI-Kongress 2016 COMBINED THINKING FOR SUCCESS - BI & S/4HANA
BI-Kongress 2016 COMBINED THINKING FOR SUCCESS - BI & S/4HANA AUFSTELLUNG OPTIMIEREN. ENTWICKELN SIE IHRE SYSTEMLANDSCHAFT WEITER UND VERKAUFEN SIE DIE CHANCEN IHREN ANWENDERN Yu Chen, Thorsten Stossmeister
Wird BIG DATA die Welt verändern?
Wird BIG DATA die Welt verändern? Frankfurt, Juni 2013 Dr. Wolfgang Martin Analyst und Mitglied im Boulder BI Brain Trust Big Data Entmythisierung von Big Data. Was man über Big Data wissen sollte. Wie
Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann
Cloud und Big Data als Sprungbrett in die vernetzte Zukunft am Beispiel Viessmann Adam Stambulski Project Manager Viessmann R&D Center Wroclaw Dr. Moritz Gomm Business Development Manager Zühlke Engineering
SAP Technologien für die Telematik Chancen für die Versicherungsbranche. Dr. Alfred Geers, SAP Schweiz 28. Oktober 2014
SAP Technologien für die Telematik Chancen für die Versicherungsbranche Dr. Alfred Geers, SAP Schweiz 28. Oktober 2014 Der Markt ist bezüglich Telematik bereits in Bewegung Versicherungen Kunden Automobilhersteller
Industrie 4.0 und Smart Data
Industrie 4.0 und Smart Data Herausforderungen für die IT-Infrastruktur bei der Auswertung großer heterogener Datenmengen Richard Göbel Inhalt Industrie 4.0 - Was ist das? Was ist neu? Herausforderungen
Intelligentes Datenmanagement und Architekturen für flexibles Reporting und Analytik
Intelligentes Datenmanagement und Architekturen für flexibles Reporting und Analytik Dr. Martin Hebach, Cebit 2015 Senior Solution Architect mhebach@informatica.com Abstract Für Business Intelligence Aufgaben
Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen
DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension
Lehrgebiet Informationssysteme
Lehrgebiet AG Datenbanken und (Prof. Michel, Prof. Härder) AG Heterogene (Prof. Deßloch) http://wwwlgis.informatik.uni-kl.de/ Was sind? Computergestützte Programmsysteme, die Informationen erfassen, dauerhaft
Big Data: Nutzen und Anwendungsszenarien. CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC
Big Data: Nutzen und Anwendungsszenarien CeBIT 2014 Dr. Carsten Bange, Gründer und Geschäftsführer BARC Big Data steht für den unaufhaltsamen Trend, dass immer mehr Daten in Unternehmen anfallen und von
Die Rolle des Stammdatenmanagements im digitalen Unternehmen
Dr. Wolfgang Martin Analyst und Mitglied im Boulder BI Brain Trust Die Rolle des Stammdatenmanagements im digitalen Unternehmen Frankfurt, April 2015 Die Digitalisierung der Welt Nach der Globalisierung
Information Integration in Zeiten von BigData mit IBM Information Server 9.1. Christian Lenke IBM Software Group InfoSphere Specialist
Information Integration in Zeiten von BigData mit IBM Information Server 9.1 Christian Lenke IBM Software Group InfoSphere Specialist Trusted Data Bereitstellung zuverlässiger Informationen transaktionale
NoSQL. Was Architekten beachten sollten. Dr. Halil-Cem Gürsoy adesso AG. Architekturtag @ SEACON 2012 Hamburg
NoSQL Was Architekten beachten sollten Dr. Halil-Cem Gürsoy adesso AG Architekturtag @ SEACON 2012 Hamburg 06.06.2012 Agenda Ein Blick in die Welt der RDBMS Klassifizierung von NoSQL-Datenbanken Gemeinsamkeiten
SPoT Agenda. Begrüßung und Vorstellung CAS AG. Markttrends aus Analystensicht. Big Data Trusted Information
SPoT Agenda Begrüßung und Vorstellung CAS AG Markttrends aus Analystensicht Big Data Trusted Information Lars Iffert, BARC GmbH Dr. Oliver Adamczak, IBM Deutschland GmbH Factory Ansatz für ETL-Prozesse
Nr. 33. NoSQL Databases
Nr. 33 NoSQL Databases Das Berner-Architekten-Treffen Das Berner-Architekten-Treffen ist eine Begegnungsplattform für an Architekturfragen interessierte Informatikfachleute. Partner Durch Fachvorträge
NoSQL HANSER. Einstieg in die Web 2.0 Datenbanken. Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner
Stefan Edlich Achim Friedland Jens Hampe Benjamin Brauer Markus Brückner NoSQL Einstieg in die Web 2.0 Datenbanken 2., akutalisierte und erweiterte Auflage HANSER Geleitwort Vorwort Vorwort zur 2. Auflage
Dateisysteme und Datenverwaltung in der Cloud
Dateisysteme und Datenverwaltung in der Cloud Sebastian Fischer Master-Seminar Cloud Computing - WS 2013/14 Institut für Telematik, Universität zu Lübeck Dateisysteme und Datenverwaltung in der Cloud 1
Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d. HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS
HERZLICH WILLKOMMEN ZUR VERANSTALTUNG VISUAL ANALYTICS AGENDA VISUAL ANALYTICS 9:00 09:30 Das datengetriebene Unternehmen: Big Data Analytics mit SAS die digitale Transformation: Handlungsfelder für IT
Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 1: Überblick über das SCAPE Projekt
Das SCAPE Projekt: Langzeitarchivierung und Skalierbarkeit Teil 1: Überblick über das SCAPE Projekt Dr. Sven Schlarb Österreichische Nationalbibliothek SCAPE ½ Informationstag 05. Mai 2014, Österreichische
MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen
MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?
Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2
Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es
MapReduce in der Praxis
MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation
Big Data für die Internet Sicherheit
Big Data für die Internet Sicherheit Ralph Kemperdick Hans Wieser Microsoft 1 Mobile-first Data-driven Cloud-first 2 2 3 Messenger Wi nd ow s Liv e 4 5 Anwendung: Das Microsoft Cybercrime Center 6 Betrug
Business Intelligence Architektur im Umfeld von Big Data (IDAREF) [D2] Bernd Meister Uetliberg, 16.09.2014 www.boak.ch
Business Intelligence Architektur im Umfeld von Big Data (IDAREF) [D2] Bernd Meister Uetliberg, 16.09.2014 www.boak.ch In dieser Session wird IDAREF, ein Framework, dass auf logischer Ebene eine analytische