Big Data in der Forschung

Größe: px
Ab Seite anzeigen:

Download "Big Data in der Forschung"

Transkript

1 Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ)

2 Gartner Hype Cycle July 2011 Folie 2

3 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die aufgrund ihrer Größe schwierig zu bearbeiten sind Das Problem des rasant steigenden Datenvolumens (Faktor 2 pro Jahr laut IDC Studie) Methoden und Werkzeuge, um die wachsenden Datenmengen zu bearbeiten Ist Big Data neu? Nein Es verschieben sich nur die Grenzen, was Big Data Datenmengen sind Weisheit Wissen Informationen Daten Folie 3

4 Beispiele aus der Forschung Physik LHC erzeugt bis zu 15 PB pro Jahr an Rohdaten Weltweiter GRID Struktur zur Speicherung und Analyse der Datenmengen Über 150 Petabyes Speicherkapazität Über Prozessor Cores Verteilt über 34 Länder Tier-2 Site in Aachen mit über 500 TB Disk Kapazität, wird derzeit erweitert Folie 4

5 Beispiele aus der Forschung Feldversuche / Sensornetzwerke EU Projekt eurofot, IKA der RWTH beteiligt Groß angelegt Feldstudie zur Untersuchung von Fahrsicherheitssystemen 1000 Fahrzeuge insgesamt 8 TB Daten an Sensordaten von 240 Fahrzeugen Speicherung der Daten in einer relationalen Datenbank für die Auswertung Datenmenge für weitere Versuche wird massiv steigen Folie 5

6 Beispiele aus der Forschung Simulationen Verbrennungssimulation des ITV der RWTH 4 Monate Rechnung auf BlueGene in Jülich Entwicklung einer Shared Memory Anwendung zur Analyse der Simulationsergebnisse in Kooperation zwischen ITV und RZ (Verfolgung von Partikeln) Auswertung auf SGI Altix im Leibniz Rechenzentrum München aufgrund der hohen Speicheranforderungen Institute for Combustion Technology Chair for Operating Systems Center for Computing and Communication Folie 6

7 Beispiele aus der Forschung Bioinformatik Kosten für Sequenzierung von Genomen fällt drastisch Massives Datenwachstum Sequenzen müssen aufbereitet werden Pattern Matching auf sehr großen und kontinuierlich wachsenden Dantenmengen Grafik von Folie 7

8 Big Data Herausforderung Datenmengen heute schon vielfach sehr groß Verdoppelung alle 2 Jahre Limit des Wachstums in der Forschung sind die Kosten Auswertung der Daten Skalierung mit Datenmenge Einfache Bedienung der Werkzeuge -> Fokus auf eigentliche Forschung Daten verstehen Daten -> Information -> Wissen -> Weisheit Transport der Daten zwischen Forschungseinrichtungen 20 Gbit/s = 2,5 Gbyte/s Übertragung von 10 TB knapp über 1 Stunde bei voller Bandbreite Aufbewahrung von Primärdaten für 10 Jahre DFG Grundsätze guter wissenschaftlicher Praxis Folie 8

9 Werkzeuge In der Forschung kommen verschiedene Werkzeuge zum Einsatz (Relationale) Datenbanken HPC Cluster Immersive Visualization Map Reduce Cluster (in Europa im kommen) Archivsysteme für die Primärdatenhaltung Das Thema Big Data und die Werkzeuge sind auch Forschungsgegenstand Folie 9

10 Werkzeuge: HPC Cluster HPC Cluster Bis vor einiger Zeit sehr stark Compute lastig Trend zu mehr Speicherkapazität und höheren IO Bandbreiten An der RWTH große Shared Memory Systeme (bis zu 4 TB RAM, 512 CPU Cores) RWTH HPC Ausschreibungen Rechenleistung 200 Tflops 300 Tflops Speicherplatz 1 PB Lustre (+ 100 TB NFS) 1,5 PB Lustre (+ 1,5 PB NFS) IO Bandbreite 10 GB/s 19 GB/s Folie 10

11 Werkzeuge: Immersive Visualization Immersive Visualization (VR) Werkzeug um Daten, Abläufe und Zusammenhänge zu verstehen Kleine lokale 3D Monitore in den Einrichtungen Große zentrale System im RZ Neue CAVE kurz vor der Fertigstellung (5 Seiten, ca. 5m x 5m x 3m, 24 HD Beamer) Visualisierungscluster Teil des HPC Systems mit schnellem Zugriff auf den Storage Bilder VR Gruppe des RZ Folie 11

12 Werkzeuge: Map Reduce Cluster Map Reduce Cluster Map Reduce als Framework / Programmierparadigma für Big Data Anwendungen Populär geworden durch eine Google Veröffentlichung von 2004 Open Source Implementierung Apache Hadoop Viele Nutzer mit Internet scale Anwendungen wie Facebook Testinstallation an der RWTH auf Basis älterer Hardware (560 TB) Forschungsaktivitäten im Bereich Algorithmen für das Map Reduce Paradigma Einsatz als Werkzeug wird evaluiert Folie 12

13 Big Data in der Forschung Big Data nicht nur Big, sondern auch komplex Extraktion von Information und später Wissen erfordert rechenintensive Methoden Analysemethoden für komplexe Daten vorhanden, z.b.: Statistische Datenanalysen (Clustering, Klassifikation, Warenkorbanalyse) Datenbanktechnologien (effiziente Anfragebearbeitung, Ähnlichkeitssuche, ) aber oft nicht für große Datenmengen geeignet (ein Future work Thema) Effiziente Parallelisierung je nach Programmiermodell und vorhandener Infrastruktur nicht trivial Spezielle Algorithmen mit Blick auf hohe Skalierbarkeit notwendig Folie 13

14 Fazit Big Data ist als ein Trendthema in Europa angekommen Das Big ist nicht definiert Ist relativ zur verfügbaren Technologie Ist relativ zu den vorhandenen Ressourcen Große Datenmengen waren schon immer Teil der Forschung An Methoden und Werkzeugen wird kontinuierlich geforscht Forschungseinrichtungen haben Erfahrung mit großen Datenmengen Einige der Lösungen aus dem Forschungsumfeld lassen sich auch in anderen Bereichen nutzen Interesse an Forschungskooperationen? Folie 14

Big Data Herausforderungen für Rechenzentren

Big Data Herausforderungen für Rechenzentren FINANCIAL INSTITUTIONS ENERGY INFRASTRUCTURE, MINING AND COMMODITIES TRANSPORT TECHNOLOGY AND INNOVATION PHARMACEUTICALS AND LIFE SCIENCES Big Data Herausforderungen für Rechenzentren RA Dr. Flemming Moos

Mehr

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

Datenbank-Service. RZ-Angebot zur Sicherstellung von Datenpersistenz. Thomas Eifert. Rechen- und Kommunikationszentrum (RZ)

Datenbank-Service. RZ-Angebot zur Sicherstellung von Datenpersistenz. Thomas Eifert. Rechen- und Kommunikationszentrum (RZ) RZ-Angebot zur Sicherstellung von Datenpersistenz Thomas Eifert Rechen- und Kommunikationszentrum (RZ) Ausgangspunkt Beobachtungen: Für Datenhaltung /-Auswertung: Verschiebung weg von eigenen Schnittstellen

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Datenanalyse im Web. Einführung in das Thema. Prof. Dr. Ingo Claÿen. Beispiele für Daten im Web. Extraktion und Aggregation von Informationen

Datenanalyse im Web. Einführung in das Thema. Prof. Dr. Ingo Claÿen. Beispiele für Daten im Web. Extraktion und Aggregation von Informationen Datenanalyse im Web Einführung in das Thema Prof. Dr. Ingo Claÿen Hochschule für Technik und Wirtschaft Berlin Beispiele für Daten im Web Extraktion und Aggregation von Informationen Datenanalyse im Web

Mehr

Experimenten. really big data

Experimenten. really big data Datenfluss in CERN- Experimenten really big data Gliederung Das CERN Allgemeines Wichtige Errungenschaften Der Weg der Daten Das CMS-Experiment Aufbau Anfallende Daten Trigger Das Grid Die Ebenen des Grid

Mehr

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,

Mehr

Storage Summit 2014. Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450

Storage Summit 2014. Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450 Storage Summit 2014 Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450 Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Zentrale wissenschaftliche Einrichtung der Technischen Universität

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center PROFI UND NUTANIX Portfolioerweiterung im Software Defined Data Center IDC geht davon aus, dass Software-basierter Speicher letztendlich eine wichtige Rolle in jedem Data Center spielen wird entweder als

Mehr

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien

Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Wir unternehmen IT. Erfahrungsbericht: Umstieg von RDBMS auf Big Data-Technologien Karlsruhe, 30.09.2015 $id thgreiner Thorsten Greiner Teamleiter Software Development ConSol* Software GmbH, Düsseldorf

Mehr

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN?

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? 3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? Udo Schaefer Berlin, den 10. November 2011 DIE NETZE UND IHRE NUTZUNG Berechnungsgrundlage 800 Millionen Facebook Nutzer Transport

Mehr

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE

Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Institut für Kartographie und Geoinformatik Leibniz Universität Hannover Generalisierung von großen Datenbeständen am Beispiel der Gebäudegeneralisierung mit CHANGE Frank Thiemann, Thomas Globig Frank.Thiemann@ikg.uni-hannover.de

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik

ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE. NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik ARFA ANALYTICS, RISK MANAGEMENT & FINANCE ARCHITECTURE NoSQL Datenbanksysteme Übersicht, Abgrenzung & Charakteristik Ralf Leipner Domain Architect Analytics, Risk Management & Finance 33. Berner Architekten

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus

Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus Christopher Jung, KIT (SCC) KIT University of the State of Baden-Wuerttemberg and National Research Center of

Mehr

EMC. Data Lake Foundation

EMC. Data Lake Foundation EMC Data Lake Foundation 180 Wachstum unstrukturierter Daten 75% 78% 80% 71 EB 106 EB 133 EB Weltweit gelieferte Gesamtkapazität Unstrukturierte Daten Quelle März 2014, IDC Structured vs. Unstructured

Mehr

Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren

Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren Manuel Giffels III. Physikalisches Institut B RWTH Aachen Bad Honnef, 23.08.2005 Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3

Mehr

MOGON. Markus Tacke HPC ZDV. HPC - AHRP Markus Tacke, ZDV, Universität Mainz

MOGON. Markus Tacke HPC ZDV. HPC - AHRP Markus Tacke, ZDV, Universität Mainz MOGON Markus Tacke HPC ZDV HPC - AHRP Was ist Mogon allgemein? Das neue High Performance Cluster der JGU Ein neues wichtiges Werkzeug für Auswertung von Messdaten und Simulationen Beispiele Kondensierte

Mehr

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden Jens Kaminski ERP Strategy Executive IBM Deutschland Ungebremstes Datenwachstum > 4,6 Millarden

Mehr

Centre of Excellence for High Performance Computing Erlangen Kompetenzgruppe für Supercomputer und Technisch-Wissenschaftliche Simulation

Centre of Excellence for High Performance Computing Erlangen Kompetenzgruppe für Supercomputer und Technisch-Wissenschaftliche Simulation 1 Centre of Excellence for High Performance Computing Erlangen Kompetenzgruppe für Supercomputer und Technisch-Wissenschaftliche Simulation Dr. G. Wellein, Regionales Rechenzentrum Erlangen Supercomputer

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Large Scale Data Management

Large Scale Data Management Large Scale Data Management Beirat für Informationsgesellschaft / GOING LOCAL Wien, 21. November 2011 Prof. Dr. Wolrad Rommel FTW Forschungszentrum Telekommunikation Wien rommel@ftw.at Gartner's 2011 Hype

Mehr

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution EXASOL @ Symposium on Scalable Analytics Skalierbare Analysen mit EXASolution EXASOL AG Wer sind wir R&D: + seit 2000 + laufend Forschungsprojekte Produkt: Analytische Datenbank EXASolution Focus auf Komplexität

Mehr

HLRN III - HPC Ressource für Norddeutschland

HLRN III - HPC Ressource für Norddeutschland HLRN III - HPC Ressource für Norddeutschland Holger Naundorf RRZN Leibniz Universität IT Services Schloßwender Straße 5 30159 Hannover naundorf@rrzn.uni-hannover.de 23. September 2014 Inhalt Der HLRN Verbund

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

Möglichkeiten für bestehende Systeme

Möglichkeiten für bestehende Systeme Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-

Mehr

Effizienter Einsatz von Flash-Technologien im Data Center

Effizienter Einsatz von Flash-Technologien im Data Center Effizienter Einsatz von Flash-Technologien im Data Center Herbert Bild Solution Marketing Manager Georg Mey Solutions Architect 1 Der Flash-Hype 2 Drei Gründe für den Hype um Flash: 1. Ungebremstes Datenwachstum

Mehr

Dezentrale Datenproduktion und -analyse bei DØ

Dezentrale Datenproduktion und -analyse bei DØ Dezentrale Datenproduktion und -analyse bei DØ Thomas Nunnemann LMU München nunne@fnal.gov DPG Mainz 31.3.04 Computing: Aufgaben/Anforderungen Datenaustausch verteilter Datenbankzugriff Prozessierung von

Mehr

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence IBM Netezza Roadshow 30. November 2011 Carsten Bange Gründer & Geschäftsführer BARC Die Krise hat die Anforderungen

Mehr

Hochleistungs-Disk-I/O

Hochleistungs-Disk-I/O Hochleistungs-Disk-I/O mit Lustre, dcache und AFS eine vergleichende Betrachtung Stephan Wiesand DESY DV 33. Treffen des ZKI AK Supercomputing Hamburg, 2010-03-04 Computing am DESY Standort Zeuthen Batch

Mehr

Super rechnen ohne Superrechner Oder: Was hat das Grid mit Monte Carlo zu tun?

Super rechnen ohne Superrechner Oder: Was hat das Grid mit Monte Carlo zu tun? Super rechnen ohne Superrechner Oder: Was hat das Grid mit Monte Carlo zu tun? Marius Mertens 20.02.2015 Super rechnen ohne Superrechner? Warum? Algorithmik und Parallelisierung Wie? Alternative Architekturen

Mehr

Die deutsche Windows HPC Benutzergruppe

Die deutsche Windows HPC Benutzergruppe Christian Terboven, Dieter an Mey {terboven, anmey}@rz.rwth aachen.de Rechen und Kommunikationszentrum RWTH Aachen Windows HPC Server Launch 16. Oktober, Frankfurt am Main Agenda o Hochleistungsrechnen

Mehr

T-Systems Austria. Green Dynamics Modell.

T-Systems Austria. Green Dynamics Modell. T-Systems Austria. Green Dynamics Modell. Max Schaffer Vice President ICT Operations. 26-11-2008 T-Systems Austria Green Dynamics Modell 1 T-Systems Green ICT. Konkrete Ziele. Vollständige Umweltbewertung

Mehr

Was darf das Grid kosten?

Was darf das Grid kosten? Was darf das Grid kosten? Dr. Marcel Kunze Steinbuch Centre for Computing Abteilung Integration und Virtualisierung Die Kooperation von Darf das Grid was kosten? Infrastruktur: Geschäftsmodell oder Sponsoring?

Mehr

Grid-Computing. LHC Computing: Datenanalyse im weltweiten GRID

Grid-Computing. LHC Computing: Datenanalyse im weltweiten GRID LHC Computing: Datenanalyse im weltweiten GRID Vortrag: Walter Bender Betreuer: Thomas Kreß 1 Themenüberblick Was ist Grid Computing Einführung technische Entwicklung Vergleich mit Stromnetz Anwendungen

Mehr

Das Knowledge Grid. Eine Architektur für verteiltes Data Mining

Das Knowledge Grid. Eine Architektur für verteiltes Data Mining Das Knowledge Grid Eine Architektur für verteiltes Data Mining 1 Gliederung 1. Motivation 2. KDD und PDKD Systeme 3. Knowledge Grid Services 4. TeraGrid Projekt 5. Das Semantic Web 2 Motivation Rapide

Mehr

BIG DATA ANALYTICS STATUS QUO VADIS

BIG DATA ANALYTICS STATUS QUO VADIS Heading BIG DATA ANALYTICS STATUS QUO VADIS Name, Position Reiner Pistorius 17.03.2016 1 18.03.2016 1 Willkommen, Vorstellung, Warm up 2 Definition Big Data 3 Einsatz in Unternehmen heute 4 Künftige Entwicklung,

Mehr

Sozio- Technische Systeme

Sozio- Technische Systeme Soziotechnische Informationssysteme 7. Skalierbarkeit 2013 757 Millionen melden sich täglich an (12/2013) 802 DAUs laut FB (1 Quartal 2014) 1.23 Milliarden Nutzer im Monat (12/2013) 556 Millionen täglich

Mehr

BI-Kongress 2016 COMBINED THINKING FOR SUCCESS - BI & S/4HANA

BI-Kongress 2016 COMBINED THINKING FOR SUCCESS - BI & S/4HANA BI-Kongress 2016 COMBINED THINKING FOR SUCCESS - BI & S/4HANA AUFSTELLUNG OPTIMIEREN. ENTWICKELN SIE IHRE SYSTEMLANDSCHAFT WEITER UND VERKAUFEN SIE DIE CHANCEN IHREN ANWENDERN Yu Chen, Thorsten Stossmeister

Mehr

Dienste aus dem RZ. Managed Serverhosting Managed Services Integratives Hosting

Dienste aus dem RZ. Managed Serverhosting Managed Services Integratives Hosting Dienste aus dem RZ Managed Serverhosting Managed Services Integratives Hosting Folie 1 Agenda Managed Serverhosting Managed Services Integratives Hosting Folie 2 Managed Serverhosting Bereitstellung virtualisierter

Mehr

WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN

WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN Dr. Bernd Kiupel Azure Lead Microsoft Schweiz GmbH NEUE MÖGLICHKEITEN DURCH UNABHÄNGIGKEIT VON INFRASTRUKTUR BISHER: IT-Infrastruktur begrenzt Anwendungen

Mehr

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Richard Beyer 1 Inhalt 1. Allgemeines 2. Amazon EC2 3. Yahoo Cloud 4. Vergleich 5. Fazit 6. Literatur Richard Beyer 2 Definition Cloud computing

Mehr

Stefan Kusiek BFW-Leipzig

Stefan Kusiek BFW-Leipzig Stefan Kusiek BFW-Leipzig Schnellere Geräte (CPU, HDD, RAM, ) Mehrere Geräte (CPU, HDD, RAM, ) Mehrere Geräte (Rechner, Server, ) Cluster Preiswerter????? Mindestgröße Installation Konfiguration Wartung

Mehr

Erfahrungen mit parallelen Dateisystemen

Erfahrungen mit parallelen Dateisystemen Erfahrungen mit parallelen n frank.mietke@informatik.tu-chemnitz.de Fakultätsrechen- und Informationszentrum (FRIZ) Professur Rechnerarchitektur Technische Universität Chemnitz 25.09.2007 - Megware HPC

Mehr

Orientierungsveranstaltungen 2009 Informatikstudien der Universität Wien

Orientierungsveranstaltungen 2009 Informatikstudien der Universität Wien Orientierungsveranstaltungen 2009 Informatikstudien der Universität Wien Scientific Computing 07. Oktober 2009 Siegfried Benkner Wilfried Gansterer Fakultät für Informatik Universität Wien www.cs.univie.ac.at

Mehr

BIG DATA HYPE ODER CHANCE

BIG DATA HYPE ODER CHANCE BIG DATA HYPE ODER CHANCE 1 Fuchs Dominik 16.05.2014 Fahrplan 2 Begriff Big Data Die 3 V s Fallbeispiel Google Was? Wie? Womit? Fazit & Ausblick in die Zukunft Der Begriff Big Data 3 Datenmengen, die zu

Mehr

Automatische Speicherverwaltung im HPC Umfeld. Wolfgang Oestreich BlueArc Germany GmbH

Automatische Speicherverwaltung im HPC Umfeld. Wolfgang Oestreich BlueArc Germany GmbH Automatische Speicherverwaltung im HPC Umfeld Wolfgang Oestreich BlueArc Germany GmbH Agenda BlueArc Überblick und Neuigkeiten Lösung im HPC Umfeld am Beispiel eines Sequencers Ausblick BlueArc - Überblick

Mehr

Datenaustausch im Rechnerverbund NRW. Thomas Eifert Rechen- und Kommunikationszentrum der RWTH Aachen eifert@rz.rwth-aachen.de

Datenaustausch im Rechnerverbund NRW. Thomas Eifert Rechen- und Kommunikationszentrum der RWTH Aachen eifert@rz.rwth-aachen.de Datenaustausch im Rechnerverbund NRW Rechen- und Kommunikationszentrum der RWTH Aachen eifert@rz.rwth-aachen.de RV-NRW: Status Der Verbund auf Basis von DCE/DFS läuft technisch stabil Rechenzentren stellen

Mehr

Hochleistungsrechnen und Grid-Computing am ZIH

Hochleistungsrechnen und Grid-Computing am ZIH Zentrum für Informationsdienste und Hochleistungsrechnen Hochleistungsrechnen und Grid-Computing am ZIH Dresden, 5.7.2007 Hochleistungsrechner / Speicherkomplex ZIH-Ressourcen im Grid Hardware Software

Mehr

LCG. LHC Computing Grid. Rolf Reinthaler. Universität Würzburg. 17. Juli 2009

LCG. LHC Computing Grid. Rolf Reinthaler. Universität Würzburg. 17. Juli 2009 LCG LHC Computing Grid Rolf Reinthaler Universität Würzburg 17. Juli 2009 Rolf Reinthaler (Universität Würzburg) LHC Computing Grid 17. Juli 2009 1 / 28 Contents 1 Anforderungen an das LHC Computing 2

Mehr

Virtualisierung am Beispiel des LRZ Stefan Berner berner@lrz.de

Virtualisierung am Beispiel des LRZ Stefan Berner berner@lrz.de Virtualisierung am Beispiel des LRZ Stefan Berner berner@lrz.de Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Agenda Einleitung Vor- und Nachteile der Virtualisierung Virtualisierungssoftware

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Software AG Innovation Day 2014 Bonn, 2.7.2014 Dr. Carsten Bange, Geschäftsführer Business Application Research Center

Mehr

Das LHC-Computing-Grid

Das LHC-Computing-Grid Das LHC-Computing-Grid Von Julian Gethmann WS 11/12 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Überblick Ansprüche an die Rechnerinfrastruktur

Mehr

Caching. Hintergründe, Patterns &" Best Practices" für Business Anwendungen

Caching. Hintergründe, Patterns & Best Practices für Business Anwendungen Caching Hintergründe, Patterns &" Best Practices" für Business Anwendungen Michael Plöd" Senacor Technologies AG @bitboss Business-Anwendung!= Twitter / Facebook & co. " / kæʃ /" bezeichnet in der EDV

Mehr

Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT

Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT Folie 1 VDE-Symposium 2013 BV Thüringen und Dresden Virtualisierung von Leittechnikkomponenten Andreas Gorbauch PSIEnergie-EE Folie

Mehr

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse

NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse NoSQL-Datenbanken und Hadoop im Zusammenspiel mit dem Data Warehouse Carsten Czarski Oracle Deutschland B.V. & Co KG Big Data Betrachten von Daten die bislang nicht betrachtet wurden

Mehr

Cloud Computing für KMU-Unternehmen. Michael Herkens

Cloud Computing für KMU-Unternehmen. Michael Herkens Cloud Computing für KMU-Unternehmen Michael Herkens Agenda Was ist Cloud Computing? Warum Cloud? Welche Cloud? Was in der Cloud? Wie in die Cloud? Was ist Cloud Computing? Beispiel Sicherheit Verfügbarkeit

Mehr

Datenexplosion Auswirkungen auf Rechenzentren

Datenexplosion Auswirkungen auf Rechenzentren FINANCIAL INSTITUTIONS ENERGY INFRASTRUCTURE, MINING AND COMMODITIES TRANSPORT TECHNOLOGY AND INNOVATION PHARMACEUTICALS AND LIFE SCIENCES Datenexplosion Auswirkungen auf Rechenzentren RA Dr. Flemming

Mehr

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Fritz Günther 17.03.2014 Folie 1 Agenda Was ist Virtualisierung Server- / Clientvirtualisierung

Mehr

EMC ISILON & TSM. Hans-Werner Rektor Advisory System Engineer Unified Storage Division. Oktober 2013

EMC ISILON & TSM. Hans-Werner Rektor Advisory System Engineer Unified Storage Division. Oktober 2013 EMC ISILON & TSM Hans-Werner Rektor Advisory System Engineer Unified Storage Division Oktober 2013 1 Tivoli Storage Manager - Überblick Grundsätzliche Technologie Incremental Forever Datensicherungsstrategie

Mehr

Cloud Computing. Vorlesung an der Hochschule Karlsruhe - Technik und Wirtschaft im Sommersemester 2015 Michael Fischer und Georg Magschok

Cloud Computing. Vorlesung an der Hochschule Karlsruhe - Technik und Wirtschaft im Sommersemester 2015 Michael Fischer und Georg Magschok Cloud Computing Vorlesung an der Hochschule Karlsruhe - Technik und Wirtschaft im Sommersemester 2015 Michael Fischer und Georg Magschok mf@wanulator.de gio@eglikoe.de Die Vorlesung im Web: http://www.home.hs-karlsruhe.de/~mage0003/

Mehr

Aufbau eines VR-Systems zur multimodalen Interaktion mit komplexen physikalischen Modellen

Aufbau eines VR-Systems zur multimodalen Interaktion mit komplexen physikalischen Modellen Fazit Aufbau eines s zur multimodalen Interaktion mit komplexen physikalischen Modellen Guido Rasmus Maximilian Klein, Franz-Erich Wolter Leibniz Universität Hannover Institut für Mensch-Maschine-Kommunikation

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

Positionspapier Big Data

Positionspapier Big Data TeleTrusT-interner Workshop Berlin, 05.06.2014 Positionspapier Big Data Oliver Dehning, antispameurope GmbH Leiter der AG Cloud Security Definition Big Data Big Data bezeichnet große Datenmengen (Volume)

Mehr

Die EBCONT Unternehmensgruppe.

Die EBCONT Unternehmensgruppe. 1200 Wien, Handelskai 94-96 Johannes Litschauer, Alex Deles IT-Infrastruktur IT-Betrieb (managed Services) Cloud / Elastizität 1200 Wien, Handelskai 94-96 Johannes Litschauer, Alex Deles Enterprise Solutions

Mehr

Hochverfügbarkeit mit Windows Server vnext. Carsten Rachfahl Microsoft Hyper-V MVP

Hochverfügbarkeit mit Windows Server vnext. Carsten Rachfahl Microsoft Hyper-V MVP Hochverfügbarkeit mit Windows Server vnext Carsten Rachfahl Microsoft Hyper-V MVP Carsten Rachfahl www.hyper-v-server.de Roling Cluster Upgrade Herausforderung: Update eines Failover Clusters ohne Downtime

Mehr

Virtualisierung: Neues aus 2010 und Trends 2011

Virtualisierung: Neues aus 2010 und Trends 2011 Virtualisierung: Neues aus 2010 und Trends 2011 Werner Fischer, Technology Specialist Thomas-Krenn.AG Thomas Krenn Herbstworkshop 2010 Freyung, 24. September 2010 Agenda 1) Virtualisierungs-Software VMware

Mehr

Grundlagen des Grid Computing

Grundlagen des Grid Computing Grundlagen des Grid Computing Grid Middleware Toolkits: glite ICA Joh.. Kepler Universität t Linz glite Grid Middleware für das LHC Grid Wurde im Rahmen des EGEE Projekts entwickelt Basiert auf dem Globus

Mehr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr

Peter Dikant mgm technology partners GmbH. Echtzeitsuche mit Hadoop und Solr Peter Dikant mgm technology partners GmbH Echtzeitsuche mit Hadoop und Solr ECHTZEITSUCHE MIT HADOOP UND SOLR PETER DIKANT MGM TECHNOLOGY PARTNERS GMBH WHOAMI peter.dikant@mgm-tp.com Java Entwickler seit

Mehr

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen

MapReduce. www.kit.edu. Johann Volz. IPD Snelting, Lehrstuhl Programmierparadigmen MapReduce Johann Volz IPD Snelting, Lehrstuhl Programmierparadigmen KIT Universität des Landes Baden-Württemberg und nationales Großforschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Wozu MapReduce?

Mehr

Aktuelle Trends und Herausforderungen in der Finite-Elemente-Simulation

Aktuelle Trends und Herausforderungen in der Finite-Elemente-Simulation Aktuelle Trends und Herausforderungen in der Finite-Elemente-Simulation Kai Diethelm GNS Gesellschaft für numerische Simulation mbh Braunschweig engineering software development Folie 1 Überblick Vorstellung

Mehr

GIS in der Cloud: Beispiele von ESRI und con terra

GIS in der Cloud: Beispiele von ESRI und con terra GIS in der Cloud: Beispiele von ESRI und con terra Dr. Matthias Bluhm ESRI Deutschland GmbH 9. März 2011, Darmstadt 2 ESRI Deutschland GmbH, 2011 GmbH 2010 ESRI Unternehmensgruppe (in Deutschland und der

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics

Oracle BI&W Referenz Architektur Big Data und High Performance Analytics DATA WAREHOUSE Oracle BI&W Referenz Architektur Big Data und High Performance Analytics Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen

Mehr

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Ab in den Himmel: Was kommt jenseits der Cloud? 1 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Inhalt 1. Einleitung / Motivation 2. Cloud ein bisschen

Mehr

Titelmasterformat durch Klicken bearbeiten

Titelmasterformat durch Klicken bearbeiten Titelmasterformat durch Klicken Titelmasterformat durch Klicken Huawei Enterprise Server Systeme Global Player auf dem Server- und Storagemarkt Scale up Übersicht Titelmasterformat durch Klicken Textmasterformat

Mehr

Isilon Scale Out NAS & Big Data

Isilon Scale Out NAS & Big Data Isilon Scale Out NAS & Big Data Ingmar Löke Senior Account Manager ISILON Storage Devision 1 Agenda Marktsituation Welche Treiber sind da draußen? Eingliederung im EMC Portfolio Produkt Überblick Isilon

Mehr

Scale-Up oder Scale Out?

Scale-Up oder Scale Out? Scale-Up oder Scale Out? Ein Leben ohne Hindernisse mit dem neuen Speicher-Betriebssystem von NetApp Mathias Riediger System Engineer NetApp ein Portfolio Anbieter! EF-Series E-Series FAS 2220 FAS 2240

Mehr

Vorlesung Datenbankmanagementsysteme. Vorlesung Datenbankmanagementsysteme Überblick M. Lange, S. Weise Folie #0-1

Vorlesung Datenbankmanagementsysteme. Vorlesung Datenbankmanagementsysteme Überblick M. Lange, S. Weise Folie #0-1 Vorlesung Datenbankmanagementsysteme Vorlesung Datenbankmanagementsysteme Überblick M. Lange, S. Weise Folie #0-1 Vorlesung Datenbankmanagementsysteme Überblick M. Lange, S. Weise Folie #0-2 Bioinformatik:

Mehr

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes

Hadoop. Eine Open-Source-Implementierung von MapReduce und BigTable. von Philipp Kemkes Hadoop Eine Open-Source-Implementierung von MapReduce und BigTable von Philipp Kemkes Hadoop Framework für skalierbare, verteilt arbeitende Software Zur Verarbeitung großer Datenmengen (Terra- bis Petabyte)

Mehr

Big Data Modewort oder echter Mehrwert. freenet Group Dr. Florian Johannsen

Big Data Modewort oder echter Mehrwert. freenet Group Dr. Florian Johannsen Big Data Modewort oder echter Mehrwert freenet Group Dr. Florian Johannsen freenet Group 2 Titel der Präsentation 07.07.2015 Mobilfunkgeschäft der freenet Group Austausch von Daten und Informationen Im

Mehr

best Systeme GmbH Michael Beeck Geschäftsführer, CTO Michael.Beeck@best.de best Systeme GmbH

best Systeme GmbH Michael Beeck Geschäftsführer, CTO Michael.Beeck@best.de best Systeme GmbH best Systeme GmbH Michael Beeck Geschäftsführer, CTO Michael.Beeck@best.de best Systeme GmbH Münchner Str. 123a 85774 Unterföhring Tel: 089/950 60 80 Fax: 089/950 60 70 Web: www.best.de best Systeme GmbH

Mehr

Copyright 2014, Oracle and/or its affiliates. All rights reserved.

Copyright 2014, Oracle and/or its affiliates. All rights reserved. 1 Integrierte Systeme für ISVs Matthias Weiss Direktor Mittelstand Technologie ORACLE Deutschland B.V. & Co. KG 2 Agenda Engineered Systems Lösungsansatz aus der Praxis Engineered Systems Oracle s Strategie

Mehr

Instrument, Compute, Data Sharing Ressourcen gemeinsam nutzen statt selber aufbauen

Instrument, Compute, Data Sharing Ressourcen gemeinsam nutzen statt selber aufbauen Virtuelle Forschungsumgebungen aufbauen mit D Grid Workshop des WissGridFachberater Teams Instrument, Compute, Data Sharing Ressourcen gemeinsam nutzen statt selber aufbauen 19.01.2011 F.Schlünzen / DESY

Mehr

science + computing ag

science + computing ag science + computing ag Evaluation der Integration von Windows HPC in eine bestehende Berechnungsumgebung Harry Schlagenhauf science + computing ag IT-Dienstleistungen und Software für anspruchsvolle Rechnernetze

Mehr

Vorwort... 11 Azure Cloud Computing mit Microsoft... 12 Danksagungen... 13 Kontakt zum Autor... 13

Vorwort... 11 Azure Cloud Computing mit Microsoft... 12 Danksagungen... 13 Kontakt zum Autor... 13 Inhaltsverzeichnis Vorwort... 11 Azure Cloud Computing mit Microsoft... 12 Danksagungen... 13 Kontakt zum Autor... 13 Einleitung... 15 Zielgruppe... 16 Aufbau... 16 Inhalt der einzelnen Kapitel... 17 Systemanforderungen...

Mehr

Executive Summary BIG DATA Future Chancen und Herausforderungen für die deutsche Industrie

Executive Summary BIG DATA Future Chancen und Herausforderungen für die deutsche Industrie Executive Summary BIG DATA Future Chancen und Herausforderungen für die deutsche Industrie BIG DATA Future Opportunities and Challanges in the German Industry Zusammenfassung Die Menge der verfügbaren

Mehr

Proseminar - Data Mining

Proseminar - Data Mining Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1 Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen

Mehr

ASAM ODS 6.0 next technology

ASAM ODS 6.0 next technology ASAM ODS 6.0 next technology science + computing ag IT-Services and Software in complex computing environments Tuebingen Munich Berlin Duesseldorf Agenda science + computing ag auf einen Blick Motivation

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Andreas Bechter, Regional Product Manager EMEA IMG, Symantec

Andreas Bechter, Regional Product Manager EMEA IMG, Symantec Symantecs Appliance Strategie Andreas Bechter, Regional Product Manager EMEA IMG, Symantec Storage Trends 2011 Symantec Press University 2011 Appliance Strategie 2 Symantecs Appliance Strategie IMG SAMG:

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Cloud Computing Top oder Flop? 17. November 2010

Cloud Computing Top oder Flop? 17. November 2010 Cloud Computing Top oder Flop? 17. November 2010 DI Thomas Gradauer, Head of Presales-Consulting Raiffeisen Informatik ITSM-Beratung Raiffeisen BANK AVAL 16.10.2009 1 Agenda Raiffeisen Informatik Medienspiegel

Mehr