Big Data in der Forschung

Größe: px
Ab Seite anzeigen:

Download "Big Data in der Forschung"

Transkript

1 Big Data in der Forschung Dominik Friedrich RWTH Aachen Rechen- und Kommunikationszentrum (RZ)

2 Gartner Hype Cycle July 2011 Folie 2

3 Was ist Big Data? Was wird unter Big Data verstanden Datensätze, die aufgrund ihrer Größe schwierig zu bearbeiten sind Das Problem des rasant steigenden Datenvolumens (Faktor 2 pro Jahr laut IDC Studie) Methoden und Werkzeuge, um die wachsenden Datenmengen zu bearbeiten Ist Big Data neu? Nein Es verschieben sich nur die Grenzen, was Big Data Datenmengen sind Weisheit Wissen Informationen Daten Folie 3

4 Beispiele aus der Forschung Physik LHC erzeugt bis zu 15 PB pro Jahr an Rohdaten Weltweiter GRID Struktur zur Speicherung und Analyse der Datenmengen Über 150 Petabyes Speicherkapazität Über Prozessor Cores Verteilt über 34 Länder Tier-2 Site in Aachen mit über 500 TB Disk Kapazität, wird derzeit erweitert Folie 4

5 Beispiele aus der Forschung Feldversuche / Sensornetzwerke EU Projekt eurofot, IKA der RWTH beteiligt Groß angelegt Feldstudie zur Untersuchung von Fahrsicherheitssystemen 1000 Fahrzeuge insgesamt 8 TB Daten an Sensordaten von 240 Fahrzeugen Speicherung der Daten in einer relationalen Datenbank für die Auswertung Datenmenge für weitere Versuche wird massiv steigen Folie 5

6 Beispiele aus der Forschung Simulationen Verbrennungssimulation des ITV der RWTH 4 Monate Rechnung auf BlueGene in Jülich Entwicklung einer Shared Memory Anwendung zur Analyse der Simulationsergebnisse in Kooperation zwischen ITV und RZ (Verfolgung von Partikeln) Auswertung auf SGI Altix im Leibniz Rechenzentrum München aufgrund der hohen Speicheranforderungen Institute for Combustion Technology Chair for Operating Systems Center for Computing and Communication Folie 6

7 Beispiele aus der Forschung Bioinformatik Kosten für Sequenzierung von Genomen fällt drastisch Massives Datenwachstum Sequenzen müssen aufbereitet werden Pattern Matching auf sehr großen und kontinuierlich wachsenden Dantenmengen Grafik von Folie 7

8 Big Data Herausforderung Datenmengen heute schon vielfach sehr groß Verdoppelung alle 2 Jahre Limit des Wachstums in der Forschung sind die Kosten Auswertung der Daten Skalierung mit Datenmenge Einfache Bedienung der Werkzeuge -> Fokus auf eigentliche Forschung Daten verstehen Daten -> Information -> Wissen -> Weisheit Transport der Daten zwischen Forschungseinrichtungen 20 Gbit/s = 2,5 Gbyte/s Übertragung von 10 TB knapp über 1 Stunde bei voller Bandbreite Aufbewahrung von Primärdaten für 10 Jahre DFG Grundsätze guter wissenschaftlicher Praxis Folie 8

9 Werkzeuge In der Forschung kommen verschiedene Werkzeuge zum Einsatz (Relationale) Datenbanken HPC Cluster Immersive Visualization Map Reduce Cluster (in Europa im kommen) Archivsysteme für die Primärdatenhaltung Das Thema Big Data und die Werkzeuge sind auch Forschungsgegenstand Folie 9

10 Werkzeuge: HPC Cluster HPC Cluster Bis vor einiger Zeit sehr stark Compute lastig Trend zu mehr Speicherkapazität und höheren IO Bandbreiten An der RWTH große Shared Memory Systeme (bis zu 4 TB RAM, 512 CPU Cores) RWTH HPC Ausschreibungen Rechenleistung 200 Tflops 300 Tflops Speicherplatz 1 PB Lustre (+ 100 TB NFS) 1,5 PB Lustre (+ 1,5 PB NFS) IO Bandbreite 10 GB/s 19 GB/s Folie 10

11 Werkzeuge: Immersive Visualization Immersive Visualization (VR) Werkzeug um Daten, Abläufe und Zusammenhänge zu verstehen Kleine lokale 3D Monitore in den Einrichtungen Große zentrale System im RZ Neue CAVE kurz vor der Fertigstellung (5 Seiten, ca. 5m x 5m x 3m, 24 HD Beamer) Visualisierungscluster Teil des HPC Systems mit schnellem Zugriff auf den Storage Bilder VR Gruppe des RZ Folie 11

12 Werkzeuge: Map Reduce Cluster Map Reduce Cluster Map Reduce als Framework / Programmierparadigma für Big Data Anwendungen Populär geworden durch eine Google Veröffentlichung von 2004 Open Source Implementierung Apache Hadoop Viele Nutzer mit Internet scale Anwendungen wie Facebook Testinstallation an der RWTH auf Basis älterer Hardware (560 TB) Forschungsaktivitäten im Bereich Algorithmen für das Map Reduce Paradigma Einsatz als Werkzeug wird evaluiert Folie 12

13 Big Data in der Forschung Big Data nicht nur Big, sondern auch komplex Extraktion von Information und später Wissen erfordert rechenintensive Methoden Analysemethoden für komplexe Daten vorhanden, z.b.: Statistische Datenanalysen (Clustering, Klassifikation, Warenkorbanalyse) Datenbanktechnologien (effiziente Anfragebearbeitung, Ähnlichkeitssuche, ) aber oft nicht für große Datenmengen geeignet (ein Future work Thema) Effiziente Parallelisierung je nach Programmiermodell und vorhandener Infrastruktur nicht trivial Spezielle Algorithmen mit Blick auf hohe Skalierbarkeit notwendig Folie 13

14 Fazit Big Data ist als ein Trendthema in Europa angekommen Das Big ist nicht definiert Ist relativ zur verfügbaren Technologie Ist relativ zu den vorhandenen Ressourcen Große Datenmengen waren schon immer Teil der Forschung An Methoden und Werkzeugen wird kontinuierlich geforscht Forschungseinrichtungen haben Erfahrung mit großen Datenmengen Einige der Lösungen aus dem Forschungsumfeld lassen sich auch in anderen Bereichen nutzen Interesse an Forschungskooperationen? Folie 14

MATCHING VON PRODUKTDATEN IN DER CLOUD

MATCHING VON PRODUKTDATEN IN DER CLOUD MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's

Mehr

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired

Data. Guido Oswald Solution Architect @SAS Switzerland. make connections share ideas be inspired make connections share ideas be inspired Data Guido Oswald Solution Architect @SAS Switzerland BIG Data.. Wer? BIG Data.. Wer? Wikipedia sagt: Als Big Data werden besonders große Datenmengen bezeichnet,

Mehr

Big Data Herausforderungen für Rechenzentren

Big Data Herausforderungen für Rechenzentren FINANCIAL INSTITUTIONS ENERGY INFRASTRUCTURE, MINING AND COMMODITIES TRANSPORT TECHNOLOGY AND INNOVATION PHARMACEUTICALS AND LIFE SCIENCES Big Data Herausforderungen für Rechenzentren RA Dr. Flemming Moos

Mehr

Storage-Trends am LRZ. Dr. Christoph Biardzki

Storage-Trends am LRZ. Dr. Christoph Biardzki Storage-Trends am LRZ Dr. Christoph Biardzki 1 Über das Leibniz-Rechenzentrum (LRZ) Seit 50 Jahren Rechenzentrum der Bayerischen Akademie der Wissenschaften IT-Dienstleister für Münchner Universitäten

Mehr

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2.

Cloud-Computing. 1. Definition 2. Was bietet Cloud-Computing. 3. Technische Lösungen. 4. Kritik an der Cloud. 2.1 Industrie 2. Cloud Computing Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar, Sommersemester 2013 1. Definition

Mehr

Storage Summit 2014. Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450

Storage Summit 2014. Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450 Storage Summit 2014 Zellescher Weg 14 Willers-Bau A206 Tel. +49 351-463 - 35450 Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Zentrale wissenschaftliche Einrichtung der Technischen Universität

Mehr

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN?

3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? 3 MILLIARDEN GIGABYTE AM TAG ODER WELCHE KAPAZITÄTEN MÜSSEN NETZE TRAGEN? Udo Schaefer Berlin, den 10. November 2011 DIE NETZE UND IHRE NUTZUNG Berechnungsgrundlage 800 Millionen Facebook Nutzer Transport

Mehr

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover

Big Data. Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Big Data Prof. Robert Jäschke Forschungszentrum L3S Leibniz Universität Hannover Agenda Was ist Big Data? Parallele Programmierung Map/Reduce Der Big Data Zoo 2 3Vs oder: Was ist Big Data? Deutsche Telekom:

Mehr

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center

PROFI UND NUTANIX. Portfolioerweiterung im Software Defined Data Center PROFI UND NUTANIX Portfolioerweiterung im Software Defined Data Center IDC geht davon aus, dass Software-basierter Speicher letztendlich eine wichtige Rolle in jedem Data Center spielen wird entweder als

Mehr

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2

Seminar Cloud Data Management WS09/10. Tabelle1 Tabelle2 Seminar Cloud Data Management WS09/10 Tabelle1 Tabelle2 1 Einführung DBMS in der Cloud Vergleich verschiedener DBMS Beispiele Microsoft Azure Amazon RDS Amazon EC2 Relational Databases AMIs Was gibt es

Mehr

Hochleistungs-Disk-I/O

Hochleistungs-Disk-I/O Hochleistungs-Disk-I/O mit Lustre, dcache und AFS eine vergleichende Betrachtung Stephan Wiesand DESY DV 33. Treffen des ZKI AK Supercomputing Hamburg, 2010-03-04 Computing am DESY Standort Zeuthen Batch

Mehr

Large Scale Data Management

Large Scale Data Management Large Scale Data Management Beirat für Informationsgesellschaft / GOING LOCAL Wien, 21. November 2011 Prof. Dr. Wolrad Rommel FTW Forschungszentrum Telekommunikation Wien rommel@ftw.at Gartner's 2011 Hype

Mehr

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence

Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence Analytische Datenbanken und Appliances als Engine für erfolgreiche Business Intelligence IBM Netezza Roadshow 30. November 2011 Carsten Bange Gründer & Geschäftsführer BARC Die Krise hat die Anforderungen

Mehr

Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren

Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren Massenspeichersysteme im Einsatz bei TIER 2/3 Grid-Zentren Manuel Giffels III. Physikalisches Institut B RWTH Aachen Bad Honnef, 23.08.2005 Manuel Giffels Massenspeichersysteme im Einsatz bei TIER 2/3

Mehr

Big Data Mythen und Fakten

Big Data Mythen und Fakten Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved. About me Research Analyst @ IDC Author verschiedener IT-Fachbücher

Mehr

Dezentrale Datenproduktion und -analyse bei DØ

Dezentrale Datenproduktion und -analyse bei DØ Dezentrale Datenproduktion und -analyse bei DØ Thomas Nunnemann LMU München nunne@fnal.gov DPG Mainz 31.3.04 Computing: Aufgaben/Anforderungen Datenaustausch verteilter Datenbankzugriff Prozessierung von

Mehr

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar!

Clouds. Erwartungen der Nutzer. Wolkig bis Heiter. (c) 2013, Peter Sturm, Universität Trier. Er ist verwöhnt! Er ist nicht dankbar! Clouds Wolkig bis Heiter Erwartungen der Nutzer Er ist verwöhnt! Verfügbarkeit Viele Anwendungen Intuitive Interfaces Hohe Leistung Er ist nicht dankbar! Mehr! Mehr! Mehr! Moore 1 Erwartungen der Entwickler

Mehr

MOGON. Markus Tacke HPC ZDV. HPC - AHRP Markus Tacke, ZDV, Universität Mainz

MOGON. Markus Tacke HPC ZDV. HPC - AHRP Markus Tacke, ZDV, Universität Mainz MOGON Markus Tacke HPC ZDV HPC - AHRP Was ist Mogon allgemein? Das neue High Performance Cluster der JGU Ein neues wichtiges Werkzeug für Auswertung von Messdaten und Simulationen Beispiele Kondensierte

Mehr

Sozio- Technische Systeme

Sozio- Technische Systeme Soziotechnische Informationssysteme 7. Skalierbarkeit 2013 757 Millionen melden sich täglich an (12/2013) 802 DAUs laut FB (1 Quartal 2014) 1.23 Milliarden Nutzer im Monat (12/2013) 556 Millionen täglich

Mehr

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution

EXASOL @ Symposium on Scalable Analytics. www.exasol.com. Skalierbare Analysen mit EXASolution EXASOL @ Symposium on Scalable Analytics Skalierbare Analysen mit EXASolution EXASOL AG Wer sind wir R&D: + seit 2000 + laufend Forschungsprojekte Produkt: Analytische Datenbank EXASolution Focus auf Komplexität

Mehr

EMC. Data Lake Foundation

EMC. Data Lake Foundation EMC Data Lake Foundation 180 Wachstum unstrukturierter Daten 75% 78% 80% 71 EB 106 EB 133 EB Weltweit gelieferte Gesamtkapazität Unstrukturierte Daten Quelle März 2014, IDC Structured vs. Unstructured

Mehr

Orientierungsveranstaltungen 2009 Informatikstudien der Universität Wien

Orientierungsveranstaltungen 2009 Informatikstudien der Universität Wien Orientierungsveranstaltungen 2009 Informatikstudien der Universität Wien Scientific Computing 07. Oktober 2009 Siegfried Benkner Wilfried Gansterer Fakultät für Informatik Universität Wien www.cs.univie.ac.at

Mehr

Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus

Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus Angewandte Forschung zu Datenlebenszyklen in der Helmholtz-Gemeinschaft und darüber hinaus Christopher Jung, KIT (SCC) KIT University of the State of Baden-Wuerttemberg and National Research Center of

Mehr

Möglichkeiten für bestehende Systeme

Möglichkeiten für bestehende Systeme Möglichkeiten für bestehende Systeme Marko Filler Bitterfeld, 27.08.2015 2015 GISA GmbH Leipziger Chaussee 191 a 06112 Halle (Saale) www.gisa.de Agenda Gegenüberstellung Data Warehouse Big Data Einsatz-

Mehr

Das LHC-Computing-Grid

Das LHC-Computing-Grid Das LHC-Computing-Grid Von Julian Gethmann WS 11/12 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Überblick Ansprüche an die Rechnerinfrastruktur

Mehr

Super rechnen ohne Superrechner Oder: Was hat das Grid mit Monte Carlo zu tun?

Super rechnen ohne Superrechner Oder: Was hat das Grid mit Monte Carlo zu tun? Super rechnen ohne Superrechner Oder: Was hat das Grid mit Monte Carlo zu tun? Marius Mertens 20.02.2015 Super rechnen ohne Superrechner? Warum? Algorithmik und Parallelisierung Wie? Alternative Architekturen

Mehr

Effizienter Einsatz von Flash-Technologien im Data Center

Effizienter Einsatz von Flash-Technologien im Data Center Effizienter Einsatz von Flash-Technologien im Data Center Herbert Bild Solution Marketing Manager Georg Mey Solutions Architect 1 Der Flash-Hype 2 Drei Gründe für den Hype um Flash: 1. Ungebremstes Datenwachstum

Mehr

WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN

WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN WINDOWS AZURE IM ÜBERBLICK GANZ NEUE MÖGLICHKEITEN Dr. Bernd Kiupel Azure Lead Microsoft Schweiz GmbH NEUE MÖGLICHKEITEN DURCH UNABHÄNGIGKEIT VON INFRASTRUKTUR BISHER: IT-Infrastruktur begrenzt Anwendungen

Mehr

Andreas Bechter, Regional Product Manager EMEA IMG, Symantec

Andreas Bechter, Regional Product Manager EMEA IMG, Symantec Symantecs Appliance Strategie Andreas Bechter, Regional Product Manager EMEA IMG, Symantec Storage Trends 2011 Symantec Press University 2011 Appliance Strategie 2 Symantecs Appliance Strategie IMG SAMG:

Mehr

Caching. Hintergründe, Patterns &" Best Practices" für Business Anwendungen

Caching. Hintergründe, Patterns & Best Practices für Business Anwendungen Caching Hintergründe, Patterns &" Best Practices" für Business Anwendungen Michael Plöd" Senacor Technologies AG @bitboss Business-Anwendung!= Twitter / Facebook & co. " / kæʃ /" bezeichnet in der EDV

Mehr

Grid-Computing. LHC Computing: Datenanalyse im weltweiten GRID

Grid-Computing. LHC Computing: Datenanalyse im weltweiten GRID LHC Computing: Datenanalyse im weltweiten GRID Vortrag: Walter Bender Betreuer: Thomas Kreß 1 Themenüberblick Was ist Grid Computing Einführung technische Entwicklung Vergleich mit Stromnetz Anwendungen

Mehr

BIG DATA HYPE ODER CHANCE

BIG DATA HYPE ODER CHANCE BIG DATA HYPE ODER CHANCE 1 Fuchs Dominik 16.05.2014 Fahrplan 2 Begriff Big Data Die 3 V s Fallbeispiel Google Was? Wie? Womit? Fazit & Ausblick in die Zukunft Der Begriff Big Data 3 Datenmengen, die zu

Mehr

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10

Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Cloud-Infrastrukturen Seminar Cloud Data Management WS09/10 Richard Beyer 1 Inhalt 1. Allgemeines 2. Amazon EC2 3. Yahoo Cloud 4. Vergleich 5. Fazit 6. Literatur Richard Beyer 2 Definition Cloud computing

Mehr

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden

In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden In-Memory & Real-Time Hype vs. Realität: Maßgeschneiderte IBM Business Analytics Lösungen für SAP-Kunden Jens Kaminski ERP Strategy Executive IBM Deutschland Ungebremstes Datenwachstum > 4,6 Millarden

Mehr

Das Knowledge Grid. Eine Architektur für verteiltes Data Mining

Das Knowledge Grid. Eine Architektur für verteiltes Data Mining Das Knowledge Grid Eine Architektur für verteiltes Data Mining 1 Gliederung 1. Motivation 2. KDD und PDKD Systeme 3. Knowledge Grid Services 4. TeraGrid Projekt 5. Das Semantic Web 2 Motivation Rapide

Mehr

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE Themen Big Data Buzz Word oder eine neue Dimension

Mehr

T-Systems Austria. Green Dynamics Modell.

T-Systems Austria. Green Dynamics Modell. T-Systems Austria. Green Dynamics Modell. Max Schaffer Vice President ICT Operations. 26-11-2008 T-Systems Austria Green Dynamics Modell 1 T-Systems Green ICT. Konkrete Ziele. Vollständige Umweltbewertung

Mehr

Scale-Up oder Scale Out?

Scale-Up oder Scale Out? Scale-Up oder Scale Out? Ein Leben ohne Hindernisse mit dem neuen Speicher-Betriebssystem von NetApp Mathias Riediger System Engineer NetApp ein Portfolio Anbieter! EF-Series E-Series FAS 2220 FAS 2240

Mehr

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.

Apache Hadoop. Distribute your data and your application. Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache. Apache Hadoop Distribute your data and your application Bernd Fondermann freier Software Architekt bernd.fondermann@brainlounge.de berndf@apache.org Apache The Apache Software Foundation Community und

Mehr

Automatische Speicherverwaltung im HPC Umfeld. Wolfgang Oestreich BlueArc Germany GmbH

Automatische Speicherverwaltung im HPC Umfeld. Wolfgang Oestreich BlueArc Germany GmbH Automatische Speicherverwaltung im HPC Umfeld Wolfgang Oestreich BlueArc Germany GmbH Agenda BlueArc Überblick und Neuigkeiten Lösung im HPC Umfeld am Beispiel eines Sequencers Ausblick BlueArc - Überblick

Mehr

Was darf das Grid kosten?

Was darf das Grid kosten? Was darf das Grid kosten? Dr. Marcel Kunze Steinbuch Centre for Computing Abteilung Integration und Virtualisierung Die Kooperation von Darf das Grid was kosten? Infrastruktur: Geschäftsmodell oder Sponsoring?

Mehr

Spark, Impala und Hadoop in der Kreditrisikoberechnung

Spark, Impala und Hadoop in der Kreditrisikoberechnung Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2 Inhalt Vorwort

Mehr

Isilon Scale Out NAS & Big Data

Isilon Scale Out NAS & Big Data Isilon Scale Out NAS & Big Data Ingmar Löke Senior Account Manager ISILON Storage Devision 1 Agenda Marktsituation Welche Treiber sind da draußen? Eingliederung im EMC Portfolio Produkt Überblick Isilon

Mehr

Einführung in Hadoop

Einführung in Hadoop Einführung in Hadoop Inhalt / Lern-Ziele Übersicht: Basis-Architektur von Hadoop Einführung in HDFS Einführung in MapReduce Ausblick: Hadoop Ökosystem Optimierungen Versionen 10.02.2012 Prof. Dr. Christian

Mehr

Hochleistungsrechnen und Grid-Computing am ZIH

Hochleistungsrechnen und Grid-Computing am ZIH Zentrum für Informationsdienste und Hochleistungsrechnen Hochleistungsrechnen und Grid-Computing am ZIH Dresden, 5.7.2007 Hochleistungsrechner / Speicherkomplex ZIH-Ressourcen im Grid Hardware Software

Mehr

Stefan Kusiek BFW-Leipzig

Stefan Kusiek BFW-Leipzig Stefan Kusiek BFW-Leipzig Schnellere Geräte (CPU, HDD, RAM, ) Mehrere Geräte (CPU, HDD, RAM, ) Mehrere Geräte (Rechner, Server, ) Cluster Preiswerter????? Mindestgröße Installation Konfiguration Wartung

Mehr

Cloud Computing mit mathematischen Anwendungen

Cloud Computing mit mathematischen Anwendungen Cloud Computing mit mathematischen Anwendungen Vorlesung SoSe 2009 Dr. Marcel Kunze Karlsruhe Institute of Technology (KIT) Steinbuch Centre for Computing (SCC) KIT the cooperation of Forschungszentrum

Mehr

EMC ISILON & TSM. Hans-Werner Rektor Advisory System Engineer Unified Storage Division. Oktober 2013

EMC ISILON & TSM. Hans-Werner Rektor Advisory System Engineer Unified Storage Division. Oktober 2013 EMC ISILON & TSM Hans-Werner Rektor Advisory System Engineer Unified Storage Division Oktober 2013 1 Tivoli Storage Manager - Überblick Grundsätzliche Technologie Incremental Forever Datensicherungsstrategie

Mehr

Virtualisierung am Beispiel des LRZ Stefan Berner berner@lrz.de

Virtualisierung am Beispiel des LRZ Stefan Berner berner@lrz.de Virtualisierung am Beispiel des LRZ Stefan Berner berner@lrz.de Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften Agenda Einleitung Vor- und Nachteile der Virtualisierung Virtualisierungssoftware

Mehr

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de

Big Data in a Nutshell. Dr. Olaf Flebbe of ät oflebbe.de Big Data in a Nutshell Dr. Olaf Flebbe of ät oflebbe.de Zu mir Bigdata Projekt, benutzt Apache Bigtop Linux seit Anfang vor Minix/ATARI Linuxtag 2001? Promoviert in Computational Physics in Tü Seit Jan

Mehr

Neue Ansätze der Softwarequalitätssicherung

Neue Ansätze der Softwarequalitätssicherung Neue Ansätze der Softwarequalitätssicherung Googles MapReduce-Framework für verteilte Berechnungen am Beispiel von Apache Hadoop Universität Paderborn Fakultät für Elektrotechnik, Informatik und Mathematik

Mehr

Titelmasterformat durch Klicken bearbeiten

Titelmasterformat durch Klicken bearbeiten Titelmasterformat durch Klicken Titelmasterformat durch Klicken Huawei Enterprise Server Systeme Global Player auf dem Server- und Storagemarkt Scale up Übersicht Titelmasterformat durch Klicken Textmasterformat

Mehr

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise

Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Unternehmen und IT im Wandel: Mit datengetriebenen Innovationen zum Digital Enterprise Software AG Innovation Day 2014 Bonn, 2.7.2014 Dr. Carsten Bange, Geschäftsführer Business Application Research Center

Mehr

Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT

Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT Produkte und Systeme der Informationstechnologie ENERGIE- MANAGEMENT Folie 1 VDE-Symposium 2013 BV Thüringen und Dresden Virtualisierung von Leittechnikkomponenten Andreas Gorbauch PSIEnergie-EE Folie

Mehr

Cloud Computing Top oder Flop? 17. November 2010

Cloud Computing Top oder Flop? 17. November 2010 Cloud Computing Top oder Flop? 17. November 2010 DI Thomas Gradauer, Head of Presales-Consulting Raiffeisen Informatik ITSM-Beratung Raiffeisen BANK AVAL 16.10.2009 1 Agenda Raiffeisen Informatik Medienspiegel

Mehr

Big Data Hype und Wirklichkeit Bringtmehrauchmehr?

Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Big Data Hype und Wirklichkeit Bringtmehrauchmehr? Günther Stürner, Vice President Sales Consulting 1 Copyright 2011, Oracle and/or its affiliates. All rights Überschrift 2 Copyright 2011, Oracle and/or

Mehr

Cloud Computing. Vorlesung an der Hochschule Karlsruhe - Technik und Wirtschaft im Sommersemester 2015 Michael Fischer und Georg Magschok

Cloud Computing. Vorlesung an der Hochschule Karlsruhe - Technik und Wirtschaft im Sommersemester 2015 Michael Fischer und Georg Magschok Cloud Computing Vorlesung an der Hochschule Karlsruhe - Technik und Wirtschaft im Sommersemester 2015 Michael Fischer und Georg Magschok mf@wanulator.de gio@eglikoe.de Die Vorlesung im Web: http://www.home.hs-karlsruhe.de/~mage0003/

Mehr

Centre of Excellence for High Performance Computing Erlangen Kompetenzgruppe für Supercomputer und Technisch-Wissenschaftliche Simulation

Centre of Excellence for High Performance Computing Erlangen Kompetenzgruppe für Supercomputer und Technisch-Wissenschaftliche Simulation 1 Centre of Excellence for High Performance Computing Erlangen Kompetenzgruppe für Supercomputer und Technisch-Wissenschaftliche Simulation Dr. G. Wellein, Regionales Rechenzentrum Erlangen Supercomputer

Mehr

Datenexplosion Auswirkungen auf Rechenzentren

Datenexplosion Auswirkungen auf Rechenzentren FINANCIAL INSTITUTIONS ENERGY INFRASTRUCTURE, MINING AND COMMODITIES TRANSPORT TECHNOLOGY AND INNOVATION PHARMACEUTICALS AND LIFE SCIENCES Datenexplosion Auswirkungen auf Rechenzentren RA Dr. Flemming

Mehr

Copyright 2014, Oracle and/or its affiliates. All rights reserved.

Copyright 2014, Oracle and/or its affiliates. All rights reserved. 1 Integrierte Systeme für ISVs Matthias Weiss Direktor Mittelstand Technologie ORACLE Deutschland B.V. & Co. KG 2 Agenda Engineered Systems Lösungsansatz aus der Praxis Engineered Systems Oracle s Strategie

Mehr

best Systeme GmbH Michael Beeck Geschäftsführer, CTO Michael.Beeck@best.de best Systeme GmbH

best Systeme GmbH Michael Beeck Geschäftsführer, CTO Michael.Beeck@best.de best Systeme GmbH best Systeme GmbH Michael Beeck Geschäftsführer, CTO Michael.Beeck@best.de best Systeme GmbH Münchner Str. 123a 85774 Unterföhring Tel: 089/950 60 80 Fax: 089/950 60 70 Web: www.best.de best Systeme GmbH

Mehr

Aktuelle Trends und Herausforderungen in der Finite-Elemente-Simulation

Aktuelle Trends und Herausforderungen in der Finite-Elemente-Simulation Aktuelle Trends und Herausforderungen in der Finite-Elemente-Simulation Kai Diethelm GNS Gesellschaft für numerische Simulation mbh Braunschweig engineering software development Folie 1 Überblick Vorstellung

Mehr

Virtualisierung: Neues aus 2010 und Trends 2011

Virtualisierung: Neues aus 2010 und Trends 2011 Virtualisierung: Neues aus 2010 und Trends 2011 Werner Fischer, Technology Specialist Thomas-Krenn.AG Thomas Krenn Herbstworkshop 2010 Freyung, 24. September 2010 Agenda 1) Virtualisierungs-Software VMware

Mehr

Erfahrungen mit parallelen Dateisystemen

Erfahrungen mit parallelen Dateisystemen Erfahrungen mit parallelen n frank.mietke@informatik.tu-chemnitz.de Fakultätsrechen- und Informationszentrum (FRIZ) Professur Rechnerarchitektur Technische Universität Chemnitz 25.09.2007 - Megware HPC

Mehr

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle

DATA WAREHOUSE. Big Data Alfred Schlaucher, Oracle DATA WAREHOUSE Big Data Alfred Schlaucher, Oracle Scale up Unternehmensdaten zusammenfassen Noch mehr Informationen aus Unternehmens- Daten ziehen! Datenmengen, Performance und Kosten Daten als Geschäftsmodell

Mehr

Die Marktsituation heute und die Position von FUJITSU

Die Marktsituation heute und die Position von FUJITSU Die Marktsituation heute und die Position von FUJITSU Rupert Lehner Head of Sales Region Germany 34 Copyright 2011 Fujitsu Technology Solutions Marktentwicklung im Jahr 2011 Der weltweite IT-Markt im Jahr

Mehr

BARC-Studie Data Warehousing und Datenintegration

BARC-Studie Data Warehousing und Datenintegration Ergebnisse der BARC-Studie Data Warehouse Plattformen Dr. Carsten Bange BARC-Studie Data Warehousing und Datenintegration Data-Warehouse -Plattformen und Datenintegrationswerkzeuge im direkten Vergleich

Mehr

Big Data Informationen neu gelebt

Big Data Informationen neu gelebt Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen

Mehr

dcache! The dcache team

dcache! The dcache team dcache The dcache team Antje Petersen Patrick Fuhrmann, Tigran Mkrtchyan Paul Millar, Karsten Schwank, Christian Bernardt (at DESY) Dmitry Litvintsev, Albert Rossi (Fermilab) Gerd Behrmann (NorduNet (formerly

Mehr

Wissenschaftliches Rechnen an der Christian- Albrechts-Universität zu Kiel

Wissenschaftliches Rechnen an der Christian- Albrechts-Universität zu Kiel Wissenschaftliches Rechnen an der Christian- Albrechts-Universität zu Kiel ZKI-Tagung, AK Supercomputing, 16.-17.03.2015 Holger Marten Landeshauptstadt Kiel - Bodo Quante 1. Etwas Historie 16.03.2015 Dr.

Mehr

Cloud-Computing Seminar - Vergleichende Technologien: Grid-Computing Hochschule Mannheim

Cloud-Computing Seminar - Vergleichende Technologien: Grid-Computing Hochschule Mannheim Sven Hartlieb Cloud-Computing Seminar Hochschule Mannheim WS0910 1/23 Cloud-Computing Seminar - Vergleichende Technologien: Grid-Computing Hochschule Mannheim Sven Hartlieb Fakultät für Informatik Hochschule

Mehr

SGI Produkt Highlights. Moritz Schall Solutions Architect

SGI Produkt Highlights. Moritz Schall Solutions Architect SGI Produkt Highlights Moritz Schall Solutions Architect SGI Merktsegmente Life Sciences Government / Intelligence VPD / MFG Cloud / Internet Financial Services M & E Archive 2 Konfrontation mit Datenwachstum

Mehr

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP

Seminar WS 2012/13. S. Chaudhuri et al, CACM, Aug. 2011. Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP Seminar WS 2012/13 S. Chaudhuri et al, CACM, Aug. 2011 Parallel DBS vs. Open Platforms for Big Data, e.g. HaDoop Near-Realtime OLAP 2 Vorkonfigurierte, komplette Data Warehouse-Installation Mehrere Server,

Mehr

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1

Algorithmen. Consistent Hashing Bloom Filter MapReduce. Distributed Hash Tables. Einführung 1 Algorithmen Consistent Hashing Bloom Filter MapReduce Distributed Hash Tables Einführung 1 Consistent Hashing Problem: Wie finde ich den Speicherort für ein Objekt in einem verteilten System mit n Knoten?

Mehr

Simplivity Rechenzentrum in a Box

Simplivity Rechenzentrum in a Box 09-10.09 2 Tag Simplivity Rechenzentrum in a Box Markus Schmidt Consultant markus.schmidt@interface-systems.de Agenda 1.Motivation Warum ein neuer Ansatz 2.Technischer Überblick 3.Anwendungsszenarien 4.Performancebetrachtung

Mehr

Überblick CARPE DIEM. VMware. vcenter Server. Software Defined Storage / Hyper-Converged Modell. VMware VSAN. Sphere 6

Überblick CARPE DIEM. VMware. vcenter Server. Software Defined Storage / Hyper-Converged Modell. VMware VSAN. Sphere 6 Überblick VMware vcenter Server Software Defined Storage / Hyper-Converged Modell VMware VSAN Sphere 6 vcenter Server Aufgaben von vcenter Server: zentrale Instanz für Verwaltung und Überwachung der virtuellen

Mehr

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt

NoSQL & Big Data. NoSQL Databases and Big Data. NoSQL vs SQL DBs. NoSQL DBs - Überblick. Datenorientierte Systemanalyse. Gerhard Wohlgenannt NoSQL & Big Data Datenorientierte Systemanalyse NoSQL Databases and Big Data Gerhard Wohlgenannt Die besprochenen Systeme haben nicht den Anspruch und das Ziel DBS zu ersetzen, sondern für gewisse Anwendungsfälle

Mehr

MATRIX FÜR HITACHI VIRTUAL STORAGE PLATFORM-PRODUKTFAMILIE

MATRIX FÜR HITACHI VIRTUAL STORAGE PLATFORM-PRODUKTFAMILIE MATRIX FÜR HITACHI VIRTUAL STORAGE PLATFORM-PRODUKTFAMILIE 1 Technische Daten zur Kapazität Maximale (max.) Anzahl Laufwerke, einschließlich Reserve 264 SFF 264 LFF 480 SFF 480 LFF 720 SFF 720 LFF 1.440

Mehr

spezial Productivity Monitor Alle Artikel zu unseren Fokusthemen finden Sie unter comlineag.de/infocenter

spezial Productivity Monitor Alle Artikel zu unseren Fokusthemen finden Sie unter comlineag.de/infocenter infoline spezial Productivity Monitor Alle Artikel zu unseren Fokusthemen finden Sie unter comlineag.de/infocenter Productivity Monitor COMLINE Productivity Monitor ist eine generische Lösung für die Aufnahme,

Mehr

Nutzen einer SAS GRID Umgebung für IT und Fachbereich

Nutzen einer SAS GRID Umgebung für IT und Fachbereich make connections share ideas be inspired Nutzen einer SAS GRID Umgebung für IT und Fachbereich POC Erfahrungen der Erste Bank Group Manuel Nitschinger SAS Platform Manager sit Solutions Austria Erste Group

Mehr

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014

Ab in den Himmel: Was kommt jenseits der Cloud? 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Ab in den Himmel: Was kommt jenseits der Cloud? 1 20 R. Altenhöner Ab in den Himmel: Was kommt jenseits der Cloud? 04.6.2014 Bibliothekartag 2014 Inhalt 1. Einleitung / Motivation 2. Cloud ein bisschen

Mehr

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung

Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Endorsed SI Anwenderbericht: Einsatz von System Platform 2012 R2 in virtualisierten Umgebungen zur Prozessvisualisierung Fritz Günther 17.03.2014 Folie 1 Agenda Was ist Virtualisierung Server- / Clientvirtualisierung

Mehr

Agenda. HPC-Benutzerkolloquium. EM64T-Clustererweiterung. EM64T-Clustererweiterung am RRZE

Agenda. HPC-Benutzerkolloquium. EM64T-Clustererweiterung. EM64T-Clustererweiterung am RRZE Agenda HPC-Benutzerkolloquium G. Hager/T. Zeiser 25.01.2005 RRZE EM64T-Clustererweiterung Allgemeines (GH) Zukünftige Konfiguration: Queues, Policies, Betriebsmodus (GH) Verfügbare Compiler und MPI-Versionen

Mehr

Persönlichkeiten bei bluehands

Persönlichkeiten bei bluehands Persönlichkeiten bei Technologien bei Skalierbare Anwendungen mit Windows Azure GmbH & co.mmunication KG am@.de; posts..de/am 1 2 3 4 5 6 7 8 9 Immer mehr Mehr Performance Mehr Menge Mehr Verfügbarkeit

Mehr

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim

FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim Jiaming Song Cloud-Computing Seminar Hochschule Mannheim WS0910 1/31... FlexiScale - Web Hosting mit Cloud-Computing Hochschule Mannheim.... Jiaming Song Fakultät für Informatik Hochschule Mannheim jiaming360@googlemail.com

Mehr

Einsatz von GPFS an der JGU

Einsatz von GPFS an der JGU Einsatz von GPFS an der JGU HPC@JGU Markus Tacke Leiter HPC ZDV Johannes Gutenberg-Universität Mainz Was Kommt? Umfeld JGU Historie HPC@JGU und seine Daten Aufgabe ATLAS I/O Lösung GPFS!! Ergebnisse.(wird

Mehr

TECHNISCHE HERAUSFORDERUNGEN UND ANSÄTZE DER NUTZUNG VON SENTINEL-DATEN CARSTEN BROCKMANN, MARTIN BOETTCHER BROCKMANN CONSULT GMBH

TECHNISCHE HERAUSFORDERUNGEN UND ANSÄTZE DER NUTZUNG VON SENTINEL-DATEN CARSTEN BROCKMANN, MARTIN BOETTCHER BROCKMANN CONSULT GMBH TECHNISCHE HERAUSFORDERUNGEN UND ANSÄTZE DER NUTZUNG VON SENTINEL-DATEN CARSTEN BROCKMANN, MARTIN BOETTCHER BROCKMANN CONSULT GMBH BROCKMANN CONSULT Gegr. 1999, Geesthacht bei Hamburg 28 Mitarbeiter davon

Mehr

Revolution Analytics eine kommerzielle Erweiterung zu R

Revolution Analytics eine kommerzielle Erweiterung zu R Revolution Analytics eine kommerzielle Erweiterung zu R Webinar am 17.07.2014 F. Schuster (HMS) Dr. E. Nicklas (HMS) Von der Einzelplatzlösung zur strategischen Unternehmens- Software Zur Einführung Was

Mehr

Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce

Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Projektpraktikum: Verteilte Datenverarbeitung mit MapReduce Timo Bingmann, Peter Sanders und Sebastian Schlag 21. Oktober 2014 @ PdF Vorstellung INSTITUTE OF THEORETICAL INFORMATICS ALGORITHMICS KIT Universität

Mehr

MapReduce in der Praxis

MapReduce in der Praxis MapReduce in der Praxis Rolf Daniel Seminar Multicore Programmierung 09.12.2010 1 / 53 Agenda Einleitung 1 Einleitung 2 3 Disco Hadoop BOOM 4 2 / 53 1 Einleitung 2 3 Disco Hadoop BOOM 4 3 / 53 Motivation

Mehr

Infrastruktur als Basis für die private Cloud

Infrastruktur als Basis für die private Cloud Click to edit Master title style Infrastruktur als Basis für die private Cloud Peter Dümig Field Product Manager Enterprise Solutions PLE Dell Halle GmbH Click Agenda to edit Master title style Einleitung

Mehr

Die EBCONT Unternehmensgruppe.

Die EBCONT Unternehmensgruppe. 1200 Wien, Handelskai 94-96 Johannes Litschauer, Alex Deles IT-Infrastruktur IT-Betrieb (managed Services) Cloud / Elastizität 1200 Wien, Handelskai 94-96 Johannes Litschauer, Alex Deles Enterprise Solutions

Mehr

The Future of Storage JBOD, Storage Spaces, SMB 3.0 and more

The Future of Storage JBOD, Storage Spaces, SMB 3.0 and more The Future of Storage JBOD, Storage Spaces, SMB 3.0 and more Carsten Rachfahl MVP Virtual Machine Rachfahl IT-Solutions GmbH & Co. KG www.hyper-v-server.de Philipp Witschi Partner itnetx gmbh witschi@itnetx.ch

Mehr

GIS in der Cloud: Beispiele von ESRI und con terra

GIS in der Cloud: Beispiele von ESRI und con terra GIS in der Cloud: Beispiele von ESRI und con terra Dr. Matthias Bluhm ESRI Deutschland GmbH 9. März 2011, Darmstadt 2 ESRI Deutschland GmbH, 2011 GmbH 2010 ESRI Unternehmensgruppe (in Deutschland und der

Mehr

Managed Cloud Services

Managed Cloud Services Managed Cloud Services Autor.: Monika Olschewski Whitepaper Version: 1.0 Erstellt am: 14.07.2010 ADACOR Hosting GmbH Kaiserleistrasse 51 63067 Offenbach am Main info@adacor.com www.adacor.com Cloud Services

Mehr

DATEN - Das Gold des 21. Jahrhunderts? Dr. Oliver Riedel, AUDI AG

DATEN - Das Gold des 21. Jahrhunderts? Dr. Oliver Riedel, AUDI AG DATEN - Das Gold des 21. Jahrhunderts? Dr. Oliver Riedel, AUDI AG Inhalt Globale und unternehmensspezifische Herausforderungen Von Big Data zu Smart Data Herausforderungen und Mehrwert von Smart Data 2

Mehr

Step 0: Bestehende Analyse-Plattform

Step 0: Bestehende Analyse-Plattform Die Themen 09:30-09:45 Einführung in das Thema (Oracle) 09:45-10:15 Hadoop in a Nutshell (metafinanz) 10:15-10:45 Hadoop Ecosystem (metafinanz) 10:45-11:00 Pause 11:00-11:30 BigData Architektur-Szenarien

Mehr

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor

Das Zettabyte. CeBIT 2011. Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zettabyte CeBIT 2011 Dr. Wolfgang Martin Analyst, ibond Partner und Ventana Research Advisor Das Zetabyte: analytische Datenbanken Die Datenflut. Analytische Datenbanken: Was ist neu? Analytische Datenbanken:

Mehr

Ing. Gerald Böhm 3 Banken EDV GmbH Untere Donaulände 28, 4020 Linz Mobil: +43 664 805563504 gerald.boehm@3beg.at

Ing. Gerald Böhm 3 Banken EDV GmbH Untere Donaulände 28, 4020 Linz Mobil: +43 664 805563504 gerald.boehm@3beg.at 2013 Ing. Gerald Böhm 3 Banken EDV GmbH Untere Donaulände 28, 4020 Linz Mobil: +43 664 805563504 gerald.boehm@3beg.at Christian Maureder Imtech ICT Austria GmbH Mobil: +43 664 8511756 christian.maureder@imtech.at

Mehr