Projektgruppe SCALABLE VIRTUAL DATA INFRASTRUCTURE

Transkript

1 Projektgruppe SCALABLE VIRTUAL DATA INFRASTRUCTURE T. Röblitz, F. Feldhaus, P. Wieder, P. Chronz, R. Yahyapour ITMC & LS Service Computing Infoveranstaltung , OH14, E23, 14 Uhr Einzelvorstellung , GB V, Raum 223, 10 Uhr

2 Lehrstuhl für Moderne Wissenschaft komplexe Phänomene internationale Kooperationen è große Datenmengen è viele verteilte Datenquellen è parallele Rechencluster & HPC 2

3 3

4 Anwendungsbeispiel CLUES Wie entstehen Galaxien? 1. Theorie, 2. Simulationen Genauigkeit durch Anzahl der Partikel beschränkt Grenze bei = 1G Partikel è 500 Prozessoren è ca. 300 Stunden Rechenzeit è 6 TB Daten für eine Simulation 4

5 CLUES Workflow Observations! local/remote instruments, files, DBs, web portals! select new random initial conditions! Cosmic Microwave Background! Initial Conditions! high resolution! Initial Conditions! low resolution! GADGET! simulation! Identify! Local Group (LG)! Preparation of simulations! local compute resources: PCs, clusters! Postprocessing! local/remote resources: PCs, clusters & HPC / files, DBs / web portals! Merger Trees! Halo Finder! Statistics! Halo Tracker! GADGET for LG in high resolution! Visualisation! Snapshots! 6.1 TB each run! Simulation! remote HPC resources! 5

6 CLUES Datenverwaltung Mehrere Wissenschaftler à gemeinsame Daten Verteiltes Rechnen à verteilte Daten Manuelle Operationen Zeitaufwändig Fehleranfällig Ineffizient Spezialhardware GADGET für LG in hoher Auflösung HPC/Grid A Visualisierung Observations! local/remote instruments, files, DBs, web portals! select new random initial conditions! Cosmic Microwave Background! Initial Conditions! high resolution! Initial Conditions! low resolution! GADGET! simulation! Identify! Local Group (LG)! Preparation of simulations! local compute resources: PCs, clusters! Halo Finder Postprocessing! local/remote resources: PCs, clusters & HPC / files, DBs / web portals! Merger Trees! Halo Finder! Statistics! Halo Tracker! GADGET for LG in high resolution! Cluster Statistik Snapshots! 6.1 TB each run! Simulation! remote HPC resources! Visualisation! Cosmic Microwave Background GADGET Simulation Local Group (LG) identifizieren GADGET für LG in hoher Auflösung HPC/Grid B Desktop GADGET für LG in hoher Auflösung Snapshots 6,1 TB je Simul. Kataloge Cluster 200x Desktop HPC/Grid C 6,1 TB Dateiserver 6

7 Wissenschaftler an der TU Dortmund besitzen verschiedene Daten Programme (Quelltext) Dokumente Messdaten Simulationsergebnisse... und nutzen mehrere Datenspeicher eigener Laptop, Dateiserver,... externe Festplatten,... Grid-Cluster, LiDOng, PhiDo, Cloud à Die Verwaltung der Daten(speicher) ist aufwendig, zeitraubend und fehleranfällig 7

8 Beispiel: Datenintegration & Datensharing 1. Text, Abbildungen, projekt.tex Desktop architektur.png 3. Simulation Sim.java 5. Text, Abbildungen kapitel3.tex diagramma.png Pool 2. Simulation Sim.java ergebnis42.dat, 4. Text kapitel2.tex 6. Simulation ergebnis0815.dat Manuelle Transfers / Kopien 8

9 Herausforderungen Transparenter Zugriff Lesen: Wo liegen Dateien? Schreiben: Wo ist freier Disk-Speicher? Effizienz: Wird die ganze Datei benötigt? Welche Daten gibt es? Kooperation: Zugriffsrechte Sind Daten persistent gespeichert? Skalierbare Datenverwaltung Nutzerfreundlichkeit! Observations! local/remote instruments, files, DBs, web portals! select new random initial conditions! Cosmic Microwave Background! Initial Conditions! high resolution! Initial Conditions! low resolution! GADGET! simulation! Identify! Local Group (LG)! Preparation of simulations! local compute resources: PCs, clusters! Postprocessing! local/remote resources: PCs, clusters & HPC / files, DBs / web portals! Merger Trees! Halo Finder! Statistics! Halo Tracker! GADGET for LG in high resolution! Visualisation! Snapshots! 6.1 TB each run! Simulation! remote HPC resources! 9

10 Lehrstuhl für Weitere Anwendungsbeispiele Measurements & Data Transfer! Permanent Storage & Access! resources: central storage (Barcelona)! resources: instrument (La Palma, Spain)! Gamma-ray! Data! Data Transfer! Storage Element (SE)! Barcelona! Observations! Postprocessing! Paranal, Chile! local/remote resources: PCs, clusters / files, DBs / web portals! Search! WWW! Spectrograms! Visualisation! Statistics! Data Access! GridFTP, SE-cmds! Raw Data Transfer! Data Reduction! Pipeline! via disks to collaboration partners! Data Analysis & MC sims! Data Analysis & MC sims! Data Analysis & MC sims! local cluster PHIDO! local cluster LiDOng! Grid-Cluster LRZ! Distributed Processing: Data Analysis & Monte Carlo Simulations! Distribution of raw data! Preparation of! science-ready data! resources: distributed storage! resources: distributed clusters, storage! resources: 3 clusters! Data Storage! resources: local/remote compute! resources: local/remote storage! INTERDYNAMICS Data! Data Access! Observations! real time data! Pangaea & C3Grid! primary generation of metadata! Pangaea Metadata! extend XML! Pangaea format (ASCII)! through automatic! scripts! Prepare data for publication! C3Grid Metadata! Satellites! Planes! Data Server! recorded time data! resources: distributed computers! Geophones! Monte Carlo! Data Server! Data Server! recorded time series! ISO (XML)! Data Access! Prepare data for Grid access! link to data! extraction! Pangaea Information System! Simulated Data! resources: world-wide distributed instruments! GPS! real time data! Simulations & Data Analysis! Web Services! Registration of & access to data! Partial access to data! resources: web portal! resources: C3Grid API! Data Access! WWW! Web Services! Data Conversion! C3Grid Data Management System! service! Search! Data Conversion! Search! Data Access! WWW! Web Services! Search! WWW! Data Conversion! Permanent Storage,! Conversion, Aggregation & Access! Data Aggregation! Data Server! Measurements, Initial Processing & Temporal Storage! resources: distributed storage! & compute (filters & services)! (Integrated)! Data Analysis! Geographical Information Systems! Data Integration! & Representation! resources: personal PCs, servers! resources: remote instrument, compute & storage (South Pole)! Neutrino Data! On-site Filter! less important data! Temporal Data Storage! important data! Simulations! Archiving, Publishing & Access! resources: local/remote! (AWI, DKRZ, HLRN)! local/remote resources: archives / OAI servers / web portals! Data Access! Data Transfer! Data Transfer! via satellite! via plane! Cluster A! Data Warehouse! Data Analysis! Tier 0! Cluster M! Search! Data Access! WWW! GridFTP! Transfer & Permanent Storage! resources: satellites, planes / central storage (Madison)! Climate Model Data! Data Analysis! Data Transfer! to online space of C3Grid Repository Centers! Data Warehouse! Tier 1: Zeuthen! Distributed Processing! resources: remote storage (Zeuthen), clusters! WWW/Grid/NFS! Search! Archiving! OAI server! persistent handle! Metadata Creation & Consistency Verification! Distribution of data! Preparing data preservation! resources: distributed storage! resources: web portal! 10

11 11

12 Lehrstuhl für Ziel der Projektgruppe Entwicklung einer leicht benutzbaren und skalierbaren virtuellen Dateninfrastruktur? Virtual Data Infrastructure 12

13 Teilaufgaben der Projektgruppe Entwicklung einer skalierbaren virtuellen Dateninfrastruktur Teilaufgaben: 1) Basistechnologien für das transparente Management von Dateien Vereinheitlichung der Schnittstellen und Protokolle durch einen Virtual Storage Layer (VSL) transparente Einbindung des VSL in das Dateisystem eines Betriebssystems Verwaltung von Replikaten, Synchronisierung 2) Verwaltung aller relevanten Metadaten Nutzung effizienter, verteilter Datenstrukturen Eigenschaften von Datenobjekten (z.b. Speicherort, Name, Typ, Zugriffsrechte, Beschreibung des Inhalts) 3) Management Portal zum Verwalten einer SVDI Import von Datenspeichern, Export/Sharing von Teilbereichen Monitoring, Zugriffsrechte, Self-Service Funktionen 13

14 Minimalziel Definition des Virtual Storage Layer inkl. Schnittstellen für Clients, Metadatendienstund Datenspeicher Prototypische Implementierung des VSL Transparente Einbindung des VSL in ein Betriebssystem Konzeption und Implementierung des Metadatendienstes Implementierung eines web-basierten Portals für die Verwaltung einer SVDI 14

15 15

16 Lösungsansätze Virtual Storage Layer è transparente Dateizugriffe DropBox ZumoDrive FS1 FS2 FS3 Verteiltes Dateisystem FS1 FS2 FS3 Desktop Cluster/Grid Cluster/Grid Desktop Cluster/Grid Cluster/Grid 16

17 Dropbox Dateien Synchronisieren Dateien mit anderen teilen Dateibasiertes Backup Web-Zugriff Transparente Einbindung ins Dateisystem Öffentliche / Private Ordner Einschränkungen: Speicherplatz Keine umfassende Benutzerverwaltung Keine Metadaten 17

18 18

19 Lösungsansätze Virtual Storage Layer è transparente Dateizugriffe Union FS Union FS Union FS FS1 FS2 FS3 Verteiltes Dateisystem FS1 FS2 FS3 Desktop Cluster/Grid Cluster/Grid Desktop Cluster/Grid Cluster/Grid 19

20 UnionFS Integration von Dateien in Verzeichnissen durch Überlagerung Existierende Implementierungen für Kernel- und User-Space è Möglicher Ansatz für Ziel Transparente Einbindung des VSL Quelle: 20

21 Weitere Technologien XtreemFS verteiltes objekt-basiertes Dateisystem S3QL Dateisystem für Amazon S3 FUSE Dateisystem im User Space SSH-FS Mounten entfernter Verzeichnisse über SSH RDF Resource Description Framework (Metadaten) viele Tools für Verwaltung (Stellaris,...) Föderation, Zugriffsrechte,...? P2P-Systeme für Metadaten (& Dateien?) NoSQL Datenbanken è Nutzung, Erweiterung oder Verwendung der Konzepte Das Rad nicht neu erfinden! 21

22 22

23 Voraussetzungen Programmierkenntnisse (z.b. Java) Mindestens eine Vorlesung (Wissen!) Rechensysteme, Effiziente Algorithmen und Komplexitätstheorie, Service Computing, Webtechnologien 1, Komponenten- und Serviceorientierte Softwareentwicklung, Verteilte Algorithmen 1/2, Rechnernetzanwendungen Wünschenswert Interesse für wissenschaftliche Anwendungen: Klimaforschung, Geowissenschaften, Astrophysik,... 23

24 PG Durchführung Rolle der Veranstalter... wir beraten Euch PG-Teilnehmer... erforschen und entwickeln selbstständig Lösungen Vorgaben durch PG- Ordnung Beratung durch PG-Veranstalter Ablaufvorschlag Mitte Januar 2011: 1. Sitzung Ende Vorlesungszeit WS 10/11: Themenvergabe Blockseminar Kick-off (Blockseminar): Wochenende Anfang/Mitte April 2011 Übliche Projektphasen (Vorschlag): Analyse, Entwurf Prototyp (1. Implementierung) Konsolidierung 2. Implementierung Übergabe Abschluss Während der Semesterpause sind keine Arbeiten geplant! 24

25 Durchführung Projektgruppe Rahmen in dem selbstständig Lösungen erarbeitet werden sollen Lernziele: inhaltliche + organisatorische Datenmanagement für die Wissenschaft Durchführung eines größeren Projektes (Planung, Controlling, Lösung von Konflikten) Angewandte Forschung und Entwicklung Basisinfrastruktur am ITMC 25

26 Status Quo TUDO: Pools, Accounts, Cluster Pools / Arbeitsplätze IRB ITMC Lehrstühle Fakultäten Storage Depot ITMC Private Geräte / Datenspeicher Laptop Festplatte Backup Bis 1,2 Petabyte 2008: D-Grid Ressourcen Zentrum Ruhr (DGRZR) 2048 CPU Cores (Intel) 110 Terabyte Storage 2009: LiDO CPU Cores (Intel) 215 Terabyte Storage 2010: Physik 1184 CPU Cores (AMD) 260 Terabyte Storage 2010: Cloud-Platform Aktuell über 150 VMs Ziel Cores 26

27 27

28 Sonstiges Weiterführung Master/Diplomarbeiten Forschung in angrenzenden Bereichen: Daten intensive Programmierung mit MapReduce, QoS für P2P / Dateisysteme / Datenspeicher,... Projekterfahrung der Veranstalter Jahre Wir möchten diese Erfahrung weitergeben! Neue Mitarbeiter unter uns... vor kurzem noch selbst Studenten Wir haben realistische Anforderungen! 28

29 29

30 Zusammenfassung Daten sind zentrales Thema der Informatik Kooperation mit Partnern (NetApp, ITMC, UAMR) zahlreiche weiterführende Forschungsaspekte è Masterarbeiten/Diplomarbeiten Ihr habt vollständige Gestaltungsfreiheit für Entwicklung eigener Lösungen PG-Durchführung ist ein Vorschlag Wir unterstützen Euch beratend large-scale Experimente auf ITMC-Infrastruktur und kommerziellen Testbeds möglich 30

31 Interesse? Dann schreibt Euch für die PG SVDI ein ;-) Kontakt 31

32 32

33 Presentations includes figures, trademarks, logos which are properties of third parties.. Rights are reserved to the corresponding rights owners. 33