Grid Computing ein kurze Einführung

Transkript

1 Center for Information Services and High Performance Computing (ZIH) Grid Computing ein kurze Einführung Zellescher Weg 12 Willers-Bau A208

2 Verteiltes Rechnen Kann man geografisch verteilte Rechner irgendwie gemeinsam nutzen? Private Rechner Rechenzentren Firmen Universitäten Forschungsinstitute... Scavenging Computing Grid Computing Cloud Computing 2

3 Grid Computing Form des verteilten Rechnens Grid: engl. Netz, Gitter Grid Computing = Rechnen im Netz Warum? 3

4 Teilchenphysik Large Hadron Collider am CERN (Genf) Teilchenbeschleuniger mit 27 km Umfang Protonen werden auf nahezu Lichtgeschwindigkeit beschleunigt und kollidiert Operiert bei -300 C Bei Kollision hohe Energien Fragen Was ist Masse? Wie begann das Universum? Wie verhält sich Antimaterie? 4

5 Large Hadron Collider Mehr als 7000 Physiker wollen Daten analysieren Mont Blanc Genf 4 Stellen an denen die Teilchen kollidieren --> Experimente/Detektoren 5

6 Datenmenge Rohdaten 0,1 1 GB/Sekunde GB pro Jahr 6

7 Datenmengen 1 Zeichen (1 Byte) ein Buchstabe 1 Kilobyte (1 kb)=1000 Byte ein Dokument 1 Megabyte (1MB)=1000 kb ein Digitalfoto (ca. 3 MB) 1 Gigabyte (1GB)=1000 MB ein Film auf DVD (ca. 2 GB) 1 Terabyte (1TB)=1000 GB jährliche Welt-Bücherproduktion 1 Petabyte (1PB)=1000 TB jährliche Datenmenge eines LHC-Detektors 1 Exabyte (1EB)=1000 PB jährliche weltweite Produktion an Information 7

8 Datenmengen Datenvolumen pro Jahr Rohdaten vom Detektor z.b. Stromsignale Daraus gewonnene physikalische Daten z.b. Energie eines Teilchens Simulierte Daten Zum Vergleich mit dem Experiment 15 Petabyte pro Jahr Zeichen Vergleich DSL (2000): 250 KiloByte/s 1900 Jahre CD: 650 Mbyte mit 1,2 mm Dicke 27 km Stapel Festplatten 500 GByte Stück 8

9 Wie kann man solche gewaltigen Datenmengen analysieren? Wie kann man 7000 und mehr Physikern gleichzeitig den Zugriff ermöglichen? Benötigt mehr als Prozessoren! Zentrales Rechenzentrum? Problem: Ausfallsicherheit und Redundanz Mehrere Rechenzentren Problem: Nutzer brauchen für jedes einen Zugang Verteiltes Rechenzentrum das als ein einziges erscheint (Ende der 1990er) Verbindung der geografisch verteilten Rechner Grid Computing LHC Computing Grid 9

10 Und so siehts aus > Prozessoren Dutzende Petabyte Speicherplatz 10

11 Grid Computing Definition: Das Grid ist eine Hardware- und Software-Infrastruktur, die von überall her erreichbar ist und deren Ressourcen von virtuellen Organisationen geteilt werden. Ressourcen Virtuelle Organisation 11

12 Was sind Ressourcen? Alles sind Ressourcen Jedes Betriebsmittel auf das über das Netz zugegriffen werden kann Hardware Prozessoren, Netzwerk, Plattenspeicher, Instrumente... Software Betriebssysteme, Anwendungen, Bibliotheken... Grid Informationsressourcen Datenbanken, Archiv Menschliche Ressourcen Virtualisierung aller Ressourcen Ressourcen über Software (Middleware) im Netzwerk verbunden Spezifiziert über Schnittstelle 12

13 Virtuelle Organisationen Zusammenschluss von Menschen, die sich für das gleiche oder ähnliche Themen interessieren und die für ihre Arbeit Ressourcen brauchen Klassische Rechenzentren (Ressourcenanbieter): Ressourcen Ressourcen Anbieter Ressourcen Anbieter Anbieter Ressourcen Ressourcen Anbieter Anbieter CHAOS Nutzer VO 13

14 Virtuelle Organisationen Zusammenschluss von Menschen, die sich für das gleiche oder ähnliche Themen interessieren und die für ihre Arbeit Ressourcen brauchen Grid: Zugang Nutzer Ressourcen Anbieter VO 14

15 Wie funktioniert das Grid? Ressourcen + Virtuelle Organisationen + Middleware Middleware Engl: Mittel-Ware? Software die irgendwo dazwischen sitzt Grid-Middleware Vermittelt zwischen Nutzer, seiner Anwendung und den Ressourcen Großes Aufgabenspektrum 15

16 Aufgaben der Grid-Middleware Informationsdienste Ressourcen Management Sicherheitsstrukturen, Authentisierung und Autorisierung Datenmanagement Monitoring Programmierschnittstellen Portale Datentransfer Co-Scheduling Dienstgütevereinbarung (Service Level Agreement) Und noch viel mehr... 16

17 Informationsdienste Welche Ressourcen gibt es im Grid? Computer Welches Betriebssystem (Windows, Linux)? Wieviel Hauptspeicher? Taktfreqeuenz?... Speicher (Festplatten) Wie viel Platz ist frei? Was ist der Zustand der Ressourcen? Computer kaputt ausgefallen! Computer überlastet viele andere Programme rechnen schon Speicherplatte voll... 17

18 Ressourcen Management Verwaltung und Zur-Verfügung-Stellen der Ressourcen Ressourcen müssen bekannt sein --> Informationsdienste Ziel: beiderseitige Abmachung zwischen Ressourcen-Anbieter und RessourcenNutzer über Nutzung einer Ressource Nicht per Handschlag Wird per Software (Middleware) ausgemacht 18

19 Ressourcen Management Was passiert wenn ein Nutzer im Grid rechnen will? Beispiel Ingenieur hat eine Simulation des Crashes eines Autos (Opel?) programmiert Programm braucht 3 Stunden 5 mal laufen lassen mit verschiedenen Anfangsgeschwindigkeiten des Autos Im Grid-Jargon: Er muss 5 Jobs abschicken (ein Job = eine Aufgabe) 19

20 Job Planung im Grid Kommen in die Warteschlange Job-Planer fragt InfoDienst und verteilt Jobs Jobs werden ins Grid geschickt Resultate werden eingesammelt 20

21 Datenmanagement Daten (z.b. viele Dateien) sollen im Grid liegen Wenn viele Nutzer auf die gleichen Daten zugreifen mehrere Kopien vorhalten, damit Zugriff schneller Middleware zum Managen der Daten Wie heissen die Dateien? Wo liegt welche Datei? Wie viele Kopien gibt es von ihr? Wo liegen die Kopien? Merken, wenn neue Kopie angelegt wird Kataloge 21

22 Anwendungstypen des Grid 1. Computing Grid 2. Daten Grid 3. Knowledge Grid 4. Interaktives Grid

23 Computing Grid Anwendungen, die Computing Power benötigen Physik: Simulationen, Berechnungen Biologie: Protein-Protein-Interaktionen, Zellsimulationen... Klima-und Wetterforschung: Prognosen Ingenieurwissenschaften: Kraftfahrzeugtechnik Luftfahrt mögliche Szenarien: Aufteilung in kleine Teiljobs, die auf verschiedene Rechner verteilt werden (trivial parallel) bei nur geringer Kommunikationen Grid als Parallelrechner viele Jobs für Parameterstudien 23

24 Daten Grid datenintensive Anwendungen Biomedizin: Zugriff auf die verschiedenen Gen-Datenbanken Teilchenphysik: LHC-Experiment erzeugt mehrere Petabyte pro Jahr Astronomie: Sterndaten Informationsmanagment: Bibliotheken und Archive Verdopplung der Anzahl von Publikationen etwa alle 2 Jahre mögliche Szenarien Parallelisierung des Zugriffs durch Verteilung der Daten auf verschiedene Ressourcen viele Jobs verarbeiten viele (kleine) Datenpakete hoher Datendurchsatz viele Nutzer wollen auf die gleichen Daten zugreifen, Kopien vorhalten und verwalten Oft gekoppelt mit Computing Grid 24

25 Knowledge Grid Aufbauend auf Daten Grid Zusätzlich zu Daten Metadaten semantische Zusatzinformationen Strukturierter und schneller Zugriff auf Informationen Integration heterogener Datenbestände Generierung von Informationen z.b. durch Data Mining Nutzer Geisteswissenschaften Landschaftsarchitektur... 25

26 Interaktives Grid interaktive Nutzung der Grid-Ressourcen Verarbeitung und Visualisierung von Bilddaten (Biologie, Medizin, Ingenieurwissenschaften...) verteilte Echzeitsysteme Steuerung von Geräten wie Teleskopen, Mikroskopen, Experimenten... hohe Anforderungen an Reaktionszeiten, Latenzzeiten, Zugriffsberechtigungen... 26

27 Grid Computing in der Wissenschaft Stichwort: esciences enhanced Sciences verbesserte Wissenschaften BMBF und EU möchten die Arbeitsbedingungen für die Wissenschaft verbessern Neuartige computerbasierte und internetgestützte Arbeitsumgebungen Grid Computing ist ein Baustein 27

28 Grid Computing am ZIH Zentrum für Informationsdienste und Hochleistungsrechen Bieten Ressourcen an Mehrere Grid-Computing-Projekte - Zusammenarbeit mit Physikern, Chemikern, Medizinern, Biologen... Themen Daten- und Wissensmanagement im Grid Monitoring (Beobachten) der Jobs im Grid Gefördert vom Bundesforschungsministerium und von der Europäischen Union 28

29 Grid Middleware 3 Hauptprotagonisten glite Europäische Middleware Für LHC entwickelt Weitere Verbreitung durch EGEE-Projekt größtes Grid mit ca Cores Eine der umfangreichsten Middlewares Alle wesentlichen Dienste implementiert Integriert andere Lösungen (z.b. Globus oder Datenmanagement) Nachteile Unterstützt z.z. nur Scientific Linux als Betriebssystem Nutzerunfreundlich - lediglich Kommandozeilen basiert Aufwändige Administration 29

30 Grid Middleware Globus Toolkit Amerikanisch-englisch-schwedisches Produkt weit verbreitetes Grid-System Toolkit von Komponenten stellt Basisdienste zur Verfügung modulare Komponenten sind nicht alle für End-Nutzer gedacht Umgebung um neue Grid-Dienste zu entwickeln viele existierenden Grid-Systeme nutzen Globus als Basis 30

31 Grid Middleware UNICORE 31

32 UNICORE Uniform Interface to Computing Ressources Ursprüngliche Entwicklung begann in Deutschland 1997, jetzt international FZ Jülich, Warschau, CINECA, ZIH... anfangs Fokus auf HPC-Ressourcen eines der ersten einsatzfähigen Grid-Systeme Vorteile Relativ geringer admistrativer Aufwand Grafischer Nutzer-Klient Unterstützt Workflows Nachteil Einige Komponenten noch nicht in Produktionsversion z.b. Ressourcen Management 32

33 UNICORE More than a decade of German and ETICS2 SmartLM European research & development and PRACE infrastructure projects D-MON PHOSPHORUS Any many others, e.g. Chemomentum edeisa A-WARE OMII-Europe EGEE-II D-Grid IP D-Grid IP 2 CoreGRID NextGRID DEISA DEISA2 VIOLA UniGrids OpenMolGRID GRIDSTART GRIP EUROGRID UNICORE Plus

34 UNICORE Used in DEISA (European Distributed Supercomputing Infrastructure) National German Supercomputing Center NIC Gauss Center for Supercomputing (Alliance of the three German HPC centers) PRACE (European PetaFlop HPC Infrastructure) starting-up But also in non-hpc-focused infrastructures (i.e. D-Grid) Taking up major requirements from i.e. HPC users HPC user support teams HPC operations teams 34

35 UNICORE Open source (BSD license) Open developer community on SourceForge Standards-based Access via Eclipse based UNICORE Rich Client GPE Application Client Command Line Interface UCC Programming API 35