Der stete Hunger nach Rechenleistung Einführung in Grid Computing Welches Ziel hat die Projektgruppe?

Transkript

1 Grid Computing Matthias Hovestadt Inhalt des Vortrags Der stete Hunger nach Rechenleistung Einführung in Grid Computing Welches Ziel hat die Projektgruppe? M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 2

2 Hunger nach Rechenleistung (1) Seit jeher gibt es mathematische Probleme Frühe Probleme: Mathematische Modelle Physikalische Modelle Astronomie Heutige Probleme Simulationen Erdbeben, Wetter, Visualisierungen Steuerung Data-Mining (Bioinformatik, ) Lösung mathematischer Modelle mit einer stetig steigen Menge von Unbekannten M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 3 Hunger nach Rechenleistung (2) Mechanische Rechenhilfen Finger, Abakus Blaise Pascal (1642) Erste funktioniere mech. Rechenmaschine Babbage (1834) Erster Versuch eines digitalen Computers Nie vollet Zuse Z1 (1936) 22 Bit Wortbreite Speicher: 64 Worte Programmierbar Takt: 1 Herz 5 Sekunden pro Multiplikation M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 4

3 Hunger nach Rechenleistung (3) Beginn der elektronischen Rechenhilfen Zuse Z3 (1941) Wortlänge 22 Bit Speicher: 64 Worte 1200 Relais Steuerung über 8-Kanal Lochstreifen Multiplikation, Division, Quadratwurzel in 3 Sekunden Ausgabe über Lampenfeld M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 5 Hunger nach Rechenleistung (4) Rechner mit Vakuum-Röhren ( ) ENIAC 1 (1946, Eckert/Mauchley) Arithmetik auf Basis 10 IAS (1953, von Neumann) Design bestimmt noch heute die Architektur moderner Rechner Hauptspeicher, Rechenwert, I/O-Werk, Leitwerk Typische Charakteristika Mehrere taus Vakuum-Röhren Gewicht: mehrere Tonnen (ENIAC 1: 30t) Stromverbrauch: weit mehr als 100kWh Takt: 100 khz Zeit für Multiplikation: 3ms M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 6

4 Hunger nach Rechenleistung (5) Transistoren Rechner (ab 1955) 1948: Erfindung des Transistors (Bardeen, Brattain,Shockley) Revolutionierung des Computers Geringeres Gewicht Geringere Störanfälligkeit Geringerer Stromverbrauch Geringere Kosten Höhere Rechenleistung 1961: IBM 1401 Gewicht 2t, Stromverbrauch 5kWh Geschwindigkeit: 4000 Additionen pro Sekunde M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 7 Hunger nach Rechenleistung (6) 3. Generation: Integrierte Schaltungen ( ) 1958: Entdeckung der in Silikon integrierten Schaltung (Joyce) Ermöglicht Schaltungen auf Chip zu integrieren Computer werden kleiner, schneller, billiger Zeit der Großrechner für Firmen und Wissenschaft Typische Vertreter DEC-PDP11, Cray 1, Intel 8080 IBM 360 Takt 5MHz Hauptspeicher 1MB RAM M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 8

5 Hunger nach Rechenleistung (7) 4. Generation: VLSI (1980 bis heute) VLSI: Very Large Scale Integration Hochintegrierte Schaltkreise Geschwindigkeit stieg dramatisch Kosten fielen ebenfalls dramatisch Computer erstmals für Privatpersonen erschwinglich Beginn der PC-Ära 1981: IBM PC Heute: Intel Pentium 4 3GHz Takt, 100 Millionen Transistoren M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 9 Hunger nach Rechenleistung (8) Geschwindigkeit eines einzelnen Prozessors nicht beliebig steigerbar Daher: Entwicklung Parallelrechner Kategorisierung (nach Flynn, 1966) SISD: klassischer von-neumann-rechner SIMD: Vektorrechner 1972: Illiac IV (Arrayrechner, 64 Proz. mit 64 Bit) 1988: Connection Machine CM-2 (65636 Proz. mit 1 Bit) MIMD: Mehrprozessorrechner Cray T3D/T3E, IBM SP/2, Convex SPP Gemeinsamer Speicher Verteilter Speicher M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 10

6 Geschwindigkeit eines Parallelrechners Applikationstyp 1: Eng gekoppelt Programm läuft auf vielen Proz. Parallel Kein gemeinsamer Speicher Applikation hat hohen Kommunikationsbedarf Zwischenergebnisse Daten Synchronisation M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 11 Geschwindigkeit eines Parallelrechners (2) Applikationstyp 1: Eng gekoppelt Hohe Kommunikation Anforderung an Netzwerk Geschwindigkeit des Netzwerks bestimmt Zeitbedarf der Kommunikationsphasen der Applikation Geschwindigkeit der Applikation von Netzwerk abhängig Fokus auf eingesetzte Netzwerk-Techniken Cluster: SCI, MyriNet, Infiniband Supercomputer: Speziallösungen Optimierung von Protokollen Ziel: Hoher Durchsatz, geringe Latenz M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 12

7 Geschwindigkeit eines Parallelrechners (3) Applikationstyp 2: Lose gekoppelt Geringe Kommunikation Seltene Synchronisation Netzwerk nicht maßgeblicher Faktor für Geschwindigkeit des Programms Beispiele Verteiltes Rering P2P: M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 13 Schritt zum Grid Computing (1) Metacomputer (1992, Smarr/Catlett) Ressourcen transparent über Netzwerk für den User bereitstellen Metacomputer Netzwerk heterogener Compute-Ressourcen Durch Software verbunden Einfache Nutzung durch den User Analogie: Stromnetz Problem Ausschließliche Betrachtung von Hardware-Ressourcen M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 14

8 Schritt zum Grid Computing (2) Grid Computing (1999, Foster/Kesselman) Betrachtung unterschiedlicher Ressource-Typen Hardware Ressourcen Prozessoren/Knoten, Netzwerk-Bandbreite, Plattenplatz Software Ressourcen Betriebssystem, Bibliotheken, Tools Informations-Ressourcen Datenbanken, Archive Menschliche Ressourcen Person mit einem bestimmten Wissen (Arzt), konkrete Person M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 15 Grid Middleware (1) Benötigt: Grid Middleware Benutzung des Grid soll einfach sein Ressourcen werden virtualisiert Virtual resource pool M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 16

9 Grid Middleware (2) Ziel: Völlige Virtualisierung Benutzer ist mit dem Internet verbunden Rechenleistung und Kapazitäten werden dezentral angeboten Aufgaben können in Workflows definiert werden, der dann vom Grid abgearbeitet wird M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 17 Beispiel: TeraGrid (13.6TF) Site Resources Site Resources HPSS HPSS 8 External Networks Caltech External Networks Argonne 5 Site Resources HPSS External Networks SDSC 4.1 TF 225 TB NCSA/PACI 8 TF 240 TB External Networks UniTree M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 18

10 Beispiel: DataGrid Grid for High Energy Phys. ~PBytes/sec Online System ~100 MBytes/sec 1 TIPS is approximately 25,000 SpecInt95 equivalents Tier 1 There is a bunch crossing every 25 nsecs. There are 100 triggers per second Each triggered event is ~1 MByte in size France Regional Centre ~622 Mbits/sec or Air Freight (deprecated) Germany Regional Centre Tier 0 Offline Processor Farm ~20 TIPS ~100 MBytes/sec Italy Regional Centre CERN Computer Centre FermiLab ~4 TIPS ~622 Mbits/sec ~622 Mbits/sec Tier 2 Caltech ~1 TIPS Tier2 Centre Tier2 Centre Tier2 Centre Tier2 Centre ~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS Physics data cache Institute Institute ~0.25TIPS Physicist workstations Institute ~1 MBytes/sec Institute Tier 4 Physicists work on analysis channels. Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 19 Beispiel: Biological Research Network (BIRN) Steige Menge an Gehirn- Tomographien Essentielle Datenbasis zur Entwicklung neuer Therapien neurologischer Störungen MS, Alzheimer, Aktuell Ein Labor Kleine Datenmenge: 4 TB Zukünftig Zusammenarbeit mehrerer Lobore Größere Human-Datenbasis Etliche 100TB: Höhere Auflösung, Bessere Analysemöglichkeiten M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 20

11 Architektur eines Data Grids Metadata Catalog Attribute Specification Logical Collection and Logical File Name GridFTP Control Channel Application Selected Replica Replica Catalog Multiple Locations Replica Selection Performance Information & Predictions MDS NWS Disk Array GridFTP Data Channel Disk Cache Tape Library Disk Cache Replica Location 1 Replica Location 2 Replica Location 3 M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 21 Schematische Architektur der Grid Services Applications High-energy physics data analysis Regional climate studies Collaborative engineering Parameter studies On-line instrumentation Application Toolkit Layer Distributed computing Dataintensive Collab. design Remote viz Remote control Grid Services Layer Information Resource mgmt... Security Data access Fault detection Grid Fabric Layer Transport... Multicast Instrumentation Control interfaces QoS mechanisms M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 22

12 Program main Do j=1,nt call stepdt(1) call stepdt(2) do stuff for jim Elseif(host=seymour) then do stuff for seymour Program main Do j=1,nt call stepdt(1) call stepdt(2) do stuff for jim Elseif(host=seymour) then do stuff for seymour Program main Do j=1,nt call stepdt(1) Program main call stepdt(2) do stuff for jim Do j=1,nt Elseif(host=seymour) then call stepdt(1) do stuff for seymour call stepdt(2) do stuff for jim Elseif(host=seymour) then do stuff for seymour Program main Do j=1,nt call stepdt(1) Program main call stepdt(2) do stuff for jim Do j=1,nt Elseif(host=seymour) then call stepdt(1) do stuff for seymour call stepdt(2) do stuff for jim Elseif(host=seymour) then do stuff for seymour Scheduling im Grid (1) Job PBS LSF CCS PG-JobMan M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 23 Scheduling im Grid (2) Job Directory Service GRAM GRAM-Client GRAM GRAM GRAM gatekeeper gatekeeper gatekeeper gatekeeper jobmanager jobmanager jobmanager jobmanager PBS LSF CCS PG-JobMan M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 24

13 Program main Do j=1,nt call stepdt(1) call stepdt(2) do stuff for jim Elseif(host=seymour) then do stuff for seymour Program main Do j=1,nt call stepdt(1) call stepdt(2) do stuff for jim Elseif(host=seymour) then do stuff for seymour Program main Do j=1,nt call stepdt(1) call stepdt(2) do stuff for jim Elseif(host=seymour) then do stuff for seymour Scheduling im Grid (3) Job Standardisiertes Protokoll Standardisiertes Protokoll Super-Scheduler Standardisiertes Protokoll PBS LSF CCS PG-JobMan Grid Service Factory Grid Service Factory Grid Service Factory Grid Service Factory M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 25 Die Projektgruppe Wir haben Eine Menge von Rechnern Pools, Arbeitsplätze Ein Netz zwischen diesen Rechnern Wir wollen Idle-Zeit auf diesen Rechnern nutzen Wir brauchen Eine Art Middleware Schnittstelle zwischen den Ressourcen und dem Benutzer M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 26

14 Middleware unseres Supercomputers Nutzer Middleware Ethernet Ethernet Hochleistungsrechner Büro- Rechner Ethernet Pool- Rechner DSL Home PCs Freie Ressourcen M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 27 Elemente unseres Supercomputers Internet Resource Allocation PC-Pool User B Interface PC-Pool A Job Execution Resource Scheduling Switch Data Management PC-Pool C PC-Pool D Monitoring Information Service M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 28

15 Ziel der Seminarphase (1) Durch Seminare soll Wissensgrundlage für die Projektphase gelegt werden Grundlagen-Themen Wie arbeiten andere Systeme? Können diese auf unser Problem angewet werden? Infrastruktur Themen? Welche Funktionen müssen die einzelnen Blöcke der Infrastruktur übernehmen? Wie wird dies in anderen Systemen gemacht? M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 29 Ziel der Seminarphase (2) Weiterführe Themen Blick über den Tellerrand Einordnung in das Grid-Umfeld Daher wichtig: Immer den Bezug des eigenen Themas zur Projektgruppe im Auge behalten M. Hovestadt Projektgruppe: Do-it-yourself upb.de Supercomputer 30