Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)

Transkript

1 Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)

2 Informatik zur Problemlösung Mathematische Berechnungen Datenverwaltung Informationsverarbeitung und -aufbereitung 2

3 Wunsch des Applikationsentwicklers 1 Problem 42 1 Antwort Applikation Adapter zwischen Applikation und dort wo die Lösung errechnet wird Super Black Box 3

4 Praxis: Engpass Rechenleistung 1 Problem Engpass 42 1 Antwort 1 Computer 4

5 Erste Lösungsmöglichkeit 1 Problem 42 1 Antwort 1 GROSSER Computer 5

6 Zweite Lösungsmöglichkeit 1 Problem 42 1 Antwort Computer 6

7 Implementationsaufwand? 1 Problem 42 1 Antwort Aufwändig zu realisieren Computer Implementationsaufwand 0 7

8 Themen dieses Abends Wie funktioniert die zweite Variante genauer (Giesskanne / Trichter)? Wir werden eine Technik genauer anschauen ( Grid-Computing). Wie stehen die beiden gezeigten Varianten zueinander im Vergleich? Bei welcher Art von Problemen macht es Sinn, viele kleine Computer einzusetzen. Wo eignet sich ein einzelner grosser Computer besser? Wie sieht es bei den zwei Varianten bezüglich dem Preis-Leistungsverhältnis aus? 8

9 Ablauf Wer Thema Was Zeit Reto Bei der Natur und bisherigen Technik spicken Vortrag 5 Benno Brückenschlag zur Informatik: Grid-Computing auf den Punkt gebracht Vortrag 10 Reto Wir spielen selbst Grid-Computing Spiel 20 Reto Problembehandlung beim Grid-Computing Vortrag 10 Benno Vergleich der beiden Varianten Vortrag 10 Benno Ausnutzung von ungenutzten Ressourcen Spiel 10 Benno Anwendungsmöglichkeiten Vortrag 10 9

10 Verteiltes Arbeiten in der Natur Ameisen Jeder Stamm hat seinen eigenen Ameisenbau Die Königin gibt den Auftrag: (Nestbau & Nahrungssuche) Die Arbeiterinnen teilen die Arbeit untereinander auf Jede Ameise handelt eigenständig zum Wohl des Stammes Die Ameisen kommunizieren untereinander Unter den Ameisen eines Stammes herrscht Vertrauen Einen ganzen Ameisenstamm auszulöschen ist sehr schwierig 10

11 Eigenschaften bei Ameisen Ameisen Der Stamm ist (fast) dezentral organisiert Das System ist sehr ausfallsicher Intelligente Ressourcenaufteilung Standardisierte Kommunikation zwischen den einzelnen Individuen Sicherheit und Vertrauen ist im Bau von zentraler Bedeutung Eine Arbeitseinheit ist billig in der Herstellung Skalierbarkeit durch einfaches Hinzufügen neuer Ameisen und Bauvergrössern Computer Es wird im Verbund kein Server vorausgesetzt Das System ist sehr fehlertolerant und manipulationssicher Computer-Ressourcen werden geteilt (Speicher, Drucker,...) Basis von offenen Standards wie IEEE (Ethernet), Internet Engineering Task Force (TCP/IP, RFCs), W3C (XML, SOAP), etc. AAA (Access policy, Authentication, Authorization) Auch bei vielen teilnehmenden Computern tiefe Kosten 11

12 Black Box in der Technik Stromnetz (engl. Power-Grid) ( ) Super Black Box Box 12

13 Eigenschaften beim Stromnetz Die Infrastruktur des Stromnetzes ist an vielen Orten schon gegeben Es ist dem Konsument egal, wo und wie der Strom erzeugt wurde Man kann sich auf das Stromnetz verlassen (Spannung, etc). Man kann den Strom in seinen eigenen Entwicklungen/Geräten weiterverwenden Ende Jahr gibt s eine Stromrechnung Parallelen zur Computerwelt?!? 13

14 Zwei Beispiele

15 15

16 Übersicht Arecibo radio telescope Berkeley 16

17 Demo 17

18 Statistik Total die letzten 24 Stunden Benutzer Total CPU time Jahre Jahre Fliesskomma Operationen 5, , (69,2 Tflops) 1 Tflops = 1 Billion Fließkomma - Operationen pro Sekunde. 18

19 Fight fightaidsathome.scripps.edu 19

20 Übersicht Test HIV Medikament Olson Labor Protease Blocker? Test Test 20

21 Zusammentragen Was zeichnet ein Grid aus? 21

22 Grid: Definition Zumindest der Versuch einer Definition heute [Hype-Kurve nach Gartner Goup] 22

23 Der Traum Nur noch ein riesiger virtueller Computer: Das Grid Jeder kann soviel Rechenleistung beziehen wie er gerade braucht, egal wie schnell seine Hardware ist. 23

24 Umsetzung: Übersicht Benutzer 1 Computer 24

25 Grid: Definition 1. Ressourcen werden koordiniert, die nicht einer zentralen Kontrolle unterliegen. Verschiedene Organisationen, verschiedene Besitzer, verschiedene Länder Standardisierte, offene, allgemeine Protokolle werden verwendet. Autentifizierung, Autorisation, Ressourcen verwalten. 3. Stellt nicht triviale Dienste zur Verfügung. Ein Grid ist mehr als nur die Summe der Einzelteile. 25

26 Spiel Was passiert jetzt... Jeder von uns repräsentiert einen Computer Wir zwei haben ein beinahe unlösbares Problem vor uns liegen, das wir mit Hilfe von euch lösen möchten Wir erstellen daraus Teilprobleme und verteilen diese euch ( kleine Zettel) Eure (Teil)Antworten gebt ihr uns unmittelbar zurück ( vorne auf den Folien eintragen gehen oder jemandem vorne zurufen ) 26

27 Erkenntnisse aus dem Spiel Antworten können... ausbleiben mehrfach und/oder in verschiedener Form beim Ziel eintreffen (was stimmt jetzt?) korrumpiert worden sein ( Hacker) annähernd richtig eintreffen ( Bitfehler) mit grosser Verspätung eintreffen 27

28 Massnahme 1 Antworten können... ausbleiben Lösung: Verwendung eines Zeitstempels / Timeouts. 28

29 Massnahme 2 Antworten können... mehrfach und/oder in verschiedener Form beim Ziel eintreffen (was stimmt jetzt?) Lösung: Vergleichen der einzelnen Resultate mit allfälligem Mehrheitsentscheid oder erneutem Berechnen. 29

30 Massnahme 3 Antworten können... korrumpiert worden sein ( Hacker) Lösung: Erneutes senden der Anfrage. Die Anfrage landet dann aber nicht zwingend wieder beim gleichen Computer. Dave_Anderson.wav 30

31 Massnahme 4 Antworten können... annähernd richtig eintreffen ( Bitfehler) Lösung: Mittels mathematischen Verfahren können Fehler detektiert und in gewissem Masse auch korrigiert werden. 31

32 Massnahme 5 Antworten können... mit grosser Verspätung eintreffen Lösung: Erneutes senden der Anfrage. Die Anfrage landet dann aber nicht zwingend wieder beim gleichen Computer. 32

33 Preis/Leistung von Grid Vergleich von Supercomputer Cluster Grid 33

34 Top 500 Liste (Stand: ) Organisation Hardware/Prozessor Peak Tflops 1 Earth Simulator Center Japan 2 Los Alamos National Laboratory USA 3 Virginia Tech USA Earth-Simulator 5120 ASCI Q - AlphaServer SC45, 1.25 GHz Dual 2.0 GHz Apple G Super Computer Cluster 34

35 Top 500 Zukunft (2007)? Organisation Hardware/Prozessor Peak 1 CERN Schweiz u.a. LHC Grid ~70 000???? 2? Grid?? 3? Grid?? 35

36 Der Traum Keine Top 500 Liste mehr, nur noch ein riesiger virtueller Computer: Das Grid 36

37 Kosten Earth Simulator Klima- und Erdbebensimulationen Bau: 350 Millionen $ Betrieb:? (10 Millionen) Bauzeit: 5 Jahre 37

38 Kosten BigMac Forschung an der Virgina Universität Bau: 5.2 Millionen $ Betrieb:? (0.5 Millionen) Bauzeit: 2 Tage 38

39 Kosten LHC Grid Auswertung von Teilchenbeschleuniger LHC Bau: 02-05: 10 Mio Euro (EU) 05-07:?? Betrieb:? (1 Million) Bauzeit: 6 Jahre 39

40 Novartis and the Grid Zwei Texte Novartis The Datagrid Zu zweit, jeder liest einen der Texte Danach diskutiert miteinander über eure Texte 40

41 Geeignete Probleme für Grids 1. Hoher Rechenaufwand 2. Geringe Bandbreite 3. Verfügbarkeit nicht garantiert! Viren 4. Geschwindigkeit nicht garantiert! Moorhuhn 5. Zerlegbar in Teilprobleme 41

42 Beispiele Simulationen dynamischer Systeme (Erdbeben) Auswerten von Messergebnissen (Seti, LHC) Simulation von Medikamenten (protease blocker) Dekodieren von Gensequenzen (Human Genom Projekt) Berechnung von Proteinfaltung Datenbanken optimieren Sortieren von Daten... 42

43 Grid Frameworks mygrid.sourceforge.net [mygrid.sourceforge.net] Open Source Grid Client (java/.net/mono) Grid Middleware (.net/mono) Grid MP Enterprise [ Kommerziell Windows, Linux, AIX, Solaris Lizenz für Clients Globus Alliance [ Initiative von verschiedenen Universitäten 43

44 Globus Beispiel globusrun -r resource_broker_name &(count=5) (max_time=240) (memory>=64) (executable=meinprogramm) (stdin= (stdout=/home/bester/output) (stderr= Lässt meinprogramm für maximal 4 Stunden auf 5 Rechner laufen, die mindestens 64MB Speicher haben. 44

45 MyGrid Architektur 45

46 MyGrid GUI 46

47 MyGrid XML 47

48 Was haben wir heute gesehen? Was versteht man unter dem Begriff Grid Beispiele für Grid Probleme eines Grid Vergleich Supercomputer/Cluster/Grid Architektur eines Grids 48

49 Ende Vielen Dank für eure Aufmerksamkeit & 49