Albert-Ludwigs-Universität Freiburg Fakultät für Angewandte Wissenschaften Institut für Informatik Lehrstuhl für Kommunikationssysteme Systeme I

Transkript

1 Albert-Ludwigs-Universität Freiburg Fakultät für Angewandte Wissenschaften Institut für Informatik Lehrstuhl für Kommunikationssysteme Systeme I Cluster vs. Grids schriftliche Ausarbeitung vorgelegt von: Daniel Kuhner (Matrikelnummer: ) Prof. Dr. Gerhard Schneider 15. Januar 2008

2 Daniel Kuhner Matr.Nr Übungsgruppe 6 - Maria Braun Lehrstuhl für Kommunikationssysteme Prof. Dr. Gerhard Schneider Freiburg, 15. Januar 2008 Grid vs. Cluster 1 Einführung Was passiert, wenn die Rechenleistung eines Supercomputers in einer Forschungseinrichtung nicht mehr ausreicht. Oder was passiert wenn man ein Problem hat, dass von keinem Computer der Welt gelöst werden kann? Die Lösung ist hinter Clustern und Grids verborgen! Mit diesen beiden Techniken ist man in der Lage Problem ökonomisch sinnvoll und (relativ) schnell lösen zu können! Ein kleines Beispiel: Wenn man einen Wagen mit Ochsen ziehen möchte gibt es 2 Möglichkeiten. Die erste ist die, den Wagen mit einem Super-Ochsen zu ziehen (den man züchten muss). Man könnte aber auch einfach 2 Ochsen verwenden, um den Wagen zu ziehen 1. Diese kleine Geschichte lässt sich auch auf die Informatik übertragen. Wenn man ein Problem zu lösen hat, kann man entweder einen Hochleistungscomputer verwenden oder man verwendet mehrere normale Computer, um das Problem zu lösen! 1 To pull a bigger Waggon, it is easier to add more oxen than to grow a gigantic ox W.Gropp, E.Lusk, A.Skjellum 2

3 2 Merkmale 2.1 Cluster Definition Cluster bezeichnen grundlegend einen Zusammenschluss von Rechnern in einem Netzwerk. Mit Clustern möchte man vorrangig die Erhöhung der Rechenperformance (siehe Einteilung) erzielen oder die Sicherung der Verfügbarkeit von Daten im Vergleich zu normalen Standaloneservern erhöhen. Die Berechnung auf Clustern nennt man auch verteiltes oder paralleles Rechnen! 2 Abbildung 1: HP XC4000 Cluster der Universität Karlsruhe Einteilung Clusters lassen sich in 2 Hauptkategorien einteilen 4 : High Availability Computing Cluster (HA) Durch high availability computing werden ausfallsichere Dienste realisiert. Auf die Weise können zum Beispiel Web-, Datenbank- und Fileserver erstellt werden. Sobald in einem solchen HA-Cluster ein Knoten ausfällt, wird die Leistung von den verbleibenden Knoten übernommen, wodurch ein Komplettausfall praktisch unmöglich wird. Ein bekanntes Beispiel dieser Kategorie ist Google: Hier wird ein Netzwerk aus Computern (Stand: 2003) eingesetzt, um die Erreichbarkeit der Suchmaschine zu gewährleisten und den enormen Rechenaufwand zu bewältigen Abschnitt Clusterkategorien, :00 Uhr Cluster Computing, Heiko Bauke und Stephan Mertens, Springer-Verlag 2006, Abschnitt Linux, Anwendungsgebiete, S Luiz Barroso, Jeffrey Dean, und Urs Hoelzle, WEB SEARCH FOR A PLANET: THE GOOGLE CLUSTER ARCHITECTURE, Seite 1,

4 High Performance Computing Cluster (HPC) Hier liegt das Augenmerk auf hoher Performance. Man versucht durch massiv-paralleles Rechnen rechen-, aber auch speicherintensive Aufgaben zu lösen Aufbau Cluster sind aus Knoten (Nodes) und Servern aufgebaut. Die Knoten übernehmen dabei die eigentliche Rechenarbeit, die Server dienen als "Koordinationscomputer". Die Server verteilen die einzelnen Teilberechnungen auf die jeweiligen Knoten. Um eine einfache Wartung zu gewährleisten, werden in großen Netzwerken häufig disk-lessnodes eingesetzt. Solche festplattenlose Knoten haben haben den Vorteil, dass sie sich leicht warten lassen, da die Installation (Betriebssystem, etc.) auf dem Server liegt und beim Booten in den Hauptspeicher geladen wird. Hochverfügbarkeitscluster lassen sich prinzipiell in 2 verschiedene Arten einteilen: Entweder haben die nodes Festplatten (shared-nothing-architektur) oder sie haben keine (shared-all). Shared-Nothing hat den Vorteil, dass man hier durch Lokalität (Festplatte) sehr gute Zugriffszeiten hat (anstatt auf die Festplatte des Servers über das Netzwerk). Ausfallsicherheit wird hier allerdings nicht gewährleistet, da jeder Knoten seine eigenen Daten hat. Die zweite Möglichkeit ist die, die Daten allen Knoten zur Verfügung zu stellen (über Server; hohe Ausfallsicherheit; eventl. aber langsamer) Software Auf Clustern wird überwiegend Linux als Betriebssystem eingesetzt, was daran liegt, dass der Support im Vergleich zu anderen Betriebssystemen sehr gut ist. Linux ist zum einen kostenlos und läuft stabil, zum anderen liegt hier ein offener Quellcode vor (Leichtes Anpassen des Betriebssystems für eigene Zwecke) 7. Allerdings lassen sich Cluster auch mit Windows (Microsoft Windows Server 2003 RS2 Cluster Server), Sun (SunCluster) oder anderen Betriebssystemen realisieren. Zudem benötigt man für solch ein Netzwerk spezielle Software, die das Management des Clusters übernimmt. 6 Abschnitt Technik, Cluster Computing, Heiko Bauke und Stephan Mertens, Springer-Verlag 2006, Abschnitt Linux, freie Software und offene Standards, S. 30/31 4

5 2.1.5 Kosten Ein großer Vorteil bei Clustern ist der, dass Clusters aus beliebigen Rechnern aufgebaut werden können. So kann man ausgemusterte Rechner verwenden (sehr günstig) oder man kauft sich einen Cluster von der Stange, die man sich heutzutage von vielen großen Anbieter (IBM, etc.) bereits vorinstalliert (teuer; Das Einrichten bleibt dem Betreiber aber selbst überlassen, da jeder Kunde unterschiedliche Wünsche hat) liefern lassen kann. Eine weitere interessante Möglichkeit ist die, dass man ein bestehendes Netzwerk (in Firmen, etc.) nachts als Cluster verwenden. Wenn man z.b. Bürorechner abends neu mit dem Cluster- Betriebssystem bootet, lässt sich auf einfachste Weise ein Cluster realisieren. Wer allerdings einen Cluster will, der perfekt auf die eigenen Bedürfnisse zugeschnitten ist, muss sich seinen Cluster selbst aufbauen und installieren. Hier liegt der Vorteil darin, dass man dann genau weiß, wie das System aufgebaut ist und funktioniert. Abbildung 2: alter Linux Cluster des LRZ München Leistungsvergleich In der Liste der 500 schnellsten Rechner der Welt, sind 406 Cluster enthalten 9. (Stand Nov. 2007) Hier wird deutlich, dass Cluster in den letzten Jahre immer mehr an Bedeutung gewan Nov. 2007, Seite 5 5

6 nen. Dieser Trend wird sich auch in Zukunft fortsetzen, da sich mit Clustern verhältnismäßig schnelle Rechner realisieren lassen und das meist günstiger als gewöhnliche Hochleistungscomputer. 2.2 Grids Definition Der Begriff Grid leitet sich vom englischen Begriff für Stromnetz ab. Die Idee hinter Grids ist die, dass Rechenleistung oder andere Dienste aus der Steckdose bezogen werden können. Laut Ian Foster 10 muss ein Grid die 3 folgenden Eigenschaften erfüllen: Koordination von Ressourcen, die nicht unter einer gemeinsamen Kontrolle stehen Das bedeutet, dass Grids Computer und Ressourcen verbinden, die nicht zu einem gemeinsamen Netzwerk gehören, bzw. sich nicht im eigenen Einflussgebiet befinden. Grids verwenden offene Standardprotokolle und Interfaces Für die Realisierung verwendet man offene, standardisierte Protokolle und Schnittstellen, um grundlegende Elemente zur Verfügung zu stellen (z.b. zur Authentifizierung, Autorisierung, etc.) Bereitstellung von Ressourcen Bestehende Ressourcen werden dazu verwendet, um unterschiedliche Dienstgüten in koordinierter Art und Weise bereitzustellen. Besonders der 2.Punkt stellt Probleme dar, da man häufig noch nicht offene und standardisierte Protokolle und Schnittstellen einsetzt, bzw. entwickelt hat. Das von Ian Foster mitentwickelte OGSA (Open Grid Services Architecture) 11 soll hierbei Abhilfe schaffen! Unterteilung Folgende Unterteilung ist möglich 12 : Computational Grids 10 foster/articles/whatisthegrid.pdf, Ian Foster, Argonne National Laboratory & University of Chicago, Abruf: Einleitung, Abruf:

7 Computational Grids verfolgen eine besonders hohe Rechenleistung, um komplexe Probleme lösen zu können. Als Beispiele lassen sich hier die meisten bekannten Grids anführen, die in der Wissenschaft eingesetzt werden. Data Grids Datengrids verarbeiten große Mengen an Daten. Ein Beispiel hierfür wäre die Forschungseinrichtung CERN, die ein extra Datengrid benötigt, um die enorme Datenmenge ihres neuen Teilchenbeschleunigers LHC zu verarbeiten. Equipment Grids Equipment-Grids dienen zur ferngesteuerten Bedienung und Verarbeitung von Zusatzgeräten, wie Teleskopen oder ähnlichem Kosten & Aufbau Kosten und Aufbau sind grundsätzlich analog zu den Cluster-Netzwerken. Prinzipiell benötigt man hier nur einen Computer mit Netzwerkverbindung. Die Aufgaben werden dann mittels spezieller Grid-Software auf die Knoten des Netzwerkes verteilt. Damit halten sich auch hier die Kosten natürlich stark in Grenzen! 3 Unterschiede 1. Cluster sind überwiegend homogen gehalten. Das bedeutet, dass die einzelnen Knoten hier gleich oder ähnlich aufgebaut sind. Grids hingegen sind heterogen aufgebaut. Diese bestehen aus unterschiedlichen Knoten, die zu einem Netzwerk zusammengefasst werden. 2. Grids sind nicht zentral verwaltet (die Knoten können sich in verschiedenen Adressbereichen befinden), wohingegen sich in Clustern alle Knoten innerhalb einer bestimmten Adresse befinden. 3. Aus Punkt 2 folgt auch, dass die Administration von Grid-Knoten vom jeweiligen Eigentümer (die variieren können) vorgenommen wird. Die Cluster-Administration erfolgt zentral durch einen Administrator. 4. Die Hauptaufgabe der Cluster-Knoten ist die Berechnung des Problems selbst. Grid- Knoten können auch für andere Arbeiten verwendet werden (wie z.b. bei SETI@home). 7

8 4 Anwendungen 4.1 Grid: (Search For Extraterrestrial Intelligence at home) ist ein Projekt der Berkley Universität 13. Man versucht durch verteiltes Rechnen außerirdische Intelligenz zu suchen und zu finden. Hier kann sich jeder anmelden, der seine freien Ressourcen der Wissenschaft zur Verfügung stellen will. Bei diesem Projekt haben sich seit Beginn (1999) 5,4 Mio. Menschen angemeldet 14. Dieses Grid ist somit das größte seiner Art. Das Projekt wertet die Radiosignale des Arecibo-Observatoriums in Puerto Rico aus. Es gibt noch etliche (Berechnen großer Primzahlen, Entdecken von Medikamenten, etc.), die für jedermann zugänglich sind. Das für Informatiker vielleicht interessanteste Thema ist die Rechenleistung. Der schnellste Rechner der Welt, der BlueGene/L und leistet laut TOP500.org 15 max. 596 TFlops. Das Projekt leistet insgesamt laut Wikipedia bis zu 900 TFlops! 4.2 Cluster Laut aktueller Top500 steht der schnellste Cluster der Welt in Indien und belegt Platz 4. Es handelt sich hierbei um eine Hewlett-Packard Cluster Plattform 3000 BL460c mit CPUs und einer Leistung von rund 118TFlops. Der Cluster wird von TATA (stellt unter anderem Autos her) betrieben. Die einzelnen Knoten werden hierbei durch ein schnelles Infiniband- Netzwerk verbunden 16. Das Rechenzentrum der Universität Karlsruhe ist im Besitz eines HP XC4000 Clusters (Platz 114 Top500.org). Dieser Cluster ist unter anderem aus 750 Knoten aufgebaut, von denen jeder 4 Prozessoren besitzt. Außerdem gehören 10 Fileserver-Knoten mit insgesamt 56 TB Speicher zum Cluster. Auch hier wird ein Infiniband-Netzwerk eingesetzt. Das System hat eine Rechenleistung von 15,77 TFlops Abruf: , 22.00Uhr 14 Abruf: , 22.00Uhr 15 Platz 1, Abruf: Abruf: Uhr 17 Abruf: :04 Uhr 8

9 5 Zusammenfassung Cluster stellen seit einiger Zeit - und werden dies auch in der Zukunft - eine echte Alternative zu teuren Superrechnern dar und sind außerdem stark erweiterbar. Mit dieser Technik lassen sich auch in Zukunft Probleme lösen, was ohne die Parallelität nicht möglich wäre. Das selbe gilt auch für Grids. Besonders diese Technik ist für wissenschaftliche Probleme interessant, da hier noch eine enorme Rechenleistung verborgen ist. 9

10 Literatur [1] Barroso, Luiz, Jeffrey Dean und Urs Hoelzle: WEB SEARCH FOR A PLA- NET: THE GOOGLE CLUSTER ARCHITECTURE, [Online ( /papers/googlecluster-ieee.pdf); Stand: 05. Januar :00Uhr]. [2] Bauke, Heiko und Stephan Mertens: Cluster Computing. Springer, [3] California, University of: SETI@home, [Online ( berkeley.edu/); Stand: 10. Januar :00Uhr]. [4] Foster, Ian: What is the Grid? A Three Point Checklist, [Online ( www-fp.mcs.anl.gov/~foster/articles/whatisthegrid.pdf); Stand: 14. Januar :00Uhr]. [5] Globus-Alliance, [Online ( Stand: 14. Januar :00Uhr]. [6] Karlsruhe, Rechenzentrum Universität: Landeshöchstleistungsrechner HP XC4000, [Online ( Stand: 10. Januar :00Uhr]. [7] München, LRZ, [Online ( Bildquelle; Stand: 10. Januar :00Uhr]. [8] Top500.org, [Online ( Stand: 10. Januar :00Uhr]. [9] Wikipedia: Computercluster Wikipedia, Die freie Enzyklopädie, [Online (http: //de.wikipedia.org/wiki/computercluster); Stand: 31. Dezember :00Uhr]. [10] Wikipedia: Grid-Computing Wikipedia, Die freie Enzyklopädie, [Online (http: //en.wikipedia.org/wiki/grid-computing); Stand: 02. Januar :30Uhr]. [11] Wikipedia: SETI@home Wikipedia, Die freie Enzyklopädie, [Online (http: //de.wikipedia.org/wiki/seti@home); Stand: 09. Januar :00Uhr]. 10

11 A Anhang Die Eingabe-Datei index.html: 1 <! DOCTYPE html PUBLIC " -// W3C // DTD XHTML 1.0 Transitional // EN" 2 " http :// /TR/ xhtml1 / DTD / xhtml1 - transitional. dtd "> 3 <html xmlns =" http :// /1999/ xhtml "> 4 <head > 5 <meta http - equiv =" Content - Type " content =" text / html ; charset =utf -8" /> 6 <title > Number of chars, whitespaces and words </ title > 7 </ head > 8 9 <body > 10 <p>< strong > Number of chars, whitespaces and words </ strong ></ p> 11 <form action =" tex. class. php " method =" post " 12 enctype =" multipart /form - data " name =" form1 " id=" form1 "> 13 <table width =" 513 " border =" 0" cellpadding =" 0" cellspacing =" 0" > 14 <tr > 15 <td width ="53">File :</td > 16 <td width =" 460 "><label > 17 <input type =" file " name =" tex " id=" tex " /> 18 </ label ></td > 19 </tr > 20 <tr > 21 <td >& nbsp ;</td > 22 <td >& nbsp ;</td > 23 </tr > 24 <tr > 25 <td >& nbsp ;</td > 26 <td ><label > 27 <input type =" submit " name =" button " id=" button " 28 value =" Count " /> 29 </ label ></td > 30 </tr > 31 </ table > 32 </ form > 33 </ body > 34 </ html > 11

12 Die Datei tex.class.php, die die eigentliche Berechnung durchführt: 1 <? 2 class Tex_File 3 { 4 private $tex_file ; 5 # Load Tex - File 6 # construct 7 function construct () 8 { 9 if ( $_FILES [ tex ][ error ] == UPLOAD_ERR_OK ) 10 { 11 if ( move_uploaded_file ( $_FILES [ tex ][ tmp_name ], $_SERVER [ DOCUMENT_ROOT ]. / file. tex )) 12 { 13 $this -> tex_file = trim ( file_get_contents ( file. tex )); 14 $this -> clean (); 15 } 16 else 17 { 18 die (" Datei entspricht nicht den Anforderungen "); 19 } 20 } 21 else 22 { 23 die (" Fehler beim Hochladen!"); 24 } 25 } # Clean tex - file 28 # clean : attribute tex_file -> clean tex_file ( without tex - tags ) 29 private function clean () 30 { 31 # remove all outside \ begin { document } 32 preg_match ( /\\\ begin \{ document \}(.*?)\\\ end \{ document \}/ mis, $this -> tex_file, $erg ); 33 $tex = $erg [1]; # remove special - tags with {}, [],... ( complete ) 36 $spec_tags_0 = array ( \\\ definecolor \{.*?\}\{.*?\}\{.*?\}, 37 \\\ begin \{ minipage \}\[.*?\]\{.*?\}(.*?)\\\ end \{ minipage \}, 38 \\\ begin \{ minipage \}\{.*?\}(.*?)\\\ end \{ minipage \}, 39 \\\ begin \{ flushright \}(.*?)\\\ end \{ flushright \}, 40 \\\ begin \{ titlepage \}(.*?)\\\ end \{ titlepage \}, 41 \\\ section \{ Anhang \}(.*), 42 \\\ begin \{ figure \}\[.*?\](.*?)\\\ end \{ figure \} ); 43 foreach ( $spec_tags_0 as $tag ) 44 { 45 $regex = /. $tag. / ims ; 46 $tex = preg_replace ( $regex,, $tex ); 47 } # remove special - tags with {} ( complete ) 50 $spec_tags_1 = array ( \\\ footnote, \\\ bibliographystyle, \\\ bibliography, 51 \\\ cite, \\\ nocite, \\\ begin, \\\ end, \\\ footnotetext, 52 \\\ label, \\\ vspace ); 53 foreach ( $spec_tags_1 as $tag ) 54 { 55 $regex = /. $tag. \{.*?\}/ ims ; 56 $tex = preg_replace ( $regex,, $tex ); 12

13 57 } # remove special - tags with {} 60 $spec_tags_2 = array ( \\\ textbf, \\\ section, \\\ subsection, \\\ subsubsection, 61 \\\ LARGE, \\\ textit, \\\ ref, \\\ item ); 62 foreach ( $spec_tags_2 as $tag ) 63 { 64 $regex = /. $tag. \{(.*?)\}/ ims ; 65 $tex = preg_replace ( $regex, $1, $tex ); 66 } # remove tags without {} 69 $spec_tags_3 = array ( \\\ newpage, ~\\\\, \\\\ ); 70 foreach ( $spec_tags_3 as $tag ) 71 { 72 $regex = /. $tag. /i ; 73 $tex = preg_replace ( $regex,, $tex ); 74 } # replace " und " 77 $tex = preg_replace ( /"\ "\ /, ", $tex ); # remove % 80 $tex = preg_replace ( /%[^\ n ]*/ i,, $tex ); $this -> tex_file = trim ( $tex ); 83 } # Get number of chars 86 # get_number_of_chars : attribute tex_file -> int 87 private function get_number_of_chars () 88 { 89 return strlen ( $this - > tex_file ); 90 } # Get number of whitespaces 93 # get_number_of_whitespaces : attribute tex_file -> int 94 private function get_number_of_whitespaces () 95 { 96 return substr_count ( $this - > tex_file, ); 97 } # Get number of words 100 # get_number_of_words : attribute tex_file -> int 101 private function get_number_of_words () 102 { 103 return str_word_count ( $this - > tex_file, 0); 104 } # Output : the number of chars, whitespaces and words 107 # output : -> string 108 function output () 109 { 110 echo " Number of chars : ". $this -> get_number_of_chars (). "<br >\r\n"; 111 echo " Number of whitespaces : ". $this -> get_number_of_whitespaces (). "<br >\r\n"; 112 echo " Number of words : ". $this -> get_number_of_words (). "<br >\r\n"; 113 } 13

14 # Output : cleaned Latex - Code 116 # output_clean_code : -> string 117 public function output_clean_code () 118 { 119 return $this - > tex_file ; 120 } # Delete tex - file 123 # destruct 124 function destruct () 125 { 126 if ( file_exists ( $_SERVER [ DOCUMENT_ROOT ]. file. tex )) 127 unlink ( $_SERVER [ DOCUMENT_ROOT ]. file. tex ); 128 } 129 } $Tex_File = new Tex_File (); 132?> <! DOCTYPE html PUBLIC " -// W3C // DTD XHTML 1.0 Transitional // EN" 135 " http :// /TR/ xhtml1 / DTD / xhtml1 - transitional. dtd "> 136 <html xmlns =" http :// /1999/ xhtml "> 137 <head > 138 <meta http - equiv =" Content - Type " content =" text / html ; charset =utf -8" /> 139 <title > Number of chars, whitespaces and words / title > 140 </head > <body > 143 <p>< strong > Number of chars, whitespaces and words </ strong > </p> 144 <p > <? $Tex_File -> output ();?></p> 145 <p> Text without Latex : <br / > 146 </p> 147 <label > 148 < textarea name =" textarea " id=" textarea " cols =" 150 " rows ="30"> 149 <? echo $Tex_File - > output_clean_code ()? ></ textarea > 150 </ label > 151 </body > 152 </html > 14