Hochschule für Technik und Wirtschaft des Saarlandes. Fachbereich GIS. Studiengang Praktische Informatik Master. Kim Meiser,

Transkript

1 Hochschule für Technik und Wirtschaft des Saarlandes Fachbereich GIS Studiengang Praktische Informatik Master Kim Meiser, Victor Mitskanets, Softwarearchitektur Grid- und Cloud-Computing

2 Vorwort In den Sechziger und Siebziger Jahren des letzten Jahrhunderts bahnte sich eine große Revolution in der Informatik an. Die Pioniere des Internets setzten ihre Idee um, die bis zu dieser Zeit in abgeschotteten Computersystemen verarbeiteten Daten über Netzwerke auszutauschen. Auf diese Weise entstand in den Folgejahren das Internet. Bis heute ist die Vernetzung von Computern mit dem Ziel, Daten und Informationen jederzeit überall verfügbar zu machen, weit fortgeschritten, aber noch lange nicht abgeschlossen. Die Definition von allgemein anerkannten Standards, der Aufbau der notwendigen Infrastruktur und nicht zuletzt das Bewusstsein der Menschen, die neuen Möglichkeiten zu erkennen und sinnvoll zu nutzen, braucht eben Zeit. Betrachtet man die Grundidee, Daten zwischen Rechnern auszutauschen und mit anderen zu teilen, so lässt sich diese Idee leicht fortführen. Der nächstliegende Gedanke ist, auch die ungenutzte Rechenkapazität auszutauschen und mit anderen zu teilen. Ähnlich wie Energie über das Stromnetz verteilt wird, könnte Rechenkapazität über das Internet verteilt werden. Dabei wäre nicht nur die Nutzung großer kommerzieller Farmen (Kraftwerke) als Quelle möglich. Man stelle sich vor, jeder mit dem Internet verbundene Teilnehmer könnte auch seine ungenutzte Rechenkapazität einspeisen, ganz ähnlich wie das Besitzer von Solar-Anlagen zur Zeit mit selbst erzeugtem Strom tun. Eine große Aufgabe der Informatik in naher Zukunft liegt daher in der Definition von Standards für den Austausch, Absicherung und Abrechnung der Rechenkapazität, ebenso wie man dies für den Austausch von Daten in den vergangenen 30 Jahren beobachten konnte. Der entstehende Nutzen wird genau wie beim Internet auch erst nach Jahren der Verwendung ins Bewusstsein der Anwender rücken. Irgendwann wird es für Menschen genau so selbstverständlich sein, Rechenkapazität aus dem Netz bei Bedarf zu nutzen, wie zur Zeit Informationen aus dem Internet oder Energie aus der Steckdose. Kim Meiser, Victor Mitskanets ii

3 Inhaltsverzeichnis 1 Was ist Grid- und Cloud-Computing? Die Väter des Grids: Ian Foster und Carl Kesselmann Forrester Research IBM CERN Amazon Begriffsabgrenzung Einordnung von Grid- und Cloud-Computing Für und Wider die Verwendung von Grids Anwendungsbereiche Grid-Strukturen Standard-Grids für Webanwendungen Wissenschaftliche Grids Middleware Individuelle Grid-Lösungen Volunteer Computing Verwendung eines Webgrids anhand eines Beispiels Die Beispiel-Anwendung Umgebung von Google App Engine Ausbringung der Anwendung Abschließende Betrachtung der Google AppEngine Fazit 25 Literaturverzeichnis 26 iii

4 1 Was ist Grid- und Cloud-Computing? von Kim Meiser Die Begriffe Grid- und Cloud-Computing sind bisher nicht exakt spezifiziert und voneinander abgegrenzt. Verschiedene Autoren versuchen, in ihren Arbeiten genau dies zu tun. Und obwohl sich die Definitionsversuche der letzten Jahre einander annähern, so lässt sich doch sagen, dass noch keine einheitliche Definition existiert bzw. noch keine exakte Begriffsabgrenzung zwischen Gridund Cloud-Computing gelungen ist. Das liegt auch daran, das verschiedene der großen IT-Anbieter, die sich mit Grid- bzw. Cloud-Computing befassen, die Begriffe als Marketing-Buzzwords verwenden und je nach der eigenen, gerade angebotenen Lösung etwas zurechtbiegen. Im Folgenden betrachten wir daher Auszüge aus verschiedenen Quellen, um einen Überblick über die zur Zeit gängigen Ansichten zu geben. 1.1 Die Väter des Grids: Ian Foster und Carl Kesselmann von Kim Meiser Ian Foster versucht bereits seit Ende der Neunziger Jahre, Grid- bzw. Cloud- Computing zu spezifizieren und Merkmale zu benennen, anhand denen Gridbzw. Cloud-Computing identifziert werden kann. Demzufolge gibt es mehrere Definitionsversuche, die in ihrer zeitlichen Abfolge immer präziser werden. Dieser Prozess scheint noch nicht abgeschlossen, sondern zeigt die andauernde Entwicklung auf diesem Gebiet. Die erste, häufig zitierte Definition von Ian Foster hat er mit Carl Kesselmann zusammen in seinem Buch The Grid: Blueprint for a New Computing Infrastructure veröffentlicht: A computational grid is a hardware and software infrastructure that provides dependable, 1

5 consistent, pervasive, and inexpensive access to high-end computational capabilities. (FK98) Diese frühe Definition wurde in der nächsten Auflage erheblich erweitert: The sharing that we are concerned with is not primarily file exchange but rather direct access to computers, software, data, and other resources, as is required by a range of collaborative problem-solving and resource-brokering strategies emerging in industry, science, and engineering. This sharing is, necessarily, highly controlled, with resource providers and consumers defining clearly and carefully just what is shared, who is allowed to share, and the conditions under which sharing occurs. A set of individuals and/or institutions defined by such sharing rules form what we call a virtual organization. (FK03) 1.2 Forrester Research von Kim Meiser James Staten von Forrester Research definierte Cloud-Computing auf dem SDForum Cloud Computing Conference 2008 wie folgt: A cloud is a pool of highly scalable, abstracted infrastructure that hosts your application, and is billed by consumption (Jam08). 1.3 IBM von Kim Meiser 2006 unterstrich Elias Kourpas von IBM in seiner Arbeit Grid Computing: Past, Present and Future, An Innovation Perspective die Bedeutung von Standards bei der Entwicklung von Grid-Computing, betrachtet einige zu der Zeit verfügbaren Grid-Lösungen und diskutiert den Zusammenhang zwischen Grid-Computing und SOA. Über die Bedeutung von Grids sagt er: At its core, grid is about virtualization, of both information and workload. In non-grid environments, existing infrastructures are very much siloed; resources are dedicated to applications and information. Many such dedicated infrastructures exist for common applications such as HR, Payroll, etc. and for data/information mining purposes. System response is limited by server capacity and access to the data stored. It is very difficult to dynamically respond to new requirements, as a new infrastructure would be required, inefficiencies would predominate, and full utilization across the many silos 2

6 would be difficult to achieve. In a grid environment, resources are virtualized to create a pool of assets. Workload is spread across servers and data can be seamlessly retrieved. By separating applications and information from the infrastructure they run on, and providing this abstract, virtualized view, a new level of infrastructure flexibility can be achieved. Infrastructures can now dynamically adapt to business requirements, instead of the other way around. Resources are more fully utilized, resulting in decreased infrastructure costs, reduced processing time, increased responsiveness and faster time-to-market. (EK06) 1.4 CERN von Kim Meiser Das CERN spielt bei der Entwicklung von Grid-Computing eine wesentliche Rolle. Die Europäischen Forscher haben durch Ihre Experimente den Bedarf, riesige Datenmengen zu analysieren. So wird nicht nur versucht, durch das WLCG (Worldwide LHC Computing Grid) die größte Grid-Infrastruktur der Welt zu schaffen. Daneben arbeitet man am CERN auch daran, Standards für das Thema zu finden. Neben der Unterstützung mehrerer Middleware- Projekte wird auch eine Webseite, betrieben, um den Sinn und Zweck von Grid-Computing einer breiteren Bevölkerung näher zu bringen. Im August 2008 beschreiben die CERN-Wissenschaftler Grid- Computing folgendermaßen: Grid computing connects computers that are scattered over a wide geographic area, allowing their computing power to be shared. Just as the World Wide Web enables access to information, computer grids enable access to computing resources. These resources include data storage capacity, processing power, sensors, visualization tools and more. Thus, grids can combine the resources of thousands of different computers to create a massively powerful computing resource, accessible from the comfort of a personal computer and useful for multiple applications, in science, business and beyond. (CER08) 1.5 Amazon von Kim Meiser 3

7 Als der wohl am weitesten fortgeschrittene Anbieter für Grid- und Cloud- Systeme im Web versucht Amazon durch Handeln, und weniger durch das Veröffentlichen von wissenschaftliche Papieren Standards zu setzen. Das wird u.a. auch in der Haltung Amazons gegenüber der zur Zeit in Gründung befindliche Interessensgruppe bzw. Standardisierungsversuch OpenCloudManifesto 12 sichtbar: Wir werden uns das ansehen, genau wie andere Ideen zu Standards und Methoden auch", teilte der Konzern mit. Bislang habe man festgestellt, dass man den Kunden seine Offenheit und Flexibilität am besten zeigen kann, indem man entsprechende Produkte liefere (c t09), berichtete Holger Bleich im heise Newsticker. Selbst nennt Amazon den auf seiner Infrastruktur beruhende Rechen-Grid EC2, Elastic Compute Cloud. Hier wird also, im Gegensatz zu den Ansichten von Foster/Kesselmann oder den Wissenschaftlern des CERNs die Infrastruktur mit Cloud bezeichnet. Es ist davon auszugehen, das Amazon diese Bezeichnung gewählt hat, um einen Hinweis auf das Ziel des Angebots zu setzen, auch wenn die Amazon Web Services zur Zeit noch nicht allen Forderungen an eine Cloud im Sinne von Foster/Kesselmann entspricht. Selbst sieht Amazon seine Services als Cloud-Angebot für Webservices: Amazon Elastic Compute Cloud (Amazon EC2) is a web service that provides resizable compute capacity in the cloud. It is designed to make web-scale computing easier for developers. Amazon EC2 s simple web service interface allows you to obtain and configure capacity with minimal friction. It provides you with complete control of your computing resources and lets you run on Amazon s proven computing environment. Amazon EC2 reduces the time required to obtain and boot new server instances to minutes, allowing you to quickly scale capacity, both up and down, as your computing requirements change. Amazon EC2 changes the economics of computing by allowing you to pay only for capacity that you actually use. Amazon EC2 provides developers the tools to build failure resilient applications and isolate themselves from common failure scenarios. (ama09)

8 1.6 Begriffsabgrenzung von Victor Mitskanets Die Begriffe Grid- und Cloud-Computing sind relativ neu und hören sich sehr abstrakt an. Die neuen abstrakten Begriffe hören sich sehr gut an und werden oft als buzzword für die Marketingzwecke benutzt. Je nach Anbieter-Business-Model werden unterschiedliche Aspekte von Grid- und Cloud-Computing betonnt. Die Softwareentwickler-Unternehmen gehen mehr in die reichtung Software zu skalieren. Die Service-Provider betonnen bei der Definition von Grid-Computing mehr die SaaS -Struktur (Software as Service) an. Und die Infrastrukturanbieter versuchen es auf die Hardwareebene zu lösen. Grundsätzlich geht es bei Grid- und Cloud-Computing die scheinbar unendlichen Ressourcen dynamisch zur Verfügung zu stellen und die je nach Intensität der Nutzung abzurechnen. Auf dem Basis der verschiedenen Anbieteraussagen lässt sich eine schärfere Definition von Cloud-Computing extrahieren: "Pool aus abstrahierter, hochskalierbarer und verwalteter IT- Infrastruktur, die Kundenanwendungen vorhält und nach Verbrauch abgerechnet wird". Im Allgemeinen lässt es sich folgende Aussage machen, dass die Cloud- und Grid-Computing keinen großen Unterschied haben und lassen sich schwer voneinander unterscheiden, außer, dass die Cloud-Computing eine Variante von Grid-Computing ist. Cloud Computing behandelt nur den Aspekt ausgelagerter Anwendungen, die dann über das Netzwerk eines Grid Computing Systems genutzt werden können. Also quasi nur ein auf geografische Dimensionen aufgeblasener Mainframe. 5

9 Cluster Ein Computercluster, meist einfach Cluster (engl. Schwarm, Gruppe, Haufen ), bezeichnet eine Anzahl von vernetzten Computern, die von außen in vielen Fällen als ein Computer gesehen werden können. In der Regel sind die einzelnen Elemente eines Clusters untereinander über ein schnelles Netzwerk verbunden. Ziel des Clustering besteht meistens in Abb. 1.1: NASA-Columbia Supercomputer (NARC08) der Erhöhung der Rechenkapazität oder der Verfügbarkeit gegenüber einem einzelnen Computer. Die in einem Cluster befindlichen Computer (auch Knoten oder Server) werden auch oft als Serverfarm bezeichnet. Die Cluster teilen sich in 3 folgende Kategorien: Load-Balancing Cluster Load-Balancing Cluster werden in Gebieten mit hohen Anforderungen an Computerleistung verwendet. Bei nicht ausreichender Rechenleistung werden nicht die einzelne Server nachgerüstet, sondert es werden zusätzliche Server hinzugefügt. Grund dafür ist es nicht die teure Spezial-Server zu verwenden, sonder normale billige Rechner. Hochverfügbarkeitscluster Bei Hochverfügbarkeitscluster liegt ein Schwerpunkt auf hoher Ausfallsicherheit, die Redundanz spielt da eine große Rolle. Sehr oft ist ein solcher Typ von Clustern geografisch auf mehrere Stellen (Rechenzentren) verteilt. Im Falle einen Ausfall eines Cluster Knotens, zum Beispiel einer Umweltkatastrophe, kann ein anderen Clusterknoten die Aufgaben des ausgefallenen Cluster-Knotens übernehmen. High Performance Computing Cluster High Performance Computing Cluster dienen zu Verarbeitung von komplexen Aufgaben, die auf mehrere Knoten verteilbar sind. Die Verteilung der Aufgabe übernimmt meistens ein sogenannte Job Management System. Solche Cluster werden oft für wissenschaftliche Zwecke verwendet. 6

10 Serverfarm Eine Serverfarm ist eine Gruppe von gleichartigen, vernetzten Server- Hosts, die zu einem logischen System verbunden sind. Sie optimiert die internen Prozesse durch Verteilung der Auslastung zwischen den einzelnen Servern und beschleunigt die Computerprozesse durch Ausnutzung der Kraft mehrerer Server. Eine Serverfarm benutzt für die Lastverteilung eine entsprechende Software. Der Vorteil von Serverfarmen liegt in der zentralen Verwaltung und der horizontalen Skalierbarkeit, die eine schnelle und einfache Anpassung an Wachstum und geänderte Kundenanforderungen durch Hinzufügen Abb. 1.2: Serverfarm weiterer Hosts ermöglichen. Durch redundante Auslegung der Infrastruktur, wie z. B. doppelte Verkabelung, redundante Energieversorgung und Netzanbindung wird eine hohe Ausfallsicherheit erreicht.2 Serverfarmen verbessern die Nutzung der IT-Ressourcen und erhöhen die Verfügbarkeit, Leistung und Sicherheit webbasierter Anwendungen. Die parallelen Serverstrukturen mit Appliance-Servern bieten einen extrem hohen Datendurchsatz und ermöglichen den gleichzeitigen Zugriff vieler Nutzer. 7

11 2 Einordnung von Grid- und Cloud-Computing 2.1 Für und Wider die Verwendung von Grids von Kim Meiser Die Vor- und Nachteile von Grids ergeben sich aus ihrer verteilten Struktur. Aus diesem Grund ist es auch nicht weiter verwunderlich, dass die Vor- und Nachteile des Grid-Computing mit den Vor- und Nachteilen von verteilten Architekturen weitestgehend übereinstimmen. Ein Grid bietet aufgrund seiner Architektur eine hohe Skalierbarkeit. Bei Bedarf werden Ressourcen dynamisch hinzugefügt oder entfernt. So kann die Rechen- oder Speicherkapazität theoretisch beinahe unbegrenzt erweitert werden. Die klassischen, hardware-basierten Grenzen monolitischer Systeme sind durch die Abstraktion von der darunterliegenden Hardware nicht mehr spürbar. Die zugrundeliegende Hardware-Plattform kann, je nach Anforderung, aus dem gleichen Grund sehr einfach ausgetauscht werden. Ein Beispiel: Innerhalb des Grids kann zur Speicherung der Daten ein oder mehrere dafür geeignete Storage-Lösungen verwendet werden, zur Ausführung von Algorithmen aber eine völlig andere Infrastruktur. Daher kann unter der Verwendung eines Grids je nach Bedarf eine unterschiedliche, optimale Plattform gewählt werden. Die Auslastungsquote von Ressourcen, vor allem von der Rechenkapazität, ist in klassischen Systemen eher gering. Diese Systeme werden meist so geplant und beschafft, um der höchsten zu erwartenden Auslastung gerecht zu werden. Da die Auslastung der Systeme nicht gleichmäßig ist, bleiben enorme Kapazitäten über einen Großteil der Betriebszeit ungenutzt. In einem Grid werden die Ressourcen je nach dem zur Zeit anfallenden Bedarf auf die Anwendungen aufgeteilt - und dadurch ein erheblich besserer Auslastungsgrad der Ressourcen erreicht. Der Preis pro Ressourceneinheit verringert 8

12 sich auf diese Weise erheblich. Dabei ist zu beachten, dass der Aufwand, die Ressourcen zu managen und optimal zu verteilen, zusätzlich vom Grid übernommen werden muss. Wird dieser Verwaltungsaufwand aufgrund der Architektur der Anwendung höher als der zu erwartende Nutzen, spricht dies gegen den Einsatz eines Grids. Die hohe Verfügbarkeit der Grid-Architektur spricht bei einer entsprechenden Anforderung ebenfalls für die Verwendung von Grids. Sind einzelne Teilbereiche, Farmen oder Cluster nicht erreichbar, so werden durch das Grid automatisch andere Ressourcen herangezogen, um die entstandene Lücke zu füllen. Mehr noch als ein klassisches verteiltes System, in dem die Betriebsbereitschaft zwar ebenfalls aufrecht gehalten werden würde, sollte in einem Grid durch die automatische Vergrößerung der Ressourcen der Ausfall noch nicht einmal zu spürbaren Performance-Verlusten führen. Die hohe Anschaffungskosten, die für solch große Systeme üblicherweise gezahlt werden müssen, amortisieren sich durch die bessere Auslastung und durch die Verteilung auf die verschiedenen Anwendungen erheblich schneller als bei klassischen Systemen. Für kleine Anwendungen werden nur kleine Teile oder kurze Zeit das Grid genutzt, bei größeren Anwendungen entsprechend mehr. Insofern kann man bedingt auch von einer gerechteren Bepreisung der durch das Grid zur Verfügung gestellten Leistung sprechen. Nach der Faustregel von Gordon Moore, besser bekannt als das Mooresche Gesetz, verdoppelt sich die Anzahl der Schaltkreise auf einem Computerchip etwa alle Monate. Eine ähnliche Beobachtung kann man bei Speicher machen: Dort sagt eine verwandte Regel, dass sich die auf einem Quadratzoll speicherbare Informationsmenge etwa alle 12 Monate verdoppelt. Eine dritte Regel besagt, dass sich die Übertragungskapazität der von uns verwendeten Datennetze, also allgemein dem Internet, alle 12 Monate verdoppelt. Tendenziell kann man also sagen, dass die Kapazitäten zur Übertragung und Speicherung von Daten proportional schneller wachsen als die Rechenkapazität. Durch diesen Umstand können Nachteile, die zur Zeit noch gegen die Verwendung von Grids sprechen, zukünftig entkräftet oder gar unrelevant werden. Es ist also davon auszugehen, dass Grids zukünftig für mehr Anwendungsbereiche geeignet erscheinen, auch wenn das zum jetzigen Zeitpunkt noch nicht der Fall sein sollte. 9

13 2.2 Anwendungsbereiche von Kim Meiser Alle Bereiche, die zur Zeit durch Grid-Computing profitieren, beinhalten vor allem rechenintensive oder speicherintensive Aufgaben. Natürlich spielt auch die hohe Verfügbarkeit, d. h. die Ausfallsicherheit des Grids, eine Rolle. Zu den Bereichen, in denen Grid-Computing stark eingesetzt wird, gehört z. B. die Hochenergiephysik. Am CERN werden, wie zu Beginn dieser Ausarbeitung erwähnt, einige der Experimente mit Rechengrids ausgewertet. Ebenfalls ein physikalisches Thema, dafür aber für den Laien eher verständlich ist die Wettervorhersage. Für kurzfristige Vorhersagen werden zwar vom Deutschen Wetterdienst noch Großrechner eingesetzt. Für langfristige Untersuchungen, die sich mit dem weltweiten Klimawandel befassen, sind jedoch die durch Großrechner verursachten Kosten nicht mehr tragbar. Für solche Simulationen, wie z. B. die Auswirkung der Polkappenschmelze auf die Verschiebung des Wärmeflusses im Golfstrom, wird Grid-Computing eingesetzt. Die geringeren Kosten sprechen hier für den Einsatz von Grids, gerade auch deshalb, weil das Ergebnis der Simulation im Gegensatz zur kurzfristigen Wettervorhersage nicht unbedingt zeitkritisch ist. Auch andere Anwendungsgebiete, die eine enorme Rechenleistung benötigen, werden zur Zeit auf Grids betrieben. So werden unter anderem im Medizinischen Bereich Simulationen dazu verwendet, Theorien über bestimmte biologische Vorgänge statistisch zu unter- bzw. zu widerlegen. Auch spielt hier eine Rolle, dass die Medizinische Grundlagenforschung im Gegensatz zu den traditionellen, natur- bzw. ingenieurwissenschaftlichen Forschungsdisziplinen relativ wenig über eigene Großrechner verfügt, und daher sehr viel mehr von den öffentlichen Grids profitiert als andere Forschungsbereiche. Als Beispiel sei hier genannt, ein auf der BOINC-Plattform basierendes Projekt zur Erforschung der Proteinfaltung. Proteinfaltung ist von der Wissenschaft noch kaum verstanden, und dient, wie man der Projekt-Webseite 1 entnehmen kann, als Grundlage zur Bekämpfung schwerer Krankheiten wie HIV, Malaria, Krebs oder Alzheimer. Neben den Forschungsprojekten, die immer stärker die Möglichkeiten von Rechengrids nutzen, erkennt und nutzt auch die Industrie immer stärker die Vorteile von Grids. So werden rechenintensive Simulationen, wie z. B. Crashtests der Autoindustrie mit Rechengrids vorgenommen. Im Betriebswirtschaft

14 lichen Bereich werden Simulation von eventuell eintretenden Marktszenarien und deren Auswirkungen auf das eigene Unternehmen noch eher zaghaft auf Rechengrids umgesetzt. Dieser Anwendungsbereich ist noch recht jung und kann, je nach Entwicklung der aktuellen Wirtschaftskrise, zukünftig ebenfalls eine wichtige Rolle bei der Entwicklung des Grid-Computing spielen. Je nach der Güte der Simulation lassen sich betriebswirtschaftliche Entscheidungen besser beurteilen und so möglicherweise Fehlentscheidungen vermeiden. Zur Zeit wird auch der Ansatz verfolgt, ein Grid als Infrastruktur für Software as a Service (SaaS) 2 aufzubauen und durch die Vermietung der Software zu finanzieren. Gerade bei IBM 3, Microsoft 4, SUN 5 und anderen großen Anbietern im IT-Bereich lässt sich dieser Trend erkennen. Für den Kunden ergibt sich der Vorteil aus der wegfallenden Komplexität bei der Bereitstellung und Wartung der Software. Für die Anbieter liegt der Vorteil darin, deren eigene Grids möglichst hoch auszulasten und somit einen Kostenvorteil gegenüber klassischen Hosting-Modellen zu erlangen. Zudem werden Erträge aus der Vermietung von Software und Services generiert, was zur Zeit ein noch fast unerschlossener Bereich der IT-Branche darstellt

15 2.3 Grid-Strukturen von Kim Meiser Durch die reine Vernetzung von Hosts oder die Zusammenschaltung mehrerer Cluster entsteht noch lange kein Grid. Wie eine Grid-Struktur aussehen kann oder muss, ist Teil der aktuellen Diskussion in der IT-Welt. Wie bereits betrachtet wurde, gehen die Ansichten darüber zur Zeit noch auseinander. Ganz sicher gibt es auch nicht die eine, korrekte Grid-Struktur. Betrachtet man die unterschiedlichen, möglichen Anwendungsbereiche für Grid-Computing, wird schnell klar, dass unterschiedliche Anforderungen zu unterschiedlichen strukturellen Konzepten führen. So teilen Grids zur Berechnung, zur Speicherung von Daten, zur Bereitstellung von beliebigen Ressourcen, von Services oder von Wissen selbstverständlich nur einige der zugrundeliegenden Anforderungen, in anderen Teilen liegen die Anforderungen weit auseinander. Im Folgenden stellen wir daher einige ausgewählte Konzepte vor, wie ein Grid aufgebaut und strukturiert werden kann Standard-Grids für Webanwendungen von Victor Mitskanets Amazon bietet zwei verschiedene Arten von Grids. Das erste heißt Amazon S3 und ist für Speicherung der Daten zuständig. Speicherplatz vom Grid ist theoretisch unbegrenzt. Die Abrechnung erfolgt monatlich, es werden 0,18 USD pro GB benutzter Speicherplatz berechnet. Das zweite Grid-Produkt heißt Amazon EC2. Amazon EC2 (Amazon Elastic Compute Cloud) - ein Webdienst der ein skalierbares Rechenkapazität mit Hilfe eines Cloud-Computing. Die Webapplicationen lassen sich sehr einfach mit Hilfe eines Amazon EC2 Interfaces in die Cloud integrieren. Als Konkurenz von Amazon kommt Google mit AppEngine produkt raus. AppEngine ist völlig kostenlos. Es steht genug CPU-Zeit und Bandbreite um 5 Millionen Seitenzugriffe pro Monat zu ermöglichen. Es stehen 500 MB Speicherplatz zur Verfügung. Zur Zeit wird nur die Script-Sprache Python von Google AppEngine unterstutzt. Unterstützung weiterer Programmierprachen ist geplannt. Neue Application kann man völlig kostenlos unter hosten lassen. Diese Application ist sofort unter dem vorherausgewälten Subdomain im Internet erreichbar. 12

16 Die Firma Oracle kommt mit Oracle Database 11g auf den Markt. Dieses Produkt ist die erste Datenbank die für einen Grid-Computing konzipiert wurde. Die bietet rekord-performance und Skalierbarkeit auf Windows-, Linuxund UNIX-Servern und sorgt für schnelle Amortisation durch Übergang von einem Einzelserver zu Grid Computing, ohne dass eine einzige Codezeile geändert werden muss Wissenschaftliche Grids von Kim Meiser Der Ursprung und immer noch eine starke Triebfeder des Grid-Computing wurzelt im wissenschaftlichen Anwendungsbereich. Dort, wo immer schon Großrechner eingesetzt wurden, sind auch die ersten Grids durch die Verknüpfung von mehreren Großrechnern und Rechenzentren entstanden. Gerade durch die doch teilweise sehr unterschiedliche Hardware-Architektur in diesem Bereich ist eine Abstraktion der zugrundeliegenden, verteilten Hardware oftmals unerlässlich. In Deutschland wird unter dem Namen Deutsche Grid-Initiative (D-Grid) ein Grid für wissenschaftliche Zwecke aufgebaut. Dieses Grid wird mit öffentlichen Mitteln gefördert und steht Forschungsinstitutionen für Ihre Zwecke zur Verfügung. In der Stufe D-Grid 2 wird zwischen 2007 und 2010 dieses Grid erweitert, so dass es auch für Wissenschaft und Industrie zur Verfügung steht. Geplant sind weitere Schritte zur Erweiterung der D-Grid-Infrastruktur mit der Einführung professioneller Betriebskonzepte, Service-Level-Agreements für die Verhandlungen zwischen Nutzern und Betreibern von Ressourcen, einer Wissensschicht, dem Aufbau von virtuellen Kompetenzzentren, die Anbindung service-orientierter Architekturen der Industrie, und die Bereitstellung von Grid-Ressourcen zum Nutzen der ganzen Gesellschaft. (Kar09) Middleware von Kim Meiser Im Bereich der Middleware für Grid-Applikationen hat sich in den letzten Jahren einiges getan. Bei jeder neuen Infrastruktur möchte man das Rad nicht neu erfinden. So ist es nicht verwunderlich, dass Grid-Middleware- Projekte wie Pilze aus dem Boden schießen. Deren Umfang, Zielsetzung und Umsetzungsgrad variiert dabei relativ stark. So hat man in Deutschland mit 13

17 Uniformes Interface für Computer-Ressourcen (UNICORE) 6 recht früh ein nun auf europäischer Ebene angesiedeltes Projekt gefördert. UNICORE ist mittlerweile Mitglied im Open Grid Forum (OGF) 7, einem Zusammenschluss unterschiedlichster Personen, Institutionen und Unternehmen zur Förderung des Austauschs von Grid-relevanten Themen und der Diskussion und Definition von Standards in diesem Bereich. Die aktuelle Version von UNICORE ist eine vollständige Implementierung des OASIS-Standards der Open Grid Services Architekture (OGSA), welche eine Architektur-Spezifikation für Grid Services darstellt. Neben Unicore implementieren weitere Grid-Services den OASIS-Standard der OGSA. Das Globus Toolkit von der Globus Alliance 8 ist dabei wohl die zur Zeit weltweit am meisten eingesetzte Middleware für Grid-Systeme. Einen nicht unerheblichen Anteil an seinem Bekanntheitsgrad hat das Globus Toolkit dem Einfluss von Ian Foster und Carl Kesselmann zu verdanken, die sich bereits mehrfach in Büchern dem Globus Toolkit gewidmet haben und an dessen Spezifikation maßgeblich beteiligt sind. Ein etwas jüngerer Kandidat in der Kategorie Middleware ist GridGain 9. Nach eigener Aussage ist GridGain eine ideale Plattform für das Grid-Umfeld in Java. GridGain is an ideal platform for Native Cloud Applications. GridGain provides developers with powerfull and elegant technology to develop and run applications on the cloud. GridGain is developed in Java and for Java developers and it is a natural extension of the latest Java development methodologies including annotations, integration of Spring and AOP-based grid-enabling. GridGain is squarelly focused on one thing - providing the best Java software middleware that allows to develop complex grid applications on the cloud infrastructure in a simple and productive way. (Sys09) Individuelle Grid-Lösungen von Kim Meiser Neben der Erstellung eines eigenen Grids, entweder von Grund auf oder unter Verwendung einer geeigneten Middleware, bietet sich auch die Möglichkeit an, einen darauf spezialisierten Hersteller mit der Bereitstellung und Betrieb einer auf die eigenen Bedürfnisse möglichst gut zugeschnittene Grid-Infrastruktur

18 zu beauftragen. Neben großen Herstellern gibt es auch einige aufstrebende kleinere Anbieter mit einem innovativen Konzept. Amazon Amazon ist der am weitesten fortgeschrittene Anbieter für Grid-Computing im Web. Amazon bietet mit seinem auf Webservices ausgerichteten Portfolio 5 Produkte an: Das bereits mehrfach erwähnte Elastic Compute Cloud (EC2) wird durch weitere Services ergänzt: SimpleDB ist die Datenbank, die die Speicherung der Daten innerhalb der Amazon Web Services (AWS) übernimmt. Zugreifen kann man auf die SimpleDB über den SimpleStorageService (S3), der die Datenbank-Schicht innerhalb der AWS abstrahiert. Über den Simple Queue Service (SQS) können die eigenen Services kommunizieren, und so eine persistente, asynchrone Kommunikation ohne Aufwand verwenden. Und letztlich sorgt die Amazon CloudFront dafür, die Latenz durch eine geschickte Last-Verteilung und der Berücksichtigung geographischer Abhängigkeiten beim Routing zur nächstgelegenen Knoten innerhalb des Amazon-Grids erheblich zu senken. GoGrid Unter bietet die ServePath Company ihren Service an, der darin besteht, eine individuelle Cloud für den Kunden zu hosten. GoGrid stellt dabei die Infrastruktur zur Verfügung, die etwas an die Konzeption von Amazon erinnert. Mit einem StorageService, LoadBalancing Services und die volle Kontrolle über die entstehenden Kosten sieht das Angebot wie der kleine Bruder der Amazon Web Services aus. Dennoch verfolgt GoGrid ein leicht abgewandeltes Konzept, in dem der Kunde einen höheren Individualisierungsgrad und Zuschnitt auf die eigenen Bedürfnisse als bei Amazon erwarten kann. Die geforderten Preise sind aber vergleichsweise hoch, auch wenn auf eine Mindestgebühr verzichtet wird. Microsoft Microsoft hat bereits bei mehreren Gelegenheiten seine neue Cloud-Plattform Azure 10 angekündigt. Azure besteht aus einem Access Control Service, einem.net Service Bus zur einfachen Anbindung von Anwendungen untereinander,

19 sowie ein Workflow-Service, um Business-Prozesse über Anwendungen hinweg zu managen. Die Integration der vorhandenen Microsoft-Services, wie z. B. Microsoft Sharepoint-Services, Microsoft Dynamics CRM Services und die Live Services lassen darauf schließen, dass Microsoft mit Azure seine Ankündigung umsetzt, die Konzernstrategie hin zu einer stärkeren Präsenz im Internet und hin zur stärkeren Kombination von Service-Angeboten zu drehen. Das Angebot der Azure Services Platform ist allerdings noch relativ neu, und es kann noch keine ernsthafte Anwendung genannt werden, die auf den Microsoft Azure Services basiert. Trotz allem scheint Azure eine interessante Plattform zu sein, von der man gerade im Bereich der.net-anwendungen noch einiges hören wird Volunteer Computing von Kim Meiser Was ist Volunteer Computing? Volunteer computing is an arrangement in which people (volunteers) provide computing resources to projects, which use the resources to do distributed computing and/or storage. Volunteers are typically members of the general public who own Internet-connected PCs. Organizations such as schools and businesses may also volunteer the use of their computers. Projects are typically academic (university-based) and do scientific research. But there are exceptions; for example, GIMPS and distributed.net (two major projects) are not academic. (BOI09) Das wohl bekannteste Projekt im Volunteer Computing ist die Berkeley Open Infrastructure for Network Computing (BOINC). BOINC wurde ursprünglich von der Universität von Kalifornien in Berkeley initiiert und noch bis heute betreut. BOINC ist als gestartet. In der jetzigen Version unterstützt der BOINC-Client verschiedene Projekte, die meist wissenschaftlichen Zwecken dienen. Aber theoretisch kann jeder, der möchte, ein Projekt auf der BOINC-Plattform anbieten. Die Freiwilligen (Volunteers) wählen selbst, für welche Projekte, die für die BOINC-Plattform angeboten werden, sie ihre Rechenleistung spenden möchten. Bei BOINC ist die große Zahl an Ressourcen zu erwähnen, die Freiwillige aus der ganzen Welt zur Verfügung stellen. So sind in diesem Monat etwa Freiwillige mit insgesamt ca Computern am BOINC-Projekt beteiligt. Sie stellen zusammen durchschnittlich etwa TeraFLOPS Rechenleistung dauerhaft und kostenlos bereit. 16

20 Neben den naheliegenden CPUs von Computern werden durch den BOINC- Client auch Graphical Processing Units (GPUs) vor allem zur 2D- und 3D-Simulation eingesetzt. Die dabei erzielten Leistungen liegen heute bereits bei der 60-fachen Leistung einer GPU gegenüber einer herkömmlichen, im Moment üblichen Heim-CPU. Auch die Bereitstellung des BOINC-Clients für Spielekonsolen, namentlich die PlayStation 3, hat zu einem enormen Schub bei der zur Verfügung stehenden Rechenkapazität geführt. Installiert man den BOINC-Client, kann man sich für ein oder mehrere bestimmte Projekte registrieren, an denen man als Freiwilliger teilnehmen möchte. Das besondere ist, dass die BOINC-Infrastruktur, nicht aber das Projekt oder die beteiligten Server, zentral gesteuert werden. BOINC bietet also nur die Plattform für unterschiedliche Projekte. Jeder Freiwillige kann sich so für ein oder mehrere Projekte entscheiden, ohne unterschiedliche Software installieren zu müssen. Die Wissenschaftlichen Projekte haben den Vorteil, dass sie sich nur um Verteilung des Contents und die Bereitstellung der Algorithmen zur Berechnung kümmern müssen. Der Aufbau, Betrieb und Wartung eines solchen Netzes ist nicht Teil des Projekts, da er von BOINC übernommen wird. Das reduziert die Komplexität bei Aufbau und Betrieb eines solchen Projektes erheblich. Diese geringe Hürde für den Einstieg führt dazu, dass nun fast wöchentlich neue Projekte bei BOINC zur Auswahl stehen. Der einfache Installationsvorgang und die Bereitstellung für mehrere Plattformen wiederum sorgen dafür, dass das Heer an Freiwilligen täglich wächst. 17