Impressum. Die dieser Veröffentlichung zugrunde liegenden Vorhaben wurden mit Mitteln des Bundesministeriums für Bildung und Forschung gefördert.

Transkript

1

2 Impressum Die dieser Veröffentlichung zugrunde liegenden Vorhaben wurden mit Mitteln des Bundesministeriums für Bildung und Forschung gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autoren. Herausgegeben von der Gemeinnützigen D-Grid Entwicklungs- und Betriebsgesellschaft mbh Redaktion: Lajos Herpay, Sonja Neweling, Uwe Schwiegelshohn Zu beziehen durch: D-Grid ggmbh c/o Institut für Roboterforschung Otto-Hahn-Str Dortmund Tel.: Fax: sonja.neweling@d-grid-ggmbh.de Internet:

3 3 D-Grid Die Deutsche Grid-Initiative Vorstellung der Projekte

4 4

5 Vorwort 5 Die D-Grid Initiative im vierten Jahr Nach einer mehrjährigen Vorbereitungsphase begannen die erste D-Grid Projekte ihre Arbeit im September Inzwischen sind alle Projekte dieser ersten Phase einschließlich einer halbjährigen Verlängerung für einige Projekte abgeschlossen, während für mehrere Projekte der zweiten Phase eine Zwischenbewertung ansteht und die der dritten Phase nach einer ausführlichen Begutachtung ausgewählt wurden und in Kürze an den Start gehen werden. Dies ist eine gute Gelegenheit für eine Zwischenbilanz. Insgesamt hat das Bundesministerium für Bildung und Forschung mehr als 100 Millionen Euro in den Aufbau des D-Grid investiert. Dies beinhaltet zunächst fast 40 Projekte mit teilweise mehr als 10 beteiligten Institutionen in einem Projekt und ist daher Ausdruck einer sehr breiten Förderung. Einen Überblick über die zeitliche Staffelung der verschiedenen Projekte, die dann auf den folgenden Seiten einzeln vorgestellt werden, erhalten Sie in Abbildung 1. Weiterhin wurden auch Investitionen in Rechner und Speicher getätigt, die es erlauben, neue Gridansätze in einen Produktionsbetrieb überzuführen, ohne den Regelbetrieb in den diese Ressourcen beherbergenden Institutionen zu unterbrechen. Dabei haben sich alle Förderempfänger mit eigenen Mitteln an den Projekten und dem Betrieb der Ressourcen beteiligt und so ihr Interesse an D-Grid unter Beweis gestellt. Kernpunkt der Projektförderung ist die Vereinfachung des Einsatzes von IT-Diensten und Ressourcen in Wissenschaft und Wirtschaft durch Verwendung der Grid-Technologie. Da die Industrieunternehmen in der Regel erst dann auf eine neue Technologie umstellen, wenn der Produktseinsatz unmittelbar bevorsteht, galt die erste Phase der Projekte vor allem akademischen Anwendungsgebieten. Die Erfahrungen und Ergebnisse aus diesen Projekten erlauben dann in den weiteren Phasen eine schnellere Hinführung gerade auch kleinerer Unternehmen an diese Technologie. In dieser Phase befinden wir uns jetzt. Es ist daher angebracht, einmal zu überlegen, welche Schlüsse wir aus den Projekten bisher ziehen können. Zu diesem Zweck werden die einzelnen Projekte in dieser Broschüre vorgestellt. So können sowohl Sie als Leser sich ein Bild über die Vielfalt der Projekte und damit den Anwendungsmöglichkeiten der Grid-Technologie machen als auch die Beteiligten an den einzelnen Projekten einmal über ihren Tellerrand auf andere Projekte blicken und so vielleicht neue Ideen erhalten. Diese Broschüre soll aber auch ganz besonders einen Dank beinhalten an alle Projektbeteiligten für ihr Engagement bei der Durchführung der Projekte, an den Projektträger für seine konstruktive Begleitung der Projekte und an das Bundesministerium für Bildung und Forschung für die Förderung. Ich hoffe, dass Sie mit dem Studium dieser Broschüre einen guten Einblick in D-Grid gewinnen und verbleibe mit freundlichen Grüßen Uwe Schwiegelshohn

6 6

7 Grußwort 7 Grußwort Cloud-Computing und Grid-Computing sind zurzeit in aller Munde. Die Begriffe beziehen sich auf einen Paradigmenwechsel in der IKT: Rechnerleistung, Speicherplatz, Programme und Messergebnisse sollen einfach wie Strom aus der Steckdose bezogen werden können. Dann interessiert es keinen Nutzer mehr, wo die Bilder animiert oder wo Simulationen berechnet werden. Dafür notwendige Technologien stellt das Grid-Computing bereit. Vernetzte IKT-Ressourcen erlauben es, für den jeweiligen Anwendungsfall maßgeschneiderte Lösungen anzubieten. Der Anwender bezahlt dann nur noch seinen Verbrauch an Rechenleistung, Programmnutzung oder benötigtem Speicherplatz. Diese Vision einer sehr flexiblen IKT wurde von Wirtschaft und Wissenschaft in einem Strategiepapier bereits Ende 2003 formuliert und eine deutsche Grid-Initiative angeregt. Das Bundesministerium für Bildung und Forschung (BMBF) griff diese Überlegungen auf und initiierte 2004 die D-Grid-Initiative. Als Ergebnis von bisher drei zeitlich gestaffelten Bekanntmachungen werden Grid-Technologien mit rund 100 Mio. Euro in 36 Verbundprojekten mit mehr als 140 Partnern gefördert und in Anwendungsszenarien erprobt. Nutzten bislang vor allem Wissenschaftler diese Technologie, findet Grid-Computing jetzt mehr und mehr Resonanz in Hightech-Industriezweigen, die rechenintensive Aufgaben lösen müssen. Dies wird an der zunehmenden Anzahl der beteiligten Branchen im D-Grid deutlich. Die D-Grid-Initiative ist damit auf dem richtigen Weg. Sie bietet gerade dem innovativen Mittelstand die Chance, an rechenintensiven Technologien zu partizipieren, da dafür nötige Supercomputer den Finanzrahmen kleiner Unternehmen sprengen. Dadurch können z. B. Standortnachteile ausgeglichen und Kosteneinsparungen erzielt werden wichtige Wettbewerbskriterien im Zeitalter der Globalisierung. Dr. Rainer Jansen

8 8

9 Inhaltsverzeichnis 9 Vorwort Grußwort D-Grid ggmbh Gemeinnützige D-Grid Betriebs- und Entwicklungsgesellschaft Koordination für das Grid 10 Projekte Integrationsprojekt DGI-Grid D-Grid-Integrationsprojekt 2 (DGI-2) Betriebs- und Supportstrukturen im D-Grid 12 Gap Projekt D-MON Leibniz-Rechenzentrum, Garching Horizontale Integration des Ressourcen- und Dienst-Monitoring im D-Grid 20 Service Projekte BIS-Grid Christian-Albrechts-Universität zu Kiel, Institut für Informatik Betriebliche Informationssysteme: Grid-basierte Integration und Orchestrierung F&L-Grid T-Systems Solutions for Research GmbH Eine generische Infrastruktur für Backup & Recovery SuGI Universität zu Köln, Zentrum für Angewandte Informatik Konzepte für eine nachhaltige Grid-Infrastruktur Akademische Projekte AstroGrid-D Astrophysikalisches Institut Potsdam Kollaborative, gridbasierte Forschungsumgebung für die Astronomie C3Grid Alfred-Wegener-Institut für Polar- und Meeresforschung Bremerhaven Das C3Grid im Umfeld internationaler Herausforderungen durch IPCC 28 30

10 10 HEP-Grid GSI, Helmholtzzentrum für Schwerionenforschung GmbH HEP CG Das Hochenergiephysik Community Grid In-Grid Universität Stuttgart, Höchstleistungsrechenzentrum Stuttgart (HLRS) Innovative Grid-Entwicklungen für ingenieurwissenschaftliche Anwendungen TextGrid Niedersächsische Staats- und Universitätsbibliothek Göttingen Ein Community-Grid für die Geisteswissenschaften Kommerzielle Projekte AeroGrid Deutsches Zentrum für Luft- und Raumfahrt e.v. (DLR) Grid-basierte Zusammenarbeit in der Luftfahrtforschung BauVOGrid Technische Universität Dresden, Institut für Bauinformatik Eine Grid-basierte Plattform für die virtuellen Organisationen im Bauwesen Biz2Grid IBM Deutschland Research & Development GmbH Business Anwendungen im Grid - Eine Anwendung für die Automobil Industrie Fin-Grid Goethe-Universität Frankfurt Entwicklung und Analyse von Grid-Applikationen für die Finanzdienstleistungsindustrie GDI-Grid Regionales Rechenzentrum Niedersachsen (RRZN) Geodaten-Processing im Grid für Wissenschaft und Industrie MedInfoGRID Otto-von-Guericke-Universität Magdeburg, Medizinische Fakultät Provider für Integrierte Medizinische Information Partner-Grid Fraunhofer-Institut IAO Kooperative Grid-Lösungen für industrielle Anwendungen ProGRID science + computing ag Grid-Technologie für kooperative Produktentwicklung am Beispiel Simulation und Produktdatenmanagement S@M Universitätsmedizin Göttingen, Georg-August-Universität Services@MediGRID - Service Grid für die biomedizinische Verbundforschung

11 11 Ressourcen Grids BW-GRID High Performance Computing Center Stuttgart Ein landesweites Ressourcen-Grid in Baden-Würtemberg GoeGrid Universität Göttingen Das Göttinger Grid-Ressourcen-Zentrum GoeGrid Anhang Projektpartner 60

12 12 Koordination für das D-Grid Die gemeinnützige D-Grid Entwicklungs- und Betriebsgesellschaft mbh (D-Grid GmbH) soll eine effiziente Zusammenarbeit der einzelnen Projekte der D-Grid-Initiative und damit einen schnellen Entwicklungsfortschritt sicherstellen. Dazu ist sie für die Koordinierung der D-Grid Projekte und die Unterstützung der Projekte bei der Bildung einer nachhaltigen Grid-Infrastruktur in Deutschland verantwortlich. Weiterhin hilft sie bei der Klärung von organisatorischen, rechtlichen und internationalen Fragestellungen und kümmert sich um eine projektübergreifende Öffentlichkeitsarbeit für die D-Grid Initiative. Das Konzept von D-Grid zielt auf eine Einbindung von Anwendungen aus vielen unterschiedlichen Bereichen. Aus diesem Grund werden vom Bundesministerium für Bildung und Forschung (BMBF) Projekte aus unterschiedlichen Disziplinen gefördert. Um einen Zusammenhalt zu gewährleisten, werden diese so genannten Community-Projekte durch ein Integrationsprojekt, ergänzt durch kleinere so genannte Gap-Projekte zur Füllung von neu entdeckten Lücken, und mehrere Service-Projekte zur Erzeugung von allgemeinen IT- Diensten unterstützt. Die Beziehungen zwischen den Projekten gibt Abbildung 1 schematisch wieder. Ohne Berücksichtigung von Projekten aus der dritten Ausschreibung besteht das D-Grid aus mehr als 20 Projekten mit über 100 Partnern. Hinzu kommen noch zusätzliche Einrichtungen, die für eine Übergangsphase vom BMBF mit Sondermitteln ausgestattet wurden, um den D-Grid Projekten Rechner und Speicher zur Verfügung zu stellen, ohne den Regelbetrieb an diesen Einrichtungen zu gefährden. Einen groben Überblick über die Verteilung dieser speziellen D-Grid Ressourcen gibt Abbildung 2. Die Unterschiede zwischen den einzelnen Ressourcen lassen sich auf einer einzelnen Abbildung allerdings nicht darstellen. Zur Koordination und Unterstützung dieser vielen Einzelaktivitäten innerhalb von D-Grid wurde 2008 die D-Grid ggmbh gegründet. Dabei verbleibt die Verantwortung bezüglich der technischen Einzelheiten bei den einzelnen Projekten und hier besonders beim Integrationsprojekt (DGI). Hier wirkt die D-Grid ggmbh nur unterstützend bei der Durchführung von projektübergreifenden Arbeitstreffen. Auf diesen Treffen werden neue Problemstellungen und ihre Lösungsansätze diskutiert. So erhalten vor allem auch neu gestartete Projekte die Möglichkeit, sich sehr schnell auf einen entsprechenden technischen Stand zu bringen. Die Einbindung der D-Grid ggmbh in die D-Grid- Struktur wird in Abbildung 3 dargestellt. Ein Beispiel für eine neue organisatorische Struktur im D-Grid liefert ebenfalls Abbildung 3. In einem sehr einfachen Modell können wir zwischen Anbietern von Rechnern und Speichern oder von IT-Dienstleistungen sowie von Nutzergruppen, die aus dem akademischen oder aus dem kommerziellen Bereich stammen, unterscheiden. Das Grid soll nun ähnlich dem Stromnetzwerk dem Nutzer

13 D-Grid ggmbh 13 einen Zugriff auf die Rechner und IT-Dienste erlauben, ohne vorher aufwändige Vertragsverhandlungen mit den Anbietern durchführen zu müssen. Im Gegensatz zum Strom- und Telefonnetz, wo nur ein Hauptdienst zur Verfügung steht, bietet das D-Grid den Nutzern unterschiedliche Rechner mit unterschiedlicher Software und unterschiedliche IT-Dienste an. Diese Ressourcen und Dienste werden von unabhängigen Institutionen bereitgestellt. Sowohl für die Anbieter wie auch für die Nutzer sind Rahmenverträge über die Leistungen und die damit verbundenen Garantien sehr hilfreich. Dies gilt ganz besonders, wenn es sich bei den Nutzern um kleine Unternehmen oder einzelne Lehrstühle handelt. Daher sollen für solche Gruppen Vertretungslösungen etabliert werden. Für die am Grid beteiligten akademischen Rechenzentren wird der Gauß-Allianz Verein diese Vertretungsrolle übernehmen, während zur Ausarbeitung einer geeigneten Organisationsstruktur für akademische Disziplinen ein weiteres D-Grid Projekt durchgeführt wird. Offen bleibt zum gegenwärtigen Zeitpunkt die Repräsentation von kleineren Unternehmen oder Gruppen von ähnlich ausgerichteten Unternehmen. Hier wird die D-Grid ggmbh zusammen mit den entsprechenden Projekten nach Lösungen suchen. Zusätzlich werden auch einzelne D-Grid Projekte bei der Erstellung eines geeigneten Geschäfts- und Organisationsmodells für ihr Umfeld unterstützt. Auch im rechtlichen Bereich sind noch viele Fragen offen. Gegenwärtig betrifft dies vor allem das Angebot von Rechnern, Speicher und IT-Diensten von akademischen Einrichtungen. Aufgrund der föderalen Struktur in Deutschland werden Investitionen meist von dem jeweiligen Bundesland gefördert. Damit können diese Ressourcen nicht ohne Weiteres Nutzern aus einem anderen Bundesland angeboten werden. Da das Grid aber wesentlich auf einem großen Angebot basiert, wird ihm so eine seiner Grundlagen entzogen. Gerade in kleinen Bundesländern gibt es vielfach nicht genügend Einrichtungen, um ein ausreichendes Angebot für ein Landes- Grid zu erzeugen. Während Zwischenlösungen über Länderkooperationen erreicht werden können, sollte langfristig eine gemeinsame Lösung in Deutschland angestrebt werden. Dies ist ebenso ein Betätigungsfeld der D-Grid ggmbh wie auch die Beschäftigung mit der Berücksichtigung der Benutzung der D-Grid Infrastruktur bei der Forschungsförderung. Schließlich ist noch zu berücksichtigen, dass auch viele andere Länder ihrerseits Gridaktivitäten durchführen. Gerade bei großen Forschungsprojekten hat die internationale Kooperation eine sehr große Bedeutung. Daraus folgt zwangsläufig auch das Bedürfnis nach Zusammenarbeit bei den jeweiligen nationalen Grid- Infrastrukturen. Auch hier wird die D-Grid ggmbh entweder bei Bedarf selbst aktiv oder sorgt vorzugsweise für eine geeignete Vertretung von Deutschland. So ist der schon erwähnte Gauß-Allianz Verein der Vertreter von Deutschland in der European Grid Initiative (EGI). Kontakt: Prof. Dr. Uwe Schwiegelshohn Gemeinnützige D-Grid Betriebs- und Entwicklungsgesellschaft c/o Institut für Roboterforschung Otto-Hahn-Straße Dortmund uwe.schwiegelshohn@udo.edu

14 14 DGI-2 Betriebs- und Supportstrukturen im D-Grid Mit dem Anfang 2008 zu Ende gegangenen D- Grid-Integrationsprojekt 1 (DGI-1) wurde in Deutschland eine Kern-Grid-Infrastruktur geschaffen, die von den damals schon existierenden Community-Grid-Projekten genutzt werden konnte und die bis heute eine Grundlage für weitere Community-Projekte bildet. Durch das DGI-1 und durch die vom BMBF in den Jahren 2006 bis 2008 finanzierten D-Grid-Sonderinvestitionen konnte inzwischen eine ansehnliche und weiträumig verteilte Grid-Infrastruktur in Deutschland geschaffen werden. Im Rahmen des Nachfolgeprojektes DGI-2 wird diese Grid- Infrastruktur auf eine nachhaltige und langfristig nutzbare Basis gestellt. An dieser Aufgabe arbeiten im DGI-2 zwanzig Partner aus Wissenschaft und Industrie in einer schlagkräftigen Projektorganisation. Inhalte und Struktur des DGI-2 sind, wie auch schon im DGI-1, im Wesentlichen Community-getrieben. Dazu wurde schon im Vorfeld der Antragstellung sehr intensiv mit den Community-Projekten kommuniziert. Daraus ergaben sich vier wichtige Schwerpunkte des DGI- 2: Support und Betrieb der Kern-Grid-Infrastruktur sowie Sicherheit und Datenmanagement. Obgleich das DGI-2, wie schon das DGI-1, kein Entwicklungs-, sondern ein Integrationsprojekt ist, sind doch einzelne Entwicklungsmaßnahmen unabdingbar; diese werden als fünfter Schwerpunkt im DGI-2 zu einem eigenständigen Entwicklungsprojekt zusammengefasst. Schließlich kommt der Kommunikation mit den Community-Projekten, ganz besonders in Hinblick auf die vom BMBF geforderten nachhaltigen Geschäftsmodelle, eine wichtige Bedeutung zu; dieser Komplex bildet den sechsten Schwerpunkt des DGI-2. Fachgebiet 6: Nachhaltigkeit und Koordinierung DGI-2 Fachgebiet 1: Support für Grid-Benutzer und Ressourcenanbieter Im Fachgebiet 1, Support, wird für Grid-Benutzer und Ressourcen-Anbieter ein zentraler einheitlicher Anlaufpunkt geschaffen, der bei der Lösung von Problemen hilft, sowie Unterstützung bei der Anpassung von Ressourcen und von Anwendungen für das Grid bereitstellt. Zusätzlich stellt das verteilte Kompetenzzentrum Middleware vielfältiges Know-how für die Unterstützung von Benutzern und Ressourcenanbietern bereit. Das DGUS-Portal (D-Grid User Support, steht allen D-Grid-Nutzern zur Verfügung, die in irgendeiner Weise Unterstützung benötigen. Dies gilt z.b. für Probleme bei der Zertifizierung, für Schwierigkeiten bei der Registrierung von Ressourcen oder Virtuellen Organisationen (VOs) oder bei sonstigen Hindernissen, welche bei der Nutzung des Grid auftreten. Grundsätzlich gilt, dass gemeldete Probleme an kompetente Personen oder Gruppen weitergegeben und dort gelöst werden. Auf dem Portal kann ein Nutzer über ein vorbereitetes Formular sein Problem beschreiben und in die Datenbank eingeben; der First-Line-Support am For- Für die Bearbeitung dieser sechs Schwerpunkte wurde das Gesamtprojekt DGI-2 in die folgenden sechs Fachgebiete (FG) gegliedert, die anschließend detailliert vorgestellt werden: Fachgebiet 1: Support für Grid-Benutzer und Ressourcenanbieter Fachgebiet 2: Betrieb der D-Grid-Infrastruktur Fachgebiet 3: Sicherheit Fachgebiet 4: Daten- und Informationsmanagement Fachgebiet 5: Entwicklungsprojekte

15 Integrationsprojekte 15 schungszentrum Karlsruhe gibt dieses Ticket dann an die zuständige Stelle weiter. Jeder Supporter trägt ebenfalls sein Vorgehen in die Datenbank ein, so dass die DGUS-Datenbank inzwischen über 600 dokumentierte Probleme enthält. An Rechenzentren in ganz Deutschland sitzen über 100 Supporter, die sich um die Lösung der Tickets kümmern. Je mehr das DGUS-Portal genutzt wird und damit Problemlösungen dokumentiert werden, desto schneller lassen sich auch zukünftige Probleme lösen oder sogar vermeiden. Es ist geplant, diese Auswertung im Laufe des Projektes zu automatisieren. Das Kompetenzzentrum Middleware ist zuständig für die Beratung und Unterstützung (Level-2-Support) sowohl der Grid-Benutzer als auch der Ressourcen- Anbieter. Die Unterstützung wird für die drei Middleware-Programm-Pakete UNICORE, glite und Globus Toolkit von Experten an den beteiligten Forschungszentren erbracht. Als Werkzeug zur Problemmeldung und -verfolgung wird das DGUS-System eingesetzt. Neben den Basisdiensten der Middleware-Pakete werden auch anwendungsspezifische Probleme behandelt, insbesondere die Unterstützung für anwendungsorientierte Pakete wie Grid Application Toolkit (GAT) und das Simple API for Grid Applications (SAGA). GAT und SAGA bieten eine einheitliche Programmierschnittstelle (application programming interface, API) für den Zugriff auf das Grid. Der Zugriff auf die unterschiedliche Grid-Middleware erfolgt über Adapter. Damit wird vom Anwendungsentwickler nur noch die Kenntnis der einfacheren GAT-API verlangt, anstatt die APIs der einzelnen Grid-Middlewares zu kennen. Das D-Grid besteht aus dem Zusammenschluss einer Vielzahl von Rechenzentren. Die Referenzinstallation bildet dabei ein solches Rechenzentrum (kurz: Site) mit allen unterstützten Softwarekomponenten ab. Diese Referenzinstallation dient im Support zur Reproduktion von Fehlern in einem definierten Umfeld und als Testplattform für neue Software-Versionen. Um eine Site prototypisch aufzubauen, benötigt man zuerst einen Computer-Cluster aus mehreren Rechnern und Software, um diesen automatisch zu konfigurieren und zu betreiben. Ein Rechner wird dabei als sogenannter interactive node konfiguriert und erlaubt Verwaltern und Programmierern einen Blick in den Cluster. Da in einem Grid der Anwender nicht auf den einzelnen Rechner direkt zugreift, sondern dies der Grid-

16 16 Software überlässt, werden Rechner (User Interface, UI) für die verschiedenen im D-Grid etablierten Middleware-Pakete (Globus Toolkit, UNICORE, glite) bereitgestellt. Auch für die bei den Arbeiten im Grid benötigten Daten gibt es Benutzerschnittstellen, die verwendet werden, das sind SRM/dCache und OGSA- DAI. Die in der Referenzinstallation verwendeten Software-Pakete stehen auch den Rechenzentren, die am D-Grid beteiligt sind, zur Verfügung. Software ist kein statischer Prozess und so, wie sich die verwendete Software weiterentwickelt und verbessert wird, so muss auch die Referenzinstallation immer wieder neu aufgesetzt werden, wobei alte Versionen auf virtualisierter Hardware weiter vorgehalten wird. Der Aktualisierungsprozess durchläuft jährlich zweimal drei Zyklen: Diskussion, Beta und Veröffentlichung. Hierbei fließen die aktuellen Anforderungen der Anwender, der Betreiber und der Softwarehersteller ein. Einzelheiten sind im D-Grid-Portal zu finden ( DGI-2 Fachgebiet 2: Betrieb der D-Grid Infrastruktur Im Fachgebiet 2, Betrieb der D-Grid Infrastruktur, werden zentrale Dienste der D-Grid Infrastruktur für die Virtuellen Organisationen (VOs) und deren Mitglieder sowie für die Anbieter von D-Grid Ressourcen bereitgestellt und weiterentwickelt. Für jede Virtuelle Organisation, die diesen Service in Anspruch nehmen möchte, wird ein Virtual Organisation Membership Registration Service (VOMRS) betrieben. Über diesen Dienst findet dann die Nutzerverwaltung dieser VO statt. Jedes D-Grid-Projekt kann eine D-Grid VO gründen. Die VOs und ihre Mitglieder werden im Umgang mit VOMRS unterstützt. Zur Integration der D-Grid-Ressourcen in die Infrastruktur wird der Grid Resource Registry Service (GRRS) betrieben. Anbieter von D-Grid-Ressourcen müssen ihre Ressourcen am GRRS anmelden, damit diese Teil der Infrastruktur werden können. Für den Betrieb der Ressourcen wird der Mapping-Service dgridmap angeboten. Ein Software-Klient, der regelmäßig auf der Ressource gestartet wird, erzeugt ein aktuelles Mapping für die unterschiedlichen Grid-Middleware-Systeme, die auf der Ressource installiert sind. In diesem Mapping werden die Nutzer aller auf der Ressource zugelassenen VOs zu Unix-Accounts zugeordnet. Die Abhängigkeiten zwischen VOMRS, GRRS, VOs und Ressourcen sind auf der folgenden Seite dargestellt. Die GRRS- Datenbank wird im Verlauf des Projektes weiterentwickelt und um die Verwendung der Ressourcen- Beschreibungs-Sprache D-GRDL erweitert. Den Betrieb von Virtuellen Organisationen, Ressourcen und zentralen Diensten regelt das D-Grid Betriebskonzept (siehe Betriebskonzept/D-Grid-Betriebskonzept.pdf), das in diesem Fachgebiet weiterentwickelt wird. Außerdem wird die Infrastruktur durch Verfahren für eine einheitliche Betriebsumgebung für Produktions-Jobs wie das Module-Konzept aus dem DEISA Projekt, das LCG-Verfahren für das Software-Management sowie ein Management-System für die Verwendung von Programm-Images auf virtuellen Maschinen erweitert. Die Infrastruktur wird im Verlauf des Projektes durch den Aufbau und den Betrieb redundanter zentraler Services weiter ausgebaut. Weiterhin wird in diesem Fachgebiet ein Cluster-Prozessmanagement-System zur besseren Anbindung von HPC-Ressourcen an die D-Grid Infrastruktur entwickelt.

17 Integrationsprojekte 17 DGI-2 Fachgebiet 3: Sicherheit Im Arbeitspaket Koordination und Sicherheitsmanagement werden im D-Grid auftretende Sicherheitsfragestellungen gebündelt sowie deren Bearbeitung koordiniert. Dabei wird auch eine aktive Kooperation mit anderen Fachgebieten des DGI-2 sowie mit den Communities organisiert. Die Arbeiten orientieren sich an den in verschiedenen Fachgebieten des DGI-1 gesammelten Erfahrungen, an zahlreichen Diskussionen mit Communities sowie an dem Vergleich mit anderen, internationalen Grid-Projekten. Übergeordnetes Ziel des Arbeitspaketes ist die Koordination, Beratung und Umsetzung der Sicherheitsaktivitäten in D-Grid mit besonderer Berücksichtigung der nachhaltigen Sicherung entsprechender zentraler Dienste. Auf Basis der Zusammenarbeit mit anderen Fachgebieten des DGI-2, mit Betreibern der D-Grid Ressourcen und mit den Communities werden verschiedene Level von Sicherheitsanforderungen im D-Grid festgelegt und Empfehlungen zu deren Umsetzung gegeben. Außerdem erfolgt ein regelmäßiger Informationsaustausch mit internationalen Grid-Projekten. Im Arbeitspaket AAI/VO werden die in DGI-1 und IVOM durchgeführten Arbeiten im Bereich der Authentifizierungs- und Autorisierungsinfrastruktur (AAI) im D-Grid fortgeführt. Die rein identitätsbasierte Autorisierung des D- Grid soll erweitert werden, so dass zusätzlich ein Benutzer anhand von Attributen autorisiert werden kann. Zu unterscheiden sind dabei VO-Attribute (VO-Untergruppen, -Benutzerrollen), die innerhalb des VO-Managements dezentral definiert und gepflegt werden, und Campus Attribute (Name, Zugehörigkeit und Rollen in einer Organisation), die dezentral von den Heimatorganisationen der Nutzer verwaltet werden. Die Nutzung dieser Attribute soll eine fein-granulare Autorisierung auf D-Grid- Ressourcen ermöglichen. Für die spätere Integration dieser attributbasierten Autorisierung in die D-Grid- Infrastruktur sollen vorrangig existierende Techniken verwendet werden. Im Rahmen früherer Arbeiten sind Situationen erkennbar geworden, in denen einzelne Nutzer oder ganze Communities aus administrativen Gründen keine langlebigen Nutzerzertifikate verwenden können. Für diese Anwender planen die entsprechenden Communities, existierende Identitätsmanagementsysteme (IdMS) einzusetzen und diese an das Grid anzubinden. Für dieses Szenario bieten kurzlebige Zertifikate (Short-Lived Certificates) auf Basis einer Shibboleth-Föderation eine leistungsfähige und skalierbare Lösung. Ein Short-Lived-Certificate-Service (SLCS) übersetzt hierbei die Identitäten aus den existierenden IdMS in kurzlebige X.509-Zertifikate, die im Weiteren wie bisher im Grid genutzt werden können. Entsprechend den Anforderungen aus dem D-Grid hat der DFN-Verein einen Dienst DFN-SLCS etabliert. Dieser Dienst basiert auf dem Dienst DFN-AAI und steht kurz vor der Akkreditierung durch die EUGridPMA. Damit werden die kurzlebigen Zertifikate des DFN- SLCS international in Grid-Verbünden anerkannt. Schließlich werden in dem Arbeitspaket Firewalls neben Aspekten der Performance besonders die

18 18 grundlegenden Deployment-Modelle für Firewalls und Middlewares in der D-Grid-Infrastruktur untersucht. Dies geschieht in enger Absprache mit den Communities, um die Berücksichtigung von Community-spezifischen Ressourcen zu ermöglichen und so den gesamten D-Grid-Verbund zu erfassen. Weiterhin ist die Bereitstellung geeigneter Werkzeuge zum Test der Firewall-Konfigurationen erwünscht, um sowohl durch fehlerhafte Firewall-Konfigurationen verursachte Kommunikationsprobleme einfach identifizieren zu können als auch die gegenseitige Prüfung von Einstellungen zwischen Projektpartnern zu ermöglichen. Um auch zukünftige Entwicklung neuer Ansätze zur Durchschaltung von Datenströmen durch Firewalls geeignet zu berücksichtigen, werden diese Arbeiten durch eine prototypische Implementierung von Grid- Software-Modulen (API) ergänzt, mit der Ports durch die Grid-Anwendungen dynamisch an Firewalls freigeschaltet werden können. DGI-2 Fachgebiet 4: Daten- und Informationsmanagement Die Bedeutung und auch das Potential von Speicherelementen im Grid auf dem Weg zur e-science ist für die Wirtschaft und die Wissenschaft außerordentlich hoch. Allerdings sind insbesondere Grid-fähige Lösungen sehr komplex und das Marktangebot ist nur unzureichend. Häufig beginnen die Schwierigkeiten in der Erstellung von Storage-Konzepten schon in den Einrichtungen, in denen kein ausreichendes Know- How vorliegt. Um diesem Bedarf und diesen Anforderungen gerecht zu werden, baut das FG 4 ein verteiltes Kompetenzzentrum zum Datenmanagement im Grid auf. Die D-Grid-2- und die neuen D-Grid-3-Partner sollen von Beginn an die Möglichkeiten nutzen können, die sich im Rahmen des laufenden D-Grid-Projektes aus den bisherigen Entwicklungen, Erfahrungen und Untersuchung ergeben haben, um schnell effektive Lösungen zu finden. Dieses Kompetenzzentrum schließt auch den Datenbankzugriff über OGSA-DAI mit ein. Der Bedarf nach Datenmanagementlösungen in den Communities ist unumstritten. Kommerzielle Lösungen stehen dabei insbesondere mit einer effizienten Grid-Anbindung nur sehr eingeschränkt und zu sehr hohen Betriebskosten zur Verfügung. Mögen sie für kleine Datenproduzenten noch funktionieren, so skalieren sie nicht und sind für Communities mit großen Datenmengen aus den Naturwissenschaften völlig unbrauchbar. Mit der SRM/dCache Software steht ein mit deutschen Forschungsgeldern am DESY entwickeltes Datenmanagementpaket zur Verfügung, das vom Grundsatz her für viele Communities geeignet ist und insbesondere die Skalierbarkeit hin zu Datenmengen im Petabyte-Bereich mitbringt. Auch wenn es in der Physik entwickelt wurde, hat es bereits heute Anwender in anderen Communities weltweit, z.b. in der Medizin. Es ist derzeit die einzige hochwertige Storagelösung in Deutschland, die grid-enabled ist. Weitere Zugriffsmethoden und Zugriffsprotokolle, wie eine http-basierten Schnittstelle und dem frei verfügbaren NFS 4.1, werden derzeit implementiert. Eine Alternative und im DGI-1 vorgeschlagene Lösung zum Management von Daten im Grid ist das Software-Paket Storage Resource Broker. Dieses bietet die Möglichkeit zum Speichern von verteilten Daten und zugehörigen Metadaten, ist aber aufgrund der schwierigen Lizenzpolitik für viele D-Grid Communities nicht geeignet. Deshalb wird im FG 4 intensiv an dem Nachfolger irods, der zur Zeit unter der Leitung des San Diego Supercomputing Center in einem internationalen Anwender-Prozess intensiv entwickelt wird, mitgearbeitet. Die erste Produkt-Version soll im Jahr 2008 unter einer BSD-Lizenz (Open Source) erscheinen. Es zeigt sich bereits das enorme Potential und die Verbesserungen, die irods gegenüber SRB bieten wird. Im Management großer Datenmengen nehmen Metadatensysteme eine Schlüsselstellung in grid-basierten e-science-systemen ein. Metadaten sind ein Wissensdienst, der eng mit anderen Wissensdiensten verknüpft werden muss. Metadaten nehmen insofern eine Sonderstellung ein, als sich die Communities zum Teil schon länger und intensiver mit der Modellierung und Verwaltung ihren eigenen Metadaten auseinandersetzen. Es ist daher wichtig, dass ein interoperables Metadaten-Konzept inkl. entsprechender Systeme in Abstimmung mit den Communities in die Infrastruktur eingebettet wird und Leitlinien entwickelt werden. Als Basis für diese Arbeiten dienen eine Reihe von Community-spezifischen aber durchaus erweiterbaren Lösungen für die in der ersten Phase geförderten Communities. Dazu gehört insbesondere Stellaris. Des Weiteren haben Framework-Lösungen für Metadatenmanagement einiges Potential und sollen ebenfalls betrachtet werden. DGI-2 Fachgebiet 5: Entwicklungsprojekte Im Fachgebiet 5 Entwicklungsprojekte des DGI-2 werden die von den Communites formulierten Anfor-

19 Integrationsprojekte 19 derungen nach Neuentwicklungen oder Erweiterungen bestehender Komponenten realisiert. Die Aktivitäten konzentrieren sich auf die Bereiche Accounting, Customer Relation Management (CRM), Monitoring und GridSphere. Die Arbeiten der einzelnen Arbeitspakete werden den Communities durch die Veröffentlichung von Deliverables und die Veranstaltung von Workshops zu den einzelnen Schwerpunkten präsentiert. Auf diese Art stellen sich die einzelnen Arbeitspakete der Diskussion mit den Communites, um deren Feedback einzuholen, welches in die weiteren Arbeiten einfließt. Die Buchhaltung (Accounting) im D-Grid erfasst Daten über die Nutzung der bereitgestellten Ressourcen durch die einzelnen Nutzer. In diesem Accounting werden die Ressourcen sowohl des D-Grid Backbones als auch der Communities bezüglich ihrer Nutzung erfasst. Das D-Grid Accounting basiert auf dem Distributed Grid Accounting System (DGAS), welches ursprünglich im DataGrid entwickelt wurde. DGAS wurde an die Erfordernisse im D-Grid angepasst, um die Nutzung von Compute-Ressourcen zu erfassen, unabhängig von der Middleware, über welche die Nutzung initiert wurde. Ein Client erfasst die Accounting- Informationen am Batchsystem der einzelnen Site und überträgt diese zum Accounting-Server. Zum Schutz der Daten gegen Angriffe auf die Integrität und die Vertraulichkeit wird eine verschlüsselte Verbindung zwischen dem Client und dem zentralen Accounting- Server genutzt. Der Zugriff auf die Accounting-Daten erfolgt auf Basis einer starken Authentifizierung durch die Nutzung von X.509 Zertifikaten nach einem hierarchischen Rollenmodell. Die Arbeiten in diesem Arbeitspaket konzentrieren sich insbesondere auf die Entwicklung neuer Metriken für das Accounting relevanter Ressourcentypen. Beispiele für diese Entwicklungen sind u.a. das Accounting der Nutzung von Speicher-Ressouren, lizenzpflichtiger Software und kostenpflichtiger Daten. Das Arbeitspaket Customer Relation Management (CRM) befasst sich mit der Analyse der durch das Accounting gesammelten Daten. Durch CRM wird es ermöglicht die einzelnen Daten miteinander in Zusammenhang zu stellen und zu interpretieren. Die so korrelierten Informationen geben Aufschluss über

20 20 Trends im Nutzerverhalten, so dass Ressourcen-Provider in der Lage sind, sich den ändernden Anforderungen zu stellen und zeitnah zu reagieren. Ziel des CRM im Grid-Kontext ist es, durch die Interpretation der vorhandenen Informationen den Ressourcen-Providern Hilfsmittel an die Hand zu geben, so dass sie ihren Service für die Communities optimieren können. Die Kenntnis des Nutzerverhaltens soll weiterhin dazu dienen, neue Dienste zu entwickeln und die Ressourcenauslastung zu optimieren. Das GridSphere Portal Framework stellt ein Webportal zur Verfügung, welches es Entwicklern ermöglicht, einfach und schnell Web- Applikationen zu entwickeln, die im GridSphere Portal Container laufen. Die Grid Funktionalität in GridSphere wird mit der GridPortlet Applikation, welche auf dem GridSphere Portal Framework aufbaut, bereitgestellt. Diese kann genutzt werden, um jede GridSphere basierte Web-Applikationen mit Grid- Funktionalität auszustatten. Das Kern-GridSphere bietet umfangreiche Portlets zur Konfiguration und Administration des Portals. Mit dem Layout-Portlet werden die Portalseiten für den Gast und die eingeloggten Nutzer erstellt. Das Administration Portlet ist für die Erstellung und Verwaltung von Nutzer und Gruppen sowie für allgemeine Portaleinstellungen zuständig. Ziel der Entwicklung ist es, die Bedienbarkeit des GridSphere Portal Frameworks zu verbessern und zu erweitern, um so eine Optimierung der Benutzbarkeit der Grid- Infrastruktur für die bisherigen Nutzer und künftige Anwendergruppen zu erreichen. Hierzu zählt unter anderem die Integration von GridSphere in bestehende Umgebungen (z.b. Shibboleth und X.509 Zertifikate) sowie die Verbesserung der Unterstützung für das Globus Toolkit 4. Das GRID ist so konzipiert, dass ein Nutzer sehr viele Jobs zur gleichen Zeit auf einer Vielzahl potentiell verschiedener Rechnersysteme abarbeiten lassen kann. Um zu verfolgen, ob die Jobs optimal laufen, benötigt der Nutzer Unterstützung durch ein effektives Werkzeug. Das jobzentrische Monitorin mit AMon sammelt deshalb eine Vielzahl von Monitoring-Daten über den Job selbst und das Rechensystem auf dem der Job ausgeführt wird. Damit der Nutzer von diesen Daten profitieren kann, werden sie aufbereitet und bereits während der Laufzeit in einem intuitiv zu bedienenden grafischen Web-Interface präsentiert. Amon kann sehr schnell Informationen über nicht erfolgreich abgearbeitete Jobs oder über Jobs mit einem ungewöhnlichen Ausführungsverhalten zur Verfügung stellen. Zum Beispiel zeigt das Kreisdiagramm (siehe Seite 12) auf einen Blick den aktuellen Zustand/ Status der Jobs. Allerdings ist nicht nur bei abgebrochenen Jobs eine genauere Analyse sinnvoll. Deshalb bietet AMon Filter, um möglichst schnell die Jobs zu identifizieren, die sich ungewöhnlich verhalten. Die Filter analysieren die Monitoring-Daten und kategorisieren mögliche Fehler. So ist es z.b. möglich, Jobs zu identifizieren, die nicht genügend Hauptspeicher zur Verfügung haben oder längere Zeit keinen Fortschritt aufweisen. Das Ergebnis der Filter wird analog zur Ampel in rot, gelb oder grün dargestellt. Auffällige Jobs können dank der aufgenommenen Monitoring-Daten mit anderen Jobs verglichen oder im Detail analysiert werden. Damit können z.b. problematische von normalen Jobs unterschieden werden. So kann ein Nutzer zeitnah auf Probleme reagieren. Alle grafischen Darstellungen erlauben dabei Interaktivität, d.h. der Nutzer kann z.b. in die Darstellungen zoomen oder sich per Klick Detailinformationen ausgeben lassen.