D-Grid Status der Deutschen e-science Initiative. H.-G. Hegering, LRZ/LMU

Transkript

1 D-Grid Status der Deutschen e-science Initiative H.-G. Hegering, LRZ/LMU

2 The term GRID (1) (Ian Foster, Carl Kesselman, 1999) The GRID is an emerging infrastructure that will fundamentally change the way we think about and use computing The word GRID is chosen by analogy with the electric power grid which provides pervasive access to power We believe that by providing pervasive, dependable, consistent and inexpensive access to advanced computational grids will have a similar transforming effect and impact on human capabilities and society. 2

3 The term GRID (2) (according to Ian Foster, 1999) coordinated resource sharing in dynamic, multi-institution, virtual organizations (according to Ian Foster, 2003) ability to discover, allocate, and negotiate the use of networkaccessible capabilities, be they computational services offered by a piece of software, or storage space provided by a storage system 3

4 The term GRID (3) (according to John Taylor, UK 2003) In the future, escience will refer to the large scale science that will increasingly be carried out stronger distributed global collaborations enabled by the Internet. Typically, a feature of such collaborative scientific enterprises is that they will require access to very large data collections, very large scale computing resources and high performance visualization back to the individual user scientists 4

5 D-Grid e-science Framework 5

6 escience Framework Gewinn für die Wissenschaft Bündelung von Ressourcen und Diensten Synergiepotential Effizienz- und Effektivitätsgewinn durch standardisierte Zugriffsverfahren Förderung von interdisziplinären und interorganisationellen Arbeiten Paradigmenwechsel Virtualisierungen von Organisationen (dynamisch bildbare, temporäre Communities) Virtualisierung von Ressourcen durch system-, orts- und organisationsübergreifenden Zugriff Community-angepasstes Maßschneidern von Diensten Flexibilisierung von Kooperationsformen 6

7 D-GRID: Enstehung seit 2003 mehrere Workshops (auf Initiative des FZ KA und des HGF) beteiligt alle bekannten relevanten Einrichtungen aus dem Wissenschaftsbereich, inkl. DFN und BMBF, sowie Industrievertreter Konsens über Notwendigkeit der Bündelung der isolierten deutschen GRID-Aktivitäten Konsens über die Notwendigkeit eines nationalen Förderprogramms 7

8 D-GRID: Maßnahmen Etablierung eines E-Science-Kompetenznetzwerkes Bereitstellen von Ressourcen und einschlägigen Knowhow Entwicklung von Anwendungszenarien: Wissenschaft und Industrie Forschung und Entwicklung von Grid-Systemen Entwicklung von Grid-Software Kooperation mit internationalen Forschungs- u. Industrieprojekten Schaffung einer nachhaltigen Basisinfrastruktur Etablierung von e-science-pilotprojekten Erzielung eines nationalen Förderprogramms als Leitinnovation 8

9 D-GRID: Organisation, Aufgaben Lenkungsausschuss (LA): Hegering (LRZ / DFN), Hiller (AWI), Maschuw (FZK, GridKa), Reinefeld (ZIB / GGF), Resch (HLRS) Mandat: nationale und internationale Vertretung der deutschen GRID-Community, Entwickeln eines Strategiepapiers Bildung von Arbeitskreisen Organisation von Communities Erstellen eines wissenschaftlich-technischen Programms bis Sommer 2004 zur Vorbereitung eines nationalen Förderprogramms im Benehmen mit dem BMBF 9

10 Fortschritte 2004 Frühjahr '04: 5 Arbeitskreise, 6 Communities liefern Berichte ab Juni 04: Ankündigung BMBF über 100M Programm über 5 Jahre Juli 04: FE Programm der Initiative abgeschlossen : Förderbekanntmachung des BMBF auf D-Grid Plenum : Abgabe der Vorschläge 11/04: Begutachtung und Bewilligung ab 1/05: Beginn von Projekten (geplant) 10

11 Finanzsituation II Förderung (geplant) 22 Mio ab vorerst erstes Gesamtbudget; davon 7 Mio nicht Gegenstand dieser Ausschreibung; weitere Calls folgen voraussichtlich 2005 (Quelle: BMBF/Projektträger, Plenum 12.8.) davon ca. 7 Mio für Integrationsprojekt für zwei Jahre und ca. 8 Mio für die Community-Projekte für drei Jahre (Quelle: Projektträger) keine koordinierte Antragstellung für Communityprojekte und Integrationsprojekt 11

12 Mögliche Projektstruktur: Plenum (Vorschlag DFN/LA) BMBF (PT) Steering Committee Gesamtprojektleitung Int. Projekt C1 Pro jekt... Cn Pro jekt Ausschüsse Rahmen- Konsortialvertrag Förderungen des BMBF an Einzelkonsortien unter Berücksichtigung des Rahmen- Konsortialvertrages Einzelkonsortialverträge Berichtet an SC, erhält Vorgaben von SC (BMBF) fördert Konsortien Berichtet an Gesamtprojektleitung, erhält Vorgaben von Gesamtprojektleitung D-Grid Konsortiumsstruktur 12

13 Integrationsprojekt: Gliederung Gliederung in 7 Fachgebiete (FG) Ableitungen der Fachgebietsthemen aus dem F&E-Programm ( sowie ein Querschnittsgebiet Sicherheit (gebildet aus den sicherheitsrelevanten Unterpunkten des F&E- Programmes) 13

14 Integrationsprojekt Fachgebiete I FG 1: VOs, SLAs und Organisationsfragen: Mechanismen zur Bildung und Administration Virtueller Organisationen, Richtlinien zur Beschreibung von Policies und SLAs, organisatorisch/rechtliche Fragen FG 2: Grid-Plattformen: Ressource-Scheduling und Brokering, Verbesserung des Zuverlässigkeits- und Automatisierungsgrades, Integration existierender Middleware (Globus, Unicore, EGEE/LCG u.a.), Services und Netztechnologien (z.b. Einbindung communityspezifischer Middlewarekomponenten), Spezifikation einheitlicher Nutzer- und Programmierschnittstellen (Grids, GAT) 14

15 Integrationsprojekt: Fachgebiete II FG 3: Monitoring, Accounting, Billing: Verbesserung der Gridfähigkeit (z.b. Job- u. Ressourcemonitoring, Job-Accounting und -Billing), Abbildung auf Verrechnungseinheiten FG 4: Daten- und Informationsmanagement: (z.b. Datenreplikation und -synchronisation, Metadaten, Datenformate, Langzeitarchivierung) FG 5: Netz, Collaborative Tools, Sicherheit: Netz und netzbasierte Dienste, Collaborative Tools, alle Themen zur Sicherheit FG 6: Ressourcen: Standardisierung von Ressourcen-beschreibungen, Ressourcenmetrik, Standards für Ressour-cenqualität und Qualitätssicherung, Benchmarks FG 7: Prototyp-Grid : Aufbau eines Prototyp-Grid 15

16 Integrationsprojekt : Federführungen Fachgebiet Federführ. 1. Konsortialführung, VOs, FZK, Hr. Mickel SLAs und Org.fragen 2. Grid-Plattformen UniDO, Hr. Schwiegelshohn 3. Monitoring, Accounting, RRZN, Fr. v Voigt Billing 4. Daten- u. Inf. Man. DESY, Hr. Gülzow 5. Netze, Collaborative. Tools, DFN, Hr. Ullmann Sicherheit 6. Ressourcen FhG, Hr. Pfreundt 7. Ressourcen (Prototyp Grid) FZJ, Hr. Gürich 16

17 Antragssituation Ende 2004 Während Erstellungsprozess der Anträge trotz Voranmeldung beim PT keine Kenntnis über Mitbewerbersituation (weder über Konsortien noch über Inhalte), trotz Bitte des LA Somit beliebige inhaltliche Überschneidungen und Inkonsistenzen zwischen Community Projekten und auch zum Integrationsprojekt. Anträge enthielten (gewollt) wenig Nachhaltigkeitsaspekte. Begutachtungsverfahren verzögert sich. Unerwartete Mittelkürzung um 9 Mio 17

18 Antragssituation Anfang 2005 Im Rennen sind noch Integrationsprojekt und 6 Community-Projekte: MediGrid, HEP (Hochenergiephysik), C3Grid, GeoME (Bioinformatik), InGrid (Ingenieurswesen), AstroGrid (Astrophysik). Ursprüngliches Fördervolumen ging von 3-4 Community-Projekten aus. In einem Vorprojekt sollen bis Mai Kürzungen und inhaltliche Konsolidierung erfolgen (Leiter: Reuter EML) Plenartreffen der Antragssteller 17./18.2. und schwierigster Einigungsprozess. Nach wie vor keine klare sachangemessene Projektleitungsstruktur. Steering Commitee fehlt noch, Besetzungsproblematik Grundlagen für Nachhaltigkeitsstrukturen nicht ausreichend (organisatorisch, managementmäßig, technisch). Synergiepotential einer D-Grid-Plattform durch Primat von CPs gefährdet. 18

19 D-Grid: Aufgaben für DFN-Verein Bereitstellung einer für Grid erweiterbaren Netzinfrastruktur X-WiN Beteiligung im Grid-Integrationsprojekt in den Gebieten Netz, Kollaborationsunterstützung, Sicherheit Aufbau und Betrieb von Community-übergreifenden Basisdiensten der Middleware-Ebene (AAA, Zertifizierung, etc.) Mitwirkung in mit Nachhaltigkeitsfragen betroffenen Verfahren, Managementaspekten, Diensten, Organisationen. Vertretung im Steering Committee Aufbau einer Nutzergruppe e-science 19

20 D-Grid: Aufgaben für Hochschulen Rechtlich-organisatorische Fragen Entwicklung von Betriebs- und Nutzungsmodellen, Zugangs- und Vergaberegeln Klärung der vielfältigen rechtlichen Fragen im Zusammenhang der Grid- Ressourcen-Bereitstellung Stellung der verschiedenen Communities innerhalb einer Hochschule mit unterschiedlichen VO-Policies Aufgaben für HRZ Aufbau von GRID-Know How vor Ort Support für Nutzer bei Einführung von Middlewarediensten Bereitstellung von Bausteinen für Middlewaredienste (AAA, Verzeichnisdienste) Erbringung der lokalen Dienste für GRIDs (Clients, etc.) 20