Das Collaborative Climate Community Data and Processing Grid 1 Gridtechnologien für die Erdsystemforschung

Transkript

1 Das Collaborative Climate Community Data and Processing Grid 1 Gridtechnologien für die Erdsystemforschung Bernadette FRITZSCH und Wolfgang HILLER Zusammenfassung Die Datenbestände in der Erdsystemforschung sind in den vergangenen Jahren rasant angewachsen. Jedoch erschwert die dezentrale Datenhaltung eine Verknüpfung der vorhandenen Daten, die notwendig ist für den weiteren Erkenntniszuwachs und das bessere Verständnis des Gesamtsystems Erde mit seinen vielen Einzelkomponenten. Das Projekt Collaborative Climate Community Data and Processing Grid (C3-Grid) baut eine gridbasierte Infrastruktur für die deutsche Klimaforschung auf. Sie wird einen einheitlichen Zugriff auf die verteilten Datenbestände bieten und dem Wissenschaftler erlauben, typische Workflow effizient zu bearbeiten. 1 Einleitung Die Erdsystemforschung befasst sich mit der Erde als Lebensraum des Menschen. Vor dem Hintergrund möglicher durch den Menschen hervorgerufener Änderungen des Klimas ist ein immer besseres Verständnis des Gesamtsystems Erde mit seinen vielen Subsystemen (Ozeane, Atmosphäre, Kryosphäre, Biosphäre ) gefordert. Diesem Ziel dienen einerseits die vielfältigen Anstrengungen im Bereich der Datenerfassung. In den vergangenen Jahren ist vor allem durch die speziell dafür vorgesehenen Satelliten ein enormer Zuwachs an Daten zu verzeichnen. Andererseits bieten Simulationen die Möglichkeit, den Einfluss der unterschiedlichen Prozesse im Gesamtsystem systematisch zu untersuchen. Die ständig steigenden Möglichkeiten der zur Verfügung stehenden Rechner erlauben es den Wissenschaftlern, Modelle mit immer feinerer Auflösung sowie komplexerer Konfiguration zu rechnen. Daher ist auch in diesem Bereich ein immenser Anstieg der Datenströme zu verzeichnen. Die Daten lagern in verteilen Archiven bei den einzelnen Forschungseinrichtungen. Das hat mehrere Gründe. Zum einen verbleiben die Datensätze meist in den Einrichtungen, an denen sie erzeugt wurden und wo dementsprechend die fachliche Kompetenz dazu vorhanden ist und auf diese Datensätze bevorzugt zugegriffen wird. Zum anderen würde der Aufbau eines zentralen Datenarchivs bei den hochvolumigen Daten sehr hohe technische und finanzielle Anforderungen stellen, um einigermaßen akzeptable Zugriffszeiten für die Anwender zu gewähren. Prognosen für die Zukunft können nur durch die Verknüpfung der bereits gewonnenen Daten mit Simulationen erstellt werden. Modelle müssen das Verhalten des Systems in der 1 Das Projekt Collaborative Climate Community Data and Processing Grid (C3-Grid) wird vom Bundesministerium für Bildung und Forschung gefördert (Förderkennzeichen 01AK801A).

2 172 B. Fritzsch und W. Hiller Vergangenheit richtig widerspiegeln, wozu die umfangreiche Datenbasis an Messungen dient. Dann erst sind wissenschaftlich fundierte Aussagen für die zukünftige Entwicklung zu erwarten, die Szenarien für Gefahrenabwehr und Risikomanagement zulassen. Leider ist derzeit der Zugriff auf diese Datenbestände wegen der lokalen Datenhaltung und der sehr unterschiedlichen Beschreibungen extrem schwierig. Eine erfolgreiche Recherche nach bestimmten Datensätzen ist sehr umständlich. So muss der Wissenschaftler teilweise bereits vorher Informationen über den Standort der Daten besitzen, um sich dann diese von dem jeweiligen Datenanbieter holen zu können. In einigen Fällen besteht auch überhaupt kein allgemeiner Zugriff auf Daten fremder Einrichtungen. Das Fehlen eines einheitlichen Zugriffs auf möglichst viele Daten stellt heute einen kritischen Engpass in der Erdsystemforschung dar. Hier setzt das Projekt des Collaborative Climate Community Data and Processing Grid (C3-Grid) an. Ziel ist ein einheitlicher und transparenter Datenzugriff auf die verteilten Datenarchive. Dazu werden moderne Grid- Technologien eingesetzt. 2 Konsortium In dem Projekt, das Ende 2005 im Rahmen der D-Grid Initiative ( gestartet ist, wird ein Produktivsystem für die Wissenschaftler der Erdsystemforschung aufgebaut, in dem ein einheitlicher transparenter Zugriff auf die unterschiedlichen Datenbestände ermöglicht wird und typische Workflows der Forscher unterstützt werden. So sollen z.b. auch die in der Prozesskette entstehenden abgeleiteten Datensätze in den Bestand der C3-Datenbasis einfließen, wenn zu erwarten ist, dass mehrfach darauf zugegriffen wird und dadurch ähnliche Workflows durch Einsparung der ersten Schritte in der Prozesskette schneller abgearbeitet werden können. Die Zusammensetzung des C3-Grid-Konsortiums ist diesem Ziel entsprechend gewählt. Die Datenanbieter, unter ihnen drei Weltdatenzentren, bilden mit ihrem Datenbestand die wesentliche Grundlage für das Datengrid. Die Anwenderseite ist durch mehrere wissenschaftliche Einrichtungen repräsentiert, so dass die Anforderungen der Nutzer von Projektbeginn an berücksichtigt werden. Expertise aus dem Bereich der Informatik kommt durch zwei Einrichtungen, die über vielfältige Erfahrungen im Grid-Umfeld verfügen. Bei den Datenanbietern sind die drei Weltdatenzentren zu nennen. Das Weltdatenzentrum for Climate (WDCC) konzentriert sich auf die Zusammenführung von Daten der Klima- und Erdsystemforschung. Schwerpunkt bilden hier die Ergebnisse aus numerischen Modellrechnungen und zugehörige Beobachtungsdatensätze zum Antrieb der Modelle und zur Verifikation ihrer Ergebnisse. Das Weltdatenzentrum für Marine Umweltwissenschaften (WDC-MARE) ist eine Einrichtung zur Aquisition, Bearbeitung und Verbreitung von Global Change Daten primär aus den Bereichen Ozeanographie, marine Geologie, Paläoozeanographie und marine Biologie. Das Weltdatenzentrum für Fernerkundung der Atmosphäre (WDC-RSAT) mit Sitz am Deutschen Fernerkundungsdatenzentrum (DLR-DFD) hat seinen Schwerpunkt auf den Datensätzen verschiedener Fernerkundungssatelliten. Daneben trägt der Deutsche Wetterdienst (DWD) mit seinem Archiv der nationalen meteorologischen Beobachtungsdaten für klimatologische Zwecke zur Datenbasis bei. Hinzu kommen umfangreiche

3 Das Collaborative Climate Community Data and Processing Grid 173 Datenbestände an weiteren wissenschaftlichen Einrichtungen, die vor allem Ergebnisse unterschiedlicher Modellrechnungen von allgemeinerem Interesse beinhalten. Neben dem Deutschen Klimarechenzentrum (DKRZ) in Hamburg sind hier das Alfred-Wegener-Institut für Polar- und Meeresforschung Bremerhaven (AWI), das Potsdam-Institut für Klimafolgenforschung (PIK) und das Leibniz-Institut für Meereswissenschaften an der Universität Kiel (IFM-GEOMAR) zu nennen. Abb. 1: Beteiligte Einrichtungen beim C3-Grid Der Informatikbereich wird durch die Universität Dortmund und das Konrad Zuse-Zentrum für Informationstechnik Berlin (ZIB) vertreten. Für die Anwender stehen neben dem Max-Planck-Institut für Meteorologie (MPI) Hamburg, die Universität zu Köln sowie die Freie Universität Berlin (FUB), das Institut für Physik der

4 174 B. Fritzsch und W. Hiller Atmosphäre beim Deutschen Zentrum für Luft- und Raumfahrt (DLR) sowie die schon bei den Datenanbietern genannten Einrichtungen IFM-GEOMAR, AWI und PIK. Weitere Einrichtungen sind als assoziierte Partner in die Entwicklung mit eingebunden. Hier sind das Institut für Meteorologie und Klimatologie der Universität Hannover, das Institut für Meteorologie und Klimaforschung am Forschungszentrum Karlsruhe (FZK), das Meteorologische Institut der Universität Bonn als wissenschaftliche Einrichtungen zu nennen. Daneben besteht eine Partnerschaft mit den Rechnerherstellern Sun und NEC sowie dem Unternehmen Brockmann Consult, das bereits Erfahrungen im Bereich der Umweltdatenverarbeitung besitzt. Damit sind wesentliche Teile der deutschen Klimacommunity vereint, die für eine hohe Akzeptanz des Systems sorgen. 3 Architektur Der logische Aufbau des C3-Grids ist in Abbildung 2 dargestellt. Die beteiligten Partner stellen einerseits den Zugriff auf ihre Datenarchive und andererseits Rechenkapazitäten für das Grid zur Verfügung. Als Basismiddleware wird Globus Toolkit 4.x (siehe z.b. FOS- TER, 2005) verwendet. Der Nutzer bekommt durch ein Portal auf der Basis von GridSphere (NOVOTNY et al. 2004) Zugang zum System. Damit kann er die Suche nach Daten im gesamten Datenbestand durchführen und Jobs zur Analyse von Datensätzen starten. Grundlage für die Suche bildet ein übergreifender Metadaten-Informationsdienst im Grid. Die Volumendaten sowie ihre Beschreibung durch Metadaten werden von den einzelnen Institutionen im C3-Grid verfügbar gemacht und verwaltet. Typischerweise benötigt der Wissenschaftler nur Ausschnitte aus den Volumendaten, die z.b. örtlich, zeitlich oder in der Auswahl der benötigten Parameter eingeschränkt sind. Diese Selektion (Pre-Processing) wird vom C3-Grid serverseitig unterstützt, um den erforderlichen Datentransfer zu minimieren. Die benötigten Daten können durch C3-Dienste bei Bedarf an einem Standort repliziert werden, wobei diese Kopien dann automatisch zu synchronisieren sind. Falls allerdings ein Processing-Job diese Daten nur einmal verwendet, ist es oft nicht sinnvoll und effizient, sie lokal zu replizieren. Effizienter in Bezug auf die Ausführungszeit und die verfügbare Netzwerk-Verbindung ist dann die Berechnung an den Standorten, an denen die Daten zu dem Zeitpunkt schon verfügbar sind. Damit kann die über das Netz zu transportierende Datenmenge drastisch reduziert werden. Der C3-Grid-Scheduler wählt die jeweils effektivste Variante aus, wobei er dazu die verfügbaren Rechenressourcen und Netzwerkbandbreiten/- latenzen des verteilten Processingsystems analysiert und dynamisch auswertet.

5 Das Collaborative Climate Community Data and Processing Grid 175 Nutzer Nutzer- Schnittstelle API GUI Nutzer Daten-Management-Dienst Job-Management-Dienst Grid- Infrastruktur Informations-Dienst Daten-Transfer Dienst Nutzer- Module Pre-Processing Lokale Ressourcen- Schnittstellen bei den Instituten Daten Job Bestehende Ressourcen der Institute Archiv- Metadaten Anbindung Archiv- Daten Daten-Archive Daten-Archive Processing Processing Ressourcen Ressourcen Abb. 2: Architekturübersicht 4 Metadaten Die Datenbasis weist eine starke Heterogenität in den Archiven, den Formaten und der Beschreibung auf. Während die Weltdatenzentren ihre Daten vor allem in relationalen Datenbanken abspeichern, liegen die anderen Daten in der Regel als flat Files in großen Archiven. Aufgrund des unterschiedlichen Profils der einzelnen Datenanbieter unterschieden sich die verwendeten Metadatenschemata, was eine einheitliche Suche in einem zu etablierenden Datengrid erschwert. Daher mussten zunächst einheitliche Metadaten definiert werden. Grundlage für den Metadatenkatalog bildet der Standard ISO 19115/ ISO (o. A. 2003). Durch die Verwendung der Standards wird die internationale Einbindung der deutschen Erdsystemforschung gewährleistet, die essentiell für die Nachhaltigkeit des C3-Grids ist. Der globale Dateninformationsdienst besitzt in einem zentralen Katalog die Information über alle Daten im Grid. Die entsprechenden Metadaten werden über das Open Archives Initiative Protokoll von den einzelnen Datenanbietern per harvesting (OAI-PMH) gewonnen (LAGOZE et al. 2004). Um den Umfang dieses Zentralkatalogs zu begrenzen und die Suche performant zu machen, werden dort nur solche Metadaten gespeichert, die für die Suche unbedingt notwendig sind (discovery metadata). Für das weitere Prozessieren der

6 176 B. Fritzsch und W. Hiller Datensätze werden aber zusätzliche Informationen benötigt (user metadata), die dann lokal vorliegen. Es wurde ein C3Grid-Metadatenkatalog entwickelt, der die Verwendung der ISO tags definiert. Er bildet die Grundlage der Beschreibung von C3Grid ISO XML templates. Neben den vom ISO Standard vorgeschriebenen Feldern (mandatory) berücksichtigt der Katalog Spezifika, die sich aus der Nutzung des C3-Grids ergeben. So dienen Schlüsselwörter der Charakterisierung der Modelle, durch die die entsprechenden Datensätze erzeugt wurden. Weiterhin soll bei neu entstehenden Datensätzen dokumentiert werden, aus welchen Ausgangsdatensätzen und durch welche Prozessierungsschritte sie gewonnen wurden. Die Erzeugung dieser Metadaten soll in der Ausbaustufe des C3-Grids automatisch erfolgen, so dass die Daten für nachfolgende Workflows auffindbar sind. Literatur o. A. (2003): Final Draft Internation Standard ISO/FDIS (ISO/TC211) Geographic Information Metadata (Version ). ISO, Genève. FOSTER, I. (2005): IFIP International Conference on Network and Parallel Computing. Springer-Verlag LNCS 3779, S LAGOZE, C., H. VAN DE SOMPEL, M. NELSON & S. Warner (Eds.) (2004): The Open Archives Initiative Protocol for Metadata Harvesting. Document Version 2004/10/12T15:31:00Z. (Date accessed: [ ]). NOVOTNY, J., M. RUSSEL & O. WEHRENS (2004): GridSphere: An Advanced Portal Framework. EUROMICRO.