Erste Ergebnisse. Projekt-Ziele Architektur Entwickelte Komponenten / Schnittstellen

Transkript

1 Das D-MON Projekt Erste Ergebnisse Leibniz Supercomputing Center of the Bavarian Academy of Sciences and Humanities Max Planck Institute for Gravitational Physics Albert-Einstein Institut Berlin Forschungszentrum Karlsruhe In der Helmholtz Gemeinschaft Forschungszentrum Jülich In der Helmholtz Gemeinschaft D-MON Team D-MON Projekt DGI-FG2 Meeting Übersicht Projekt-Ziele Architektur Entwickelte Komponenten / Schnittstellen Transformatoren Korrelation OGSA-DAI Client (Demo) Gridsphere Client (Demo) Einsatz Erfahrungen Ausblick 1

2 Projekt Ziele Entwurf und prototypische Implementierung eines middleware-übergreifenden und VO-basierten Monitoringsystems für das D-Grid - für Grid-Ressourcen und Dienste - aus unterschiedlichen (technischen) Plattformen ( horizontale Integration ) - und/in virtuellen Organisationen ( vertikale Integration ) Architektur 2

3 Architektur - Konzept VO-Nutzer Management kennt Nutzer und deren Zuordnung zu VOs VO-Ressourcen Management kennt D-Grid Ressourcen und Zuordnung zu VOs D-MON Datenbank Vereint VO-spezifische Management Informationen und middleware-spezifisches Monitoring Transformatoren (Extract/Transform/Load): automatische Übersetzer Architektur - Implementierung (SAML-) VOMS kennt Nutzer und deren Zuordnung zu VOs GRRS Grid Resource Repository Service (kennt D-Grid Ressourcen und Zuordnung zu VOs) MySQL Datenbank Implementieret übergreifendes Informationsmodell XSLT je Plattform Übersetzer nach GLUE 2.0 / SQL plattform-spezifische Informationsdienste (z.b. CIS, MDS4,BDII, R-GID, Stellaris) liefern Monitoring-Daten 3

4 Architektur - Testbed Entwickelte Komponenten : -Gridsphere Portlets -Gridsphere OGSA-DAI Anbindung -VO-fähiger OGSA-DAI Client - MySQL Komponenten (Schemaerweiterungen, Trigger, Views,...) - XSLT Transformatoren (für MDS4, BDII, CIS) Architektur Performance / Ausfallsicherheit Möglichkeiten Zentrale Instanz Single Point of Failure Skalierbarkeit Datenbank Cluster MySQL Cluster: instabil Datenbank Verbünde MySQL Federation: keine Fehlertoleranz Zentrale Realisierung geplant 4

5 Entwickelte Komponenten und Schnittstellen Einbinden von Monitoring Daten 5

6 Aufgaben: Adapter / Transformatoren Extrahieren von Information aus Middleware spezifischen Informationssystemen: glite: LDAP into XML - dsml, perl & Java Scripts GT4: wsrf-query aus MDS4 Unicore: Unicore Commandline Client - UCC Generierung von SQL Statements mit Hilfe spezifischer XSLTs Einfügen / Aktualisieren der GLUE 2.0 Datensätze: GLUE20.ApplicationEnvironment GLUE20.ExecutionEnvironment GLUE20.ComputingManager GLUE20.ComputingShare GLUE20.ComputingService GLUE20.ComputingEndpoint GLUE20.Benchmark GLUE20.Location GLUE20.Contact GLUE20.Storage GLUE20.AdminDomain... Einbindung von VO Information 6

7 Aufgaben: Adapter / Korrelator Extrahieren der VO Informationen Bilden der Korrelation von Monitoring Daten mit VO-Management Information Einfügen/Aktualisieren der GLUE 2.0 Korrelations-Tabelle über Datenbank Trigger: CREATE TRIGGER `setaccesspolicy` AFTER INSERT ON `ComputingEndpoint` FOR EACH ROW BEGIN CASE NEW.informationProvider WHEN "MDS4" THEN REPLACE INTO GLUE20.AccessPolicy (serviceid, localid, userdomainid, endpointid, informationprovider, sourceaddr, inserttime) (SELECT NEW.cServiceID, b.drv_vo, b.drv_vo, NEW.endpointID, "TRIGGER", " ", CURRENT_TIMESTAMP FROM External.dgrid_ressourcen a, External.dgrid_ress_vo b WHERE a.ress_key=b.drv_ress_key and a.dr_scglobus like CONCAT("%",NEW.cServiceID,"%")); WHEN "BDII" THEN WHEN "CIS" THEN END CASE; END; Standardisierte Client Schnittstelle 7

8 OGSA-DAI Client Standardisiertes Database Access Interface (DAI) auf WSRF Basis (OGSA WSRF Basic Profile) Java Command Line Client zur Abfrage Erweitert um VO Parameter Beispiel: java DMONSQLClient -u -d DMONDataResource -q SELECT * FROM ComputingService_VO -v ad zeigt alle ComputingService Instanzen, die der VO Astrogrid zugänglich sind. Live-Demo Globus Adapter, Datenbank & OGSA-DAI 8

9 Portal Client Gridsphere Client Rollen- und VO-basierte Portlets Computing Ressourcen View Computing Share View Site View 9

10 Live-Demo Gridsphere & Portlets Einsatz 10

11 Einsatz Zentrale D-MON Komponenten Datenbank Trigger OGSA-DAI API Gridsphere Portlets D-MON Komponenten pro Site Adapter (pro eingesetzter Middleware) D-MON Komponenten für Client-Sites OGSA-DAI Client Erweiterbarkeit D-Grid Compute Ressourcen Ausführen des zugehörigen Adapter Neue Middleware / neues Informationssystem Entwicklung eines neuen Adapter 11

12 Erfahrungen und Ausblick Erfahrungen I Prototyp System liefert übergreifende Daten Datenbasis größer als die Middleware-spezifischer Informationsdienste Übersicht zeigt redundante / fehlerhafte Konfigurationen OGSA-DAI und GLUE 2.0 eignen sich auch in der Praxis gut Projekterfahrungen aus D-MON in OGSA-DAI und GLUE Entwicklung eingebracht dynamische, VO-basierte Views über GRRS Koppelung 12

13 Erfahrungen II Daten-Interpretation erschwert durch nicht-eindeutige Wahl von Bezeichnern in Informationssystemen / Sites Site-ID Resource Management System Rechnern Abhilfe durch Konventionen + Training Ausblick Erweiterung des Testbeds Nahtloser Übergang g in den Produktiv- Betrieb Installation je eines lokalen Adapters für MDS4 und BDII pro D-GRID Site; Freiwillige Beta Tester gesucht Zentrale Anbindung des CIS (ein CIP pro UNICORE 6 Ressource notwendig) Integration weiterer Monitoringdienste Geplant: Nagios 13

14 Ausblick Ausstehende Arbeiten in D-MON: Installationspaket (DB, Adapterkomponenten, OGSA-DAI und Gridsphere Client) Dokumentation Spezifikation und Durchführung von Tests Weitere Portlets Integration von SAML-VOMS zur automatischen Autorisierung / Authentifizierung Einsatz in D-Grid THE END Fragen? 14