Grid Computing (Gitterberechung)

Transkript

1 Grid Computing (Gitterberechung) IBM Red Paper; Fundamentals of Grid Computing, 2002 UnFUG-Vortrag: Prof. Dr. Ch. Reich

2 Inhalt Definition: Grid Computing Anwendungen Gird Architektur OGSA (Open Grid Services Architecture) Globus Toolkit Referenzen

3 Defintion: Grid Computing weit verbreitete Definition: Grid is a type of parallel and distributed system that enables the sharing, selection, and aggregation of services of heterogeneous resources distributed across multiple administrative domains based on their availability, capability, performance, cost, and users' quality-of-service requirements. Wikipedia: Grid-Computing bezeichnet alle Methoden, die Rechenleistung vieler Computer innerhalb eines Netzwerks so zusammenzufassen, dass über den reinen Datenaustausch hinaus die (parallele) Lösung von rechenintensiven Problemen ermöglicht wird (verteiltes Rechnen).

4 3 Level des Grid Computings Su n Micros yst em s ; Su n Clu st er Grid Arch it ect u re; 2002

5 Cluster aus Cluster Hypercluster Clu s te r 1 Sch ed u ler Mas t er Daem on LAN/ WAN Su bm it Grap h ical Con trol Clus te r 3 Execu tion Daem on Sch ed u ler Clien t s Mas t er Daem o n Clu s te r 2 Su bm it Grap h ical Con tro l Sch ed u ler Mas ter Daem on Execu t ion Daem o n Clien t s Su bm it Grap h ical Con tr ol Execu tion Daem on Clien t s Rajkumar Buyya; University of Melbourne

6 Was ist ein PC-Cluster?

7 Grid Computing versus Cluster Ein Cluster wird typischerweise von einer Domain verwaltet. Charakteristisch ist vor allem die höhere Bandbreite zwischen den Rechnern in einem Cluster zu nennen. Ein Cluster besteht üblicherweise aus gleichen Rechnern. Ein Grid kann aus mehreren Cluster bestehen.

8 Grid Computing versus Cluster Im Grid kann jeder Knoten eine andere Funktionalität haben; im Cluster hat jeder Knoten die gleiche Funktionalität Im Grid sind Knoten inhomogen; im Cluster sind sie homogen Beide wollen Dienste virtualisieren; Grids versuchen folgende Virtualisierungen: Web-Dienste, Dienst-Registrierung, DienstLokalisierung, Ortsunabhängige Dienstaufruf, virtualisierung von Applikationen.

9 Kommunikation innerhalb des Clusters Nachrichtenbibliotheken Message Passing Interface (MPI) üblich, bei Rechner mit gleicher Architektur und gleichem Betriebssystem Parallel Virtual Machine (PVM) üblich, bei heterogenen Cluster PVM hat Konsole um Zustand der virtuellen Maschine zu überwachen PVM beinhaltet viele Tools: Prozessverteilung, Debugger, Fehlersuche, Prozessüberwachung, etc. Einsatzbeispiel: Beowulf-Cluster

10 Ziele: Grid Computing Erhöhung der Rechenleistung Größere Speicherkapazität je nach Teilproblem, Auswahl der optimalen Hardware-Plattform Nutzung von nichtbenutzter Sourcen Skallierbarkeit wird unterstützt. Einfachere und elegantere Zusammenarbeit von Gruppen, die weltweit verstreut sind.

11 Ziele: Grid Computing Vergleich zum Stromnetz => Powergrid Überall verfügbar; Ziel ist es ungenutzter Rechenleistung weltweit nutzbar zu machen. Einheitlicher Zugriff; Dies soll durch Standards (XML, SOAP, WSDL, Ressourcenzuteilung, Sicherheit, etc.) erreicht werden. Zuverlässig, erschwinglich für Alle; Es soll möglich sein hohe Rechenleistung zu nutzen. Einfache Benutzung (Stand 2005???)

13 Grid Anwendungen weltweit UK e-science Grid Netherlands VLAM, PolderGrid Germany UNICORE, Grid proposal France Grid funding approved Italy INFN Grid Eire Grid proposals Switzerland - Network/Grid proposal Hungary DemoGrid, Grid proposal Norway, Sweden - NorduGrid NASA Information Power Grid DOE Science Grid NSF National Virtual Observatory NSF GriPhyN DOE Particle Physics Data Grid NSF TeraGrid DOE ASCI Grid DOE Earth Systems Grid DataGrid (CERN,...) DARPA CoABS Grid EuroGrid (Unicore) NEESGrid (CERN, ) DataTag DOH BIRN Astrophysical Virtual Observatory NSF ivdgl GRIP (Globus/Unicore) GRIA (Industrial applications) GridLab (Cactus Toolkit) CrossGrid (Infrastructure Components) EGSO (Solar Physics) CERN: In t ro. Slid es

14 Grid Anwendungen Distributed Supercompunting Anwendungen haben hohe Ressourcenanforderung High-Throughput Computing Nutzungs- koordination von Resourcen, die brach liegen On-Demand Computing Kurzzeitige Ressourcenbefriediung (Berechnungen, SW, Daten, etc.) Data-Indensive Computing Informationsgewinnung aus großen Datenmengen Collaborative Computing bessere Koordination von Mensch-zu-Mensch Interaktion Teleimmersion fördern virtuelle Zusammenarbeit (collaborative virtual enviroments)

15 Grid: Forschungsgebiete rechenintensive Anwendungen adaptive Algorithmen, die sich automatisch der Bandbreite anpassen können, die merken falls Knoten ausgefallen sind Entwicklungswerkzeuge, die Entwicklungen für Grid Computing Applikationen unterstützen Applikationsabhängiges Scheduling, welche Plattformen auswählen und Resourcen je nach Problemstellung zuweisen können Quality of Service, Transportprotokolle, Grid Management, etc.

16 Dis t r ib u t ed Su p er co m p u t in g (SF- Exp res s / MPICH- G, Calt ech ) NCSA Origin Caltech Exemplar CEWES SP Maui SP SF-Express distributed interactive simulation. 100K vehicles (2002 goal) using 13 computers, 1386 nodes, 9 sites. Globus mechanisms for Resource allocation; Distributed startup; I/O and configuration; Security. P. Messi n a et al., Calt ech / applications/

17 Network for Earthquake Engineering Simulation NEESgrid: national infrastructure to couple earthquake engineers with experimental facilities, databases, computers, & each other On-demand access to experiments, data streams, computing, archives, collaboration NEESgrid: Argonne, Michigan, NCSA, UIUC, USC s.org

18 Image-Rendering / astronomy/ pbourke/ povray/ parallel

19 Parallelisierung für das Image Rendering Image splitting (rows, columns, and checker) Jedes Segment kann gleichzeitig von unterschiedlichen Nodes gerendered werden, sobald ein Segment generiert wurde.

20 Dat en in t en s ives Grid Com p u t in g: CERN Large Had ron Collid er - cir cu lar p art icle accelerat or t o be p laced in 27 km lon g t u n n el in 2005.

21 On-Demand Computing IBM's Autonomic Computing Autonomic Computing Service soll Kunden dabei unterstützen, das SystemManagement stärker zu automatisieren. Idee: Aufbau und Design einer selbskonfigurierenden, selbstheilenden, selbstoptimierenden und selbstschützenden IT-Umgebung

22 Online Access to Scientific Instruments Advanced Photon Source wide- area disseminat ion Real- tim e archival storage desktop & VR clients wit h shared cont rols collect ion t omographic reconstruction DOE X- ray grand challenge: ANL, USC/ ISI, NIST, U.Chicago s.org

23 MEG(MagnetoEncephaloGraphy) Data Analysis on the Grid: Brain Activity Analysis 64 sensors MEG Analysis All pairs (64x6 4) of MEG data by shifting the temporal region of MEG data over time: 0 to : 64x64x jobs 2 Data Generation Results Data Analysis Nimrod- G 4 Life electronics laboratory, [deadline, budget, optimization preference] World- Wide Grid AIST Provision of expertise in the analysis of brain function Provision of MEG analysis [Collaboration with Osaka University, Japan]

24 Ad Hoc Mobile Network Simulation Ad Hoc Mobile Network Simulation: Network performance under different microware frequencies and different weather conditions uses Nimrod.

25 Drug Design: Data Intensive Computing on Grid Mole cule s Prote in Chemical Databases (legacy, in.mol2 format) It involves screening millions of chemical compounds (molecules) in the Chemical DataBase (CDB) to identify those having potential to serve as drug candidates.

26 Home Computers Evaluate AIDS Drugs Community = 1000s of home computer users Philanthropic computing vendor (Entropia) Research group (Scripps) Common goal= advance AIDS research s.org

27 Search for Extraterrestrial Intelligence at Home

28 Content Sharing P2P

29 Collaborative Engineering Access GRID: / www- fp.mcs.anl.gov/ fl/ accessgrid/ Components of an AG Node RGB Vid e o Digital Vide o NETWORK Display Computer Digital Vide o Digital Audio Video Capture Computer Audio Capture Computer NTSC Vide o An alo g Au d io Mixer Control Computer Echo Canceller Rick Stevens & Team, ANL Group to group interactions. Human collaboration across distributed locations Remote visualiz ations, virtual meeting, seminars,etc. Uses grid technologies for secure communication etc. May have interaction with scientific apps.

31 Gridarchitektur Voraussetzungen Interoperabilität Protokolle, Services Ressourcen müssen auf unterschiedlichsten Platformen verteilt werden können Protokolle und Services müssen spezifiziert werden, damit Interoperabilität funktioniert. SDK's und API-s Software Development Kids müssen vorhanden sein und API's müssen spezifiziert werden um Grid-Software zu entwickeln

32 Gridarchitektur Ap p likat ion Collect ive Ap p likat ion Res sou rce Con n ect ivit y Tran sp ort In t ern et Fabric Lin k

33 Fabric Layer Regelt Zugriff auf lokale Ressourcen Ap p likat ion Collect ive Ress ou rce Con n ect ivit y Fabric Mögliche Ressourcen: Computerresourcen Starten und Überwachen von Programmen Statusinformationen Speichersysteme Netzwerkressourcen Holen und Speichern von Files Management (Reservierung, Priorisierung) Sensoren

34 Connectivity Layer Definiert KommunikationsAuthentifizierungs- protokolle Ap p likat ion Collect ive Ress ou rce Con n ect ivit y Fabric und Protokollvoraussetzungen: Single Sign on Delegation User muss sich nur einmal authentifizieren User soll Programm unter seinen Rechten starten können Integration verschiedenen Sicherheitslösungen müssen miteinander interagieren können

35 Ressource Layer Regelung von Ressourcen, wie: sichere Regelung (QoS) Initialisierung Überwachung Kontrolle Bezahlung Ap p likat ion Collect ive Ress ou rce Con n ect ivit y Fabric Ressourcen Layer kennt keine globalen Zustände. Management- und Informationsprotokolle regeln den Ressourcen gebrauch

36 Ap p likat ion Collect ive Res sou r ce Collective Layer Stellt Dienst und Protokolle zur Verfügung, die über globale Zustände verfügen. Con n ect ivit y Fabric mögliche Dienste: Directory Service Scheduling und Brokering Service Monitoring und Diagnostic Service Workload Management Systems Accounting und Payment Systems Software Discovery Service

37 Application Layer Ap p likat ion Collect ive Ress ou rce Con n ect ivit y Fabr ic Applikationen der User, die im Grid integriert werden.

39 Open Grid Services Architecture (OGSA) Definiert 2002 von der Open Grid Services Infrastructure working group des Global Grid Forms (GGF). Initiative getragen von USA und Europa. Ziel ist es grundlegende Grid-Dienste für einen großen Anwendungsbereich zu definieren. Diese Dienste befassen sich mit: Resourcen-Management über heterogen, verteilten Platform Bereitstellung eines Connectivity Managements Definieren von Clustering Diensten

40 Logisches Resourcen Management; d.h. Physikalischer Ort der Resourcen ist virtualisiert. Mangagement um zuverlässige Dienstqualität (HA-Dienste) zu erreichen Sicherheit Systemmanagement Zur Verfügung stellen von Quality of Service Definiert gemeinsamen autonomen Managementlösungen Definieren von offenen, öffentlichen Schnittstellen Versucht Industriestandards zu integrieren; im speziellen die Web Service Technologie

41 Open Grid Services Architecture (OGSA) Examine Component Structure of OGSA; IBM August 2003

42 OGSA: Resources Eine Einheit (entity) muss gemeinsam benutzt werden: Es muss nicht unbedingt eine physikalische Einheit sein: z.b.: Computer, Daten, Software, Plattenplatz,... z.b. verteiltes Filesystem,... Definiert sind Resourcen durch die Schnittstellen und nicht durch die Geräte selbst z.b. Open/close/read/write define access to a distributed file system, e.g. NFS, AFS, DFS

43 Zuordnung muss dynamisch funktionieren Robust, skalierbar und portable Mechansimen werden benötigt Ressourcen-Management bietet Dienste für: Ressourcenbesitzer Systemadministratoren Anwendungsentwickler Benutzer/Kunden

44 OGSA: Web Services Sowohl phsykalische als logische Resourcen werden als Dienste abgebildet. Alle Grid-Resources werden als Dienste (Web Services) repräsentiert. Speziell das Open Grid Service Infrastructure (OGSI) definiert alle Dienste mit dem Standard WSDL (Web Service Description Language)

45 OGSA: Open Grid Services Infrastructure (OGSI) OGSI definiert Schnittstellen in WSDL (Web Service Description Language), welche die Kompenten eines Grids darstellt. OGSA: Grid Applications Applikationen die die darunterliegenden Services verwendet.

46 OGSA Diensteübersicht Examine Component Structure of OGSA; IBM August 2003

47 Grundlegende funktionale Anforderungen von OGSA Discovery and Brokering: Dienstallokierung Metering and Accounting: Kostenrechnung Data Sharing: Data Management Resourcemanagement: Einrichten/Reservieren, Virtualisieren, Optimierung, Scheduling, Notification/Messageing, Logging,... Deployment Virtual Organizations: Eine Art Groupware Monitoring Policy: Fehler-Policy, Kostenrechung-Policy Sicherheitsanforderungen: Single-Sign-on, Zertifikate, Keymanagemement, IDS, Verschlüsselung, Firewalls

48 Transaktionen Fault Management Problem Determination Distributed Logging Messaging and Queuing Event Policy and Agreements

49 OGSA Systemeigenschaftten Fehlertoleranz: fail-over, load redistribution,... Disaster Recovery: Fehler ist normales Verhalten in einem Grid und darf keinen Einfluss auf die Stabilität haben self-healing: Wichtige Komponenten eines Grids müssen im begrentzen Rahmen automatisch ersetzt werden. starke Überwachung: Grid-System sollte in der Lage sein Angriffe auf weniger wichtige Komponenten zu leiten. Management von Altsystemen

50 Administration: System sollte auf einfachem Abstraktionslevel, sich selbst administrieren. Gruppierung/Aggregation von Diensten: Es gibt zwei Arten von Diensterzeugung durch bestehende Dienste: Selektion, z.b. selektiere den schnellsten MP3 Encoder Aggregation: Zusammenschließen von Diensten zu einer größeren sinnvollen Einheit. z.b. Kontodienstdaten werden zu einem Beurteilungsdienst geschickt um Kreditwürdigkeit herauszufinden.

51 Scheduling-Aufgaben Job-Scheduler Optimierung auf hohen Job-Durchsatz Ressourcen-Scheduler Fairneß Koordination vieler Zugriffe auf eine Ressource Optimierung auf bestmögliche Ressourcennutzung Anwendungs-Scheduler Optimieren z. B. auf minimale Ausführungszeit Neuer Blickwinkel in Bezug auf Performance

53 Globus Globus untersucht die Basisprobleme wie Ressourcen-Management Sicherheit Informationsdienste Datenmanagement Software-Entwicklungs-Werkzeuge Globus unterstütz die Grid-Initiative durch Bibliotheken für die: Kommunikation, Fehlererkennung, Portabilität Globus Toolkit ist Open-Source-Software Implementierung des OGSA. (GT4 gibt es seit 1.Mai 05)

54 Globus Toolkit Ansatz für eine Software-Infrastrukur für Grids Entwicklung am Argonne National Laboratory, Universität von Südkalifornien, Universität von Chicago Integriertes Set von Basisdiensten Keine Spezialisierung auf bestimmtes Programmier-Paradigma bag of services Anwendungsentwickler und Tool-Entwickler können daraus auswählen Unterscheidung zwischen lokalen und globalen Diensten.

55 Globus Toolkit Basisdienste: wohldefinierte Schnittstellen inkrementelle Anwendbarkeit Informationsdienst ist integraler Bestandteil (MDS - Metacomputing Directory Service) Ziel von Globus ist es, wenn möglich Internet-Standards zu übernehmen.

56 Globus Toolkit Übersicht

57 Überblick: Globus Toolkit Basisdienste GRAM (Ressourcen-Allokation und ProzeßManagement) Nexus (Unicast/Muliticast Kommunikationsdienste) MDS (Verteilter Zugriff auf Struktur- und Statusinformationen) GSI (Authentifizierung und andere Sicherheitsdienste) HBM (Statusüberwachung von Komponenten) GASS (Remote-Zugriff auf Daten über sequentielle und parallele Schnittstellen) GEM (Erzeugung, Caching und Platzierung von Programmteilen)

58 Beispiel für einen GlobusDienst Globus Metacomputing Directory Service (MDS) Hält Informationen über Systemkomponenten Architektur Betriebssystem Netzwerkbandbreite und Verzögerung Verfügbare Protokolle Präsentiert Informationen im LDAP-Standard Konzipiert als verteilter Dienst Beliebige Unterbäume verknüpft mit getrennten Servern Lokaler Dienst: LDAP-Server, Bibliotheken Globaler Dienst: Ensemble der Server

59 High-Level Tools Einerseits direkte Nutzung von GlobusDiensten möglich aber auch High-Level Tools: Message-Passing Library MPI für Grids basierend auf MPICH Nutzung von Globus-Diensten zur Implementierung RIO (Remote I/O) Adaptiert das von MPI-IO definierte Interface für den Benutzer transparentes Verhalten

60 Zusammenfassung Grid-Paradigma orientierte Umsetzungen Benutzung bestehender Systeme immer noch kompliziert Auch andere Definitionen von Grid Computing möglich Beliebige weitere Dienste sind denkbar Grids bilden weitere Metaebene (fraktale Struktur) Ansätze und Implementierungen werden stark vorangetrieben

62 Literatur / Weblinks Allgemeines: Sun Grid Engine software: Open Grid Service Infrastructure (OGSI) Ver. 1.0; 2003; Grid Engine open source projekt: gridenginesunsource.net Globus Toolkit:

63 Literatur / Weblinks Globus Toolkit: Grid Forum: DATAGRID The Grid 2 Blueprint for a New Computing Infrastructure edited by Ian Foster and Carl Kesselman, Elsevier Verlag.

64