Grundlagen des Grid Computing

Größe: px

Ab Seite anzeigen:

Download "Grundlagen des Grid Computing"

Thomas Kramer
vor 8 Jahren
Abrufe

1 Grundlagen des Grid Computing Cloud Computing ICA Joh.. Kepler Universität t Linz

2 Cloud Computing Zugriff auf Programme und Daten Von überall her Jederzeit Singulärer Zugriffspunkt Daten: Photos, Dokumente Programme: Office im Webbrowser Vorteil: bezahlt wird, was gebraucht wird Grundlagen des Grid Computing 2

Photos, Dokumente Programme: Office im Webbrowser

3 Motivation Grid Computing hat seinen Schwerpunkt (noch?) im akademischen Bereich Cloud Computing: Eher auf kommerzielle Anwendungen ausgerechnet Interesse von Microsoft, IBM, Sun, Beispiele: Amazon Elastic Compute Cloud (EC2) Google Software as Service Grundlagen des Grid Computing 3

Anwendungen ausgerechnet Interesse von Microsoft, IBM, Sun, Beispiele:

4 Anbieter / Kunden Anbieter IBM, HP, Sun, die üblichen Verdächtigen ;-) Amazon Auslastung der eigenen IT-Infrastruktur War einer der ersten Anbieter Kunden: zb. KMUs Schwankender Bedarf an Rechenleistung Proof-of-Concept Täglicher Bedarf wohl doch eher in-house Grundlagen des Grid Computing 4

5 Definition R. Buyya: A Cloud is a type of parallel and distributed system consisting of a collection of interconnected and virtualised computers that are dynamically provisioned and presented as one or more unified computing resources based on service-level agreements established through negotiation between the service provider and consumers. Grundlagen des Grid Computing 5

interconnected and virtualised computers that are dynamically provisioned and presented as

6 Abgrenzung Grid Computing Peer-to-Peer Computing (P2P) Dezentraler Austausch von Inhalten zwischen gleichberechtigten Partnern, Dynamizität, Autonomie, ad-hoc Kommunikation und Kollaboration Service Oriented Architectures (SOAs) Unterstützen die Verbing zwischen Geschhäftsprozessen und IT Services (z.b. Web Services), Methoden für das Anbiten von Services und deren Auffindung Cloud Computing Cluster Computing A Cluster is a type of parallel and distributed system, which consists of a collection of inter-connected stand-alone computers working together as a single integrated computing resource. Grundlagen des Grid Computing 6

ration Service Oriented Architectures (SOAs) Unterstützen die Verbi

7 Abgrenzung Cluster Computing Einzelner administrativer Bereich Von einzelner Einheit verwaltet Scheduler haben die Leistung des Gesamtsystems (Cluster) im Auge (z.b. Auslastung) Grid Computing Geographisch verteilt Mehrere Adminstrative Domänen Resource Broker unterstützen Applikationsperformance Cloud Computing Aspekte von Clustern und Grids Starke Virtualisierungsunterstützung Aggregierbare Services mit Webservice-Schnittstellen Kein Bezug zur Hosting-Infrastruktur (transparent) Grundlagen des Grid Computing 7

Auslastung) Grid Computing Geographisch verteilt Mehrere Adminstrative Domänen Resource Broker unterstützen

8 Clusters / Grids / Clouds Grundlagen des Grid Computing 8

9 Clusters / Grids / Clouds Grundlagen des Grid Computing 9

10 Clouds Erscheinen wie eine Kombination aus Cluster und Grids Realität: Auf Virtualisierung aufbauende Daten- bzw. Rechenzentren Werden dynamisch zur Verfügung gestellt Wichtig: Qualiy of Service (QoS) Service Level Agreement (SLA) Grundlagen des Grid Computing 10

Rechenzentren Werden dynamisch zur Verfügung gestellt Wichtig:

11 QoS & SLA Quality of Service: Verfügbarkeit Netzwerkbandbreite Leistung CPU Speicher Service Level Agreement Vertragliche Garantie von QoS Mit Kompensationsregelungen Grundlagen des Grid Computing 11

Level Agreement Vertragliche Garantie von QoS Mit

12 Cloud Architektur Grundlagen des Grid Computing 12

13 Cloud Architektur User / Broker Entweder Benutzer oder Dienste (zb. Für aggregierte Services) die Dienste in Anspruch nehmen SLA Resource Allocator Schnittstelle: Cloud Anbieter Nutzer (oder externer Broker) Liefert SLA orientiertes Ressource Management unter Verwendung seiner Komponenten (siehe Grafik) Grundlagen des Grid Computing 13

Schnittstelle: Cloud Anbieter Nutzer (oder externer Broker) Liefert SLA orientiertes

14 Cloud Architektur Virtual Machines (VMs) Mehrere Virtuelle Maschinen können auf einer physikalischen laufen. Können dynamisch gestartet / gestoppt werden. Flexibilität Unterschiedliche Betriebssysteme Reale Maschinen Oft reales Rechenzentrum Oder Grundlagen des Grid Computing 14

Können dynamisch gestartet / gestoppt werden.

15 Cloud Containers Sun Blackbox Grundlagen des Grid Computing 15

16 Cloud Architektur: SLA Resource Allocator Service Request Examiner and Admission Control Customer Driven Service Management Computational Risk Management Autonomic Resource Management Überprüft QoS Anforderungen Überprüft Ressourcenverfügbarkeit Weist Anforderungen an VMs zu Grundlagen des Grid Computing 16

Management Autonomic Resource Management Überprüft QoS Anforderungen

17 Cloud Architektur: SLA Resource Allocator Pricing Preisgestaltung (Nach Submission Zeit, Fixe / Variable Preise) Wichtig für Ressourcenplanung des Anbieters Accounting Protokolliert Ressourcenverwendung für Abrechnung Historische Informationen sind auch für die Resourcezuteilung interessant Grundlagen des Grid Computing 17

Anbieters Accounting Protokolliert Ressourcenverwendung für Abrechnung

18 Cloud Architektur: SLA Resource Allocator VM Monitor Beobachtet die Verfügbarkeit von VMs Dispatcher Startet VMs für akzeptierte Anforderungen Service Request Monitor Verfolgt laufende VMs Grundlagen des Grid Computing 18

VMs für akzeptierte Anforderungen Service Request

19 Anforderungen für Kommerzielle Angebote Verwaltung der Services muss vom Benutzer beeinflußbar sein Risikomanagement Marktbasiertes Resourcemanagement Muss die oberen beiden Punkte berücksichtigen (wegen SLAs) Das autonome Resourcemanagement muss Neue und existierende Serviceverpflichtungen berücksichtigen Verwendung von VM Technologien um Teile von Ressourcen entsprechend der Serviceanforderungen (um)zuverteilen Grundlagen des Grid Computing 19

Das autonome Resourcemanagement muss Neue und existierende Serviceverpflichtungen berücksichtigen Verwendung von

20 3 Arten von Clouds Infrastructure as a Service benutzt Haupspeicher, CPU, Netzwerk Zugang über Internet Abrechnung nach tatsächlicher Nutzungsdauer (Image-Laufzeit) zb. Amazon Web Services Platform as a Service Kunden entwicklen eigene Software Anbieter stellt API und Laufzeitumgebung zur Verfügung Benutzung der Anwendung kann kommerziell angeboten werden Software as a Service Cloud Anbieter stellt Applikationen für Endanwender zur Verfügung (z.b. Office-Applicationen, Google Apps,...) Grundlagen des Grid Computing 20

Amazon Web Services Platform as a Service Kunden entwicklen eigene Software Anbieter stellt API und Laufzeitumgebung zur Verfügung

21 Virtualisierung Virtualisierung Xen Vmware Ermöglicht Konfiguration der VM durch den Benutzer unabhängig vom Hosting-System Ausführung von mehreren logischen VMs auf einer physikalischen Ressource Migration einer VM im laufenden Betrieb Dynamische Zuteilung der physikalischen Kapazitäten an die VMs Erleichtert Einhaltung der SLAs für den Resource-Anbieter Grundlagen des Grid Computing 21

22 Vergleich von Cloud-Angeboten Amazon Elastic Compute Cloud (EC2) Linux-basierte Anwendungen in einem Amazon Maschine Image (AMI) (Virtuelle Machine mit allen Programmen, Bibliotheken,...) AMIs werden durch Amazon s Simple Storage Service (S3) hochgeladen und können dann gestartet, gestoppt und gemonitored werden. Bezahlung erfolgt nach der Laufzeit der AMIs und anfallenden Datentransfers Grundlagen des Grid Computing 22

23 Vergleich von Cloud-Angeboten Google App Engine Laufzeitumgebung für Java und Python Webapplikationen SDK für die lokale Entwicklung Features: Verwendung von Google Accounts Url Fetch, Bildberabeitung cronjobs... Grundlagen des Grid Computing 23

24 Microsoft Azure Vergleich von Cloud-Angeboten Integrierte Entwicklung sowie Hosting und Kontrolle der Applikationen Baut auf Microsoft-Technologien auf (.NET, Microsoft SQL Services) Web API Support für Interoperabilität (SOAP, REST) Grundlagen des Grid Computing 24

25 Sun network.com Vergleich von Cloud-Angeboten Ausführung von Java, C, C++, Fortran Applikationen Lokale Entwicklung Upload der Applikation mit allen Libraries Download der Ergebnisse nach Abschluß keine Interaktivitätsunstützung Grundlagen des Grid Computing 25

26 Probleme & Kritik Keine Interoperabilität zwischen verschiedenen Anbietern Richard Stallman: Private Daten irgendwo am Netz? Bei Google, Amazon, IBM, Grundlagen des Grid Computing 26

27 Beispiel-Algorithmus: Map-Reduce Populärster Algorithmus im Cloud Computing Bereich Indizierung großer Datenmengen Worthäufigkeiten in Mengen von Dokumenten Entwickelt von Google Anwendung einfacher Operationen auf große Datenmengen Abstraktion zur Wiederverwendung von Parallelisierung und Datenverteilung Grundlagen des Grid Computing 27

28 Map-Reduce Ein (große) Menge an (Schlüssel, Wert) Paaren stellt die Eingabedaten dar. Eine map Operation wird auf jedes Paar angewendet Eine reduce Operation kombiniert alle Ergebnisdatensätze mit dem selben Schlüssel, und reduziert potentiell die Daten Grundlagen des Grid Computing 28

29 MapReduce map(k1, v1) -> list(k2, v2) reduce(k2, list(v2)) -> list(v2) k1, v1 können einen anderen Datentyp haben wie k2, v2 Die reduce-operation verändert den Datentyp nicht map() und reduce() Funktionen sind anwendungsabhängig Die Reduce-Funktion wird für jeden Schlüssel k2 einmal aufgerufen, list(v2) enthält die Elemente mit Schlüssel k2 In der reduce Funktion werden üblicherweise die Elemente der Liste v2 verknüpft Grundlagen des Grid Computing 29

30 MapReduce Mapping Schritt kann parallel durchgeführt werden, keine Datenabhängigkeiten Die Argumentfunktion des Reduce-Schritts ist assoziativ, kommutativ und binär, daher ist die Auswertung auch parallelisierbar (log 2 N Schritte für N Elemente) Grundlagen des Grid Computing 30

31 Zählen von Worthäufigkeiten in großen Dokumentmengen map(string key, String value): key: Document Name Value: Document content reduce(string key, Iterator values): key: a word values: a list of counts For each word w in value: Emit Intermediate(w, 1 ) int result=0; for each v in values: result+=parseint(v); EmitAsString(result); Grundlagen des Grid Computing 31

Ähnliche Dokumente

Gliederung. Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik

Gliederung. Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik Cloud Computing Gliederung Was ist Cloud Computing Charakteristiken Virtualisierung Cloud Service Modelle Sicherheit Amazon EC2 OnLive Vorteile und Kritik 2 Bisher Programme und Daten sind lokal beim Anwender