technische universität dortmund Prof. Dr. Ramin Yahyapour

Transkript

1 technische universität Prof. Dr. Ramin Yahyapour IT & Medien Centrum 13. April 2010

2 Logistik Vorlesung: Prof. Dr. Ramin Yahyapour Dienstag, 8:30-10 Uhr Terminänderungen beachten! LSF Anmeldung für Mailingliste und Materialien in EWS Prüfung: Mündliche Prüfung im Zeitraum August-Oktober Terminvereinbarung zum Ende der Vorlesungszeit

3 Übungen Betreuung Florian Feldhaus, Peter Chronz Termine Dienstags 10:15 11:00 Uhr, GB V R.420 Dienstags 11:15 12:00 Uhr, GB V R.420 Donnerstags 10:15 11:00 Uhr, Pav 6 R.18 Donnerstags 11:15 12:00 Uhr, Pav 6 R.18 Erste Übung: 27. und 29. April Anmeldung Informationen zur Anmeldung finden sich im EWS Leistungsnachweis (unbenotet) 10 Punkte pro Übungsblatt 50% der Punkte der Übungsblätter 1-6 und 50% der Punkte der Übungsblätter 6-12 müssen erreicht werden Aktive Teilnahme an den Übungen

4 Overview What is Service, Cloud, Grid Computing? Application Examples Architecture of Grids Current Development Similarities to ebusiness Solutions and Ubiquitous Computing

5 Vorstellung IT & Medien Centrum Das ITMC ist der IT und Medien Dienstleister der Universität Beispiele: Management der Netzwerk-Infrastruktur bis an die Dose bzw. WLAN Zugang, DNS, Firewall, DHCP Support-Services Service-Desk Graphik, Print E-Learning Audio/Video-Erstellung und Bearbeitung Betrieb zentraler Server und Dienste , Groupware Identity Management Web-Server Campus Management/Ressourcen Management Hosting und Housing von Servern Betrieb von HPC-Systemen für wissenschaftliches Rechnen.

6 Wiss. Rechnen/ HPC an der TU 2006: LiDO 464 CPU Cores (AMD) 20 Tbyte Storage 2008: D-Grid Ressourcen Zentrum Ruhr (DGRZR) 2048 CPU Cores (Intel) 110 Tbyte Storage 2009: LiDO CPU Cores (Intel) 215 Tbyte Storage

7 Traditioneller Rechnerbetrieb Dedizierte System für Anwendungen HW angepasst auf Anwendung, daher hohe Performanz Systeme teilweise redundant für Ausfallsicherheit Heterogene Infrastruktur Kapazitäten meist überdimensioniert, um künftiges Wachstum vorwegzunehmen Mail DB WebApp Service X

8 technische universität Virtualisierung von Rechnern Der Einsatz von Virtualisierung erlaubt eine Trennung von HW und Anwendung. VM sind isoliert voneinander Mehrere VMs können sich einen Host teilen Heterogenität kann besser verwaltet werden. Die Ressourcen lassen sich zuteilen und partitionieren. Nach Forrester: Über 30% Kostenersparnis

9 Änderung für den Betrieb eines Data Centers Trennung von Ressourcen und Anwendungen Ressourcen werden dynamisch zugeteilt Ressourcen werden selbst als Services angeboten ITMC: Server-Virtualisierung seit 2008 Speicher-Virtualisierung projektiert

10 In die Wolken: Cloud Computing Kommerzielle Anbieter liefern Ressourcen (Amazon EC2) On-demand Zugang zu Ressourcen Elastizität (dynamische Anpassung) Pay-per-use Nutzung wird einzeln abgerechnet Leichter Einstieg SaaS Software as a Service PaaS Platform as a Service Applikationen Plattform zur Erstellung von Applikationen IaaS Infrastructure as a Service Infrastruktur für Server, Speicher, Netzwerk,

11 Amazon Web Services EC2 (Elastic Computing Cloud) ist der Computing Service von Amazon Basiert auf Hardware Virtualisierug (Xen) Nutzer fragen virtuelle Maschonen und und verweisen auf ein ein VM-Image,das in S3 abgelegt ist. Nutzer haben volle Kontrolle über die Instanzen (z.b. Root-Zugang, wenn notwendig). Anfragen können über SOAP oder REST erfolgen. S3 (Simple Storage Service) ist der Storage Service von Amazon, um Daten in der Cloud zu speichern Unabhängig von anderen Diensten nutzbar Daten werden hierarchisch organisiert und als Objekte oder Buckets abgelegt Zugriff über SOAP, REST und BitTorrent Weitere AWS Dienste: SQS (Simple Queue Service) SimpleDB Billing services: DevPay Elastic IP (Static IPs for Dynamic Cloud Computing) June 2,

12 Beispiel: Amazon WS EC2 Dienst: Hosting Virtueller Maschinen on Demand Service Level Agreement (SLA): Amazon EC2 SLA commitment is 99.95% availability for each Amazon EC2 Region CPU-Leistung: [gemessen in EC2 Compute Unit (ECU)] One EC2 Compute Unit (ECU) provides the equivalent CPU capacity of a GHz 2007 Opteron or 2007 Xeon processor. 12

13 Beispiel: Amazon WebServices EC 2 Standard Instances Small Instance 1.7 GB Hauptspeicher, 1 EC2-Compute-Unit (1 virtual CPU-core), 160 GB Hintergrundspeicher, 32-bit Plattform Large Instance 7.5 GB Hauptspeicher, 4 EC2-Compute-Unit (2 virtual CPU-cores), 850 GB Hintergrundspeicher, 64-bit Plattform Extra Large Instance 15 GB Hauptspeicher, 8 EC2-Compute-Unit (4 virtual CPU-cores), 1690 GB Hintergrundspeicher, 64-bit Plattform High-CPU Instances High-CPU Medium Instance 1.7 GB Hauptspeicher, 5 EC2-Compute-Unit (2 virtual CPU-core), 350 GB Hintergrundspeicher, 32-bit Plattform High-CPU Extra Large Instance 7 GB Hauptspeicher, 20 EC2-Compute-Unit (8 virtual CPU-cores), GB Hintergrundspeicher, 64-bit Plattform

14 Public/Commercial Clouds Klares Business Modell (Pay by Creditcard..) Aktiver Markt mit vielen Anbietern Metering, Accounting, Billing Einstieg einfach und günstig Ausstieg nicht! Für größere Data Center nur begrenzt attraktiv

15 Private Clouds Dienstorientierung innerhalb eines Data Centers Angebot von Infrastruktur oder Plattformen als Dienst Beispiel: ITMC liefert virtuelle Maschinen Storage on-demand für Lehrstühle Klare Web-Schnittstellen für den Nutzer Attraktives Management- Modell; Dynamische Skalierbarkeit 1) Dynamische Skalierung 2) Scale-Out Weitere Ressourcen Einbindung von externen Ressourcen

16 Cloud Computing Hype? Gartner Hype Cycle 2008 Hype! Aber Konzepte bleiben.

17 Bewertung Clouds Einfaches Managementmodell Betreiber Dienste Betreiber Infrastruktur Klare Schnittstellen Betreiber Infrastruktur sieht die Anwendung nicht. Hohe Effizienz auf Seiten des Betriebs Management von vielen VMs möglichst effizient auf verfügbaren Ressourcen Ähnliche Entwicklung bei Storage Hohe Flexibilität Erzeugung von neuen VMs auf Knopfdruck Offenheit von Clouds zurzeit noch nicht gegeben Einbahnstraße zu einem Provider Aktuelle Bestrebungen zur Liberalisierung und Standardisierung

18 Unterstützung neuer Angebote Beispiel von Amazon: Animoto, Scale as you grow (Musik-unterlegte Videos aus eigenen Bildern) 18

19 Eigenschaften eines Anbieters 19

20 Grid Computing? Ressourcen teilen (sharing) Produktionsumgebung in vielen Disziplinen Kollaboration in Forschungsgruppen Betrieb und Nutzung sind kompliziert TU Dortmund in mehreren Grids beteiligt

21 Clouds für HPC Kann Virtualisierung und Cloud Computing für wissenschaftliches Rechnen genutzt werden? Abhängig von der wiss. Anwendung Parallele Applikationen mit hohen Kommunikationsanforderungen: wenig geeignet Bag of Tasks Anwendungen mit geringen Anforderungen: durchaus geeignet Vorteil: Virtualisierung findet unabhängig Einzug in DataCenter: Knowhow vorhanden VMs erlauben besser auf die Bedürfnisse der Nutzer einzugehen und Verantwortlichkeit auf den Nutzer zu übertragen (Software-Pflege) Mehr Freiheitsgrad im Management (Migration, Preemption) Langfristig: Job = Virtuelle Maschine Es wird künftig spezielle HPC-Systeme und Compute Clouds geben

22 Ressourcen Management Das automatische Management von Clouds oder Grids ist eine komplexe Aufgabe Welche Ressourcen werden für welchen Dienst/Anwendung wann eingesetzt? Hoch dynamisch und von der Arbeitslast/Workload abhängig Optimierungsziele: Antwortzeit Qualität Kosten Ressourcenverbrauch Strom (!) Multikriterielles Optimierungsproblem

23 Unterschiede zwischen Grids und Service Computing Grids führen meist Batch-Jobs aus: Dynamische Einreichung neuer Jobs, meist unabhängig Batch Queuing-Systeme Typischerweise Space-sharing Ausführung Sequentielle oder parallele Applikationen Clouds/SOA/SOI sind: Meist transkations-orientiert, wiederholende Dienste Hosting ist für lange Zeiträume Häufig time-sharing Ausführung Meist synchrone Workflows über verschiedene Dienste Gekoppelte Ressourcen Hosting Environment, AppServer, Datenbank