5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim

Transkript

1 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 1/36 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim Christian Baun Karlsruher Institut für Technologie Steinbuch Centre for Computing

2 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 2/36 Wiederholung vom letzten Mal Amazon Web Services (AWS) Warum soll man die AWS einsetzen Beispiele für Anwendungen, die AWS nutzen Elastic Compute Cloud (EC2) Elastic Block Store (EBS) Elastic Load Balancing (ELB)

3 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 3/36 Heute IBM Smart Cloud Enterprise (SCE) Amazon Web Services (AWS) Simple Storage Service (S3) Google Storage Host Europe Cloud Storage

4 IBM Smart Cloud Enterprise (SCE) Infrastrukturdienst auf Basis von KVM Seit April 2011 verfügbar Bietet eine zu EC2 vergleichbare Funktionalität Bislang implementierte Funktionalitäten: Schlüsselpaare anlegen und löschen Images importieren und exportieren Instanzen in verschiedenen Instanzklassen und Regionen starten und terminieren Blockbasierten Speicher anlegen und Instanzen zuweisen 4 Regionen: Canada, USA, Japan und SG (Singapur?) 9 Instanzklassen: Copper, Bronze, Silver und Gold (jeweils für 32 und 64 Bit) Platinum (nur für 64 Bit) Einfach gehaltene Weboberfläche und REST API vorhanden Gute Übersicht über die Instanzklassen und deren Preise Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 4/36

5 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 5/36 SCE: 32-Bit Instanzen

6 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 6/36 SCE: 64-Bit Instanzen

7 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 7/36 SCE: Persistente Datenspeichervolumen

8 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 8/36 SCE: Netzwerkzugang

9 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS1112 9/36 SCE: Statische IP-Adressen und VPN-Zugang

10 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Mit SCE arbeiten (1/6): Image auswählen

11 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Mit SCE arbeiten (2/6): Instanz konfigurieren

12 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Mit SCE arbeiten (3/6): Instanz starten

13 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Mit SCE arbeiten (4/6): Instanz startet

14 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Mit SCE arbeiten (5/6): Speicher anlegen

15 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Mit SCE arbeiten (6/6): Speicher angelegt

16 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Unterschiede und Nachteile gegenüber EC2 REST API vergleichbar zur EC2 API aber nicht identisch/kompatibel Der Start einer Instanz dauert zwischen 10 und 30 Minuten Die Zeit ist abhängig von der Speichergröße Persistenter Speicher kann nur beim Start einer Instanz zugewiesen werden Elastisches zuweisen und freigeben ist unmöglich Die Kommandozeilenwerkzeuge laufen nicht unter Debian/Ubuntu Vermutlich wurde das nicht getestet Es sind nur Instanzen mit SuSE, RedHat und Windows möglich IP-Adressen können nur beim Start einer Instanz zugewiesen werden Es sind also nur statische IP-Adressen möglich Elastisches zuweisen und freigeben ist unmöglich EC2 ist seit 2006 verfügbar, hat viele Benutzer und ein großes Ökosystem kompatibler Werkzeuge und Bibliotheken

17 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Amazon Simple Storage Service (S3) Daten werden als Webobjekte gespeichert Es existieren keine Dateien oder Verzeichnisse, sondern nur Objekte Jedes Objekt kann zwischen 1 Byte und 5 TB groß sein Zu jedem Objekt werden 2 KB Metadaten gespeichert Jedes Objekt ist einem Bucket zugeordnet Jeder Bucket muss einen eindeutigen Namen haben Ein Bucket kann keinen weiteren Bucket enthalten Der Name eines Objekts wird auch als Key bezeichnet Für jedes Objekt und jeden Bucket können Zugriffsrechte festgelegt werden Access Control List (ACL) Zugriff auf Buckets und Objekte geschieht via REST oder SOAP Objekte können auch via BitTorrent heruntergeladen werden (muss man freigeben)

18 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Flacher Namensraum von S3 Verzeichnisse sind in S3 nicht möglich Es gibt nur Buckets und Objekte Man kann aber Verzeichnisse emulieren S3Fox, Google und KOALA emulieren Verzeichnisse, indem an den Key eines Objekts _$folder$ angehängt wird Objekte, die einem solchen Verzeichnis zugeordnet sind, haben einen Key mit dem Namensschema verzeichnis/unterverzeichnis/objekt

19 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Entwicklung der S3 Nutzung Zeitraum August 2006 April 2007 Oktober 2007 Januar 2008 Oktober 2008 März 2009 August 2009 Oktober 2009 März 2010 Januar 2011 Juli 2011 Gespeicherte Objekte 800 Millionen 5 Milliarden 10 Milliarden 14 Milliarden 29 Milliarden 52 Milliarden 64 Milliarden 82 Milliarden 102 Milliarden 262 Milliarden 449 Milliarden Quelle: Amazon Web Services Blog =

20 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Kosten von S3 (Speicherkapazität und Zugriffe) Stand: Juli 2011

21 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Kosten von S3 (Datentransfer)

22 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 AWS Import/Export Unterstützt den Transfer großer Datenmengen in oder aus der Cloud heraus Ein Datenspeicher (Festplatte) wird an Amazon gesendet und dann vor Ort in einen S3-Bucket kopiert Dateisysteme: NTFS, ext2, ext3 und FAT32 mit maximal 2 TB Gebühr pro Datenspeicher: 80 Dollar Übertragung vor Ort kostet pro Stunde 2,49 Dollar

23 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 S3 mit s3cmd bedienen Für den Zugriff auf Amazon S3 von der Kommandozeile aus, gibt das einfach zu bedienende Werkzeug s3cmd Konfiguration der Zugangsdaten s3cmd --configure Liste der eigenen Buckets s3cmd ls Bucket anlegen s3cmd mb s3://bucket Objekt hochladen s3cmd put LokaleDatei s3://bucket/entferntesobjekt Inhalt eines Buckets auslesen s3cmd ls s3://bucket Objekt herunterladen s3cmd get s3://bucket/entferntesobjekt LokaleDatei Objekt löschen s3cmd del s3://bucket/entferntesobjekt Löschen eines (leeren) Buckets s3cmd rb s3://bucket

24 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Firefox-Plugin S3Fox:

25 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Mit der S3 API und boto arbeiten #! / u s r / b i n / env python from boto. s3. c o n n e c t i o n import S3Connection # Verbindung zu S3 aufbauen # V a r i a b l e conn z e i g t a u f e i n S3Connection Objekt conn = S3Connection ( <aws a c c e s s key>, <aws s e c r e t key> ) # Bucket t e s t b u c k e t e r z e u g e n conn. c r e a t e b u c k e t ( t e s t b u c k e t ) # L i s t e d e r Buckets e r h a l t e n und ausgeben a n f r a g e b u c k e t s = conn. g e t a l l b u c k e t s ( ) p r i n t ( a n f r a g e b u c k e t s )

26 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Objekte via HTTP POST in S3 hochladen Objekte in S3 hochladen ist u.a. via HTTP POST möglich post_sample.html Was man zum hochladen benötigt S3-Zugang Access Key und Secret Access Key Bucket Policy-Dokument Signatur HTML-Formular

27 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Objekte via HTTP POST in S3 hochladen (2) { e x p i r a t i o n : T00 : 0 0 : 0 0 Z, c o n d i t i o n s : [ { bucket : <bucket> }, [ s t a r t s with, $ a c l, ], { r e d i r e c t : <Z i e l a d r e s s e > }, [ s t a r t s with, $key, ], [ s t a r t s with, $Content Type, ] ] } Für den Namen des Objekts kann ein Prefix vorgegeben werden z.b. ["starts-with", "$key", "bilder/"], Für den Namen den Content Typs kann ein Prefix vorgegeben werden z.b. ["starts-with", "$Content-Type", "image/"], Policy-Dokument wird Base64-kodiert = Policy Policy wird mit Secret Access Key verknüpft und dann erneut Base64-kodiert = Signatur

28 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Objekte via HTTP POST in S3 hochladen (3) <form a c t i o n= h t t p : / / s3. amazonaws. com/<bucket > method= p o s t e n c t y p e= m u l t i p a r t / form data > <i n p u t type= h i d d e n name= key v a l u e= ${ f i l e n a m e } > <i n p u t type= h i d d e n name= a c l v a l u e= <ACL> > <i n p u t type= h i d d e n name= Content Type v a l u e= <Content Typ> > <i n p u t type= h i d d e n name= r e d i r e c t v a l u e= <Z i e l a d r e s s e > > <i n p u t type= h i d d e n name= AWSAccessKeyId v a l u e= <A c c e s s Key> > <i n p u t type= h i d d e n name= p o l i c y v a l u e= <P o l i c y > > <i n p u t type= h i d d e n name= s i g n a t u r e v a l u e= <S i g n a t u r > > <i n p u t type= f i l e name= f i l e > <i n p u t type= submit name= submit v a l u e= Upload zu S3 > </ form> Access Control List (ACL) kann sein: private, public-read, public-read-write oder authenticated-read Werte im Formular müssen mit dem Policy-Dokument übereinstimmen Objekt erfolgreich übertragen = Redirect des Browsers zur Zieladresse

29 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Einige Anwendungen und Dienste, die S3 nutzen Image Hosting Service SmugMug Nutzt S3 seit April 2006 um Bilder zu speichern Im April 2008 hat SmugMug angegeben, durch S3 1 Million Dollar gespart zu haben Berechnung: Online Backup Jungle Disk Online Backup ElephantDrive Online Backup ExEasy NetCDP Online Backup Dropbox

30 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Erste NAS-Geräte nutzen schon S3 Beispiel von HP Beispiel: HP MediaSmart Server EX485 Benutzer kann festlegen welche Daten zum Backup in S3 gespeichert werden sollen

31 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Erste NAS-Geräte nutzen schon S3 Beispiel von Qnap... Daten sichern die Qnap-NAS nicht nur über gängige Mechanismen wie rsync auf andere Server im Netz weg, sondern schicken sie auf Wunsch jetzt auch zeitgesteuert an den Cloud-Speicherdienst Amazon S3... Quelle: c t. Schnelle Gigabit-NAS für zu Hause und das Büro. 5/2010. S.114

32 Verfügbarkeit von S3 Amazon garantiert für S3 eine monatliche Verfügbarkeit von 99.9% Downtime (HH:MM:SS) Verfügbarkeit pro Tag pro Monat pro Jahr 99.9% 00:01:26 00:43:49 08:45:56 Wird die Verfügbarkeit unterschritten, erhält man eine Gutschrift Was bringt eine Gutschrift, wenn die eigenen, wichtigen Dienste und Daten nicht mehr erreichbar sind? Lösung: Dienste und Daten redundant verfügbar halten! Mehrere öffentlich verfügbare (Public Cloud) Angebote nutzen Private Cloud aufbauen (hybride Cloud) Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36

33 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Google Storage Speicherdienst für Webobjekte Schnittstelle ist kompatibel zu S3 Funktionalität ist mit S3 (fast) identisch Für jedes Objekt und jeden Bucket können Zugriffsrechte festgelegt werden Access Control List (ACL) Zugriff auf Buckets and Objekte geschieht via REST Kommandozeilenwerkzeug GSutil und Softwaredienst (SaaS) Google Storage Manager werden bereitgestellt GSutil kann mit Google Storage und S3 arbeiten GSutil basiert auf der Python-Bibliothek boto

34 Google Storage Buckets Buckets können auf Ressourcen in den USA oder in der EU liegen Stand: Juli 2011 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36

35 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Host Europe Cloud Storage Speicherdienst für Webobjekte Schnittstelle ist kompatibel zu S3 Funktionalität ist mit S3 (fast) identisch Für jedes Objekt und jeden Bucket können Zugriffsrechte festgelegt werden Access Control List (ACL) Zugriff auf Buckets and Objekte geschieht via REST Kein Hochladen von Objekten via POST Keine garantierte Verfügbarkeit Nicht jede Software unterstützt Host Europe Cloud Storage Unterstützung u.a. durch s3cmd, Cyberduck und Cloudberry Explorer

36 Christian Baun 5.Vorlesung Cluster-, Grid- und Cloud-Computing Hochschule Mannheim WS /36 Nächste Vorlesung Nächste Vorlesung: