Übungsaufgaben Amazon Web Services (AWS)

Transkript

1 Übungsaufgaben Amazon Web Services (AWS) Vorlesung Cloud Computing SoSe 2009 Cloud Computing SoSe 2009 Dr. M.Kunze 1

2 Übung A1 Erstellen Sie einen Kurzfilm bei Animoto! Cloud Computing SoSe 2009 Dr. M.Kunze 2

3 Übung A2 Anmelden eines Accounts bei Amazon (Signup) Installation der Amazon Web Services Tools auf einem Windows oder Linux Rechner Cloud Computing SoSe 2009 Dr. M.Kunze 3

4 Übung A2 (c td) Anlegen eines.ec2 Ordners im Home-Verzeichnis Bei AWS anmelden, Zertifikat generieren und pk pem und cert pem Dateien nach.ec2 kopieren (x.509) Setzen von Umgebungsvariablen (Systemsteuerung) EC2_HOME=C:\Programme\ec2-api-tools EC2_CERT=%HOME%\.ec2\cert...pem EC2_PRIVATE_KEY=%HOME%\.ec2\pk...pem JAVA_HOME=C:\Programme\Java\jdk1.6.0_13 Falls man in einer speziellen Zone arbeiten will (default: us-east-1) EC2_URL= Funktionstest: Zeige verfügbare Zonen mit ec2-describe-availability-zones AVAILABILITYZONE us-east-1a available us-east-1 AVAILABILITYZONE us-east-1b available us-east-1 AVAILABILITYZONE us-east-1c available us-east-1 Cloud Computing SoSe 2009 Dr. M.Kunze 4

5 Übung A2 (c td) Erzeugen eines Schlüsselpaars (Name z.b. mykey) ec2-add-keypair mykey Der zurück gelieferte private Schlüssel muss in einem File gespeichert werden (z.b. mykey.pem) Auflisten der verfügbaren Amazon Machine Images (AMI) ec2-describe-images o amazon IMAGE ami-2b5fba42 ec2-public-images/fedora-8-i386-base-v1.07.manifest.xml amazon available public i386 machine aki-a71cf9ce ari-a51c Starten einer virtuellen Maschine ec2-run-instances ami-2b5fba42 k mykey RESERVATION r-d18212b default INSTANCE i-61b9c908 ami-2b5fba42 pending mykey 0 m1.small T08:10: us-east-1c akia71cf9ce ari-a51cf9cc Cloud Computing SoSe 2009 Dr. M.Kunze 5

6 Übung A2 (c td) Status der virtuellen Maschine anzeigen ec2-describe-instances i-61b9c908 RESERVATION r-d18212b default INSTANCE i-61b9c908 ami-2b5fba42 ec compute-1.amazonaws.com domu compute-1.internal running mykey 0 m1.small T08:10: us-east-1c aki-a71cf9ce ari-a51cf9cc Firewall für SSH öffnen (Port 22) in der default security group ec2-authorize default -p 22 PERMISSION default ALLOWS tcp FROM CIDR /0 Mit SSH einloggen ssh -i mykey.pem root@ec compute-1.amazonaws.com Stoppen der virtuellen Maschine ec2-terminate-instances i-61b9c908 INSTANCE i-10a64379 running shutting-down Cloud Computing SoSe 2009 Dr. M.Kunze 6

7 Übung A3 Benutzung von EC2 im FireFox Installieren von FireFox Installieren des EC2 Plugins Extras->Add-On: Suche nach ElasticFox Installieren. Nach Neustarten des Browsers Extras->ElasticFox auswählen Credentials eingeben (Amazon Account und Access Keys) Auf Windows zusätzlich SSH installieren (Konsolenzugang) PUTTY installieren von In SSH->Auth Keyboard Interactive wegklicken Ggfls. Mit PuttyGen ein.pem File nach.ppk importieren In Firefox->Tools die Position von PUTTY anpassen Cloud Computing SoSe 2009 Dr. M.Kunze 7

8 Übung A4 Benutzung von S3 im FireFox Installieren des S3 Plugins Extras->Add-On: Suche nach S3Fox Installieren. Nach Neustarten des Browsers Extras->S3Fox auswählen Credentials eingeben (Manage Accounts) Hoch- und runterladen von Files testen File in S3 freigeben rechte Maustaste -> Edit ACL -> Everyone read File aus S3 im Web-Browser laden rechte Maustaste -> Copy URL to Clipboard URL beim Browser einfügen Cloud Computing SoSe 2009 Dr. M.Kunze 8

9 Übung A5 Erzeugen eines ElasticWulf Images Betrieb eines ElasticWulf Clusters Python Skripte installieren und ausführen Credentials in EC2config.py eintragen Cluster starten mit./ec2-start-cluster.py Checken mit./ec2-check-instances.py MPI starten mit./ec2-mpi-config.py; konfiguriert Cluster und gibt Namen des Masters zurück Auf dem Master einloggen und MPI-Jobs ausführen Cluster stoppen mit./ec2-stop-cluster.py Cloud Computing SoSe 2009 Dr. M.Kunze 9

10 Übung A5 (c td) Aufgabe: Parallele Berechnung von π mittels Monte-Carlo Integration mit MPICH2 Einloggen auf Masternode ssh MPI starten mpdboot -n 5 -f mpd.hosts mpdtrace domu d4-22 domu be-37 domu a4-97 domu d5-62 domu f1 MPI Programm ausführen mpiexec -n 5 /usr/local/src/mpich /examples/cpi Process 0 of 5 is on domu d4-22 Process 1 of 5 is on domu be-37 Process 2 of 5 is on domu a4-97 Process 3 of 5 is on domu d5-62 Process 4 of 5 is on domu f1 pi is approximately , Error is wall clock time = MPI stoppen mpdallexit Cloud Computing SoSe 2009 Dr. M.Kunze 10

11 Übung A6 Aufgabe: Wie groß ist der Wortschatz in Goethe s Faust? Welches Wort kommt dort am häufigsten vor? Wer ist der meistgenannte Akteur? Benutzung der Amazon MapReduce-Konsole Herunterladen der Texte vom Gutenberg Projekt Hochladen der Texte nach S3 mit S3Fox Prozessierung mit MapReduce WordCount Example Herunterladen der Ergebnisse mit S3Fox oder wget Zusammenfassen der Ausgaben und zählen mit cat part-* wc Sortieren der Ausgaben und Erzeugen einer Hitliste durch cat part-* awk '{print $2, $1}' sort -n -r >topten Cloud Computing SoSe 2009 Dr. M.Kunze 11

12 Übung A7 Starten einer VM auf der Eucalyptus-Installation im SCC (Windows) Installieren der AMI-Tools (siehe A2) Beantragen eines Eucalyptus-Accounts beim SCC Einloggen auf dem Cloud Controller zum Abholen der Credentials mit einem Browser unter Download Certificate : Auspacken des ZIP-Files nach %HOME%\.ec2 Anzeigen der Schlüssel mit Show Keys, zur Eingabe in EUCARC-Skript EUCARC-Skript zum Setzen der Umgebungsvariablen set EUCA_KEY_DIR=%HOME%\.ec2 set S3_URL= set EC2_URL= set EC2_PRIVATE_KEY=%EUCA_KEY_DIR%\euca2-kunze-e5e8ee78-pk.pem set EC2_CERT=%EUCA_KEY_DIR%\euca2-kunze-e5e8ee78-cert.pem set EUCALYPTUS_CERT=%EUCA_KEY_DIR%\cloud-cert.pem set EC2_ACCESS_KEY='Ausgabe von Show Keys ' set EC2_SECRET_KEY= 'Ausgabe von Show Keys ' Cloud Computing SoSe 2009 Dr. M.Kunze 12

13 Übung A7 ec2-describe-availability-zones AVAILABILITYZONE Cluster1 iwrcgblade11 ec2-describe-images IMAGE emi-1de4116d debian5/debian5.img.manifest.xml admin available public x86_64 machine IMAGE eki ff kernel26/vmlinuz manifest.xml admin available public x86_64 kernel IMAGE eri-cfbe1450 ramdisk26/initrd.img manifest.xmladmin available public x86_64 ramdisk ec2-add-keypair test >test.pem Achtung: Erste Zeile muss in test.pem gelöscht werden! ec2-run-instances emi-1de4116d -t m1.large k test --kernel eki ff --ramdisk eri-cfbe1450 ec2-describe-instances RESERVATION r-5a7f0a89 kunze default INSTANCE i-40af0720 emi-1de4116d running test 0 m1.large T09:03: eki ff eri-cfbe1450 ssh i test root@ ec2-terminate-instances i-40af0720 Cloud Computing SoSe 2009 Dr. M.Kunze 13