Übungsaufgaben Amazon Web Services (AWS) Vorlesung Cloud Computing SoSe 2009 Cloud Computing SoSe 2009 Dr. M.Kunze 1
Übung A1 Erstellen Sie einen Kurzfilm bei Animoto! http://animoto.com/ Cloud Computing SoSe 2009 Dr. M.Kunze 2
Übung A2 Anmelden eines Accounts bei Amazon (Signup) http://aws.amazon.com Installation der Amazon Web Services Tools auf einem Windows oder Linux Rechner http://docs.amazonwebservices.com/awsec2/latest/gettingstartedguide/ Cloud Computing SoSe 2009 Dr. M.Kunze 3
Übung A2 (c td) Anlegen eines.ec2 Ordners im Home-Verzeichnis Bei AWS anmelden, Zertifikat generieren und pk pem und cert pem Dateien nach.ec2 kopieren (x.509) Setzen von Umgebungsvariablen (Systemsteuerung) EC2_HOME=C:\Programme\ec2-api-tools-1.3-30349 EC2_CERT=%HOME%\.ec2\cert...pem EC2_PRIVATE_KEY=%HOME%\.ec2\pk...pem JAVA_HOME=C:\Programme\Java\jdk1.6.0_13 Falls man in einer speziellen Zone arbeiten will (default: us-east-1) EC2_URL=https://eu-west-1.ec2.amazonaws.com Funktionstest: Zeige verfügbare Zonen mit ec2-describe-availability-zones AVAILABILITYZONE us-east-1a available us-east-1 AVAILABILITYZONE us-east-1b available us-east-1 AVAILABILITYZONE us-east-1c available us-east-1 Cloud Computing SoSe 2009 Dr. M.Kunze 4
Übung A2 (c td) Erzeugen eines Schlüsselpaars (Name z.b. mykey) ec2-add-keypair mykey Der zurück gelieferte private Schlüssel muss in einem File gespeichert werden (z.b. mykey.pem) Auflisten der verfügbaren Amazon Machine Images (AMI) ec2-describe-images o amazon IMAGE ami-2b5fba42 ec2-public-images/fedora-8-i386-base-v1.07.manifest.xml amazon available public i386 machine aki-a71cf9ce ari-a51c Starten einer virtuellen Maschine ec2-run-instances ami-2b5fba42 k mykey RESERVATION r-d18212b8 521141848536 default INSTANCE i-61b9c908 ami-2b5fba42 pending mykey 0 m1.small 2009-05-10T08:10:18+0000 us-east-1c akia71cf9ce ari-a51cf9cc Cloud Computing SoSe 2009 Dr. M.Kunze 5
Übung A2 (c td) Status der virtuellen Maschine anzeigen ec2-describe-instances i-61b9c908 RESERVATION r-d18212b8 521141848536 default INSTANCE i-61b9c908 ami-2b5fba42 ec2-75-101-172-53.compute-1.amazonaws.com domu-12-31-39-02-68-95.compute-1.internal running mykey 0 m1.small 2009-05-10T08:10:18+0000 us-east-1c aki-a71cf9ce ari-a51cf9cc Firewall für SSH öffnen (Port 22) in der default security group ec2-authorize default -p 22 PERMISSION default ALLOWS tcp 22 22 FROM CIDR 0.0.0.0/0 Mit SSH einloggen ssh -i mykey.pem root@ec2-75-101-172-53.compute-1.amazonaws.com Stoppen der virtuellen Maschine ec2-terminate-instances i-61b9c908 INSTANCE i-10a64379 running shutting-down Cloud Computing SoSe 2009 Dr. M.Kunze 6
Übung A3 Benutzung von EC2 im FireFox Installieren von FireFox http://www.mozilla-europe.org/de/ Installieren des EC2 Plugins Extras->Add-On: Suche nach ElasticFox Installieren. Nach Neustarten des Browsers Extras->ElasticFox auswählen Credentials eingeben (Amazon Account und Access Keys) Auf Windows zusätzlich SSH installieren (Konsolenzugang) PUTTY installieren von http://www.putty.org In SSH->Auth Keyboard Interactive wegklicken Ggfls. Mit PuttyGen ein.pem File nach.ppk importieren In Firefox->Tools die Position von PUTTY anpassen Cloud Computing SoSe 2009 Dr. M.Kunze 7
Übung A4 Benutzung von S3 im FireFox Installieren des S3 Plugins Extras->Add-On: Suche nach S3Fox Installieren. Nach Neustarten des Browsers Extras->S3Fox auswählen Credentials eingeben (Manage Accounts) Hoch- und runterladen von Files testen File in S3 freigeben rechte Maustaste -> Edit ACL -> Everyone read File aus S3 im Web-Browser laden rechte Maustaste -> Copy URL to Clipboard URL beim Browser einfügen Cloud Computing SoSe 2009 Dr. M.Kunze 8
Übung A5 Erzeugen eines ElasticWulf Images http://www.datawrangling.com/on-demand-mpi-cluster-with-python-and-ec2-part-1-of-3 Betrieb eines ElasticWulf Clusters http://www.datawrangling.com/mpi-cluster-with-python-and-amazon-ec2-part-2-of-3 Python Skripte installieren und ausführen http://developer.amazonwebservices.com/connect/entry.jspa?categoryid=85&externalid=552 http://www.datawrangling.com/wp-content/uploads/2007/07/amazonec2_mpi_scripts_1_5-tar.gz Credentials in EC2config.py eintragen Cluster starten mit./ec2-start-cluster.py Checken mit./ec2-check-instances.py MPI starten mit./ec2-mpi-config.py; konfiguriert Cluster und gibt Namen des Masters zurück Auf dem Master einloggen und MPI-Jobs ausführen Cluster stoppen mit./ec2-stop-cluster.py Cloud Computing SoSe 2009 Dr. M.Kunze 9
Übung A5 (c td) Aufgabe: Parallele Berechnung von π mittels Monte-Carlo Integration mit MPICH2 Einloggen auf Masternode ssh lamuser@ec2-174-129-177-198.compute-1.amazonaws.com MPI starten mpdboot -n 5 -f mpd.hosts mpdtrace domu-12-31-38-01-d4-22 domu-12-31-38-01-be-37 domu-12-31-38-00-a4-97 domu-12-31-38-01-d5-62 domu-12-31-38-00-35-f1 MPI Programm ausführen mpiexec -n 5 /usr/local/src/mpich2-1.0.5/examples/cpi Process 0 of 5 is on domu-12-31-38-01-d4-22 Process 1 of 5 is on domu-12-31-38-01-be-37 Process 2 of 5 is on domu-12-31-38-00-a4-97 Process 3 of 5 is on domu-12-31-38-01-d5-62 Process 4 of 5 is on domu-12-31-38-00-35-f1 pi is approximately 3.1415926544231230, Error is 0.0000000008333298 wall clock time = 0.004963 MPI stoppen mpdallexit Cloud Computing SoSe 2009 Dr. M.Kunze 10
Übung A6 Aufgabe: Wie groß ist der Wortschatz in Goethe s Faust? Welches Wort kommt dort am häufigsten vor? Wer ist der meistgenannte Akteur? Benutzung der Amazon MapReduce-Konsole http://console.aws.amazon.com/elasticmapreduce/home Herunterladen der Texte vom Gutenberg Projekt http://www.gutenberg.org/ Hochladen der Texte nach S3 mit S3Fox Prozessierung mit MapReduce WordCount Example Herunterladen der Ergebnisse mit S3Fox oder wget Zusammenfassen der Ausgaben und zählen mit cat part-* wc Sortieren der Ausgaben und Erzeugen einer Hitliste durch cat part-* awk '{print $2, $1}' sort -n -r >topten Cloud Computing SoSe 2009 Dr. M.Kunze 11
Übung A7 Starten einer VM auf der Eucalyptus-Installation im SCC (Windows) Installieren der AMI-Tools (siehe A2) Beantragen eines Eucalyptus-Accounts beim SCC Einloggen auf dem Cloud Controller zum Abholen der Credentials mit einem Browser unter https://iwrcgblade11.fzk.de:8443/ Download Certificate : Auspacken des ZIP-Files nach %HOME%\.ec2 Anzeigen der Schlüssel mit Show Keys, zur Eingabe in EUCARC-Skript EUCARC-Skript zum Setzen der Umgebungsvariablen set EUCA_KEY_DIR=%HOME%\.ec2 set S3_URL=http://141.52.166.25:8773/services/Walrus set EC2_URL=http://141.52.166.25:8773/services/Eucalyptus set EC2_PRIVATE_KEY=%EUCA_KEY_DIR%\euca2-kunze-e5e8ee78-pk.pem set EC2_CERT=%EUCA_KEY_DIR%\euca2-kunze-e5e8ee78-cert.pem set EUCALYPTUS_CERT=%EUCA_KEY_DIR%\cloud-cert.pem set EC2_ACCESS_KEY='Ausgabe von Show Keys ' set EC2_SECRET_KEY= 'Ausgabe von Show Keys ' Cloud Computing SoSe 2009 Dr. M.Kunze 12
Übung A7 ec2-describe-availability-zones AVAILABILITYZONE Cluster1 iwrcgblade11 ec2-describe-images IMAGE emi-1de4116d debian5/debian5.img.manifest.xml admin available public x86_64 machine IMAGE eki-791612ff kernel26/vmlinuz-2.6.26.manifest.xml admin available public x86_64 kernel IMAGE eri-cfbe1450 ramdisk26/initrd.img-2.6.26.manifest.xmladmin available public x86_64 ramdisk ec2-add-keypair test >test.pem Achtung: Erste Zeile muss in test.pem gelöscht werden! ec2-run-instances emi-1de4116d -t m1.large k test --kernel eki-791612ff --ramdisk eri-cfbe1450 ec2-describe-instances RESERVATION r-5a7f0a89 kunze default INSTANCE i-40af0720 emi-1de4116d 0.0.0.0 141.52.166.133 running test 0 m1.large 2009-05-28T09:03:37+0000 eki-791612ff eri-cfbe1450 ssh i test root@141.52.166.133 ec2-terminate-instances i-40af0720 Cloud Computing SoSe 2009 Dr. M.Kunze 13