VDBS II Übung 3b Qualitätssicherung von Web Service Angeboten 05.06.2013 Prof. Dr. Andreas Schmietendorf 1
Motivation zur Themenstellung 05.06.2013 Prof. Dr. Andreas Schmietendorf 2
Motivation Auf der Basis eines harmonisierten Rechtsrahmens sollte ein Standard erstellt werden. Inhalt wären gemeinsame und messbare Kriterien sowie Zertifikate, die von unabhängigen Prüfern vergeben werden. Quelle: Rossbach, C.; Welz, B.: Survivalof thefittest -Wie Europa in der Cloud eine führende Rolle übernehmen kann, Roland Berger StrategyConsultants, SAP, München 2011 05.06.2013 Prof. Dr. Andreas Schmietendorf 3
Cloud-Qualitätsbewertung Auswertung der Eigenangaben des Cloud-Anbieters, Experimentelle und messtechnische Bewertungen, Berücksichtigung durch Dritte ausgestellter Zertifikate, Bezugnahme auf ggf. vorhandenes Kundenfeedback. 05.06.2013 Prof. Dr. Andreas Schmietendorf 4
Aufgabenbeschreibung 05.06.2013 Prof. Dr. Andreas Schmietendorf 5
Aufgabe 1 Verschaffen Sie sich einen Überblick zu den Zielen und Begriffen von Cloud-Benchmarks. Gehen Sie folgende Aspekte ein: - Verfolgte Zielstellungen und Methodik (Vorgehen)? - Cloud System under Test (SUT)? - Verwendete Metriken und Messgrößen? Recherchieren Sie mit Hilfe des Internets nach Standard- Bechmarks (mind. 5 Beispiele) von Hard- und Softwareanbietern: - Skizzieren Sie das verwendete Last- und Testszenario (SUT)? - Welche Messgrößen verwendet der Benchmark? - Interpretieren und Bewerten Sie entsprechende Messergebnisse? 05.06.2013 Prof. Dr. Andreas Schmietendorf 6
Aufgabe 2 Welche Vorraussetzungen werden benötigt, um angebotene Cloud- Services einem eigenen Benchmark zu unterziehen? - Angebotene Testmöglichkeiten eines Cloud-Anbieters? - Konfiguration des Lastprofils und entsprechender Testdaten? - Form der Dokumentation von Testergebnissen Analyse von mind. 3 Werkzeugen (z.b. Testtreiber) welche die Durchführung eigener Cloud-Benchmark unterstützen: - Abgedeckter Funktionsumfang? - Möglichkeiten zur Last- und Datengenerierung? - Bereitgestellte Schnittstellen zur Ergebnisauswertung? 05.06.2013 Prof. Dr. Andreas Schmietendorf 7
Aufgabe 3 Recherchieren und Testen von mind. 2 Möglichkeiten zur Online- Überwachung betriebener Cloud-Services. - Funktionsumfang zum Servicemonitoring - Verwendete Messgrößen und Beobachtungsintervalle - Interpretation eines durchgeführten Tests bzw. einer Messreihe Wie können die Ergebnisse der Online-Überwachung für ein ITILorientiertes Servicemanagement (V3) verwendet werden? - 2 Funktionen/Prozessbereiche des Service-Operation - Unterstützung des SLA-Managements im Service-Design - Identifizierte Problembereiche bzw. Herausforderungen 05.06.2013 Prof. Dr. Andreas Schmietendorf 8
Organisation 05.06.2013 Prof. Dr. Andreas Schmietendorf 9
Organisation der Übung Bitte berücksichtigen Sie die folgende Vorgehensweise: Die Übung wird in Gruppen durchgeführt! Vorgeschlagene Methode zur Aufgabenlösung - Abstimmung einer geeigneten Vorgehensweise (15 min) - Ausführen der Aufgabenstellungen (120 min) - Erstellung eines Protokolls (45 min) Gesamtzeit für die Durchführung: ca. 180 min Bereitstellung eines entsprechenden Protokolls je Gruppe 05.06.2013 Prof. Dr. Andreas Schmietendorf 10
Aufbau des Protokolls Verwenden Sie bitte des folgende Muster für das Protokoll: Allgemeine Angaben - Versuch, Beteiligte Studenten, Datum - Rahmenbedingungen (Hardware, Software, ) - Methodisches Vorgehen zu Bearbeitung Aufgaben des Laborversuchs - Entsprechend der Struktur der Aufgabenstellung - Textliche Ausführungen zu den Lösungen - Verwendung von Grafiken und Screenshots Zusammenfassung (Bewertung der erreichten Ergebnisse) Genutzte Quellen (z.b. Literatur, Internet, ) 05.06.2013 Prof. Dr. Andreas Schmietendorf 11
Weitere Hinweise 05.06.2013 Prof. Dr. Andreas Schmietendorf 12
Cloud Computing Working Group Einheitliches Verständnis zur Cloud-Performance Entwicklung repräsentativer Lastszenarien einer Cloud-Lösung Bereitstellung eines Frameworks zum Cloud-Benchmarking Spezifikation von Ergebnisberichten (full disclosure report) Quelle: http://www.spec.org/osgcloud/docs/osgcloudwgreport20120410.pdf 05.06.2013 Prof. Dr. Andreas Schmietendorf 13
Benchmark-Beispiel Amazon S3, AT&T Synaptic, Microsoft Windows Azure, Nirvanix, Peer1 Hosting, Rackspace Cloud Quelle: http://www.nasuni.com/cloudreport (Nasuni Corporation) 05.06.2013 Prof. Dr. Andreas Schmietendorf 14
Performanceanalysen - Cloudsleuth Quelle: https://cloudsleuth.net/cloud-performance-analyzer 05.06.2013 Prof. Dr. Andreas Schmietendorf 15