Are you sure you get what you pay for? Herausforderungen bei der Leistungsmessung von IaaS-Angeboten

Transkript

1 Are you sure you get what you pay for? Herausforderungen bei der Leistungsmessung von IaaS-Angeboten GIRM_CloudLeistung 1

2 Wirtschaftlichkeitsmodelle von IaaS-Anbietern erzwingen eine optimierte Über-Provisionierung 120% Einsparpotentiale in der Kostenstruktur Betrieb (Strom) Administration Abschreibungen 100% 80% 60% 25% 25% 6,13% 15% Over-Provisioning (Real:Verkauft-Ratio) Automation 40% (Server:Admin-Ratio) 20% Optimierung 50% 50% 0% RZ-Kosten Cloud Over-Provisioning ist konträr zur Kundenvorstellung der gut skalierbaren, belastbaren Cloud-Ressource GIRM_CloudLeistung 2

3 Über-Provisionierung ist Grundelement der Virtualisierung und limitiert maximale vcpu-leistung Virtualisierung ist die Abstraktion von der Hardware zum Preis zusätzlicher Rechenleistung Betriebssysteme agieren typischerweise mit Ring 0-Rechten (direkter HW-Zugriff) Ursprünglich Abstraktion der VM emuliert HW für OS (i.e. Ring 1 or higher, early ring compression ) Binary Translation (z.b. vmware) Hypervisor scannt VM-memory, fängt Hardware-Zugriffe ab und ersetzt sie. OS kann unverändert genutzt werden (Stichwort Bare metal HV ) Paravirtualization (z.b. XEN) modifiziert Betriebssystem, um die Zusammenarbeit von Hypervisor & Betriebssystem zu erreichen Hypervisor OS 1 VM 1 vcpu 1 vnic 1 CPU Schematische Darstellung Virtualisierung OS 2 VM 2 vcpu 2 vnic 2 NIC User Space (virtual) Kernel (Virtualization) Hardware (real world) HW- und emulierte Kapazität stehen in einem kritischen Verhältnis GIRM_CloudLeistung 3

4 Weitere Leistungseinschränkungen können aus dem Aufbau des Data Center resultieren Schematische Cloud-Infrastruktur ToRSw Internet Blade 1 ofwr Blade 2 Blade n ToRSw Blade 1 ToRSw NIC Other Rack n Blade 2 Blade n Rack 2 SAN Switch Disk 1 Blade 1 Blade 2 Blade n Blade n CPU 1 CPU 2 RAM Disk 2 Rack 1 Disk n SAN 1 Interne Struktur der Anbieterplattform kann für individuelle Nutzungsmuster relevant werden GIRM_CloudLeistung 4

5 Bekannte und erprobte Standard-Benchmarks greifen zu kurz Gängige Benchmarking Ansätze Network Perf. Benchmarking Benchmark der Adapter- Perofrmance Benötigt direkten Zugriff auf Adapter Durchsatzorientiert Server Benchmarking Ziel: Überprüfen Eignung von Komponentenzusammenstellung Volle Hoheit über System erfordelrich Application Benchmarking Ziel: Verhalten unter Last bestimmen Last ist Störfaktor im Regelbetrieb Herkömmliche Benchmarks sind ungeeignet zur fortlaufenden Beobachtung tatsächlich verfügbarer Leistung in Shared Envrionments GIRM_CloudLeistung 5

6 Wahl des richtigen Messpunkts zur Bestimmung der Leistung ist anzustreben Technology Stack Challanges Messpunkt Application Manageability Support IaaS Operating System Update Management Access Rights Management Integrity incl. installed Components Virtual Machine Hypervisor (KVM) Operating System Virtual Machine (Xen) Portability Instantiation / Configuration Suspension Security & Segregation Scalability (cross rack extensibility) Performance Monitoring Event Monitoring Capacity allocation & dynamic resource virtualization HW-Virtualization (intel VT-x/AMD-V) CPU Storage Hardware RAM Infiniband Network Router Cables Oversubscription rate Vendor Lock-in due to virtualization technology? I/O-Performance Economic resource consumption Capacity Management Hardware security / network segregation GIRM_CloudLeistung 6

7 ascamso Monitoring Platform stellt komfortables Satelliten- System Messung de Leistung im User-Space zur Verfügung User-Space Monitoring schließt die Lücke zur Qualitätssicherung solange noch keine Standards existieren Measuring provided compute capacity is complex Standard CPU usage reports are useless for virtual environments Satellite OS OS Cores and GHz are only weak indicators as compute capacity is strongly driven by simulated CPU chipset Real capacity indication only can be retrieved from calculations inside simulated machine VM Network latency can be another bottleneck Hypervisor Hardware Many factors influence network latency Size of backbone (1, 10, 40GB?) Virtualization rate of NICs (#instances/nic) Storage Network Hardware Hypervisor VM OS Satellite OS MFLOPs Ms MB/s VLAN configurations & routing priorities Hypervisor security To overcome complexity package transfer between locations gives the correct answer Most applications require acceptable disk speed IOPS are not measurable w/o access to hardware Cloud infrastructures know many storage types (NAS, SAN, etc.) and technologies (iscsi, Infinband, etc.) Performance on same hardware might be diffenrent depending on usage pattern (Tx-log, DB or File Server) Just User Space experience gives a comparable measurement GIRM_CloudLeistung 7

8 Beispiele aus den Messergebnissen lassen erhebliche Leistungsunterschiede erkennen Provider A Provider B Provider C Provider D Untersucht wurden gültige Kombinationen von Test Runs und Satellites im Zeitraum vom bis GIRM_CloudLeistung 8

9 Beispiele aus den Messergebnissen lassen erhebliche Leistungsunterschiede erkennen Vergleich der Anbieter zeigt erhebliche Unterschiede in der Leistungsfähigkeit zugrundeliegender Infrastrukturen Vergleich des Stretch-Faktors der Leistungsfähigkeit unter Fremdlasteinwirkung lässt erhebliche Unterschiede erkennen Stretch-Faktor Prov. A Prov. B Prov. C Prov. D gesamt Fremdlast (allg.) 1,0903 0,5831 1,0179 1,3396 0, % 1,1277 0,7283 1,3418 1,4207 1, % 1,1082 0,4892 1,0598 1,4910 1, % 1,4210 0,5896 1,2084 1,1856 1, % 0,3088 0,4076 0,3871 1,1320 0,4216 Untersucht wurden gültige Kombinationen von Test Runs und Satellites im Zeitraum vom bis GIRM_CloudLeistung 9

10 ZUsammengefass Messpunkt => User Space Monitroing Kapazität vs. Auslastung Messbar in wiederholbaren Abschnitten Beachten von Fremdlast als Messverfälscher Parallel Mutlti-Threadding - konsumierte Leistungen in die Betrachtung einbeziehen Monitoring gegen Erwartungswerte Vergleichsbasis als Grundlage für das Erkennen von Abweichungen GIRM_CloudLeistung 10

11 Verbleibende Aufgaben & Ausblick Gegenwärtig gibt es noch kein Konzept zur Gestaltung verlässlicher Aussagen zur tatsächlichen Netzwerkkapazität (Throughput) Throughput Messungen eigentlich nur bei Zugriff auf gesamte Infrastruktur möglich, Näherungswerte kritisch. Konzepte zur Sicherstellung Mindestdurchsätze in Arbeit Qualitäts- und Messkriterien für die Qualität von SaaS / PaaS Neue Herausforderungen aus Nutzersicht Wechselfähigkeit/Austauschbarkeit vermutlich bedeutender als durchgängige Performance Zunächst nicht im Fokus mit Sicherheit aber relevant für die Vertrauensbildung GIRM_CloudLeistung 11

12 Zusammenfassung Herkömmliche Benchmarking-Lösungen basieren auf exklusiver Nutzung der Plattform und eignen sich daher nicht zur laufenden Leistungsüberwachung von Cloud-Diensten Monitoring virtueller Umgebungen zeigt schon jetzt Anbieterspezifisches Verhalten bezüglich Last und Performance Ascamso-Monitoring-Ansatz liefert belastbare Aussagen zur real verfügbaren Leistung und realem Lastverhalten im laufenden Betrieb Herstellerunabhängige Messung erlaubt Vergleich der Anbieter Weitere wissenschaftliche Arbeit für eine Erwartungswert-Monitoring erforderlich Leistungsbeobachtung ist Grundlage für Gütebeurteilung und somit zur Preisbildung GIRM_CloudLeistung 12

13 Wir freuen uns über Kontakt zu Partner, Anwendern und Austausch mit kritischen Stimmen! Dipl.-Wirtsch.-Inf. J. Thielscher, LL.M. Enterprise Architecture Consulting Group EACG GmbH OpernTurm, 16.OG Bockenheimer Landstraße 2-4 D Frankfurt am Main T: Web: Dr. Stefan Pokorny Enterprise Architecture Consulting Group EACG GmbH OpernTurm, 16.OG Bockenheimer Landstraße 2-4 D Frankfurt am Main T: Web: GIRM_CloudLeistung 13