Vorgehensmodelle zur Performance-Analyse

Transkript

1 Vorgehensmodelle zur Performance-Analyse Jannis Weide Universität Paderborn, Warburger Str. 100, Paderborn, Germany seminar-neue-ansaetze-der-softwarequalitaetssicherung/ Version Juli 2009 Zusammenfassung Text von der Webseite Die Performance von Software-Systemen gewinnt in vielen Bereichen an Bedeutung: z.b. bei Benutzeroberflächen (Browser), oder aber bei Massenverarbeitungssystemen (Telekommunikation, Online-Shop). Um Performance sicherzustellen ist ein planvolles Vorgehen erforderlich. Bei der sogenannten Performance-Analyse müssen verschiedene Tätigkeiten, wie die Auswahl von Metriken, die Erhebung von Messwerten, sowie das Erkennen und Analysieren von Performance-Problemen. Mit diesen Tätigkeiten müssen Performance-Probleme zielsicher erkannt und auf ihre Ursachen zurückgeführt werden. In diesem Seminarbeitrag soll rechiert werden, welche Vorgehensmodelle es für ein solches planvolles Vorgehen zur Performance-Analyse gibt. Diese Vorgehensmodelle zur Performance-Analyse sollen vergleichend vorgestellt werden.

2 2 Jannis Weide 1 Einleitung Schon lange beschäftigen sich Softwareentwickler mit Verfahren, die der Erstellung von funktional korrekt arbeitender Software dienen. Diese Verfahren werden seit Jahren in der Praxis erprobt und haben bereits weite Verbreitung gefunden. Nicht-funktionale Anforderungen wie beispielsweise die Performance einer Software dagegen, werden noch immer wenig beachtet. Nicht selten stellt man erst gegen Ende der Entwicklung einer Software fest, dass mehr oder minder schwer wiegende Probleme hinsichtlich der Performance vorhanden sind. Unerwartete Bottlenecks sind die Folge. Gerade bei parallelen Systemen, aber auch sonst, können kleine Schwachstellen eklatante Auswirkungen auf die Performance einer Software im Betrieb haben. Der Ruf nach Methoden, die zu vorhersagbaren Ergebnissen der Performance führen, ist groß. Dabei gehen die ersten Ansätze in diese Richtung zurück in die 1970er Jahre. Inzwischen hat sich das Gebiet des sogenannten Performance Engineering etabliert. In dieser Arbeit sollen Verfahren vorgestellt werden, die bei der Erzeugung von Software eingesetzt werden, um die Performance zu analysieren. In Abschnitt 2 werden zunächst grundlegende Begriffe und Kategorien vorgestellt, Abschnitt 3 stellt das sehr verbreitete Software Process Engineering vor und 4 behandelt weitergehende Ansätze. Abschließend werden in Abschnitt 5 die Ergebnisse dieser Arbeit zusammengefasst.

3 Vorgehensmodelle zur Performance-Analyse 3 2 Grundlagen In diesem Abschnitt werden Begriffe, die für das Verständnis dieser Arbeit erforderlich sind, vorgestellt. Zunächst werden in Abschnitt 2.1 grundlegende Begriffe aus dem Bereich der Performance definiert. In Abschnitt 2.2 werden kurz unterschiedliche Herangehensweisen im Gebiet der Performance-Analyse beschrieben. 2.1 Definitionen Hier zunächst ein paar Begriffe, die für die Diskussion der Performance von Softwaresystemen in der Regel genutzt werden: Performance ist der Grad zu dem ein Softwaresystem (oder eine Komponente) ihre Anforderungen bezüglich Pünktlichkeit einhält. [3] Responsiveness ist die Fähigkeit eines Systems seine Anforderungen hinsichtlich Antwortzeit und Durchsatz zu erreichen. [3] Skalierbarkeit ist die Fähigkeit eines Systems seine Anforderungen hinsichtlich Antwortzeit und Durchsatz weiterhin zu erreichen, wenn die Eingabemengen in das Software-System ansteigen. [3] Bottleneck 2.2 Kategorien Im Folgenden sollen nun kurz verschiedene Herangehensweisen bei der Performance- Analyse vorgestellt werden. Luiz A. DeRose u.a. haben in [4] drei Kategorien beschrieben, in die sich Werkzeuge üblicherweise einteilen lassen. Sie lauten Analytisches Modell, Simulation und Empirisches Verfahren. Analytische Modelle, wie beispielsweise Petri-Netze, Warteschlangennetze oder Markov-Ketten, haben den Vorteil, dass sie zügig parametrisiert werden können und schnell Ergebnisse liefern. Häufig jedoch sind vereinfachende Annahmen erforderlich, um ein Modell überhaupt erst handhabbar zu machen. Dadurch geht der Bezug zur Praxis ein wenig verloren und man erhält ungenaue Ergebnisse. Simulationen hingegen ermöglichen eine detaillierte Modellierung von Problemen und Eingabemengen und liefern daher exaktere Ergebnisse. Die Erstellung einer Simulation benötigt allerdings erheblich mehr Aufwand, als ein analytisches Modell. Der Einsatz von Simulationen ist daher vorsichtig abzuwägen. Häufig rentiert sich der Aufwand, den die Verwendung einer Simulation mit sich bringt, nicht vor allem bei ausgedehnten Systemen. Empirische Verfahren sind daher geeignet, um ausgedehnte, parallele Systeme zu untersuchen. Wichtige Aspekte spielen in diesem Zusammenhang die Auswahl geeigneter Messwerte und -techniken sowie die Auswertung und Visualisierung der Daten, die bei der Messung entstehen. Auch Woodside u.a. haben Modelle zur Verwendung in der Performance- Analyse beschrieben [2]. Sie empfehlen den Einsatz solcher Modelle in frühen Phasen eines Projektes. Zusätzlich zu den oben erwähnten nennen Sie:

4 4 Jannis Weide Ausführungsgraphen 1, Nachrichten-Reihenfolge-Diagramme (Message Sequence Charts) und SDL 2, UML bzw. PUMA 3 und Expertenteams, wie z.b. Smith und Williams[3]. Frühere Ansätze, die (noch) nicht in erster Linie auf Modellen arbeiteten, sondern Verfahrensweisen zur Entlarvung von Performance Problemen vorstellten sind zum Beispiel Chitra (siehe [5]). Das bereits 1992 vorgestellte Werkzeug nutzt formale Methoden, um Performance Bottlenecks aufzudecken. Schon damals verlangten die Autoren Modelle zu entwerfen, die aufgrund geringere Datenmenge eine Interpretation vereinfachen. 1 [15] Compuware, Applied Performance Management Survey, Oct [30] L. Kerber, Scenario-Based Performance Evaluation of SDL/MSC-Specified Systems, in Performance Engineering: State of the Art and Current Trends, LNCS vol. 2047, Springer, und [49] A. Mitschele-Theil, B. Muller-Clostermann, Performance Engineering of SDL/MSC Systems, Journal on Computer Networks and ISDN Systems, v. 31, 1999, pp [80] M. Woodside, D.C. Petriu, D.B. Petriu, H. Shen, T. Israr, J. Merseguer, Performance by Unified Model Analysis (PUMA), Proc. WOSP 2005, Mallorca, pp 1-12.

5 3 Software Process Engineering (SPE) Vorgehensmodelle zur Performance-Analyse 5 Ein weit verbreiteter Begriff der Performance-Analyse ist SPE. Dieser soll hier noch kurz vorgestellt werden. Eine treffende Definition des Begriffs lieferten Woodside u.a. in [2]: Software Performance Engineering repräsentiert den gesamten Bereich von Software Engineering Tätigkeiten und nahestehenden Untersuchungen, die während des Softwareentwicklungszyklus genutzt werden um die Anforderungen hinsichtlich Performance zu erreichen. Grundsätzlich werden dabei zwei Herangehensweisen unterschieden. Erstens, der messungsbasierte Ansatz (measurement-based) und zweitens der modellbasierte Ansatz 4. Der wesentliche Unterschied ist, dass bei dem messungsbasierte Ansatz Performance ausschließlich in späten Phasen eines Projektes untersucht wird, wohingegen der modellbasierte Ansatz gerade in frühen Entwicklungsphasen eingesetzt wird, um etwaige Schwachpunkte der Software schnell zu korrigieren (vgl. [2]). Die wesentlichen Bestandteile von SPE sind nach Woodside u.a. ([2]): Systemoperationen definiert durch Use Cases, Verhalten definiert durch Szenarien (mithilfe von UML), Auslastung (Die Frequenz der Initiierung verschiedener Systemoperationen), Systemstruktur, Komponenten der Software und Ressourcen, Hardware und Software. Abbildung 1 zeigt Aktivitäten, die im Laufe der Entwicklung einer Software basierend auf SPE ausgeführt werden. Weiter oben angeordnete Begriffe signalisieren, dass sie früher im Projekt ausgeführt werden, weiter unten liegende finden später im Projekt statt. Es folgt eine Beschreibung der Aktivitäten: Identify Concerns Hier geht es darum zu identifizieren, welche Faktoren die Performance Ziele beeinflussen. Define and analyze requirements Vor einer Auswertung der Performance müssen Anforderungen an die Software festgelegt werden und Szenarien bestimmt werden, die das Verhalten beschreiben. Dafür wird i.d.r. UML eingesetzt. Predict Performance Die Vorhersage der Performance erfolgt auf der Grundlage von Szenarien, Architektur und Entwurf, indem das Zusammenspiel des Verhaltens mit Ressourcen modelliert wird. Performance testing Hier werden Teile der Software (oder auch die gesamte Software) unter normalen und hohen Lastverhältnissen getestet. Maintenance and evolution Vorhersage der Auswirkungen von Änderungen und Erweiterungen auf die Performance. Total system analysis Untersuchung der geplanten Software im vollständigen und endgültigen System.

6 6 Jannis Weide Abbildung 1. SPE Aktivitäten Weitere Ansätze der Performance-Analyse lieferten Luiz A. DeRose u.a., die von einem Performance-Analyse Zyklus sprechen (siehe [4]), sowie Dave Jewell von IBM, der mit Performance Engineering and Management Method (PEMM) einen detaillierten Ansatz für die Umsetzung in Firmen vorstellt (siehe [1]). Relativ Jung ist der Ansatz PUMA, der an der Carleton University entwickelt wurde (siehe dazu [6]). In Abschnitt 4 werden verschiedene Ansätze betrachtet. 4 Häufig zielt der Begriff SPE alleinig auf den modellbasierten Ansatz ab.

7 Vorgehensmodelle zur Performance-Analyse 7 4 Weitere Verfahren In diesem Abschnitt werden verschiedene Verfahren zur Performance-Analyse näher betrachtet und auch miteinander verglichen. Da nicht auf sämtliche bekannte Verfahren eingegangen werden kann, beschränkt sich diese Arbeit auf die Ansätze Performance by Unified Model Analysis (PUMA), Model-Driven Development (MDD) und Performance Engineering and Management Method (PEMM). In den folgenden Teilabschnitten 4.1 bis 4.3 werden diese anhand wesentlicher Merkmale beschrieben. 4.1 Performance by Unified Model Analysis (PUMA) Viele verschiedene Werkzeuge aus dem Bereich der Performance Analyse nutzen UML zur Modellierung von Problemen und Eigenschaften. Leider verwenden diese Werkzeuge sehr unterschiedliche Ausartungen bzw. UML-Profile, sodass ein Vergleich zweier Modelle oftmals schwierig ist. Mit PUMA ist es möglich verschiedene dieser Werkzeuge zu verbinden und in der Analyse einer Software einzusetzen. Das einheitliche Format bzw. Modell CSM 5 wird dafür genutzt die für die Performance wesentlichen Informationen zu erfassen (vgl. [6]). Abbildung 2 zeigt die Architektur von PUMA. Ein beliebiges Performance Modell wird zunächst in CSM überführt. Anschließend konvertiert man dieses CSM in sein bevorzugtes Performance Modell und untersucht dieses. Die Ergebnisse der Analyse werden für eine erneute Spezifikation der Performance wieder ein beliebiges Performance Modell verwendet. Nun kann der gesamte Prozess wiederholt werden. 4.2 Model-Driven Development (MDD) und SPE Nach Woodside u.a. ist MDD ein evolutionärer Schritt der Softwareentwicklung, der das Hauptaugenmerk der Softwareentwicklung vom Code in Richtung Modellen verändert. ([2]). Sie behaupten eine Integration von SPE-Modellveränderungen in den Kontext des MDD führe dazu, dass Software Werkzeuge und Performance Modelle während der Entwicklung aufeinander abgestimmt wären und zeitgleich blieben. Als Ziel von SPE im Kontext MDD nennen Sie die Erzeugung eines umfassenden Performance Modells aus einer Menge von Eingabe Modellen. Für das Verständnis müssen noch einige Begriffe erläutert werden: Platform Model (PM) beschreibt eine Menge von Informationen, die eine bestimmte Schicht 6 kennzeichnen. 5 Core Scenario Model 6 Üblicherweise werden Anwendungen als eine Menge von Schichten abstrahiert, z.b. Betriebssystem, Hardware, usw.

8 8 Jannis Weide Abbildung 2. Die PUMA Architektur Platform Independent Model (PIM) definiert die logische Repräsentation einer Software unabhängig von der zugrunde liegenden Schicht(oder zugrunde liegenden Schichten). Platform Specific Model (PSM) Das Anwendungs Modell, dass einer bestimmten Schicht zugeordnet ist, kann aus einem PIM unter Zuhilfenahme eines PM erzeugt werden. Abbildung 3 veranschaulicht, wie ein PIM in mehreren Schritten in ein Performance Modell überführt werden kann. Der Unterschied zum üblichen MDD ist, dass am Ende kein Code erzeugt werden soll, sondern ein Performance Modell. Notwendig dafür ist eine Annotation der üblichen Modell mit Informationen zur Performance. 4.3 Performance Engineering and Management Method (PEMM) Im Gegensatz zu den weiter oben betrachteten akademischen Ansätzen ist PEMM ein Ansatz, der aus dem Business Bereich stammt. Die von Dave Jewell (IBM) in [1] beschriebene Methode zielt daher mehr auf die Entwicklung in größeren Firmen ab. So tauchen bei PEMM z.b. auch Ressourcen in Form von Mitarbeitern auf. Abbildung 4 zeigt wann verschiedene, sogenannte PEMM Themes in einem üblichen Softwareentwicklungsprozess vorgesehen sind. Requirements and Early Design Volumetrics Technology Research

9 Vorgehensmodelle zur Performance-Analyse 9 Abbildung 3. SPE im Kontext von MDD

10 10 Jannis Weide Estimation and Modeling Design, Development and Tracking Test Planning and Execution Risk Management / Performance Management Live Monitoring and CapacityManagement Abbildung 4. PEMM im Überblick

11 Vorgehensmodelle zur Performance-Analyse 11 5 Zusammenfassung folgt. Einige Stichpunkte: Verfahren zur Performance Bewertung Model-based vs. measurement-based [2] Komplexität Schwer zu handhaben offene Probleme

12 12 Jannis Weide Akronyme MDD Model-Driven Development PIM Platform Independent Model PM Platform Model PSM Platform Specific Model PEMM Performance Engineering and Management Method PUMA Performance by Unified Model Analysis SPE Software Process Engineering SPEM Software Process Engineering Metamodel Literatur 1. Jewell: Performance Engineering and Management Method A Holistic Approach to Performance Engineering. In: Performance Modeling and Engineering. Springer- Verlag, ISBN , S Woodside, Murray ; Franks, Greg ; Petriu, Dorina C.: The Future of Software Performance Engineering. In: FOSE 07: 2007 Future of Software Engineering. Washington, DC, USA : IEEE Computer Society, ISBN , S Smith, Connie U. ; Williams, Lloyd G.: Performance solutions: a practical guide to creating responsive, scalable software. Redwood City, CA, USA : Addison Wesley Longman Publishing Co., Inc., ISBN DeRose, Luiz A. ; Pantano, Mario ; Reed, Daniel ; Vetter, Jeffrey S.: Performance Issues in Parallel Processing Systems. In: Performance Evaluation: Origins and Directions. London, UK : Springer-Verlag, ISBN , S Mathur, Anup ; Abrams, Marc: Toward a Machine Assisted Software Performance Diagnosis Methodology. Blacksburg, VA, USA : Virginia Polytechnic Institute & State University, 1993 (93 12). Forschungsbericht 6. Woodside, Murray ; Petriu, Dorina C. ; Petriu, Dorin B. ; Shen, Hui ; Israr, Toqeer ; Merseguer, Jose: Performance by unified model analysis (PUMA). In: WOSP 05: Proceedings of the 5th international workshop on Software and performance. New York, NY, USA : ACM, ISBN , S. 1 12