Lasttests mit Visual Studio Team Edition for Software Testers

Transkript

1 Lasttests mit Visual Studio Team Edition for Software Testers Eine willkommene Last Die schönste Webanwendung ist nutzlos, wenn sie dem Besucheransturm nicht gewachsen ist. Damit dies nicht passiert, können Lasttests das Verhalten einer Anwendung unter Beanspruchung ermitteln. Die Tester-Version von Visual Studio Team System bietet dazu alle nötigen Hilfsmittel. Sehr oft stehen beim Testen von Anwendungen nur die Geschäftslogik und vielleicht auch noch die Oberfläche im Mittelpunkt. Oft vergessen wird dagegen die Leistung einer Anwendung unter Massenbeanspruchung. Auch diese lässt sich testen, und zwar mit so genannten Lasttests eher bekannt als Performance- oder Load-Tests. Auf einem Entwicklungsrechner mit einem Benutzer wird eine Anwendung immer perfekt funktionieren. Doch in der Praxis, wenn beispielsweise Tausende von Benutzern auf die Webanwendung zugreifen, sieht es ganz anders aus. Auch die Art der zu verarbeitenden Daten spielt eine wichtige Rolle; während der Entwicklung wird darauf nicht immer Rücksicht genommen. Mit Lasttests können Sie diese Situationen schon in der Testphase eines Projekts in den Griff bekommen. Vor dem Erscheinen von Visual Studio 2005 Team System waren dafür teure Tools von anderen Herstellern nötig. Mit Visual Studio 2005 Team Edition for Software Testers Auf einen Blick Autor Klaus Aschenbrenner (MVP) arbeitet als Softwarearchitekt und Consultant bei der Firma Anecon in Wien. Sie erreichen ihn über und weblogs. asp.net/klaus.aschenbrenner. dotnetpro.code A0608LoadTesting Technik Lasttests Voraussetzungen Visual Studio 2005 Team Edition for Software Testers liefert Microsoft entsprechende Tools gleich mit. Lasttests sind aber nicht auf Webanwendungen beschränkt. Sie lassen sich auch mit anderen Testarten wie Unit Tests kombinieren. Dadurch können Sie auch für Komponenten der Geschäftslogik eine hohe Benutzerlast simulieren und auf diese Weise feststellen, ob die Komponente bei einer großen Benutzermenge noch leistungsfähig genug ist. Grundlagen Nach der Vorstellung vieler Entwickler dienen Lasttests dazu herausfinden, wie viele Benutzer eine Anwendung oder Komponente verträgt. Das ist prinzipiell richtig, nur müssen Sie sich im Vorfeld genaue Gedanken darüber machen, welche Ergebnisse oder Kennzahlen Sie von einem Lasttest ableiten wollen. Es ist zum Beispiel überhaupt nicht sinnvoll, für eine Webanwendung einen Lasttest mit rund gleichzeitigen Benutzern für alle Webseiten auszuführen. Warum nicht? Die Einwände gegen diesen Test ergeben sich aus den folgenden Fragen: Hat die Anwendung wirklich Benutzer? Greifen diese Benutzer gleichzeitig auf alle Webseiten zu? Gibt es Spitzenzeiten, in denen die Webanwendung mehr unter Last steht? Werden durch die Seitenaufrufe mehr Daten gelesen oder geschrieben? Über welches Netzwerk greifen die Benutzer auf die Webanwendung zu? Internet oder Intranet? Welche Browser verwenden die Benutzer? Wie Sie aus diesen Fragen erkennen, darf ein Lasttest kein Schuss ins Blaue sein. Die erste Grundregel bei Lasttests lautet daher: Verschaffen Sie sich zuerst Klarheit darüber, welchen Sollzustand Sie für Ihre Webanwendung oder Komponente durch Lasttests messen wollen. Um einen solchen Sollzustand zu definieren, beschaffen Sie sich am besten die Log-Dateien Ihrer Webanwendung von der vergangenen Woche und nehmen diese mit verschiedenen Analysetools unter die Lupe. Dadurch bekommen Sie Querschnittsdaten zur Ist-Belastung Ihrer Webanwendung. Diese dient dann als Grundlage für Ihre Lasttests. Das Erheben dieser Metriken ist kein Kinderspiel, da Sie dabei viele Aspekte berücksichtigen müssen. Alberto Savoia hat dazu einen ausgezeichneten Artikel [1] geschrieben. Dieser befasst sich mit dem Ermitteln solcher Metriken und damit, wie sie sich richtig interpretieren lassen. Konzepte Nachdem Sie Ihre Soll-Metriken ermittelt haben, können Sie diese durch verschiedenartige Konzepte eines Lasttests nachstellen. Das erste wichtige Konzept ist das so genannte Load Pattern, also ein Lastmuster. Über das Load Pattern definieren Sie, wie sich die Benutzeranzahl während des Lasttests verändert. Visual Studio Team System unterstützt dabei die folgenden Möglichkeiten: Während des gesamten Lasttests bleibt die Anzahl der Benutzer gleich. Während der Laufzeit des Tests werden immer wieder neue Benutzeranfragen hinzugefügt. Dabei lassen sich das Intervall und die Schrittweite wie gewünscht definieren. Über den Test Mix können Sie steuern, wie viele Tests parallel laufen sollen und wie sich die vorhandenen Benutzer auf

2 Schwerpunkt Lasttests mit Visual Studio Team Edition for Software Testers Abbildung 1 Think Times simulieren das Verweilen des Users auf einer Webseite. Abbildung 2 Lastmuster definieren den Besucherandrang. diese Tests verteilen. Dadurch haben Sie beispielsweise die Möglichkeit, mehrere Benutzergruppen in einer Webanwendung zu simulieren, die unterschiedliche Anwendungsfälle ausführen. Wenn Sie für Ihre Webanwendung verschiedene Browser simulieren wollen, können Sie das über den so genannten Browser Mix bewerkstelligen. Mithilfe dieser Funktion können Sie die Nutzer, die während des Lasttests simuliert werden, prozentual auf die einzelnen Webbrowser aufteilen. Das ist etwa dann sehr wichtig, wenn Ihre Webanwendung abhängig vom Browser unterschiedliche Inhalte zurückliefert. Nicht jeder Benutzer muss über das Internet auf Ihre Anwendung zugreifen. Daher können Sie das zugrunde liegende Netzwerkprofil über den Network Mix konfigurieren. Dabei haben Sie wiederum die Möglichkeit, die Benutzer prozentual zwischen verschiedenen Netzwerkprofilen aufzuteilen. Bevor Sie einen Lasttest ausführen, sollten Sie wissen, welche Kennzahlen Sie mit seiner Hilfe ermitteln wollen. Dazu dienen die so genannten Counter-Sets. Über ein Counter-Set definieren Sie, welche Leistungsindikatoren während des Lasttests aufgezeichnet werden. Diese Daten können Sie anschließend auswerten und dadurch Erkenntnisse für die weitere Verarbeitung gewinnen. Benutzer einer Webanwendung verweilen auf einer Seite länger, auf einer anderen Seite weniger lang. Dieses Innehalten auf einer Seite wird als Think Time bezeichnet und lässt sich ebenfalls in Lasttests simulieren (Abbildung 1). Abbildung 3 Der Testmix lässt sich bequem per Schieberegler einrichten. Ausführen von Lasttests Einen Lasttest fügen Sie auf die gleiche Weise wie alle anderen Testarten in Visual Studio Team System zu einem Testprojekt hinzu: Wählen Sie dazu im Hauptmenü über Test / New Test den Testtyp Load Test aus. Es öffnet sich ein Assistent, der Sie durch die notwendigen Schritte führt. Auf der zweiten Seite des Assistenten geben Sie dem Test einen aussagekräftigen Namen, unter dem Sie ihn später wiederfinden können; im vorliegenden Beispiel ist das Scenario1, der vom Assistenten vorgeschlagene Name. Zusätzlich können Sie angeben, ob der Test Think Times verwenden soll (Abbildung 1) also letztlich die Dauer zwischen zwei Klicks. Dazu gibt es zwei Möglichkeiten: Entweder simuliert der Test die Pausen so,

3 wie sie zuvor beim Aufnehmen des Tests mit dem Web Recorder [2] vorgekommen sind; oder der Test verwendet einen durchschnittlichen Wert. Es empfiehlt sich, die Think Times anzuwenden. Denn andernfalls werden die Tests so schnell ausgeführt, wie der Prozessor es zulässt, also in der Arbeitsgeschwindigkeit des jeweiligen Rechners. Dies entspricht jedoch kaum der Realität. Im nächsten Schritt siehe Abbildung 2 konfigurieren Sie das Lastmuster. Hier geben Sie entweder eine konstante Nutzerlast an oder dass sich diese im Laufe der Zeit ändern soll. Beispielsweise können Sie eine konstante Auslastung durch 25 Nutzer definieren oder eine mit der Zeit steigende Last, also zum Beispiel mit zehn Nutzern beginnen und alle zehn Sekunden zehn weitere Nutzer hinzufügen, bis ein Maximum von 200 Nutzern erreicht ist. Um diese Werte festzulegen, stehen Ihnen die Optionen Start user count, Step duration, Step user count und Maximum user count zur Verfügung. Abbildung 4 Auch der Zugriff verschiedener Browser lässt sich in den Test einbeziehen. Nachdem Sie die Benutzeranzahl festgelegt haben, richten Sie den Testmix ein. Dabei fügen Sie die Tests hinzu, die in diesem Lasttest ausgeführt werden sollen. Dazu stehen Ihnen Schieberegler zur Verfügung, mit denen Sie den Anteil des jeweiligen Einzeltests am Gesamttest wie in Abbildung 3 prozentual festlegen. Kriti

4 Schwerpunkt Lasttests mit Visual Studio Team Edition for Software Testers Gruppe wie etwa SQL für alle Leistungsindikatoren einzurichten, die den SQL Server betreffen. Allerdings müssen Sie selbst dann alle Computer, von denen Sie Daten aufzeichnen wollen, über die Schaltfläche Add Computer hinzufügen und die entsprechenden Counter-Sets selektieren. Folgende Optionen stehen dabei zur Auswahl: ADO.NET Application Abbildung 5 Auch die verschiedenen Netzwerktypen beeinflussen die Last einer Webanwendung. Abbildung 6 Die Leitungsindikatoren der teilnehmenden Computer lassen sich zu Counter- Sets zusammenfassen. schere Tests lassen sich mit diesem Mechanismus häufiger ausführen. Im fünften Schritt des Assistenten konfigurieren Sie die Browser, die für den simulierten Zugriff verwendet werden sollen (Abbildung 4). Dabei stehen folgende Browser zur Auswahl: Internet Explorer 6.0 Internet Explorer 5.5 Netscape 6.0 Pocket IE 3.02 Smartphone Schritt 6 dient der Festlegung von Netzwerktypen, die beim Zugriff simuliert werden sollen beispielsweise LAN, T1 oder DSL, wie es in Abbildung 5 zu sehen ist. Auf der siebten Seite des Assistenten wählen Sie eine Gruppe von Leistungsindikatoren (englisch: Performance Counter) aus und stellen diese zu so genannten Counter-Sets zusammen, die während des Tests aufgezeichnet werden sollen (Abbildung 6). Counter-Sets sind sehr hilfreich, da Windows mehrere hundert Leistungsindikatoren bietet und die Auswahl der richtigen eine Wissenschaft für sich darstellt. Durch die Counter-Sets haben Sie die Möglichkeit, eine thematische Abbildung 7 Alle Angaben zu einem Lasttest in einer übersichtlichen Baumansicht

5 Abbildung 8 Das Ergebnis eines Tests erscheint in einem übersichtlichen Diagramm. ASP.NET.NET Application IIS SQL Im letzten Schritt, den der Assistent anbietet, können Sie neben einer Beschreibung noch allgemeine Testparameter festlegen, beispielsweise eine Aufwärmzeit, während der die Werte noch nicht aufgezeichnet werden. Dies ist insbesondere bei Webseiten sinnvoll, bei denen beim ersten Aufruf noch kompiliert wird oder Daten in den Cache geladen werden. Die Sampling Rate gibt an, wie häufig die von Ihnen gewählten Leistungsindikatorwerte aufgezeichnet werden sollen; als Standard sind fünf Sekunden festgelegt. Schließlich können Sie noch die Run Duration angeben, also die Dauer des Testslaufs in Stunden, Minuten und Sekunden. Wenn Sie anschließend auf Finish klicken, stellt Visual Studio 2005 die Konfiguration des Tests in einer übersichtlichen Baumansicht dar, wie Sie es in Abbildung 7 sehen. Nun können Sie den Test über das Run-Symbol ausführen. Dazu öffnet sich wie bei den anderen Testarten auch ein neues Testfenster mit den Daten zum aktuell ausgeführten Lasttest, wie Abbildung 8 zeigt. Wie Sie aus der Abbildung erkennen, zeigt das Fenster eine Vielfalt an Informationen. Links oben sehen Sie die Counter- Sets, die Sie im Assistenten ausgewählt haben. Um festzustellen, wie sich ein Counter im Laufe des Tests entwickelt hat, fügen Sie ihn zum Graphen in der Mitte des Fensters hinzu. Links unten sehen Sie die Zusammenfassung zum Test in einigen Kennzahlen zusammengefasst. Sie enthält die Anzahl der Requests und der ausgeführten Testläufe. Interessant ist die Eigenschaft Failed Requests; sie gibt darüber Auskunft, wie viele Zugriffe fehlgeschlagen sind. Im unteren Bereich des Fensters sehen Sie die Counter-Sets, die der Graph gerade darstellt. Mithilfe von Kontrollkästchen können Sie Counter-Sets zum Diagramm hinzufügen oder daraus entfernen. Der rechte Teil des Fensters schließlich enthält nähere Informationen zum ausgewählten Counter-Set. Ist der Test beendet und haben Sie Verbindung zu einem Team Foundation Server, können Sie die Ergebnisse dort speichern. Fazit Wie Sie sehen, sind Lasttests von Webanwendungen mithilfe von Visual Studio Team Edition for Software Testers eine einfache und bequeme Angelegenheit. Solche Tests sind aber nicht auf Webanwendungen beschränkt; auch Ihre Geschäftslogik-Komponenten lassen sich mit Lasttests einer eingehenden Prüfung unterziehen. Wichtig ist dabei in jedem Fall, dass Sie sich bereits im Vorfeld überlegen, welche Kennzahlen Sie aus einem Test ableiten wollen. Daher müssen Sie sich bereits vorher im Klaren darüber sein, wie die Ist-Metriken Ihrer Komponenten aussehen und welche Soll-Metriken am Ende stehen sollen. [1] The Science of Web site Load Testing, marzo_2004/scienze_web_site_load_ testing_savoia.pdf [2] Neno Loje, Auf Herz und Nieren, Visual Studio Team Edition 2005 for Software Testers, dotnetpro 8/2006, Seite 28 ff