Automatische Testfallgenerierung für den Systemtest. 1/5

Transkript

1 Automatische Testfallgenerierung für den Systemtest "Modellzentriertes Testen in Verbindung mit NI TestStand und VeriStand ermöglicht Testern und Testmanagern, deutlich effektiver zu arbeiten und die Testqualität zu verbessern. Die Verbindung von automatischer Testfallgenerierung und automatischer Testdurchführung unter Echtzeitbedingungen erlaubt es, eine deutlich höhere Testabdeckung zu realisieren, als es mit einer manuellen Testfallerstellung möglich ist." - Dr. rer. nat. Martin Beißer, sepp.med GmbH Die Aufgabe: Entwicklung eines Systems zur Erstellung, Pflege und Wartung von Testfällen Die Lösung: Die Werkzeugkombination NI TestStand und NI VeriStand erlaubt es, Tests sehr effektiv automatisch unter Echtzeitbedingungen durchzuführen. Autor(en): Dr. rer. nat. Martin Beißer - sepp.med GmbH Diese Kundenlösung wurde im Tagungsband 2011 ( des Technologie- und Anwenderkongress "Virtuelle Instrumente in der Praxis" ( veröffentlicht. Eingesetzte Produkte: Testmanagementsoftware NI TestStand, Software für Echtzeittestanwendungen NI VeriStand Die Abbildungen der Kundenlösung finden Sie in der Galerie und im Fließtext. In der Galerie können Sie die Bilder in größerer Auflösung ansehen. Kurzfassung Die Methodik des modellzentrierten Tests erlaubt es, aus grafischen Testmodellen automatisch manuell oder automatisch ausführbare Testfälle zu generieren. In der Werkzeugkette Modellierungswerkzeug Testfallgenerator.getmore NI TestStand/VeriStand wird ein sehr effektives System zur Erstellung, Pflege und Wartung von Testfällen vorgestellt. Einleitung Die Werkzeugkombination NI TestStand und NI VeriStand erlaubt es, Tests sehr effektiv automatisch unter Echtzeitbedingungen durchzuführen. Durch die automatisierte Durchführung ist es im Prinzip möglich, sehr viel mehr Tests durchzuführen, als es mit einer manuellen Durchführung möglich wäre. Allerdings wird in einem solchen Umfeld die Implementierung und Wartung der Testfälle zum Engpass. Hier kann der modellzentrierte Testansatz helfen, da es damit möglich wird, auch die Implementierung der Testfälle selbst zu automatisieren. Die Methodik modellzentrierter Test (.mzt) der Firma sepp.med erlaubt es, das Testdesign auf der Ebene von Modellen zu erstellen. In Verbindung mit dem Testfallgenerator.getmore können daraus automatisch Testfälle für die Ausführung in den genannten Werkzeugen erzeugt werden. Neben den bekannten Vorteilen eines modellbasierten Testdesigns kann dadurch mit dem gleichen Aufwand wie vorher eine sehr viel höhere Testabdeckung realisiert werden. An einem Beispiel aus der Fahrzeugtechnik wird gezeigt, wie Testmodelle entwickelt werden, nach welchen unterschiedlichen Strategien man darauf Testsets generieren kann und wie die als fertige Testfälle in die Tool-Kette NI TestStand und VeriStand importiert werden können. Die dargestellte Methodik und Werkzeugkette erhöht die Qualität und Effektivität des Testprozesses an mehreren Stellen. So werden Anforderungen konkretisiert, die Testauswahl transparent und damit die Testabdeckung messbar. Durch das systematische Erzeugen der Testfälle und die Integration von Testmanagementinformationen in das Testdesign, wird die Testplanung erleichtert und die Testimplementierung schließlich automatisiert..mzt und NI TestStand Die Methode des modellzentrierten Tests beschreibt eine Best-Practice-Methode des modellbasierten Tests für den industriellen Einsatz, die unter Verwendung von grafischen Modellen automatisch abstrakte oder auch ausführbare Testfälle generiert. Die Firma sepp.med gmbh hat diese Methodik in den letzten acht Jahren sowohl methodisch als auch durch Entwicklung eines sehr flexiblen Testfallgenerators fit für den industriellen Einsatz gemacht. Im Folgenden wir anhand eines konkreten Beispiels der Workflow eines modellzentrierten Testdesigns vom Modell bis zur automatischen Ausführung mit dem NI TestStand und VerStand aufgezeigt. Das Verhalten des System under Test (SUT) wird mit UML-Werkzeugen als Zustands- oder Aktivitätsdiagrammen modelliert. In Bild 1 und Bild 2 ist das Verhalten einer Blinkersteuerung als Aktivitätsdiagramm mit mehreren Ebenen dargestellt. In der obersten Ebene wird die Funktionalität der Blinkersteuerung zunächst in die Bereiche Richtungsblinken und Warnblinken zerlegt. Wie im Diagramm leicht zu erkennen ist, kann zwischen den beiden Funktionsblöcken beliebig gewechselt werden. In einer zweiten Diagrammebene werden dann diese beiden Bereiche in ihrer Funktion weiter detailliert (Bild 2). 1/5

2 Bild 1: Testmodell einer Blinkersteuerung (größere Abbildung siehe Galerie) Bild 2: Testmodell mit Unterdiagrammen Vom Modell zum Testfall und zurück 1. Schritt: Modellierung Ein.mzT Modell besteht aus einem bis beliebig vielen Diagrammen, die i. d. R. hierarchisch aufgebaut sind. Im einfachsten Fall besteht ein Diagramm nur aus den UML-Elementen Kanten und Knoten. Diese Elemente enthalten die Testanweisungen und das erwartete Ergebnis eines Testschritts. Testschritte und Ergebnisse könne textuell hinterlegt werden für einen manuellen Test oder als Funktionsaufruf für einen automatischen Test. Durch die Möglichkeit, Parameter und Guard-Conditions zu verwenden, kann die Systemablauflogik hinterlegt werden, sodass nur sinnvolle durchführbare Testfälle entstehen können. Jeder mögliche Pfad vom Startknoten bis zum Endknoten eines Modells stellt somit einen möglichen Testfall dar. 2. Schritt: Testfallgenerierung Ist das Modell erstellt, kann mit dem Testfallgenerator.getmore unter Verwendung verschiedener Generierungsstrategien das für das Testziel maßgeschneiderte Testset erzeugt werden. Da die Testziele je nach Projektsituation und Testphase unterschiedlich sein können, ist es möglich, ganz unterschiedliche Strategien zu verwenden. In der Praxis haben sich folgende Generierungsstrategien bewährt: Explizite Pfadangabe Der Tester markiert feste Pfade durch das Modell und legt so ganz spezielle Testfälle fest. Kanten- und Knotenabdeckung Es werden einige wenige Testfälle generiert, die alle Kanten bzw. Knoten des Modells enthalten. Pfadabdeckung Es werden alle möglichen Pfade durch das Modell erzeugt. Eine volle Pfadabdeckung entspricht einer 100-%-Abdeckung der im Modell beschriebenen Funktionalität. Zufallsgesteuerte Generierung Es werden eine vorgegebene Anzahl von Testfällen zufällig erzeugt. Zusätzlich kann jedes Testset nach verschiedenen Kriterien gefiltert werden. Z. B. ist es oft sinnvoll, sich nur die Testfälle erzeugen zu lassen, die mit einem bestimmten Requirement zusammenhängen. Jede Testphase hat unterschiedliche Anforderungen an die Testauswahl. So kann man z. B. für den Regressionstest ohne zusätzlichen Aufwand neue Testfälle erzeugen und ist nicht auf ein von vornherein bestehendes Testset beschränkt. Dies ist ein Folge davon, dass man bei der Testfallauswahl auf eine höheren Abstraktionsebene, nämlich der von Modell, agieren kann. 3. Schritt: Testausführung Ist ein Testset erstellt, werden die konkreten ausführbaren Testfälle direkt für die Ausführung in TestStand und VeriStand erzeugt und können dort ausgeführt werden. Ein Nachbearbeiten der Testfälle ist nicht mehr nötig. 4. Visualisierung der Testsets und Tests Zur Beurteilung der Testabdeckung oder zur Planung von Regressionstests ist es sehr nützlich, sich die Testüberdeckung eines konkreten Testsets im Modell oder eines einzelnen Testfalls sichtbar zu machen. In.getmore oder für einzelne Modellierungswerkzeuge ist dies möglich (Bild 3). Treten bei der Testdurchführung Fehler auf, lassen sich die Stellen, d. h. die Testschritte, im Modell, bei denen die Fehler aufgetreten sind, sehr leicht visualisieren und daraus Schlüsse für das weitere Vorgehen ziehen. 2/5

3 Bild 3: Visualisierung der Abdeckung: Unterbrochene Kanten werden nicht durchlaufen (größere Abbildung siehe Galerie). Zusammenfassung Modellzentriertes Testen in Verbindung mit NI TestStand und VeriStand ermöglicht Testern und Testmanagern, deutlich effektiver zu arbeiten und die Testqualität zu verbessern. Die Verbindung von automatischer Testfallgenerierung und automatischer Testdurchführung unter Echtzeitbedingungen erlaubt es, eine deutlich höhere Testabdeckung zu realisieren, als es mit einer manuellen Testfallerstellung möglich ist. Da die Pflege der Testfälle im Modell vorgenommen werden kann, wird die Wiederverwendung von Testartefakten erhöht und die Wartung und Pflege werden sehr viel einfacher. Die Erfahrung zeigt, dass sich mit diesem Ansatz bei gleichem Aufwand die Testqualität deutlich erhöhen lässt. Autor: Dr. rer. nat. Martin Beißer sepp.med GmbH Gewerbering 9 Röttenbach Deutschland Tel: +49 (0)9195/ Fax: +49 (0)919/ martin.beisser@seppmed.de (mailto:martin.beisser@seppmed.de) 3/5

4 Bild 1: Testmodell einer Blinkersteuerung 4/5

5 Bild 2: Testmodell mit Unterdiagrammen Bild 3: Visualisierung der Abdeckung: unterbrochene Kanten werden nicht durchlaufen Rechtliche Hinweise Diese Kundenlösung ( Kundenlösung ) wurde von einem Kunden von National Instruments ( NI ) entwickelt. DIESE KUNDENLÖSUNG WIRD IM IST-ZUSTAND ZUR VERFÜGUNG GESTELLT UND NI ÜBERNIMMT KEINERLEI GARANTIEN. AUSFÜHRLICHERE ERLÄUTERUNGEN ZU ANDEREN EINSCHRÄNKUNGEN ENTNEHMEN SIE BITTE DEN NUTZUNGSBEDINGUNGEN FÜR NI.COM. 5/5