Qualitätssicherung von Testartefakten

Transkript

1 Datum: 04. Oktober 2010 Themendossier Seite 1

2 Einführung in das Thema Moderne industrielle Testsuiten haben oft einen beträchtlichen Umfang und sind komplex in Ihrem Verhalten. Die getesteten Geräte oder Systeme werden zunehmend intelligenter während gleichzeitig eine erhöhte Anforderung an deren Zuverlässigkeit gestellt wird. Die Entwicklung dieser Testsuiten beansprucht einen erheblichen Anteil der Ressourcen und dennoch wächst unseren Erfahrungen nach nur langsam das Bewusstsein bei Projektleitern für die Notwendigkeit einer systematischen - wie zum Beispiel in Bezug auf Testanforderungs-Dokumente, Testzweck-Dokumente, Testpläne, abstrakten Testspezifikationen, ausführbare Testfälle oder Testberichte. Zu dem Testprozess gehört heute nicht nur die Erstellung von eben solchen Artefakten, sondern auch die kontinuierliche Pflege dieser entlang des Lebenszyklus des getesteten Systems. Die Systeme werden über lange Zeiträume kontinuierlich weiterentwickelt und ein Versäumnis die Testfälle auf einem qualitativ hohen Niveau und synchronisiert zur der Systementwicklung zu halten kann schnell einen negativen Effekt auf die Qualität des getesteten Systems haben. Um diesen Effekten der Software-Alterung, die eben auch bei Testsoftware zu finden sind, entgegenzuwirken, muss eine ebenso rigide Qualitätssicherung für Testartefakte stattfinden wie für die Softwareprodukte selbst. Testprojekte kann man als spezielle Softwareprojekte auffassen, an deren Ziel ausführbare Testfälle stehen. Innerhalb dieses Projektes, mit den ausführbaren Testfällen und der durch sie erzeugten Berichte als Endprodukt, werden eine Reihe von Artefakten erstellt, die ebenso wie bei einem Softwareprojekt qualitätsgesichert werden müssen. Die Qualitätssicherung für Softwareprojekte ist im Allgemeinen gut erforscht und verstanden. Daher stellt sich die Frage, wie man diese Erkenntnisse auf das Testen und auf die Besonderheiten der Testartefakte übertragen kann. In der Softwaretechnik unterscheidet man zwischen organisatorischen, konstruktiven und analytischen Maßnahmen zur Qualitätssicherung: Organisatorische Maßnahmen: Sicherstellung der systematischen Durchführung der Entwicklung und Qualitätssicherung (z. B. durch Einführung eines Konfigurationsmanagements und Anwendung von Prozessmodellen) Konstruktive Maßnahmen: Vermeidung von Fehlern und Mängeln bereits bei der Entwicklung (z. B. durch die Schulung von Mitarbeitern und die Verwendung von Hochsprachen mit den zugehörigen Werkzeugen) Analytische Maßnahmen: Auffinden und Beseitigen von Fehlern und Mängeln (z. B. durch Softwaretests und methodisch durchgeführte Reviews) Im Prinzip lassen sich Qualitätssicherungsmaßnahmen bis auf das Testen, welches die dynamische Analyse beinhaltet, für die systematische, wie in Abbildung 1 dargestellt, anwenden. Nachfolgend geben wir Hinweise auf weiterführende Literatur zur entlang dieser Unterteilung. Seite 2

3 Abbildung 1: Qualitätssicherungsmaßnahmen für das Testen Wir wünschen Ihnen eine angenehme Lektüre und stehen Ihnen für Rückfragen gern zur Verfügung. Ihr Team der Softwareforen Leipzig Seite 3

4 Inhaltsverzeichnis Software und Test Qualitätssicherung Software Engineering - Grundlagen, Menschen, Prozesse, Techniken Softwaretechnik Mit Fallbeispielen aus realen Entwicklungsprojekten Software-Qualität Testen, Analysieren und Verifizieren von Software Software-Qualität Software-Qualitäts-Management in der Praxis Systematische Qualitätssicherung für Testartefakte Organisatorische Maßnahmen Handbuch IT-Management: Konzepte, Methoden, Lösungen und Arbeitshilfen für die Praxis Capability Maturity Model Integration (CMMI) Mit CMMI Prozesse verbessern! Umsetzungsstrategien am Beispiel Requirements Engineering TMMi Reference Model Test Process Improvement: A Practical Step-By-Step Guide to Structured Testing Konstruktive Maßnahmen Test Patterns with TTCN-3 Basiswissen Softwaretest: Aus- und Weiterbildung zum Certified Tester Praxiswissen Softwaretest: Test Analyst und Technical Test Analyst Aus- und Weiterbildung zum Certified Tester Advanced Level nach ISTQB-Standard xunit Test Patterns: Refactoring Test Code Analystische Maßnahmen An Approach to Quality Engineering of TTCN-3 Test Specifications Quality Assurance for TTCN-3 Test Specifications Quality Assurance of Test Specifications for Reactive Systems Automated Maintainability of TTCN-3 Test Suites Based on Guideline Checking TTCN-3 Test Data Analyser Using Constraint Programming Seite 4

5 Software Engineering - Grundlagen, Menschen, Prozesse, Techniken Quelle: ISBN: , dpunkt Verlag, 688 Seiten Autor: J. Ludewig, H. Lichter Datum: März 2010 Softwaretechnik Mit Fallbeispielen aus realen Entwicklungsprojekten Quelle: ISBN: , Pearson Studium, 687 Seiten Autor: T. Grechenig, M. Bernhart, R. Breitender, K. Kappel Datum: 2010 Die genannten Bücher von Ludewig und Lichter sowie Grechenig, Bernhart, Breitender und Kappel behandeln die Grundlagen der Softwaretechnik. Da es sich bei Testartefakten natürlich auch um Software handelt, sind viele der hier vorstellten Verfahren auf Softwaretest-Projekte übertragbar auch wenn eine konkrete Anpassung der Verfahren hier nicht stattfindet. Die Bücher decken die Softwaretechnik aus unterschiedlichen Perspektiven ab: von Menschen und Prozessen, wo Projektorganisation, Vorgehensmodelle oder Prozessmodelle behandelt werden, über Daueraufgaben wie der Dokumentation, Qualitätsprüfung oder die Erhebung von Metriken bis hin zu konkreten Techniken in der Softwareentwicklung, wo behandelt wird wie z. B. Anforderungen erhoben werden oder wie Entwurf, Kodierung, Programmtest und Integration eines Softwaresystems gestaltet werden können. Software-Qualität Testen, Analysieren und Verifizieren von Software Quelle: ISBN: , Spektrum Verlag, 526 Seiten Autor: P. Liggesmeyer Datum: 2009 Seite 5

6 Software-Qualität Quelle: ISBN: , Springer, 568 Seiten Autor: D. W. Hoffmann Datum: 2008 Die Bücher von Liggesmeyer und Hoffmann beschreiben die meisten gängigen statischen und dynamischen Testtechniken im Detail. Sie behandeln Software-Messung mit Ihren unterschiedlichen Skalen, statische Codeanalyse, Reviews sowie auch im Ansatz formale Qualitätssicherungstechniken oder Prüfstrategien für Prozesse. Beide Bücher sind recht umfassend und decken die meisten der gängigen Techniken ab bzw. sprechen diese zumindest an. Software-Qualitäts-Management in der Praxis Quelle: ISBN: , Hanser Verlag, 462 Seiten Autor: E. Wallmüller Datum: 2001 Wallmüller beschreibt in seinem Buch worum es bei Software Qualität und auf welchen Ebenen man die Qualitätssicherung durchführen muss. Zu diesem Zweck behandelt er jeden großen Zweig der Qualitätssicherung, d. h. prozessorientiertes Qualitätsmanagement, konstruktive Qualitätsmaßnahmen und analytische Qualitätsmaßnahmen in jeweils einem eigenen Kapitel. Zusätzlich behandelt er z. B. Aspekte des Qualitätsmanagement in der Softwarewartung oder Qualitätskriterien bzgl. Software-Ergonomie. Systematische Qualitätssicherung für Testartefakte Quelle: OBJEKTspektrum, Ausgabe Testing/2009, SIGS DATACOM Autor: J. Grabowski, P. Makedonski, T. Rings, B. Zeiss Datum: 2009 Dieser Artikel ist eine Übersicht über die hier vorgestellten Maßnahmen zur Qualitätssicherung von Testartefakten. Der Artikel deckt ebenfalls Maßnahmen in der Organisation, konstruktive Maßnahmen und analytische Maßnahmen ab. Seite 6

7 Handbuch IT-Management: Konzepte, Methoden, Lösungen und Arbeitshilfen für die Praxis Quelle: ISBN: , Hanser Verlag, 723 Seiten Autor: E. Tiemeyer Datum: 2009 Tiemeyer deckt ein großes Spektrum an IT-Management Themen, unter Anderem Rollen im IT- Management, Entwicklung und Umsetzung von IT-Strategien unter gegeben Rahmenbedingungen, Planung und Ausgestaltung von IT-Architekturen, IT Service Management, IT- Projektmanagement, Führung im IT Bereich, IT-Controlling und vieles mehr. Qualitätsmanagement wird durch ein eigenes Kapitel abgedeckt und behandelt Themen der Qualitätssicherung innerhalb von Entwicklungsmodellen, Produkt-, Projekt- und Prozessqualität sowie auch relevante Standards für die Qualitätssicherung. Capability Maturity Model Integration (CMMI) Quelle: Software Engineering Institute, Carnegie Mellon University Autor: k.a. Datum: 2010 Mit CMMI Prozesse verbessern! Umsetzungsstrategien am Beispiel Requirements Engineering Quelle: ISBN: , dpunkt Verlag, 311 Seiten Autor: J.Schmied, M. Gerdom, P.-R. Wentzel, U. Hehn Datum: 2008 Das CMMI Modell vom Software Engineering Institute der Carnegie Mellon Universität ist das wahrscheinlich momentan am weitesten verbreitete Modell zur Verbesserung von Prozesses für Produktentwicklung (CMMI-DEV). In diesem Modell werden zu einer Reihe von Prozessgebieten, Seite 7

8 wie z. B. Projektplanung, Anforderungsentwicklung, Validierung oder Messung und Analyse, Ziele und bewährte Praktiken definiert. Die konkrete Ausgestaltung der CMMI Anforderungen ist wiederum nicht fest definiert, sondern muss von jeder Organisation selbst durchgeführt werden. Bekannt ist v.a. das fünfstufige Reifegradmodell. Führt ein Unternehmen ein sogenanntes Appraisal durch, so wird im nach einer entsprechenden Untersuchung eine der fünf Reifegradstufen zugeordnet. Das Modell ist jedoch generisch und nicht für Testentwicklung angepasst. TMMi Reference Model Quelle: TMMi Foundation Autor: L. Casci, V. Chen, A. Goslin, M. Krishnan, K. Olsen et. al Datum: 2009 TMMi ist ein Modell zur Verbesserung von Testprozessen. Es ist als Ergänzung zum CMMI Framework gedacht und ergänzt dieses um testspezifische Teile. So wird für das Stufenmodell beispielsweise festgelegt, was in Bezug auf Teststrategie, Testplanung, Test-Monitoring/Test- Kontrolle, Test-Design, Test-Ausführung und der Testumgebung festgelegt sein sollte. TMMi beschränkt sich derzeit auf das Stufenmodell und davon auf die Stufen 1-3. Test Process Improvement: A Practical Step-By-Step Guide to Structured Testing Quelle: ISBN: , Lulu.com, 215 Seiten Autor: T. Koomen, M. Pol, S.K. Allot Datum: 1999 In diesem Textbuch stellen Koomen, Pol und Allott das Test Process Improvement (TPI) Modell vor, welches ein alternatives Modell für die Verbesserung von Testprozessen ist. Der Testprozess wird in 20 Kernbereiche unterteilt (z. B. Testautomatisierung, Testspezifikationstechniken, usw.) und für jeden dieser Bereiche findet eine Einstufung durch Ebenen statt, die vordefinierte Kontrollpunkte haben. Über die TPI-Matrix sind Kernbereiche und Ebenen miteinander verbunden. Seite 8

9 Test Patterns with TTCN-3 Quelle: Formal Approaches to Software Testing. LNCS 3395, Springer Autor: A. Vouffo-Feudjio, I. Schieferdecker Datum: 2004 In dieser Arbeit präsentieren Vouffo-Feudijo und Schieferdecker, dass Muster auch in Tests vorkommen, wie diese charakterisierbar sind und wie diese im Testentwicklungsprozess eingesetzt werden können. Die Anwendung solcher Muster erlaubt Wiederverwendbarkeit zwischen verschiedenen Testphasen und Testarten sowie zwischen verschiedenen Produktversionen. Vorgestellt werden die Muster anhand der Testsprache TTCN-3. Basiswissen Softwaretest: Aus- und Weiterbildung zum Certified Tester Quelle: ISBN: , dpunkt Verlag, 296 Seiten Autor: A. Spillner, T.Linz Datum: 2010 Praxiswissen Softwaretest: Test Analyst und Technical Test Analyst Aus- und Weiterbildung zum Certified Tester Advanced Level nach ISTQB-Standard Quelle: ISBN: , dpunkt Verlag, 432 Seiten Autor: G. Bath, J. McKay Datum: 26. Oktober 2009 Die Standardwerke in deutscher Sprache zum Thema Softwaretest. Hier lernt der Softwaretester wie Testen im Softwarelebenszyklus eingebettet ist, was statischen und dynamischen Test unterscheidet, wie man Testmanagement bewerkstelligt oder welche Werkzeugtypen existieren. Das Buch von Spillner und Linz behandelt die Grundlagen, die u.a. auch Teil der ISTQB Certified Tester Zertifizierung sind. Das Buch von Bath und McKay setzt darauf auch und führt hin zu dem ISTQB Certified Tester Advanced Level. Seite 9

10 xunit Test Patterns: Refactoring Test Code Quelle: ISBN: , Addison-Wesley, 883 Seiten Autor: G. Meszaros Datum: 2007 In seinem Buch behandelt Gerard Meszaros Best Practices in Bezug auf das Unit-Testen. Er zeigt anhand von 68 Mustern wie man Tests schreibt, die leicht zu schreiben, leicht zu verstehen und leicht zu warten sind. Umgekehrt wird durch sein Buch auch dargestellt, was sogenannte Gerüche (oder code smells), also schlechte Praktiken, in Unit-Test sind. An Approach to Quality Engineering of TTCN-3 Test Specifications Quelle: International Journal on Software Tools for Technology Transfer (STTT) 10(4), Springer Autor: H. Neukirchen, B. Zeiss, J. Grabowski Datum: 2008 Quality Assurance for TTCN-3 Test Specifications Quelle: Software Testing, Verification and Reliability (STVR), 18(2), 71-97, Wiley Autor: H. Neukirchen, B. Zeiss, J. Grabowski, P. Baker, D. Evans Datum: 2008 In diesen Arbeiten wird anhand von TTCN-3 Testspezifikationen dargestellt wie man den Begriff Qualität in Bezug auf Testspezifikationen definieren kann. Hierzu wird ein auf Testspezifikationen angepasstes ISO 9126 Qualitätsmodell vorgestellt und exemplarisch gezeigt wie sich dieses für TTCN-3 Projekte mit Hilfe von Metriken instanziieren und bewerten lässt. Weiterhin werden test- und sprachspezifische Metriken, Refactoring für TTCN-3 und regel-basierte Verbesserung Seite 10

11 der Testspezifikationen diskutiert sowie die Realisierung in Form des TRex-Werkzeuges vorgestellt. Quality Assurance of Test Specifications for Reactive Systems Quelle: Dissertation. Universität Göttingen. Autor: B. Zeiss Datum: 2010 In dieser Doktorarbeit wird Qualitätssicherung für Testspezifikationen ausführlich abgehandelt. Insbesondere spielt hier die Frage eine Rolle wie man abstrakte Testspezifikationen dynamisch testen kann, wenn die Implementierung, die getestet wird, noch nicht existiert. Zu diesem Zwecke wird das Testverhalten simuliert, Modelle rekonstruiert und mit Hilfe von meist generischen temporallogischen Ausdrücken nach der Verletzung von Verhaltenseigenschaften gesucht. Automated Maintainability of TTCN-3 Test Suites Based on Guideline Checking Quelle: Software Technologies for Embedded and Ubiquitous Systems. LNCS 5287, Springer Autor: G. Din, D. Vega, I. Schieferdecker Datum: 2008 Häufig gibt es bei Softwareprojekten und auch Testprojekten dedizierte Richtliniendokumente, die von den Entwicklern einzuhalten sind. Diese Erzwingen beispielsweise Namenskonventionen oder versuchen regelbasiert die Komplexität einzelner Codestücke niedrig zu halten. Automatische Richtlinienprüfung ist ein wichtiges Hilfsmittel, um bestimmte Eigenschaften bereits während der Entwicklung zu forcieren. In dieser Arbeit stellen Din, Vega und Schieferdecker eine Richtlinien-Klassifikationen für die Testsprache TTCN-3 vor sowie wie man diese automatisch prüft und diese Prüfung automatisiert. Seite 11

12 TTCN-3 Test Data Analyser Using Constraint Programming Quelle: 19th International Conference on Systems Engineering, IEEE Autor: D. Vega, G. Din, I. Schieferdecker Datum: 2008 Hier wird eine Methode vorgestellt wie Testdatenvarianz auf Basis von Testdatendistanz für TTCN-3 Tests berechnet werden kann. Die Testdatenvarianz charakterisiert die Verteilung der Testdaten über das Testinterface. Für Testdaten mit Platzhaltern wird eine verbesserte Distanzberechnung durch die Anwendung von Constraint Programming und Statischer Analyse erreicht. Seite 12

13 Impressum Autor Prof. Dr. Jens Grabowski Universität Göttingen Dr. Benjamin Zeiss Universität Göttingen Feedback Uns interessiert Ihre Meinung! Haben Sie Fragen, Anregungen oder Anlass zur Kritik? Bitte senden Sie Ihre Kommentare an: Sven Seiffert Telefon: +49 (0) Abmeldung Sie wollen dieses Dokument in Zukunft nicht mehr empfangen? Senden Sie uns einfach eine mit einer kurzen Nachricht an: Zugangsdaten für Sehr gern richten wir für Sie Zugangsdaten für unseren passwortgeschützten Bereich "Wissen" ein (für unsere Partnerunternehmen; für andere Unternehmen sind Probezugänge möglich). Senden Sie uns einfach eine mit einer kurzen Nachricht an Seite 13

14 Softwareforen Leipzig GmbH Querstraße Leipzig T +49 (0)341 / F +49 (0)341 / E info@softwareforen.de I Seite 14