Ein Werkzeug zur Überdeckungsmessung für kontrollflussbezogene Testverfahren

Transkript

1 Ein Werkzeug zur Überdeckungsmessung für kontrollflussbezogene Testverfahren Hendrik Seffler HU Berlin Abschlussvortrag p. 1/25

2 Was? Entwicklung eines Werkzeugs zur Überdeckungsmessung für kontrollflussbezogene Testverfahren Analyse der Struktur von Softwaresystemen nicht-funktionales Testen Entwurf von Grund auf (Entwicklung durch alle Phasen der Softwareentwicklung) Abschlussvortrag p. 2/25

3 Warum? Test im Rahmen dieses Projektes bisher mit ATOS funktionsorientiertes Testen Testautomatisierung keine Prüfung der Struktur Abschlussvortrag p. 3/25

4 Warum? Fragen, die ATOS nicht beantwortet (nicht beantworten kann) Alles, was Kenntnis des Quellcodes voraussetzt Wurden alle Anweisungen ausgeführt? Warum wurden welche Flüsse durch das Programm gewählt? Welche Teile des Programms sind besonders komplex (fehleranfällig)? Abschlussvortrag p. 4/25

5 Wie? Kenntnis der Interna eines Programms notwendig Parsen des Quellcodes Darstellung von Kontrollflüssen Abschlussvortrag p. 5/25

6 Qualitätssicherung Analysierende Verfahren Testende Verfahren Verifikation Mit Programmausführung Ohne Programmausführung Komplexiätsmetriken Black Box (funktionsorientiert) Audit White Box (strukturorientiert) Review Abschlussvortrag p. 6/25

7 Was will man wissen? Ermittlung von Kontrollflüssen void example(boolean a, boolean b) 1 { if (a) do(); 2 3 if(b) 4 doalso(); 5 } 6 Ziel: Interne Datenstruktur und Visualisierung Abschlussvortrag p. 7/25

8 Was will man wissen? Statische... zyklomatische Komplexität essentielle Komplexität... und dynamische Analyse Anweisungs-/Zweigüberdeckung Bedingungsüberdeckung Pfadtests Abschlussvortrag p. 8/25

9 Was ist gefordert? Analyse von Komplexitätsmaßzahlen und Überdeckungsmaßen Zielsprachen: Java & C++ Darstellung und Auswertung Abschlussvortrag p. 9/25

10 Was ist notwendig? Portabilität Java Analyse des Quellcodes durch einen Parser JavaCC Instrumentierung des geparsten Codes Darstellung von Graphen JGraph Abschlussvortrag p. 10/25

11 Design Entwurf von mehreren unterschiedlichen Modulen GUI - Visualisierung Kontrollflussgraphen Datenanalyse Abschlussvortrag p. 11/25

12 Design - GUI Der grundsätzliche Aufbau der GUI basiert auf der Idee von Sichten Quellcode, Kontrollfluss, Struktur, Testfälle, Überdeckung Aus diesen Sichten werden jeweils komplexere Sichten zusammengesetzt Komplexität (statische Analyse) Überdeckung (dynamische Analyse) Architektur (dynamische Analyse) Abschlussvortrag p. 12/25

13 Design - GUI Neben der Auswertung existieren noch einige Hilfsfunktionen Projekterstellung Instrumentierung von Quellcode Projektreport Hilfe/Dokumentation Abschlussvortrag p. 13/25

14 Design - Daten Die GUI greift auf einen gemeinsamen Datenbestand zu Kontrollflussgraphen Testfalldaten (Knotendurchläufe, Bedingungen, Pfade) Die Aufgabe des Parsers ist es, Quellcode in einer der unterstützen Sprachen einzulesen und in eine sprachunabhängige Struktur abzubilden. Abschlussvortrag p. 14/25

15 Design - Daten Zugriff über Operationen, die unabhängig von der GUI auf den Daten operieren GraphMaker ComplexityChecker CoverageChecker Trennung zwischen Darstellung und Auswertung Abschlussvortrag p. 15/25

16 Design - GraphMaker Die Klasse GraphMaker bereitet Daten für die interne Darstellung und die Darstellung am Bildschirm auf Visualisierung Analyse von Komplexität Finden von Pfaden Anweisungs- und Kantenüberdeckung Abschlussvortrag p. 16/25

17 Design - ComplexityChecker Mit ComplexityChecker wird Komplexität von Graphen überprüft Bereitstellung einer einfachen Schnittstelle auf komplexe Algorithmen getcyclomaticcomplexity (Function f) getessentialcomplexity (Function f) Abschlussvortrag p. 17/25

18 Design - ComplexityChecker zyklomatische Komplexität v(g) = E V + 2 essentielle Komplexität sukzessive Entfernung von Primes Abschlussvortrag p. 18/25

19 Design - CoverageChecker Analyse von Überdeckung aus verschiedenen Quellen Betrachtung von Knoten des Graphen Analyse der einzelnen Bedingungen Untersuchung von Pfaden Abschlussvortrag p. 19/25

20 Design - CoverageChecker Pfadüberdeckung mehrfache Bedingungsüberdeckung Boundary Interior Pfadtest MC/DC Überdeckung Zweigüberdeckung minimal mehrfache Bedingungsüberdeckung Anweisungsüberdeckung einfache Bedingungsüberdeckung Abschlussvortrag p. 20/25

21 Implementierung - Vorgehen Iteratives Vorgehen, da Parser und Auswertung parallel entwickelt Wahl einer Entwicklungsumgebung Versionsverwaltung Quellcode-Dokumentation Abschlussvortrag p. 21/25

22 Implementierung - Größe Umfang des entwickelten Systems nach Code-Zeilen GUI: 6746 Zeilen Kontrollflussgraph: 2100 Zeilen Projekt-Verwaltung: 2037 Zeilen Überprüfung: 1668 Zeilen Abschlussvortrag p. 22/25

23 Bewertung Sprachunabhängiges Framework zum Arbeiten auf Quellcode verschiedener Sprachen. Einheitliche Schnittstelle und Zugriff auf Programmstruktur über Kontrollflussgraphen und Bedingungen. Überdeckungsmaße Komplexität Auf dieser Basis sind weitere Erweiterungen denkbar weitere Überdeckungsmaße Aufrufgraphen Profiling Abschlussvortrag p. 23/25

24 Demonstration Abschlussvortrag p. 24/25

25 Fragen? Fragen? Abschlussvortrag p. 25/25