Software-Tests und Analysen

Transkript

1 Software-Tests und Analysen für r Produktivität t und Qualität Verifysoft Technology GmbH Technologiepark Offenburg Offenburg Deutschland 1

2 Co-Editor Produktanpassungen und Weiterentwicklungen: CTC++ Code Coverage, CMT++ Complexity Measures Distributor für r Softwaretesttools: Testwell, Finnland Conformiq Software, Finnland Coverity, USA Referenzen 2

3 für r C/C++: Code Coverage-Analysen: CTC++ Software-Komplexit Komplexitäts-Analysen: CMT++ Unit-Tests: CTA++ Coverity Prevent / Coverity Extend für r Java: Code Coverage Analysen: JCover Software-Komplexit Komplexitäts-Analysen: CMTJava Test-Technologien Conformiq Test Generator / Conformiq Qtronic Verifysoft-Partner: unsere Testwell Partner Testwell, Tampere (Finnland) Spinout aus NOKIA Data Systems gegründet 1992 erste Testwerktools: 1984 Unit-Test and Coverage for Ada 1989 Coverage for C/C Unit-Test for C/C++ 3

4 Verifysoft-Partner: Testwell Testwell, Tampere (Finnland) Spinout aus NOKIA Data Systems gegründet 1992 erste Testwerktools: Verifysoft-Partner: unsere Partner Conformiq Software Conformiq Software, Espoo bei Helsinki (Finnland) gegründet Unit-Test and Coverage for Ada 1989 Coverage for C/C++ automatischer Testgenerator: Conformiq Test Generator 1995 Unit-Test for C/C++ Technologie seit über 10 Jahren in Projekten der Technischen Universitäten Helsinki und Tampere entwickelt Verifysoft-Partner Coverity Coverity, San Francisco (USA) gegründet 2002 durch führende f Wissenschaftler der Stanford University Tools: Coverity Prevent / Coverity Extend 4

5 Test- und Analysetools für C und C++ Testwell CTC++ Code Coverage Analyzer Testwell CMT++ Complexity Measures Coverity Prevent / Coverity Extend Conformiq Test Generator Testwell CTC++ Code Coverage Analyzer 5

6 Testwell CTC++ Test-Coverage-Analyser für C/C++ CTC++ zeigt wie weit Ihre Applikation getestet ist zeigt Code-Coverage Coverage an für f * jede Funktion * jede Quelldatei * ausgewählte Teile des Programms * das Gesamtprogramm Testwell CTC++ Test-Coverage-Analyser für C/C++ Testabdeckungsanalysen mit allen Coveragestufen (bis C3): Function Coverage Decision Coverage Condition (Branch) Coverage Multicondition Coverage Modified Condition/Decision Coverage (MC/DC) 6

7 Testwell CTC++ Test-Coverage-Analyser für C/C++ CTC++: Modified Condition/Decision Coverage (MC/DC) geeignet für f r DO-178B Zertifizierungen (Level A, B, C) Luft- und Raumfahrt im Einsatz fürf TÜV-Zertifizierungen v Testwell CTC++ Test-Coverage-Analyser für C/C++ HTML, XML oder Textausgaben: - zeigt ungetesteten Code (farblich hervorgehoben) - zeigt wie oft jede Codestelle durchlaufen/getestet worden ist - verschiedene Code-Coverage Coverage-Reports Summary-Levels für f r Dateien, Funktionen und die gesamte Applikation Detaillierte Ausgaben: Execution-Profile Profile-Listing der angestrebte Prozentsatz für f r die Testabdeckung kann voreingestellt werden 7

8 v Testwell CTC++ Test-Coverage-Analyser für C/C++ CTC++ ist das ideale Werkzeug zur Messung der Testcoverage in embedded Systems : - äußerst geringer Instrumentation-Overhead - arbeitet selbst mit kleinsten Targets - arbeitet mit allen Cross-Compilern Compilern - analysiert die Test Coverage in grundsätzlich allen Targets - das Host-Target Target-Add-on zur Messung der Testabdeckung in embedded Systemen - das Host-Target Target-Add-on wird im Quellcode geliefert und kann schnell und problemlos an neue Targets angepaßt t werden CMT++ / CMTJava Code Complexity Measures Tools 8

9 Testwell CMT++ Complexity Measures Tool for C/C++ Warum Softwarekomplexitätsmessungen? tsmessungen? - die Softwarekomplexität t (Code Complexity) korreliert mit der Fehlerrate und der "Robustheit" einer Anwendung - unnötig komplexer Code ist oft Ursache schlechter Softwarequalität t und fehlerhafter Programme - komplexer Code ist schwierig zu testen -> > die Anwendung hat mehr Bugs - komplexer Code ist schwierig zu warten - unnötig komplexer Code ist oft Ursache schlechter Softwarequalität t und fehlerhafter Programme - der Einsatz der Komplexitätsmesstools tsmesstools CMT++ bzw. CMTJava hilft Ihnen Kosten einzusparen. Testwell CMT++ Complexity Measures Tool for C/C++ 9

10 Testwell CMT++ Complexity Measures Tool for C/C++ CMT++ und CMTJava zeigen die folgenden Softwaremetriken an (traditionelle Metriken): Zeilenmetriken (Lines-of of-code Metriken) Halstead-Metriken McCabe Cyclomatic Number Maintainability Index (Wartungsindex) Testwell CMT++ Complexity Measures Tool for C/C++ Zeilenmetriken/Lines-of of-code (LOC) Metriken LOCbl Anzahl leerer Programmzeilen LOCcom Anzahl der Programmzeilen mit Kommentaren LOCphy Gesamtanzahl der Zeilen (number of physical lines) LOCpro Anzahl der Zeilen mit Programmcode 10

11 Testwell CMT++ Complexity Measures Tool for C/C++ akzeptable Werte: zwischen 4 und 40 Programmzeilen / Funktion zwischen 4 und 400 Programmzeilen / Datei Kommentare: 30 bis 75 % Testwell CMT++ Complexity Measures Tool for C/C++ McCabe Cyclomatic Number v(g) die Cyclomatic Number v(g) beschreibt die Komplexität t des Steuerflusses einer Anwendung für r Programm mit einem einzigen sequentiellem Statement ist v(g) = 1 v(g) ist ein wichtiger Wert für f r die Testplanung -> > mindestens so viele Testfälle wie v(g) angibt v(g) einer Funktion sollte < 15 sein 11

12 Testwell CMT++ Complexity Measures Tool for C/C++ Halstead-Metriken B Geschätzte Fehleranzahl (estimated number of errors) D Schwierigkeitsgrad, Fehlerträchtigkeit (difficulty level, error proneness) E Implementierungsaufwand (effort to implement) L Programmniveau, Abstraktionsniveau des Programms (program level) el) N Programmlänge N1 Gesamtanzahl der Operatoren N2 Gesamtanzahl der Operanden n Vokabulargröß öße e (unterschiedliche Operatoren + unterschiedliche Operanden) n1 Anzahl unterschiedlicher Operatoren n2 Anzahl unterschiedlicher Operanden T Implementierungszeit / Zeit um einen Programmteil zu verstehen V Programmvolumen bzw. Informationsgehalt des Programms bzw. eines Algorithmus Testwell CMT++ Complexity Measures Tool for C/C++ Halstead-Metriken eingeführt 1977 (Maurice Halstead) Basis aller Berechnungen sind Anzahl der verschiedenen Operatoren (n1) Anzahl der verschiedenen Operanden (n2) Gesamtanzahl der Operatoren (N1) Gesamtanzahl der Operanden (N2) 12

13 Testwell CMT++ Complexity Measures Tool for C/C++ Halstead -Metriken Programmlänge N = N1 + N2 Gesamtanzahl aller Operatoren und Operanden Vokabulargröß öße e n = n1 + n2 Anzahl der verschiedene Operatoren und Operanden Volumen V = N * log2(n) Produkt aus Programmlänge und Zweierlogarithmus der Vokabulargröß öße -> > Informationsgehalt der Software Testwell CMT++ Complexity Measures Tool for C/C++ Halstead -Metriken Schwierigkeitsgrad D = ( n1 / 2 ) * ( N2 / n2 ) Difficulty Level, Fehlerneigung Programmniveau (Program Level) L = 1 / D Kehrwert des Schwierigkeitsgrades niedriger Wert weist auf Fehleranfälligkeit lligkeit hin Implementieraufwand (Effort to implement) E = V * D Volumen * Schwierigkeitsgrad 13

14 Testwell CMT++ Complexity Measures Tool for C/C++ Halstead -Metriken Implementierzeit T = E / 18 Difficulty Level, Fehlerneigung Anzahl der ausgelieferten Bugs (2/3) E B = Testwell CMT++ Complexity Measures Tool for C/C++ Maintainability Index MIwoc Wartbarkeitsindex ohne Kommentare MIcw Kommentaranteil des Wartbarkeitsindexes MI = MIwoc + MIcw Miwoc = 171 5,2 * ln(avev) 0,23 * aveg 16,2 * ln(aveloc) Micw = 50 * sin(sqrt(2,4 * percm) 14

15 Testwell CMT++ Complexity Measures Tool for C/C++ Vollversionen zur Evaluation: -> > Evaluationen Testwell CMT++ Complexity Measures Tool for C/C++ bzw. HTML- Output 15

16 Coverity Prevent (Statische Codeanalyse) Coverity Mission Coverity finds critical defects and security vulnerabilities in your source code 16

17 Coverity Prevent: Statische Code Analyse Design Code Integrate QA Release Static Analysis Software Development Process VORTEILE deckt Probleme früh im Entwicklungsprozess auf Bugs Security Vulnerabilities keine Testfälle erforderlich Zeigt die betroffenen Codezeilen an systematisches Vorgehen Probleme herkömmlicher statischer Analysetools Design Code Integration QA Release Statische Analyse Software Development Process IN PRACTICE (before Coverity) Warnings False Positives High Cost Of Ownership Hard to integrate Significant configuration & tuning Nonscalable Limited extensibility Poor Results Partial code path coverage Rife with False Positives Warnings, not bugs Shallow Analysis 17

18 Coverity Prevent versteht Ihren Code Analysetiefe 100% Abdeckung aller Pfade Interprozedurale Analyse Analysequalität <20% False-Positive-Rate für Großprojekte geeignet für Projekte mit mehreren Millionen Codezeilen Coverity Prevent statische Quellcodeanalyse: C/C++, Java weltweit fortschrittlichste statische Analysetechnik Aufdecken kritischer Softwaredefekte und Sicherheitlücken cken für r Projekete von bis zig-millionen LOC garantierte Prüfung aller Softwarepfade schnelle Beseitigung von Bugs mit Defektmanager False Positive Rate < 20% eigene Codingrules und Anpassungen mit Coverity Extend 18

19 Coverity Prevent deckt kritische Probleme auf Resource Problems Bounds Errors - Memory leak Out of bounds array - Resource Leak - File pointer leak - System resource leak - Use of freed resource - Double free (memory, file pointers, system resources) - Use after free (memory, file pointers, system resources) access Buffer underflow Stack smashing - Stack overflow - Stack buffer overrun - Stack string overrun Bad negative integer cast Incorrect allocation size Non-null terminated strings Pointer Errors Use of uninitialized data - Uninitialized memory - Uninitialized variable Mismatched allocation operators Dereferencing invalid pointers - Null pointer dereference - Wrong address space - Accessing freed pointers Dangling stack references Logic Errors lawed branch logic Use of invalid STL iterators Useless operation Deadcode Uncaught exceptions Inconsistent error handling Coverity Prevent Uncovers Vulnerable Code Insecure Data Integers - Loop bound - Array access - Allocation size Strings - SQL Injection - Format string errors - Cross-site scripting Security logic errors - Time of check, time of use - Insecure file creation - Improper chroot - Improper privilege inheritance Concurrency Double Lock Missing unlock Incorrect lock acquisition Sleeping while locked API Usage Errors Passing large parameters Insecure temp file creation Improper method override Security Warnings Potentially insecure coding practices Vulnerabilities Buffer Overflow 19

20 Coverity Prevent Conformiq Test Generator 20

21 Problem der Softwarequalität Anzahl notwendiger Tests erforderliche Testabdeckung LÜCKE erreichbare Testabdeckung mit herkömmlichen Methoden Systemkomplexität Softwareprojekte werden komplexer um Qualität zu gewährleisten ist eine (exponentiell) wachsende Anzahl von Testfällen notwendig wie können mehr Tests gemacht werden, wenn Sie weniger Zeit und Weniger Ressourcen haben? die Antwort: messbare Testmethoden die mehr Tests mit grösserer Relevanz erlauben = QA Produktivitäts-Revolution SW-Projekte und Qualität Version Feature A.2 - Feature D - Feature E Version 1.2 (a) - Feature A.1 - Feature B.2 - Feature D Version Feature A - Feature B - Feature C - Feature D Version Feature A - Feature B - Feature C Version 1.2 (b) - Feature A.2 - Feature B - Feature D.2 erforderliche Testfälle Test Test Case x1000 erforderliche Testfälle x100 x10 erforderliche Testfälle erforderliche Testfälle x1 21

22 bisheriges Testen mehr Testfälle nur durch zusätzliche Ressourcen manualles Testen und/oder Test- Skripting und Ausführung Skriptausführung manualles Testen und Skriptschreiben ist arbeitsintensiv und anfällig für Fehler Conformiq Test Generator Testmodell manualles Testen und/oder Test- Skripting und Ausführung Skriptausführung Test Coverage automatische: Testgenerierung Testausführung Conformiq Test Generator automatische Testgenerierung und -ausführung : höhere Testüberdeckung und Testqualität reduziert manuelle Fehler befreit die Tester von Routineaufgaben 22

23 Testen mit dem Conformiq Test Generator TM 3. Ausführen des Modells 1.Erstellen des Testmodells 2. Defineren der Parameter 5. Erstellen der Reports 4. Analyse Testergebnisse Anatomie des Testmodells Erstellen des Testmodells als UML-Zustandsdiagramm 2. Modellausführung startet vom ursprünglichem Zustand 3. Transitionen führen von Zustand zu Zustand 4. Transitionen können Aktionen wie z.bsp. Senden einer Nachricht an den Testling sein 5. das Modell kann auf eine Eingabe des Testlings warten 6. das Modell erhält die Nachricht des Testlings 7. Zustände können Unterzustände (Sub-States) und Hierarchien enthalten 8. das Modell kann Wahlpunkte und Schleifen enthalten 9. die Ausführung ended im Endzustand («final state») 23

24 Conformiq Test Generator Test Set-Up Testmodell System Under Test (SUT) TCP/IP System Adapter Testing API Conformiq Test Generator jedes Interface kann als Test- API genutzt werden, z.bsp.: Symbian JPOS HTTP Filesystem COM CORBA SQL... Testmodell Senden und Empfangen von Testdaten Button_Pressed() Function completed() TCP/IP Button_Pressed() beliebiges Protokoll Conformiq Test Generator Function completed() System-Adapter System Under Test 24

25 die Problemlösung: Conformiq Test Generator höherehere Produktivität durch: Zeitersparnis und weniger manueller Aufwand für das Testen höherehere Testqualität durch frühes Aufdecken von Fehlern Nutzung des Testmodells über den gesamten Produktlebenszyklus bessere Testcoverage durch relevante Testkombinationen und automatische Testläufe Einsatzgebiete Funktions-,, System- und Akzeptanztests Regressionstests (automatisches Testen von daily builds ) Integrationstests (Simulation von Teilen des Systems) Protokoll-/Plattformtests (TCP/IP, IPSec, GSM, Symbian) Oberflächentests (JPOS, COM, J2EE, HTTP, SQL, OPC) das Conformiq Test Generator -Testmodell kann über den gesamten Software-Life Life-Cycle genutzt werden integriert in Mercury TestDirector 25

26 bessere Testabdeckung mit Conformiq Test Generator Anzahl notwendiger Tests erforderliche Testabdeckung Conformiq Test Generator reduziert die Lücke durch bessere Testcoverage und bessere Tests erreichte Testüberdeckung mit Conformiq Test Generator herkömmliche Methoden Systemkomplexität Conformiq Qtronic 26

27 Conformiq Qtronic automatische Testgenerierung auf der Basis von Designmodellen arbeitet mit allen Systemen zusammen unterstützt tzt Echtzeit und Nebenläufigkeit (Concurrency) UML-Modell Modell-Import von allen führenden f Tools Analyse und Validierung der Modelle Integration in Testmanagementwerkzeuge Vielen Dank! Ihr Verifysoft-Team 27

28 Vielen Dank! Ihr Verifysoft-Team 28