Software-Engineering 2. Software-Engineering 2. Softwarequalität und Softwaretest. IT works. Klaus Mairon

Transkript

1 Software-Engineering 2 Softwarequalität und Softwaretest IT works. Klaus Mairon

2 Agenda Grundlagen des Softwaretestens Motivation Wichtige Begriffe Psychologie und Prinzipien des Testens Testprozess Testen im Software-Lebenszyklus Allgemeines V-Modell Teststufen Testarten Dynamischer Softwaretest Blackbox-Verfahren Whitebox-Verfahren Klaus Mairon

3 Folgen von Programmierfehlern 1962 führte ein fehlender Bindestrich in einem Fortran-Programm zum Verlust der Venus-Sonde Mariner verpasste die NASA-Sonde Mars Climate Orbiter den Landeanflug auf den Mars, weil die Programmierer das falsche Maßsystem verwendeten Pfund x Sekunde statt Newton x Sekunde. Die NASA verlor dadurch die Sonde. Zum Jahreswechsel 1999 / 2000 kam es in vielen Programmen zum Jahr-2000 Problem. (Jahreszahl zweistellig: 1900 oder 2000 nicht mehr eindeutig) Auch in unserer Software gibt es Fehler: Teamtrack-Meldungen bei der Metris: 3319 im Projekt SKS, 2483 im Projekt MPSS... Klaus Mairon

4 Wozu überhaupt Softwaretests durchführen? Wäre es nicht viel einfacher und billiger, bei der Softwareentwicklung Fehler zu vermeiden? Es gibt doch eine gründliche Analyse- und Designphase im Projekt. Man muss sauber und nach Spezifikation entwickeln, dann macht man kaum Fehler. Und wenn es doch Fehler gibt, findet die der Entwickler doch selber viel schneller. Klaus Mairon

5 Wichtige Begriffe Testen = Der Prozess, bestehend aus allen Aktivitäten des Lebenszyklus, der sich sowohl statisch als auch dynamisch, mit der Planung, Vorbereitung und Bewertung eines Software-Produkts und in Beziehung stehender Arbeitsergebnisse befasst, um sicherzustellen, dass sie die festgelegten Anforderungen erfüllt, zu zeigen, dass sie ihren Zweck erfüllt, um Fehler zu finden. Klaus Mairon

6 Wichtige Begriffe Debuggen oder Testen? Debugging ist konstruktiv Fehlerursache lokalisieren Fehlerursache analysieren Fehlerursache entfernen Funktion im Laufversuch überprüfen Testen ist destruktiv Fehlverhalten provozieren Fehlverhalten reproduzieren Fehler lokalisieren Fehler dokumentieren Testen ist aber konstruktiv für das Management von Produktrisiken! Klaus Mairon

7 Wichtige Begriffe Fehler (engl. Bug) = die Nichterfüllung einer festgelegten Anforderung. Eine Abweichung zwischen dem Istverhalten und dem Sollverhalten laut Spezifikation oder Anforderung. Oberbegriff für: Fehlhandlung, (engl. error, mistake) Fehlerzustand (engl. Fault, bug) Fehlerwirkung (engl. failure) Klaus Mairon

8 Wichtige Begriffe Mangel (engl. defect) = die Nichterfüllung einer festgelegten Anforderung in Bezug auf einen beabsichtigten oder festgelegten Gebrauch. Ein Mangel liegt vor, wenn eine gestellte Anforderung oder berechtigte Erwartung nicht angemessen erfüllt wird. Klaus Mairon

9 Wichtige Begriffe Fehlermaskierung (engl. defect masking) = Ein Umstand bei der ein Fehlerzustand die Aufdeckung eines anderen Fehlzustands verhindert. Ein vorhandener Fehlerzustand wird durch einen oder mehrere andere Fehlerzustände in anderen Teilen des Testobjekts kompensiert, sodass dieser Fehlerzustand keine Fehlerwirkung hervorruft. Klaus Mairon

10 Wichtige Begriffe Softwarequalität = Die Gesamtheit der Merkmale und Merkmalswerte eines Softwareprodukts, die sich auf dessen Eignung beziehen, festgelegte oder vorausgesetzte Erfordernisse zu erfüllen. Merkmale sind: Funktionalität, aber auch Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit (auch Wartbarkeit) Übertragbarkeit (auch Portabilität) Klaus Mairon

11 Psychologie des Testens Menschen machen Fehler, aber sie geben es nur ungern zu. Der Bote schlechter Nachrichten sollte... Entwicklertest? Kontruktives + destruktives Denken ist fast unmöglich. Blindheit gegenüber eigenen Fehlern. Vorteil: keine Einarbeitung Unabhängiges Testteam Schärfere Tests, anderes Hintergrundwissen und Unvoreingenommenheit findet andere Fehler. Beurteilung der Qualität kann zu Vertrauen in die Software führen. Liefert Informationen für Entscheidungen, z.b. die Empfehlung für oder gegen eine Auslieferung der Software. Klaus Mairon

12 Prinzipien des Softwaretestens 1) Testen zeigt die Anwesenheit von Fehlern. 2) Vollständiges Testen ist nicht möglich. 3) Mit dem Testen frühzeitig beginnen. 4) Häufung von Fehlern. 5) Zunehmende Testresistenz. 6) Testen ist abhängig vom Umfeld. 7) Trugschluss: Keine Fehler zu finden bedeutet ein brauchbares System zu haben. Klaus Mairon

13 Fundamentaler Testprozess Beginn Planung und Steuerung Analyse und Design Realisierung & Durchführung Auswertung und Bericht Abschluss Testkonzept, Teststrategie, Testziele, Überwachen der Testergebnisse, Risiken Logische Testfälle, Infrastruktur, Werkzeuge Konkrete Testfälle, Szenarien, Testdaten, Orakel für Sollwerte, Fehlermeldungen und Nachtest Testende, Bericht an Entscheidungsträger Reflektion, Archivieren von Testmitteln und Testumgebung Ende Klaus Mairon

14 Agenda Grundlagen des Softwaretestens Motivation Wichtige Begriffe Psychologie und Prinzipien des Testens Testprozess Testen im Software-Lebenszyklus Allgemeines V-Modell Teststufen Testarten Dynamischer Softwaretest Blackbox-Verfahren Whitebox-Verfahren Klaus Mairon

15 Allgemeines V-Modell Abnahmetest Funktionaler Systementwurf Systemtest Technischer Systementwurf Integrationstest Anforderungsdefinition Komponentenspezifikation Komponententest Implementierung Klaus Mairon

16 Komponententest Schwerpunkt: Funktionaler Test, Robustheit (ungültige Werte), Performanz Vorbedingungen Fertig übersetztes Testobjekt Testbett/Testumgebung (Testtreiber, Stubs,...), Entwicklungswerkzeuge Spezifikation zum Testobjekt Typische Techniken Whitebox (Code-Abdeckung) Blackbox (Äquivalenzklassen, Grenzwertanalyse...) Gefundene Fehler Funktionale Fehler innerhalb der Komponente Laufzeitfehler, (lokale) Performanz-Probleme, Robustheit Nicht gefundene Fehler Schnittstellenprobleme Probleme im Gesamtbild, viele nicht-funktionale Fehler Klaus Mairon

17 Integrationstest Schwerpunkt: Schnittstellen, Funktionalität über mehrere Module Vorbedingungen Erfolgreich integriertes SUT (System Under Test) Testbett/Testumgebung Dokumentation über Zusammenspiel der Komponenten Typische Techniken Whitebox (interne Schnittstellen) Blackbox (z.b. Äquivalenzklassen) Gefundene Fehler Fehler in Schnittstellen, fehlerhafte Interaktionen zwischen Komponenten Nicht gefundene Fehler Probleme außerhalb der betroffenen Komponenten Anforderungen an das Gesamtsystem ggf. nicht erfüllt, Schnittstellen externer Systeme werden oft nicht berücksichtigt Klaus Mairon

18 Systemtest Schwerpunkt: Systemanforderungen, Funktionalität des Gesamtsystems, nicht-funktionale Anforderungen Vorbedingungen Vorangegangene Teststufen erfolgreich abgeschlossen vollständig integriertes System, Dokumentation bezüglich Systemanforderungen Typische Techniken Funktionaler und nicht-funktionaler Test Blackbox-Techniken Gefundene Fehler Funktionale und nicht-funktionale Fehler, konzeptionelle Fehler Probleme des Gesamtsystems Nicht gefundene Fehler Missverständnisse bezüglich der User-Anforderungen, unzureichende oder fehlende Umsetzung impliziter Anforderungen Klaus Mairon

19 Abnahmetest Test unter Beteiligung der Anwender des Systems und auch ggf. anderer Stakeholder Test gegen die expliziten Anforderungen und impliziten Erwartungen des Auftraggebers, die dem allgemeinen Stand der Technik entsprechen Systemtest aus Sicht des Auftraggebers Ziel: Vertrauen in das System, Teilsystem oder z.b. in nicht-funktionale Eigenschaften des Systems gewinnen. Das Finden von Fehlern ist nicht Hauptziel des Abnahmetests. Nicht notwendigerweise die letzte Teststufe: Wenn System Teil eines größeren Gesamtsystems ist, kann ein umfangreicher Systemintegrationstest folgen Auch die Durchführung von Teil-Abnahmetests in niedrigeren Teststufen kann sinnvoll sein Klaus Mairon

20 Teststufen und Testfokus: Idealbild und Realität Idealbild Realität Abnahmetest Systemtest Integrationstest Komponententest Implementierung Interne Funktionalität Sicherheit Externe Funktionalität Robustheit Effizienz Debugging Benutzerakzeptanz Klaus Mairon

21 Testarten Definition: Eine Testart ist eine Gruppe von Testaktivitäten, die gemeinsam ausgeführt und verwaltet werden, mit dem Ziel der Überprüfung einer Komponente und eines Systems auf einige zusammenhängende Qualitätsmerkmale. Eine Testart kann sich auf bestimmte Testziele beziehen, wie z.b. Zuverlässigkeitstest, Regressionstest, Benutzbarkeitstest Die Testart kann sich auch auf eine oder mehrere Teststufen beziehen. Die vier Testarten (Synonym: Testtypen) Funktionaler Software-Test (z.b. Selbstbehaltberechnung bei einer Versicherung) Nicht-funktionaler Software-Test (z.b. Lasttest) Struktureller Software-Test (z.b. Zweigüberdeckung) Änderungsbezogener Software-Test (z.b. Regressionstest) Klaus Mairon

22 Empfehlungen Teststufen müssen je nach Projekt oder Systemarchitektur unterschiedlich gebildet, miteinander kombiniert oder neu organisiert werden. Testaktivitäten sollten nicht am Ende sondern parallel zum Software-Entwicklungsprozess durchgeführt werden. Testentwurf (Analyse & Design) für eine Teststufe sollte bereits während der korrespondierenden Entwicklungsstufe beginnen. Tipp Tester sollten frühzeitig an Reviews von Entwicklungsdokumenten beteiligt werden, sobald Entwürfe vorhanden sind. Entwickler sollten bei Reviews von Testfällen beteiligt sein, um Hinweise für weitere Tests geben zu können. Klaus Mairon

23 Zusammenfassung Tests müssen destruktiv sein und systematisch durchgeführt werden, um wirksam und effizient zu sein Frühes Testen senkt Kosten Tests können helfen, die Qualität von Software zu beurteilen sowie Vertrauen in eine Software zu gewinnen Design for Testability : Berücksichtigung der Testbarkeit bei Design & Architektur der Anwendung Testen ist eine zentrale, wiederkehrende Aktivität über die gesamte Projektdauer Tests werden nach dem allgemeinen V-Modell auf 4 Teststufen durchgeführt, die sich auf spezifische Testziele/Testthemen konzentrieren. Teststufen sind dabei korrespondierenden Entwicklungsstufen zugeordnet Klaus Mairon

24 Agenda Grundlagen des Softwaretestens Motivation Wichtige Begriffe Psychologie und Prinzipien des Testens Testprozess Testen im Software-Lebenszyklus Allgemeines V-Modell Teststufen Testarten Dynamischer Softwaretest Blackbox-Verfahren Whitebox-Verfahren Klaus Mairon

25 Statischer Test vs. Dynamischer Test Statischer Test = Test ohne Ausführung Die Ergebnisse des Softwareentwicklungsprozesses werden ge review ed (Quellcode, Konzepte, Spezifikationen,...) statisch analysiert (Quellcode, ausführbare Modelle,...) Einhaltung von Programmierrichtlinien und Standards Kontrollflussanalyse (z.b. Aufrufhierarchie, toter Code) Datenflussanalyse (z.b. Referenzierung uninitialisierter Variablen) Komplexitätsanalyse (z.b. Zyklomatische Komplexität nach McCabe) Finden von Fehlerzuständen (Innerer Fehler, z.b. Radmutter sitzt locker) Grundidee: Prävention, d.h. Fehler so früh wie möglich finden, bevor es im weiteren Entwicklungsverlauf zu aufwändigen Nach- und Verbesserungen kommt! Klaus Mairon

26 Statischer Test vs. Dynamischer Test Dynamischer Test = Test mit Ausführung Die Ergebnisse des Softwareentwicklungsprozesses werden ausgeführt und ihre Funktionalitäten gegen ihre Spezifikationen geprüft. Finden von Fehlerwirkungen (Äußerer Fehler, z.b. Rad geht ab) Ziel: Nachweis der Erfüllung der festgelegten Anforderungen und Aufdeckung von eventuellen Abweichungen und Fehlerwirkungen. Systematische Erstellung von Testfällen durch: Blackbox-Verfahren Whitebox-Verfahren Klaus Mairon

27 Statischer Test vs. Dynamischer Test Statischer Test Dynamischer Test Dokumente und Code Keine Ausführung Syntax, Semantik, Logik Sollte vor dem dynamischen Test durchgeführt werden Nur Code Ausführung nötig Struktur, Funktion Benötigt ausführbaren Code Prüfung von Aspekten, die nur zur Laufzeit prüfbar sind (z.b. Performanz) Klaus Mairon

28 Blackbox-Verfahren Was sind Blackbox-Tests? Auf Anforderungen basierende Tests. Vollständiger Test prüft alle Kombinationen von gültigen und ungültigen Eingabewerten. Benötigte Dokumente: Anforderungsspezifikation, Benutzerdokumentation, Schnittstellenbeschreibung. Point of Control (PoC) und Point of Observation (PoO) sind außerhalb des Testobjekts. Klaus Mairon

29 Blackbox-Verfahren oder spezifikationsorientierte Verfahren Äquivalenzklassenbildung Grenzwertanalyse Entscheidungstabelle Zustandsbasierter Test Anwendungsfallbasierter Test (Use-Case) Weitere Verfahren... (Syntaxtest, Zufallstest, Smoke-Test...) Klaus Mairon

30 Äquivalenzklassenbildung Mit der Äquivalenzklassenmethode erfolgt die strukturierte Herleitung von Testfällen. Die Äquivalenzklassenbildung kann in allen Teststufen angewandt werden. Sie kann als Verfahren eingesetzt werden, um hohe Überdeckungsgrade im Bezug auf Eingabe- oder Ausgabewerte zu erreichen. Ziel ist es, eine hohe Fehlerentdeckungsrate mit einer möglichst geringen Anzahl von benötigten Testfällen zu erreichen. Eine Äquivalenzklasse entspricht einer bestimmten Wirkung. (-> logischer Testfall). Klaus Mairon

31 Äquivalenzklassenbildung Schritte zur Äquivalenzklassenbildung Basisklassen ermitteln, für Eingabe und Ausgabe Klassen verfeinern Repräsentanten auswählen Beispiel: Numerische Darstellung eines Monats (Wertebereich) Äquivalenzklassen Eingabe Gültig Ungültig Monat >= 1 und <1 oder <= 12 >12 Testeingabedaten G U U U (G = Gültig, U = Ungültig) Klaus Mairon

32 Grenzwertanalyse Ergänzt die Äquivalenzklassenbildung Baut auf der Tatsache auf, dass Fehler oft an den Grenzen von Wertebereichen auftreten (ug= untere Grenze, og = obere Grenze) Testet, zusätzlich zu den normalen Werten, auch Werte auf oder nahe den Grenzen von Äquivalenzklassen. Beachtet implizit gültige und ungültige Werte. Unterstützt bei der Findung von Werten für konkrete Testfälle. Kann auf allen Teststufen angewandt werden. Klaus Mairon

33 Grenzwertanalyse Die Grenzwerte zweier benachbarter sortierter Bereiche sind: Der größte Wert des unteren Bereichs. Der kleinste Wert des oberen Bereichs. Als Testeingabedaten werden gewählt. Die Grenzwerte einer Äquivalenzklasse Jeweils die 2 benachbarten Werte jedes Grenzwertes, sofern die Werte nicht bereits von anderen Testfällen abgedeckt sind. Grenzwertanalyse ist nur sinnvoll auf sortierten Mengen Klaus Mairon

34 Grenzwertanalyse - Beispiel Numerische Darstellung eines Monats (Wertebereich) Äquivalenzklassen Eingabe Ungültig1 Gültig Ungültig2 Monat <1 >= 1 und <= 12 >12 Grenzwerte <ug-1><ug><ug+1> <og-1><og><og+1> -I I---I---I---I I----I----I I- Min Max Grenzwert-Testeingabedaten U1 U1 G G U2 U2 Min, Min+1-1, 0 1, 2 11, 12 13, 14 Max-1, Max Klaus Mairon

35 Entscheidungstabellentest Entscheidungstabellen können zur Erfassung komplexer von einem System umzusetzenden Regeln verwendet werden. (DIN-Norm 66241) Entscheidungstabellen eignen sich zur Spezifikation von komplexen logischen Regeln. Eine vollständige Abdeckung von Bedingungen wird erreicht. Entscheidungstabellen sind geeignet, um Testfälle zu entwerfen. Üblicherweise mindestens 1 Testfall pro Spalte bzw. Bedingungskombination. Klaus Mairon

36 Entscheidungstabellentest Die vier Quadranten einer Entscheidungstabelle Bedingungen Mögliche Zustände von Objekten Bedingungen Regeln (J/N) Regeln Kombinationen von Bedingungswerten. Aktionen Aktionsanzeiger (x) Aktionen Aktivitäten, die abhängig von den Regeln auszuführen sind. Aktionszeiger Belegung der Bedingungen mit Aktionen. Klaus Mairon

37 Entscheidungstabellentest - Beispiel Beispiel Krankenbesuch Besuchsmöglichkeiten Bedingungen Regeln R 1 R 2 R 3 R 4 R 5 R 6 R 7 R 8 B 1 Ansteckende Krankheiten (J/N) B 2 Besuch innerhalb Besuchszeit (J/N) J J J J J N J N N J N J N N N N B 3 Patient hat Fieber (J/N) J N J N J N J N Aktionen Aktionszeiger Z 1 Z 2 Z 3 Z 4 Z 5 Z 6 Z 7 Z 8 A 1 Besuch max. 30 Minuten X X A 2 Besuch ablehnen X X X X A 3 Besuch nur mit Schwester X X A 4 Normalbesuch X Zu Beginn: 8 Testfälle, B n 2 n Klaus Mairon

38 Entscheidungstabellentest - Beispiel Beispiel Krankenbesuch Besuchsmöglichkeiten Bedingungen Regeln R 1 R 5 R 6 R 7 R 8 B 1 Ansteckende Krankheiten (J/N) J N N N N B 2 Besuch innerhalb Besuchszeit (J/N) -- J J N N B 3 Patient hat Fieber (J/N) -- J N J N Aktionen Aktionszeiger Z 1 Z 5 Z 6 Z 7 Z 8 A 1 Besuch max. 30 Minuten A 2 Besuch ablehnen X X X A 3 Besuch nur mit Schwester X X A 4 Normalbesuch X Nach Konsolidierung: 5 Testfälle Klaus Mairon

39 Blackbox-Verfahren Wann wendet man Blackbox-Verfahren an? Blackbox-Testverfahren Im ganzen Lebenszyklus, aber verstärkt in späten Phasen, d.h. im System- und Abnahmetest, wo der Fokus auf Spezifikationen und Anforderungen liegt. Klaus Mairon

40 Grenzen der Blackbox-Verfahren Testfälle basieren auf Spezifikationen (Verifikation) Spezifikationsfehler werden durch Testen nicht gefunden (aber evtl. bei der Testfallerstellung) Blackbox-Testfälle können keine zusätzlichen Funktionalitäten testen, die in der Spezifikation nicht beschrieben sind. Wechselwirkungen zwischen Eingabe, Ausgabe und dem internen Zustand des Testobjekts werden nur implizit bedacht. Tipp Die Kenntnis der Programmstrukturen sowie die Verfügbarkeit geeigneter Testschnittstellen kann helfen, solche Wechselwirkungen und Abhängigkeiten besser zu erfassen und dadurch intensiver prüfen zu können. Klaus Mairon

41 Blackbox-Verfahren: Zusammenfassung Blackbox-Verfahren definieren Testfälle, insbesondere für funktionale Tests. Testfälle und Testdaten werden aus der (nicht-) funktionalen Spezifikation abgeleitet, ohne die (Programm-) Struktur auszuwerten. Da nachgewiesen werden muss, dass die Software korrekt funktioniert, müssen Blackbox-Tests immer durchgeführt werden. Blackbox-Verfahren können auf allen Teststufen eingesetzt werden, vorzugsweise auf den höheren Teststufen (Systemtest, Abnahmetest) Spezifikationsfehler werden nicht gefunden, aber eventuell bei der Testfallerstellung Benutzersicht (-> Entwicklersicht ) Klaus Mairon

42 Whitebox-Verfahren Was sind Whitebox-Tests? Strukturelle oder Design-orientierte Tests Nutzen der Kenntnis der Programmstruktur: Programm = white box Nutzen des Kontrollflussgraphen Entwicklersicht Welcher bzw. wie viel Code einer Software-Komponente wurde bereits getestet? Ein kompletter Test besteht aus allen möglichen Pfaden durch das Programm (100% Pfadüberdeckung) Aufgabe des Testers besteht nun darin, Testfälle zu ermitteln, welche die angestrebte Überdeckung erreichen Benötigte Dokumente: Quellcode, Designdokumentation Point of Control (PoC) und Point of Observation (PoO) sind innerhalb des Testobjekts. Klaus Mairon

43 Whitebox-Verfahren Whitebox-Verfahren auf verschiedenen Teststufen Komponententest: Die Struktur ist die des Codes selbst, also Anweisungen, Entscheidungen oder Zweige. Integrationstest: Die Struktur kann z.b. ein Aufruf-Baum sein (ein Diagramm, das zeigt, welche Module ein anderes Modul aufrufen), dokumentiert in der Designspezifikation Systemtest: Die Struktur kann z.b. die Menüstruktur sein, Geschäftsprozesse oder die Struktur einer Website, dokumentiert in der Anforderungspezifikation Klaus Mairon

44 Whitebox-Verfahren Abdeckungsmaße: Anweisungsüberdeckung Zweigüberdeckung (Entscheidungsüberdeckung) Bedingungsüberdeckung Einfache Bedingungsüberdeckung Mehrfachbedingungsüberdeckung Pfadüberdeckung Weitere Whitebox-Verfahren Das Konzept der Überdeckungsgrade kann auch auf andere Teststufen übertragen werden (z.b. Integrationstest), wobei der durch eine Testsuite ausgeführte prozentuale Anteil einer Einheit jeweils entsprechend bezeichnet wird: Komponenten-Überdeckung Klassen-Überdeckung... Klaus Mairon

45 Whitebox-Verfahren: Anweisungsüberdeckung Anweisungsüberdeckung (C 0 ) Ziel: Alle Anweisungen im Testobjekt werden mindestens einmal ausgeführt. Vorteil: Einfach zu messendes Kriterium Nachteile: Leere Zweige müssen nicht betreten werden Kontrollfluss wird nicht berücksichtigt Abhängigkeiten zwischen Daten werden nicht berücksichtigt Fazit: Zu schwaches Kriterium! Klaus Mairon

46 Whitebox-Verfahren: Zweigüberdeckung Zweigüberdeckung (C 1 ) Alle Zweige in der Komponente werden mindestens einmal ausgeführt, d.h. alle Entscheidungen müssen mindestens einmal mit Wahr und einmal mit Falsch ausgewertet werden. Ist die Messung des prozentualen Ausgangs eines Entscheidungsausgangs (z.b. wahr und falsch bei einer if-anweisung), welche durch die Testfälle ausgeführt wurden. Um eine hohe Zweigüberdeckung zu erreichen, leitet man Testfälle so ab, dass bestimmte Zweige (Entscheidungsausgang) durchlaufen werden. Klaus Mairon

47 Whitebox-Verfahren: Zweigüberdeckung Zweigüberdeckung (C 1 ) Der Zweigüberdeckungstest ist eine Form des kontrollflussbasierten Tests, da er einen speziellen Kontrollfluss durch die Entscheidungspunkte erzeugt. Die Zweigüberdeckung wird oft auch als Entscheidungsüberdeckung bezeichnet. Vorteil: Einfach zu messendes Kriterium Nachteile: Schleifen müssen nur einmal durchlaufen werden Komplexe Bedingungen werden nicht berücksichtigt Subsumiert Anweisungsüberdeckung: 100% C1 = 100% C0 Fazit: Minimales Kriterium! Klaus Mairon

48 Whitebox-Verfahren: Beispiel für C 0 und C 1 Beispiel: Berechnung der Schaltjahre (Anzahl der Schaltjahre) Klaus Mairon

49 Whitebox-Verfahren: Einfache Bedingungsüberdeckung Einfache Bedingungsüberdeckung (C 2 ) Alle atomaren (Teil-)Bedingungen müssen jeweils mindestens einmal true und einmal false sein. Beispiel: if ( kundennr 5000 prodnr 1000 ) -> 2 Testfälle reichen aus: 1) kundennr = 5000, prodnr = ) kundennr = 4999, prodnr = 1001 Nachteil: Kombinationen von Wahrheitswerten atomarer Teilbedingungen werden nicht berücksichtigt -> schwaches Kriterium! Fazit: C2 ist nicht unbedingt ein umfassenderes Kriterium als C1 Klaus Mairon

50 Whitebox-Verfahren: Mehrfachbedingungsüberdeckung Mehrfachbedingungsüberdeckung (C 3 ) Alle Kombinationen von Wahrheitswerten atomarer (Teil-)Bedingungen müssen berücksichtigt werden. Alle möglichen Kombinationen müssen durchlaufen werden. Beispiel: if ( kundennr 5000 prodnr 1000 ) -> 2 x 2 Testfälle sind notwendig: 1) kundennr = 5000, prodnr = ) kundennr = 4999, prodnr = ) kundennr = 5000, prodnr = ) kundennr = 4999, prodnr = 1000 Klaus Mairon

51 Whitebox-Verfahren: Mehrfachbedingungsüberdeckung Mehrfachbedingungsüberdeckung (C 3 ) Nachteile: Anzahl der möglichen Kombinationen steigt exponentiell mit der Anzahl der atomaren Bedingungen -> sehr aufwendig Oft können nicht alle möglichen Kombinationen mit Testdaten erreicht werden. Subsumiert die vorherigen Überdeckungen: 100% C3 = 100% C2 = 100% C1 = 100% C0 Fazit: C3 ist ein umfassenderes Kriterium als C2 Klaus Mairon

52 Whitebox-Verfahren: Pfadüberdeckung Pfadüberdeckung (C 4 ) Alle möglichen disjunkten Pfade durch ein Programm müssen mindestens einmal durchlaufen werden. Vorteil: Abhängigkeiten zwischen Zweigen und Schleifen werden berücksichtigt Nachteile: Für nichttriviale Programme ist es unmöglich, 100% Pfadüberdeckung zu erreichen! Bei Code mit Schleifen ist die Pfadlänge generell nicht beschränkt! In objektorientierten Sprachen gibt es eine theoretisch unendlich große Zahl von Subtypen durch Vererbung. Subsumiert Anweisungs- und Zweigüberdeckung: 100% C4 = 100% C1 = 100% C0 Fazit: Unpraktikabel wegen potentiell unendlich langen Pfaden Klaus Mairon

53 Instrumentierung und Werkzeugunterstützung Whitebox-Tests erfordern eine Auswertung: Welche Teile des Programms wurden ausgeführt? Welche wurden (noch) nicht ausgeführt? Instrumentieren: Der Quellcode wird um Zähler erweitert, die mit 0 initialisiert und dann beim Durchlauf an den entsprechenden Stellen inkrementiert werden. Die manuelle Instrumentierung und manuelle Berechnung der Abdeckung sind zeitaufwändig und fehleranfällig Klaus Mairon

54 Instrumentierung und Werkzeugunterstützung Somit ist eine Werkzeugunterstützung obligatorisch: Werkzeuge sparen langfristig Geld, steigern die Effizienz und Produktivität und damit auch indirekt die Qualität des Testobjekts. Bekannte Open-Source Werkzeuge im Java-Umfeld: EMMA Cobertura Klaus Mairon

55 Wann wendet man Whitebox-Verfahren an? Hauptsächlich in Entwicklungsphasen, in denen das Hauptaugenmerk auf der internen Struktur eines Programms bzw. einer Komponente liegt. Hauptsächlich beim Komponenten-/Modultest Integrationstest Hier betrachtet man im Allgemeinen die Abdeckung des Aufrufgraphen statt der Abdeckung bzgl. einer der oben aufgeführten Abdeckungskriterien Tipp Prinzipiell für alle Teststufen möglich (Definition eines geeigneten Abdeckungskriteriums entscheidend) Klaus Mairon

56 Wie wendet man Whitebox-Verfahren an? Durchführung des Whitebox-Tests Instrumentiere zu untersuchenden Code Führe die ermittelten (funktionalen) Blackbox-Testfälle aus Ermittle die erreichte Überdeckung Ggf. neue Testfälle entwerfen, wenn erwartete Abdeckung nicht erreicht wird Tipp Prinzipiell ist es auch möglich, für den Whitebox- Test rein strukturelle Testfälle zu erzeugen (d.h. ohne Berücksichtigung der Funktionalität, von Anwendungsfällen, etc.) Dies wird jedoch in der Fachwelt als weniger wirkungsvoll angesehen Es ist sinnvoller, erst bei der Ergänzung der bereits existierenden Blackbox-Testfälle strukturelle Aspekte zu berücksichtigen Klaus Mairon

57 Grenzen der Whitebox-Verfahren Anforderungen, die übersehen und damit nicht implementiert wurden, können mit Whitebox-Tests nicht gefunden werden (ggf. indirekt ). Falsche und fehlende Anforderungen können mit Whitebox-Tests nicht gefunden werden. Whitebox-Tests decken nur implementierte Anforderungen ab! Tipp Klaus Mairon

58 Zusammenfassung Whitebox-Verfahren überprüfen die Programmstruktur. Basierend auf Quellcode. Nicht realisierte Anforderungen können nicht aufgedeckt werden. Eine Werkzeugunterstützung ist obligatorisch. Whitebox-Verfahren werden hauptsächlich auf den niedrigeren Teststufen (Komponententest, Integrationstest) angewendet. Entwicklersicht (vs. Benutzersicht ) Klaus Mairon

59 Vielen Dank für Ihre Aufmerksamkeit. Haben Sie noch Fragen? Kontakt Klaus Mairon Executive IT-Consultant Claims Management Metris GmbH Tel Industriestraße 5 Fax St. Georgen Deutschland IT works. Klaus Mairon