Qualität, Fehler un Testvorgehen

Transkript

1 , Fehler un Pieter van den Hombergh Fontys Hogeschool voor Techniek en Logistiek Software Engineering 20. Februar 2013 HOM/FHTeL, Fehler un 20. Februar /23

2 , Fehler un Pieter van den Hombergh Fontys Hogeschool voor Techniek en Logistiek Software Engineering 20. Februar 2013 HOM/FHTeL, Fehler un 20. Februar /23

3 1 Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit 2 Error Fault Failure 3 Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität 4 HOM/FHTeL, Fehler un 20. Februar /23

4 Aspekte der Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit ist die Gesamtheit von Merkmalen einer Einheit bezüglich ihrer Eignung, festgelegte und vorausgesetzte Erfordernisse zu erfüllen. Software- ist die Gesamtheit der Merkmale und Merkmalswerte eines Software-Produkts, die sich auf dessen Eignung beziehen, festgelegte oder vorausgesetzte Erfordernisse zu erfüllen. ist Leistung im Verhältnis zur Erwartung.sdefinition Oder: = Leistung Erwartung HOM/FHTeL, Fehler un 20. Februar /23

5 Funktionalität Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit Alle Charakteristiken, welche die geforderten Fähigkeiten eines Systems beschreiben. Dabei wird die Funktionalität weiter unterteilt in die Merkmale: Angemessenheit: geeignete Realisierung der Anforderungen. Richtigkeit: korrekte Realisierung gemäß der Spezifikation. Interoperabilität: Zusammenspiel des Testsystems mit anderen, vorgegebenen Systemen. Ordnungsmäßigkeit: Erfüllung anwendungsspezifischer Normen, gesetzlicher Bestimmungen oder sonstiger Vereinbarungen. Sicherheit: Zugriffs- und Datensicherheit gegenüber versehentlichem oder vorsätzlichem, unberechtigtem Zugriff. HOM/FHTeL, Fehler un 20. Februar /23

6 Zuverlässigkeit Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit Bewahrung eines spezifizierten Leistungsniveaus unter festgelegten Bedingungen über einen definierten Zeitraum hinweg. Auch dieses Merkmal wird weiter unterteilt: Reife: Wie häufig erfolgt ein Versagen der Software durch Fehlerzustände? Fehlertoleranz: Wie verhält sich das System, nachdem ein Problem zu einer Fehlerwirkung geführt hat? Wiederherstellbarkeit: Wie einfach und schnell kann das geforderte Leistungsniveau nach einem Versagen oder Ausfall wiederhergestellt werden? HOM/FHTeL, Fehler un 20. Februar /23

7 Benutzbarkeit Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit Die Aufwände für die Benutzung der Software durch die einzelnen Benutzergruppen mit ihren Teilaspekten berücksichtigen: Verständlichkeit Erlernbarkeit und Bedienbarkeit. HOM/FHTeL, Fehler un 20. Februar /23

8 Effizienz Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit Test messbarer Ergebnisse zur Erfüllung der Aufgabe. Häufig werden diese Eigenschaften auch als Leistung bzw. Performance bezeichnet. Beispiele für Messgrößen sind: Zeitverhalten oder Ressourcenverbrauch. HOM/FHTeL, Fehler un 20. Februar /23

9 Änderbarkeit Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit Effizienter Einsatz über einen langen Zeitraum hinweg setzt die änderbarkeit voraus. Sie besteht aus den Aspekten Analysierbarkeit Modifizierbarkeit Stabilität und Prüfbarkeit. HOM/FHTeL, Fehler un 20. Februar /23

10 Übertragbarkeit Funktionalität Zuverlässigkeit Benutzbarkeit Effizienz Änderbarkeit Betrieb unter verschiedenen Betriebssystemen oder auf unterschiedlichen Hardware-Plattformen. Dabei spielen die folgenden Faktoren eine Rolle: Anpassbarkeit Installierbarkeit Konformität Austauschbarkeit HOM/FHTeL, Fehler un 20. Februar /23

11 Fehlerdefinitionen Error Fault Failure Nicht alles, was machbar ist, ist auch gefordert und nicht jeder Fehler ist ein K.O.-Kriterium. John Robbins fasst dies sehr treffend in dem Satz zusammen: Der Kunde kauft keine Algorithmen, sondern hochqualitative Produkte Wir verstehen unter Fehler zwei Dinge: 1 Oberbegriff für Fehlhandlung, Fehlerzustand und Fehlerwirkung. 2 Nichterfüllung einer festgelegten Anforderung. HOM/FHTeL, Fehler un 20. Februar /23

12 Fehlhandlung Error Fault Failure (engl.: error) 1 Die menschliche Handlung des Entwicklers, die zu einem Fehlerzustand in der Software führt. 2 Die menschliche Handlung eines Anwenders, die ein unerwünschtes Ergebnis im Sinne einer Fehlwirkung zur Folge hat. Wir bezeichnen dies als Fehlbedienung. 3 Unwissentlich, versehentlich oder absichtlich ausgeführte Handlung oder Unterlassung, die unter gegebenen Umständen dazu führt, dass eine geforderte Funktion beeinträchtigt ist. HOM/FHTeL, Fehler un 20. Februar /23

13 Fehlerzustand Error Fault Failure (engl.: fault) 1 Inkorrektes Teilprogramm, inkorrekte Anweisung oder Datendefinition, die Ursache für eine Fehlerwirkung ist. 2 Zustand eines Softwareprodukts oder einer seiner Komponenten, der unter spezifischen Bedingungen, zb unter hoher Belastung, eine geforderte Funktion des Produkts beeinträchtigen kann bzw. zu einer Fehlerwirkung führt. HOM/FHTeL, Fehler un 20. Februar /23

14 Fehlerwirkung Error Fault Failure (engl.: failure) 1 Wirkung eines Fehlerzustands, die bei der Ausführung des Testobjekts nach außen in Erscheinung tritt. 2 Abweichung zwischen spezifiziertem Sollwert und beobachtetem Istwert bzw. Abweichung zwischen Soll- und Istverhalten. HOM/FHTeL, Fehler un 20. Februar /23

15 Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität Hängt von dem ab, was man zeigen möchte Demonstratives Testen: Die systematische Ausführung eines Systems oder Programms unter sorgfältig kontrollierten Umständen zur Erhöhung der (Edward Miller, 1978) Destruktives Testen: Der Prozess, ein System oder Programm mit der Absicht auszuführen, Fehler zu finden (Glenford J. Myers, 1979) HOM/FHTeL, Fehler un 20. Februar /23

16 Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität White-Box-, Grey-Box- und Black-Box-Test. Abbildung: Prinzipien von White-Box-, Grey-Box- und Black-Box-Test. HOM/FHTeL, Fehler un 20. Februar /23

17 White-Box-Test Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität Die Herleitung und Auswahl der Tests erfolgen auf Grundlage der Implementierung, also der inneren Struktur des Testobjekts. White-Box-Tests sind strukturelle Tests und werden von einigen Autoren auch als Glas-Box-Test bezeichnet. HOM/FHTeL, Fehler un 20. Februar /23

18 Struktureller Test Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität Tests, die unter Berücksichtigung der Struktur des Testobjekts hergeleitet werden. Die Vollständigkeit und damit die der Prüfung wird als Überdeckungsgrad 1 bezeichnet und anhand von Strukturelementen wie Zweige, Pfade oder Daten bewertet. 1 Englisch: coverage HOM/FHTeL, Fehler un 20. Februar /23

19 Black and grey Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität Black-Box-Test: Wir entwerfen die Tests auf Grundlage der Spezifikation bzw. Anforderungen ohne Kenntnis der inneren Strukturen der Software. Grey-Box-Test: Kombination aus Black-Box- und White-Box-Tests, zb ein schnittstellenbasierter Integrationstest von Komponenten, der sowohl prinzipielle Realisierungstechniken als auch Teilabläufe aus der Spezifikation zur Grundlage hat. HOM/FHTeL, Fehler un 20. Februar /23

20 Niveaus von Tests Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität Unit-Tests erfolgen auf drei Ebenen, als isolierter Klassentest, Kettentest entlang von Assoziationen und als Modultest. Abbildung: Unit-Tests: Klassen-, Ketten- und Modultest HOM/FHTeL, Fehler un 20. Februar /23

21 Steigende Komplexität Nice and friendly or aggressive Black, grey or white Testebenen Steigende Komplexität Abbildung: Zusammenhang zwischen Komplexität und Anzahl der Teile. Je mehr einzelne Teile zusammenspielen, desto komplexer wird unser System. HOM/FHTeL, Fehler un 20. Februar /23

22 All is well? Abbildung: Welche Aussagekraft hat eine Bildschirmanzeige wie die des grünen (hier: dunklen) Balkens im CppUnit-TestRunner? Ist wirklich alles in Ordnung oder sind nur unsere Tests zu schwach, um die Fehler zu finden? HOM/FHTeL, Fehler un 20. Februar /23

23 Besprochene Themen Technische Probleme Fehleranfälligkeit der Programmiersprachen Beschränkungen der Tools Analytische Probleme Testbereich: Was will ich wann testen? Wie sind die Abläufe, und welche Ausnahmen können vorkommen? Methodische Probleme Was ist konkret vom Entwickler zu testen? Wie soll ich testen? Organisatorische Probleme Sinnvolle Tests Effiziente Tests Verwaltung der Testfälle, Testdaten und der Testprotokolle Schätzungen der Testaufwände HOM/FHTeL, Fehler un 20. Februar /23