Testen - Konzepte und Techniken

Transkript

1 Testen - Konzepte und Techniken Magdalena Luniak Magdalena Luniak () Testen - Konzepte und Techniken / 42

2 Übersicht 1 Motivation 2 Grundbegrie 3 Testen im Softwareentwicklungsprozess 4 Testarten 5 Testverfahren 6 Dynamisches Testen 7 Testentwurfsverfahren Blackbox Whitebox 8 Weitergehende Fragen Magdalena Luniak () Testen - Konzepte und Techniken / 42

4 Motivation Warum sollte man testen? Softwarefehler verursachen hohe Kosten. Es soll sichergestellt werden, dass ein Softwareteil mit einer bestimmten Qualität an die nachfolgenden Phasen der Softwareentwicklung weitergegeben wird. Warum sollte man wissen, wie man testen soll? Man kann unendlich viel testen! Wissen über das Testen hilft es möglichst ezient zu gestallten. Magdalena Luniak () Testen - Konzepte und Techniken / 42

6 Testen Testen ist ein Prozess, der sich sowohl statisch als auch dynamisch mit der Qualität eines Programmes befasst. Ziele des Testens: Qualität bestimmem Programmfehler nachweisen Magdalena Luniak () Testen - Konzepte und Techniken / 42

7 Fehler Ein Fehler ist die Nichterfüllung einer festgelegten Anforderung. (Spillner 2005: 240) Es gibt drei Fehlerkategorien: Fehlerwirkung Fehlerzustand Fehlerhandlung Vorsicht: Fehlermaskierung (GTB 2007) Magdalena Luniak () Testen - Konzepte und Techniken / 42

8 Testfall Zu einem Testfall gehören: Vorbedingungen Eingabewerte Randbedingungen Sollwerte Nachbedingungen Spezikation der Testfälle: 1 Logischer Testfall: {, age > 7 m N,, price = 10, } 2 Konkreter Testfall: {, 11,, 10, } Magdalena Luniak () Testen - Konzepte und Techniken / 42

9 Wie ist ein guter Testfall? mächtig valide nicht redundant umsetzbar relevant... (Kaner 2003) Magdalena Luniak () Testen - Konzepte und Techniken / 42

10 Testbasis und Testorakel Die Testbasis besteht aus der gesamten Dokumentation, die zur Auswahl und Herleitung der Testfälle dient. Das Testorakel dient zur Ermittlung der Sollergebnisse. Magdalena Luniak () Testen - Konzepte und Techniken / 42

12 Testen im Softwareentwicklungsprozess (GTB 2007) Magdalena Luniak () Testen - Konzepte und Techniken / 42

13 Testen im Softwareentwicklungsprozess (GTB 2007) Auf jeder Stufe: Validierung - wird die richtige Software entwickelt? Verikation - wird die Software bezüglich der Spezikation korrekt umgesetzt? Magdalena Luniak () Testen - Konzepte und Techniken / 42

14 Testen im Softwareentwicklungsprozess Die Teststufen unterscheiden sich bezüglich: Testobjekt Testbasis Testziele Testwerkzeuge (GTB 2007) Magdalena Luniak () Testen - Konzepte und Techniken / 42

16 Testarten Der funktionale Test Der nicht-funktionale Test Der strukturbezogene Test Der änderungsbezogene Test Verschiedene Testarten können auf verschiedenen Teststufen zum Einsatz kommen. Die Testarten sind nicht disjunkt. Magdalena Luniak () Testen - Konzepte und Techniken / 42

17 Testarten: der funktionale Test Prüft, OB das Testobjekt das Gewünschte leistet. Das Ein-/Ausgabeverhalten ist relevant. Testbasis: Anforderungsspezikation, Anwendungsfälle Magdalena Luniak () Testen - Konzepte und Techniken / 42

18 Testarten: der nicht-funktionale Test Prüft, WIE das Testobjekt das gewünschte leistet. Testbasis: Qualitätsmodell, nicht-funktionale Anforderungen nicht-funktionale Tests: Lasttest Stresstest Performanztest Sicherheitstest Wartbarkeitstest Benutzbarkeitstest Prüfung der Dokumentation... Magdalena Luniak () Testen - Konzepte und Techniken / 42

19 Testarten: der strukturbezogene Test Ziel ist die Überdeckung möglichst vieler Elemente der Struktur des Testobjekts. Testbasis: die interne Struktur der Software Magdalena Luniak () Testen - Konzepte und Techniken / 42

20 Testarten: der änderungsbezogene Test Fehlernachtest Wurde der Fehler beseitigt? Regressionstest Bleibt nach der Änderung die alte Funktionalität erhalten? Magdalena Luniak () Testen - Konzepte und Techniken / 42

22 Testverfahren Im Softwareentwicklungsprozess entstehen verschiedene Artefakte: Modelle, Texte, Programme... Es verden verschiedene Testverfahren benötigt: Statischer Test Das Testobjekt wird einer Analyse unterzogen ohne dabei ausgeführt zu werden. Dynamischer Test Das Testobjekt wird mit Testdaten ausgeführt. Magdalena Luniak () Testen - Konzepte und Techniken / 42

24 Dynamisches Testen Schritte: 1 Ermittlung der Testkriterien 2 Spezikation der Testfälle unter Verwendung der Testentwurfsverfahren 3 Spezikation der Testszenarien 4 Planung der Testausführung Magdalena Luniak () Testen - Konzepte und Techniken / 42

26 Testentwurfsverfahren Blackbox Testentwurfsverfahren Grundlage ist die Analyse der Spezikation. Die interne Struktur des Testobjektes wird nicht berücksichtigt. Whitebox Testentwurfsverfahren Alle Testverfahren, die zur Herleitung oder Auswahl der Testfälle Informationen über die innere Struktur des Testobjekts benötigen. (Spillner 2005: 259) (GTB 2007) Magdalena Luniak () Testen - Konzepte und Techniken / 42

27 Testentwurfsverfahren Blackbox Äquivalenzklassen Grenzwertanalyse Zustandsbezogener Test Anwendungsbezogener Test Whitebox Kontrollussbasierte Tests Test der Bedingungen Magdalena Luniak () Testen - Konzepte und Techniken / 42

28 Äquivalenzklassenbildung Annahmen: Die Denitionsbereiche der Testobjektsparameter sind in Äquivalenzklassen zerlegbar. Erwartung: gleiches Systemverhalten für alle Repräsentanten der selben Äquivalenzklasse Beispiel: Anforderungen 1 Ein Student muss sich für mindestens eine Veranstaltung anmelden. Jeder Student kann maximal an fünf Veranstaltungen teilnehmen. 2 Jeder Student enthält eine eindeutige Immatrikulationsnummer, die mit einem Buchstaben beginnt. Magdalena Luniak () Testen - Konzepte und Techniken / 42

29 Äquivalenzklassenbildung Schritte: 1 Denitionsbereich für jeden Parameter ermitteln: gültige ÄK1: 1 <= anzahl_veranstaltung <= 5 ungültige ÄK1: anzahl_veranstaltung <= 0 ungültige ÄK2: anzahl_veranstaltung >= 6 gültige ÄK1: das erste Zeichen der Immatrikulationsnummer ist ein Buchstabe ungültige ÄK1: das erste Zeichen der Immatrikulationsnummer ist kein Buchstabe 2 Äquivalenzklassen verfeinern bis alle unterschiedlichen Anforderungen mit verschiedenen Äquivalenzklassen bedeckt werden. Magdalena Luniak () Testen - Konzepte und Techniken / 42

30 Äquivalenzklassenbildung Schritte: 3 Repräsentanten der Äquivalenzklassen auswählen: gültige ÄK1: anzahl_veranstaltung = 4 ungültige ÄK1: anzahl_veranstaltung = 1 ungültige ÄK2: anzahl_veranstaltung = 100 gültige ÄK1: a123 ungültige ÄK1: %567 4 Repräsentanten der Äquivalenzklassen zu Testfällen miteinander kombinieren: 1 4 und a und a und "%567" und a123 Unzugelassener Testfall: -1 und "%567" Repräsentanten ungültiger ÄK sollten nur mit Repräsentanten gültiger ÄK zu einem Testfall kombiniert werden. Magdalena Luniak () Testen - Konzepte und Techniken / 42

31 Anwendungsbezogener Test Prüft Nutzer-System Interaktionen Grundlage: Anwendungsfälle Magdalena Luniak () Testen - Konzepte und Techniken / 42

32 Anwendungsbezogener Test Magdalena Luniak () Testen - Konzepte und Techniken / 42

33 Blackbox Testentwurfsverfahren Zusammenfassung: Grundlage sind Anforderungen an das System und die Spezikation. Fehlerhafte Anforderungen sowie nicht geforderte Funktionalitäten werden nicht erkannt. Magdalena Luniak () Testen - Konzepte und Techniken / 42

34 Testentwurfsverfahren Blackbox Äquivalenzklassen Grenzwertanalyse Zustandsbezogener Test Anwendungsbezogener Test Whitebox Kontrollussbasierte Tests Test der Bedingungen Magdalena Luniak () Testen - Konzepte und Techniken / 42

35 Kontrollussbasierte Tests Der Kontrolluss ist eine abstrakte Repräsentation von allen möglichen Reihenfolgen von Ereignissen (Pfaden) während der Ausführung einer Komponente oder eines Systems. Kontrolluss als Graph dargestellt: Knoten - Anweisungen Kanten - mögliche Ausführungsreihenfolgen (Spillner 2005: 244) (Spillner 2005: 145) Magdalena Luniak () Testen - Konzepte und Techniken / 42

36 Kontrollussbasierte Tests Testfälle kann man anhand der Pfade im Kontrollussgraphen bestimmen. Überdeckungskriterien: Anweisungsüberdeckung 100%: <a,b,f,g,h,d,e> Entscheidungsüberdeckung 100%: <a,b,f,g,h,d,e>, <a,k,e>, <a,b,c,d,e>, <a,b,f,g,i,g,h,d,e> Pfadüberdeckung 100%: sehr oft nicht erreichbar Grenze-Inneres-Überdeckung 100%: <a,b,f,g,h,d,e>, <a,b,f,g,i,g,h,d,e>. Magdalena Luniak () Testen - Konzepte und Techniken / 42

37 Test der Bedingungen Kontrollussbasierte Tests berücksichtigen nicht die strukturelle Komplexität der Bedingungen. Ein Test der Bedingungen verlangt eine bestimmte Belegung der atomaren Ausdrücke in den zusammengesetzten Bedingungen: Einfache Bedingungsüberdeckung Mehrfachbedingungsüberdeckung Minimale Mehrfachbedingungsüberdeckung Magdalena Luniak () Testen - Konzepte und Techniken / 42

38 Whitebox Testentwurfsverfahren Zusammenfassung: Grundlage ist die innere Struktur des Testobjektes. Nichtrealisierte Teile des Systems verbleiben unaufgedeckt, da nur der vorhandene Code berücksichtigt wird. Sollwerte sind nicht immer einfach zu ermitteln. Magdalena Luniak () Testen - Konzepte und Techniken / 42

39 Zusammenfassung Testen ist ein wichtiges Element im Softwareentwicklungsprozess. Ezientes Testen verlangt entsprechendes Wissen über: Testfälle Testarten Testentwurfsverfahren... Grundsatz Ein Programmtest ist sehr nützlich, um die ANWESENHEIT von Fehlern zu zeigen, nie aber die ABWESENHEIT. (E. W. Dijkstra) Magdalena Luniak () Testen - Konzepte und Techniken / 42

41 Psychologie des Testens Ist Testen konstruktiv oder destruktiv? Sollten Entwickler ihre eigenen Programme testen? Wie sollte man die entdeckten Fehlerwirkungen und -zustände vermitteln? Magdalena Luniak () Testen - Konzepte und Techniken / 42

42 Literatur 1 German Testing Board, Basiswissen Softwaretest - Certied Tester, Lehrmaterialien Andreas Spillner und Tilo Linz, Basiswissen Softwaretest, dpunkt.verlag, Heidelberg, Kaner Cem, What Is a Good Test Case?, Florida Institute of Technology, 2003 Magdalena Luniak () Testen - Konzepte und Techniken / 42