Funktionales Testen. Software-Praktikum Andreas Zeller Universität des Saarlandes

Transkript

1 Funktionales Testen Software-Praktikum Andreas Zeller Universität des Saarlandes

2 Test-Taktiken Funktional black box Strukturell white box Tests basieren auf Test deckt soviel spezifiziertes Verhalten wie möglich ab Tests basieren auf Code Test deckt soviel implementiertes Verhalten wie möglich ab Warum Funktional? Funktional black box Strukturell white box Programm-Code wird nicht benötigt Frühes funktionales Testen hat Vorteile zeigt Probleme mit auf prüft Testbarkeit reichert mit weiteren Details an kann sogar als dienen

3 Warum Funktional? Funktional black box Strukturell white box Am besten für Probleme fehlender Logik Häufiges Problem: Details wurden einfach nicht implementiert Strukturelles Testen erkennt fehlenden Code Anwendbar auf allen Testebenen Unit-Tests Integrationstests Systemtests Regressionstests Zufallstesten Wähle mögliche Eingaben gleichmäßig aus Vermeidet Voreingenommenheit des Testers Ein echtes Problem: Der Tester kann die gleichen logischen Fehler und falsche Annahmen machen wie der Programmierer (besonders, wenn es sich um dieselbe Person handelt) Alle Eingaben sind gleichermaßen wertvoll

4 Winkel Kraft Infinite Monkey Theorem

5 Youtube Winkel 2 32 = verschiedene Kraft 2 32 = verschiedene 2 32 = verschiedene 2 32 = = verschiedene 2 64 = verschiedene Läufe

6 Minuten gadgets-club.com Minuten Minuten

7 Minute

8 Systematisches funktionales Testen Funktionale Unabhängig testbare Eigenschaften Repräsentative Modell Testfälle erzeuge Testfall en Testbare Eigenschaften Funktional Unabhängig testbare Eigenschaften identify Teile System in unabhängig testbare Eigenschaften (independently Representative testable features, ITF) auf values derive Model Ein ITF muss keine Unit oder Subsystem derive generate der Software sein Test case Test case specifications Beim Systemtesten sind ITFs durch Benutzeroberflächen oder APIs gegeben

9 Testbare Eigenschaften class Roots { // Löse ax 2 + bx + c = 0 public roots(double a, double b, double c) { } // Ergebnis: für x double root_one, root_two; } Was sind die unabhängig testbaren Eigenschaften? Testbare Eigenschaften Beispiel: Multifunktionaler Taschenrechner Was sind die unabhängig testbaren Eigenschaften? Testbare Eigenschaften Funktionale Unabhängig testbare Eigenschaften Repräsentative Modell Testfälle erzeuge Testfall en

10 Repräsentative identify Functional Suche Eingaben, specification die besonders wertvoll sind Typischer- Repräsentative weise durch Wahl von Repräsentanten von Unabhängig testbare Eigenschaften derive Model derive Äquivalenzklassen, generate die womöglich oft oder Test gar case nicht fehlschlagen Test case specifications Nadeln im Heuhaufen Um Nadeln zu finden, müssen wir systematisch suchen Wir müssen herausfinden, was Nadeln besonders macht Systematisches Partitionstesten Fehlschlagen (wertvollertestfall) Erfolg Fehlschläge sind selten im Raum der möglichen Eingaben aber dicht in einigen Teilen des Raums Der Raum der möglichen Eingaben (der Heuhaufen) Wenn wir systematisch jeden Teil des Raumes testen, testen wir auch die dichten Teile Funktionales Testen zieht Linien um Regionen mit möglichen Fehlschlägen (= Äquivalenzklassen)

11 Äquivalenzklassen bilden Eingabebedingung Bereich gegebener Wert Element einer Menge Boolean Äquivalenzklassen eine gültig, zwei ungültig (größer und kleiner) eine gültig, zwei ungültig (größer und kleiner) eine gültig, eine ungültig eine gültig, eine ungültig Möglicher Testfall Grenzanalyse Test am unteren Ende(1x gültig, 1x ungültig), am oberen Ende(1x gültig, 1x ungültig), und in der Mitte Beispiel: Postleitzahl Eingabe: 5-stellige Postleitzahl Ausgabe: Liste der Städte Welche repräsentativen nutzen wir zum Testen?

12 Gültige Postleitzahlen 1. Mit 0 Städten als Ausgabe (0 ist Grenzwert) 2. Mit 1 Stadt als Ausgabe 3. Mit 2 Städten als Ausgabe Ungültige Postleitzahlen 4. Leere Eingabe Zeichen (4 ist Grenzwert) 6. 6 Zeichen (6 ist Grenzwert) 7. sehr lange Eingabe 8. keine Ziffern 9. ungültige Zeichen Besondere Postleitzahlen Wie wäre es mit einer Postleitzahl, die da lautet 12345'; DROP TABLE orders; SELECT * FROM zipcodes WHERE 'zip' = ' Oder eine Postleitzahl aus Zeichen Dies ist Sicherheitstesten!

13 Gutjahrs Hypothese Partitionstesten ist effektiver als Zufallstesten. Repräsentative Funktionale Unabhängig testbare Eigenschaften Repräsentative Modell Testfälle erzeuge Testfall en Modellbasiertes Testen Funktional Ein formales Modell spezifiziert Software-Verhalten Repräsentative Typische Arten von Modellen: Endliche Automaten und erzeuge Entscheidungs-Strukturen Testfälle Unabhängig testbare Eigenschaften Testfall en Modell

14 Endlicher Automat Abdeckungskriterien Pfad-Abdeckung: Tests decken jeden Pfad ab In der Praxis nicht möglich, da unendlich viele Pfade Zustands-Abdeckung: Jeder Knoten wird erreicht Mindest-Kriterium zum Testen Übergangs-Abdeckung: Jede Kante wird erreicht Sinnvolles und gewöhnlich erfüllbares Abdeckungs-Kriterium

15 Übergangs- Abdeckung Zustandsbasiertes Testen Protokolle (z.b. Netzwerke) GUIs (Folgen von Benutzeraktionen) Objekte (Methoden und Zustände) open empty acct setup Accnt set up acct Account-Zustände balance credit accntinfo working acct deposit (initial) deposit withdraw withdrawal (final) dead acct close nonworking acct

16 Entscheidungstabelle Studenten Andere Kunden Studentenkonto T T F F F F F F grenze 1 F F T T grenze 2 F F T T < ierter P F T F T < Stufe 1 F T < Stufe 2 F T Ergebnis Edu Kein Sonder P Stufe 1 Stufe 2 Bedingungsabdeckung Grundkriterium: Jede Spalte testen Don t care -Einträge ( ) können beliebige annehmen Kombinationskriterium: Jede Kombination testen Benötigt 2 n Tests bei n Bedingungen und ist unrealistisch Abgeschwächtes Kombinationskriterium (MCDC): Wie Grundkriterium, aber jeder T/F-Wert muss mindestens einmal geändert werden, so dass sich das Ergebnis ändert Gutes und erreichbares Abdeckungs-Kriterium MCDC Kriterium Studenten Andere Kunden Studentenkonto TF T F F F F F F grenze 1 F F T T grenze 2 F F T T < ierter P F T F T < Stufe 1 F T < Stufe 2 F T Ergebnis Edu Kein Sonder P Stufe 1 Stufe 2

17 MCDC Kriterium Studenten Andere Kunden Studentenkonto T T F F F F F F grenze 1 F F T T grenze 2 F F T T < ierter P TF T F T < Stufe 1 F T < Stufe 2 F T Ergebnis Edu Kein Sonder P Stufe 1 Stufe 2 MCDC Kriterium Studenten Andere Kunden Studentenkonto T TF F F F F F F grenze 1 F F T T grenze 2 F F T T < ierter P F T F T < Stufe 1 F T < Stufe 2 F T Ergebnis Edu Kein Sonder P Stufe 1 Stufe 2 MCDC Kriterium Studenten Andere Kunden Studentenkonto T T F F F F F F grenze 1 F F T T grenze 2 F F T T < ierter P F TF F T < Stufe 1 F T < Stufe 2 F T Ergebnis Edu Kein Sonder P Stufe 1 Stufe 2

18 Weyukers Hypothese Die Angemessenheit eines Abdeckungs-Kriteriums kann nur intuitiv definiert werden. Aus der Geschichte lernen Paretos Gesetz Etwa 80% der Fehler stecken in 20% der Module

19 Modellbasiertes Testen Funktional Unabhängig testbare Eigenschaften Repräsentative Modell erzeuge Testfall en Testfälle Testfall-en ableiten in vorangegangenen Schritten Eingabewerte Unabhängig Funktional aufgezählt testbare Jetzt müssen wir uns um Kombinationen kümmern Nutze Modelle Repräsentative und repräsentative, um Testfälle erzeuge abzuleiten Testfälle Modell Testfall en Kombinatorisches Testen IIS Server Apache MySQL Windows Betriebssystem Linux Oracle Datenbank

20 Kombinationstesten Ungültige Kombinationen ausschließen Alle Paare aus Kombinationen abdecken Kombinationen gewöhnlich automatisch generiert IIS etwa läuft nur auf Windows wie etwa MySQL auf Windows und Linux und hoffentlich auch automatisch getestet Paarweises Testen IIS Windows Apache Linux MySQL Oracle IIS Windows Apache Linux MySQL Oracle IIS Windows Apache Linux MySQL Oracle IIS Windows Apache Linux MySQL Oracle Testumgebung Millionen von Konfigurationen Getestet auf Dutzenden verschiedener Maschinen Alles, um Fehler zu finden und zu reproduzieren

21 Testfall-en ableiten Funktional Unabhängig testbare Eigenschaften Repräsentative Modell Testfälle erzeuge Testfall en Testfälle ableiten Funktional Testfälle in Code umsetzen Benötigt Testgerüste d.h. Testtreiber und Teststümpfe Repräsentative Unabhängig testbare Modell Testfälle erzeuge Testfall en JUnit

22 Testfälle ableiten Funktional Unabhängig testbare Eigenschaften Repräsentative Modell Testfälle erzeuge Testfall en Systematisches funktionales Testen Funktional Unabhängig testbare Repräsentative Modell Testfälle erzeuge Testfälle en Systematisches funktionales Testen Systematisches Partitionstesten Fehlschläge sind selten Fehlschlagen (wertvollertestfall) aber dicht in einigen im Raum der möglichen Erfolg Teilen des Raums Eingaben Funktional Unabhängig testbare Eigenschaften Repräsentative Modell erzeuge Testfall Testfälle en Test-Taktiken Der Raum der möglichen Eingaben (der Heuhaufen) Wenn wir systematisch jeden Teil Funktionales Testen zieht Linien des Raumes testen, testen wir auch um Regionen mit möglichen die dichten Teile Fehlschlägen Funktional black box Strukturell white box 1 2 Übergangs- Abdeckung Tests basieren auf Test deckt soviel 3 spezifiziertes Verhalten wie möglich ab Tests basieren auf Code Test deckt soviel implementiertes Verhalten wie möglich ab MCDC Kriterium Studenten Andere Kunden Studentenkonto TF T F F F F F F grenze 1 F F T T grenze 2 F F T T ierter P < F T F T Stufe 1 < F T Stufe 2 < F T Ergebnis Edu Kein Sonder P Stufe 1 Stufe 2