Systemen - Grundlagen

Transkript

1 P r a k t I s c h e Testen von Software-Systemen Systemen - Grundlagen 2007 Dr. Klaudia Dussa-Zieger Testen von Software-Systemen SS 2007 (1)

2 Grundlagen - Inhalt Motivation Was ist Testen? Psychologie des Testens Oder warum ist Testen manchmal schwierig Testen von Software-Systemen SS 2007 (2)

3 Grundlagen Motivation Einerseits Komplexität von Software nimmt zu Software gewinnt im täglichen Leben stetig an Bedeutung Software lebt länger als Hardware (Übertragbarkeit) Andererseits Typische Qualitätsprobleme Software erfüllt die Anforderungen nicht Software ist fehlerhaft Wartung und Pflege der Software ist teuer Testen von Software-Systemen SS 2007 (3)

4 Grundlagen Motivation Was passieren kann, wenn man es nicht tut Ariane 5 (1996): Jungfernflug der neuen europäischen Trägerrakete (Gewicht: 740 t, Nutzlast 7-18 t) mit 4 Cluster-Satelliten Entwicklungskosten in 10 Jahren: DM Millionen Die Umwandlung einer internen Einheit (Horizontal- Geschwindigkeit) in eine ganze Zahl führt zu einem Überlauf, der nicht abgefangen wird. Über mehrere Stufen führt diese SW-Fehler dazu, dass sich die Rakete nach 39 Sekunden selbst sprengt. Schaden: DM 250 Millionen Startkosten DM 850 Millionen Cluster-Satelliten DM 600 Millionen für nachfolgende Verbesserungen Verdienstausfall für 2 bis 3 Jahre Testen von Software-Systemen SS 2007 (4)

5 Grundlagen Motivation Was passieren kann, wenn man es nicht tut Therac-25: Linearbeschleuniger zur Tumorbehandlung (10 Geräte seit 1983 in USA und Kanada im Einsatz); Software errechnet und steuert Bestrahlungs-Stärke entweder als Elektronenstrahlung oder als Röntgenstrahlung. Juni 1985, Georgia/USA Elektronenstrahl brannte Loch durch Schulter März 1986, Texas/USA Patient erhielt zweimal Überdosis, Tod September 1986 Hersteller untersuchte das Problem, fand aber nichts April 1986, Texas/USA Fehler in derselben Klinik, Patient starb im Mai 1986 Zufällig gefundene Ursache: Operator gab den Strahltyp falsch ein ("X-Ray") Maschine schaltete um auf 100-fache Energie Operator korrigierte Fehler in weniger als 8 Sekunden Maschine nahm nur Wolfram-Scheibe aus dem Strahl heraus Testen von Software-Systemen SS 2007 (5)

6 Grundlagen Motivation Was passieren kann, wenn man es nicht tut Telefonnetz von AT&T (1990): 70 Millionen von 138 Millionen Ferngesprächen innerhalb USA konnten 9 Stunden lang nicht vermittelt werden Eine Schaltzentrale in New York setzte sich nach einer Fehlfunktion in den RESET-Modus. Im Schneeball-Effekt wurden alle Zentralen lahmgelegt. Eigentlicher Fehler wurde eine Woche später gefunden: Der break-befehl von C wurde falsch eingesetzt. Existierte seit Programm- Optimierung 4 Wochen vorher Schaden: $ 75 Millionen bei AT&T (ohnefolgeschäden) Mehrere $ 100 Millionen bei den Kunden (Versandhandel, Transportunternehmen, Reisebüros usw.) Testen von Software-Systemen SS 2007 (6)

7 Grundlagen Motivation Was passieren kann wenn man es nicht tut Mariner 1 Venus Sonde (1962): Wegen eines fehlenden Bindestrichs im Code des Steuerprogramms wich die Rakete vom Kurs ab und musste gesprengt werden $ 1 Million Schaden Mars Orbiter (1999): Da vergessen wurde, britische Maße (Pfund, Tonne) für die Schubkraft der Rakete in amerikanische Maße (Newton) umzurechnen, stürzte der Orbiter auf den Mars, anstatt ihn in einer sicheren Höhe zu umkreisen $125 Million Schaden BMW 745 (Juli 2003): Ein Softwarefehler konnte während der Fahrt den Motor abwürgen und somit schwere Unfälle verursachen. Rückruf von 3470 Fahrzeugen Testen von Software-Systemen SS 2007 (7)

8 Grundlagen Motivation Vernachlässigen der Qualitätssicherung durch Testen und Prüfen Hohe Kosten für den Kunden (Einnahmeverluste) Hohe Kosten für Sie selbst (Einnahmeverluste, Schadensersatz, ) Imageverlust Risiko von ggfs. hohen Fehlerkosten! Testen von Software-Systemen SS 2007 (8)

9 Grundlagen Motivation Auswirkungen von Softwarefehlern können vernachlässigbar sein (z.b. im Layout von Berichten), Ihren Ruf schädigen, Sie Millionen von Euro kosten oder sogar Menschenleben gefährden. Testen von Software-Systemen SS 2007 (9)

10 Grundlagen Motivation Qualität bekommt man nicht geschenkt! Qualitätskosten (QK): Testen kostet Geld (Testkosten TK): Inspektionen, Audits, Reviews, Tests, Werkzeuge, Hardware/Software Fehlervermeidung kostet Geld (Qualitätssicherungskosten QSK): Qualitätsmanagement, Prozessaudits und -reviews, Testplanung, Werkzeuge, Lieferantenbeurteilung Fehler kosten Geld (Fehlerkosten FK) QK = TK + QSK + FK Testen von Software-Systemen SS 2007 (10)

11 Grundlagen Motivation Fehlerkosten wachsen exponentiell; das heißt, eine Fehlerbehebung ist um so teurer, je später der Fehler gefunden wird in jedem Entwicklungsprojekt sollte das Testen daher so früh wie möglich beginnen Testen von Software-Systemen SS 2007 (11)

12 Grundlagen Motivation Flow of Errors Testen von Software-Systemen SS 2007 (12)

13 Grundlagen Motivation Fehlerkorrekturkosten bei einem schweren Fehler (Quelle: ein deutscher Automobilzulieferer) $ $ $ $ $ $ $ $ $ $ $8.400 $5.000 $180 $300 $480 $960 $2.460 $0 SW Requirements Spec Review SW Design Review Code Review Debugging (Emulator) Test (Target HW) Acceptance Test (Customer) Series Zeitpunkt der Entdeckung des Fehlers Testen von Software-Systemen SS 2007 (13)

14 Grundlagen Motivation Wie viel sollte getestet werden? Je höher das Risiko ist, das durch den Einsatz eines fehlerhaften Softwaresystems entsteht, desto mehr Aufwand wird man für den Test einplanen. Beispielsweise wird man den Testaufwand für sicherheitsrelevante Software sehr hoch ansetzen. Andererseits sollte der Testaufwand im wirtschaftlichen Rahmen bleiben. I.a. sollten die Testkosten natürlich niedriger sein als die potentiellen Fehlerkosten, wenn nicht getestet wird (TK < FK). Testen von Software-Systemen SS 2007 (14)

15 Grundlagen Motivation Dilemma: Hohe Qualität kostet Zeit und Geld. Kosten Qualität Zeit Testen von Software-Systemen SS 2007 (15)

16 Grundlagen Motivation Zuverlässige Software mit weniger Fehlern Testen von Software-Systemen SS 2007 (16)

17 Grundlagen Motivation Zusammenfassung Softwarekomplexität nimmt ständig zu Qualität ist wichtig Konstruktive Qualitätssicherungsmaßnahmen versuchen Fehler zu vermeiden Analytische Qualitätssicherungsmaßnahmen versuchen Fehler zu finden Fehler kosten Geld Testen von Software-Systemen SS 2007 (17)

19 Grundlagen Was ist Testen? Fehler Fehlhandlung Fehlerzustand Fehlerwirkung Mangel Was ist der Unterschied? Testen von Software-Systemen SS 2007 (19)

20 Grundlagen Was ist Testen? Fehler Ein Fehler ist Die Nichterfüllung einer festgelegten Anforderung, eine Abweichung zwischen dem Istverhalten und dem Sollverhalten (laut Spezifikation oder Anforderung). Testen von Software-Systemen SS 2007 (20)

21 Grundlagen Was ist Testen? Fehlhandlung Eine Fehlhandlung ist ein Irrtum eines Menschen, eine menschliche Handlung, die ein falsches Resultat ergibt (oder ergeben kann). Testen von Software-Systemen SS 2007 (21)

22 Grundlagen Was ist Testen? Fehlerzustand Ein Fehlerzustand (auch Defekt oder innerer Fehler) tritt als Folge einer Fehlhandlung eines Designers, Entwicklers, etc. auf und ist die Ursache für das Auftreten einer Fehlerwirkung. Er ist das Festschreiben (Manifestation) eines Fehlers in einem Stück Code (oder einem Dokument). Testen von Software-Systemen SS 2007 (22)

23 Grundlagen Was ist Testen? Fehlerwirkung Eine Fehlerwirkung (äußerer Fehler) ist das Ergebnis eines Fehlerzustands zur Laufzeit eine Abweichung des Verhaltens der Software von ihrem erwarteten Verhalten (oder dem erwarteten Dienst). Wirkung eines Fehlerzustands, die bei der Ausführung des Testobjekts nach»außen«in Erscheinung tritt. Testen von Software-Systemen SS 2007 (23)

24 Grundlagen Was ist Testen? Mangel Ein Mangel tritt auf wenn eine gestellte Anforderung oder berechtigte Erwartung nicht angemessen erfüllt wird. wenn z.b. die Funktionalität der Software in vollem Umfang gegeben ist, aber andere Aspekte wie Benutzbarkeit oder angemessene Performanz nicht erfüllt werden. Testen von Software-Systemen SS 2007 (24)

25 Grundlagen Was ist Testen? Fehlermaskierung Fehlermaskierung bedeutet, dass sich zwei oder mehr Fehlerzustände scheinbar gegenseitig aufheben, so dass einer der Fehler erst auftritt, wenn der oder die maskierenden Fehler behoben wurden Testen von Software-Systemen SS 2007 (25)

26 Grundlagen Was ist Testen? Realität der Entwickler Hm, mal sehen. Vielleicht sollte ich noch ein wenig testen ich versuch mal x = 1 klappt jetzt x= 0 ach du Schreck, es ist abgestürzt! Testen von Software-Systemen SS 2007 (26)

27 Grundlagen Was ist Testen? Realität der Kunde Endlich die neue Version! Mal sehen, ob sie läuft: installieren starten ein unbekannter Fehler ist aufgetreten. na warte! Keine Ahnung, was ich getan habe es ist einfach abgestürzt! unsystematisch, unvollständig, undokumentiert ineffizient! Testen von Software-Systemen SS 2007 (27)

28 Grundlagen Was ist Testen? Testen Destruktive Aktivität Debuggen Konstruktive Aktivität (Implementierung) Fehlverhalten systematisch aufdecken Fehlverhalten reproduzieren Fehlverhalten und Fehler dokumentieren Fehler lokalisieren Fehler beheben Fehlerkorrektur in der Laufzeitumgebung überprüfen Testen von Software-Systemen SS 2007 (28)

29 Grundlagen Was ist Testen? Der Entwicklertest konstruktiv destruktiv Nicht (oder nur schwer) gleichzeitig möglich! Wenn Entwickler testen sagen, meinen sie eigentlich debuggen! Testen von Software-Systemen SS 2007 (29)

30 Grundlagen Was ist Testen? Warum sollten Entwickler ihren eigenen Code nicht testen? Entwicklerdenke Testerdenke Sie sehen ihre eigenen Fehler nicht Entwicklung und Test sollten Zu unterschiedlichen Zeiten erfolgen Unterschiedlich organisiert sein Von unterschiedlichen Leuten durchgeführt werden Testen von Software-Systemen SS 2007 (30)

31 Grundlagen Was ist Testen? Testen von Software-Systemen SS 2007 (31)

32 Grundlagen Was ist Testen? Definitionen (1) the process of executing a program with the intent to certify its quality. (Mills) the process of executing a program with the intent of finding errors. (Myers) The process of analyzing a software item to detect the difference between existing and required conditions, and to evaluate the features of the software item. (IEEE 829) Software testing consists of the dynamic verification of the behavior of a program on a finite set of test cases, suitably selected from the usually infinite executions domain, against the specified expected behavior. (SWEBOK 1.00) Testen von Software-Systemen SS 2007 (32)

33 Grundlagen Was ist Testen? Definitionen (2) Jede (i. a. stichprobenartige) Ausführung des Prüfgegenstandes unter spezifizierten Bedingungen zum Zwecke des Überprüfens der (beobachteten) Ergebnisse des Prüfgegenstands im Hinblick auf gewisse gewünschte Eigenschaften. (Arbeitskreis TAV der GI) Testen von Software-Systemen SS 2007 (33)

34 Grundlagen Was ist Testen? Neue Fehler finden vs. keine Fehler finden Was ist besser? Testen von Software-Systemen SS 2007 (34)

35 Grundlagen Was ist Testen? Testen soll Informationen liefern, indem es - typischerweise durch Aufzeigen von Fehlerwirkungen (dynamischer Test) - Fehlerzustände aufdeckt Fehler eingrenzt Korrektes Verhalten aufzeigt Wenn es dies nicht tut, oder wenn die Information nicht aufgeschrieben wird, ist es eine Verschwendung von Zeit und Geld! Testen von Software-Systemen SS 2007 (35)

36 Grundlagen Was ist Testen? Mission Impossible? Ist es möglich, ein Stück Software komplett zu testen? Testen von Software-Systemen SS 2007 (36)

37 Grundlagen Was ist Testen? 6 Testlinge (SuT **) 6 Testszenarien pro SuT 6 Testfälle pro Szenario 6 Varianten von Testdaten pro Testfall 6 4 = 1296 unterschiedliche Testfälle* Testfall- Explosion * Ohne Testfallversionen für unterschiedliche Umgebungen (z.b. unterschiedliche Hardware, Betriebssysteme, etc.) ** Software under Test oder System under Test Testen von Software-Systemen SS 2007 (37)

38 Grundlagen Was ist Testen? Mission Impossible! Ein vollständiger Test aller Eigenschaften und Verhaltensweisen eines Softwaresystems kann für nicht-triviale Systeme nicht erreicht werden. Testen von Software-Systemen SS 2007 (38)

39 Grundlagen Was ist Testen? Gesucht: Konstruktive Methoden, die dabei helfen Testfälle systematisch und (in Bezug auf ein bestimmtes Kriterium) komplett zu definieren Redundante Testfälle zu erkennen und zu eliminieren Testen von Software-Systemen SS 2007 (39)

40 Grundlagen Was ist Testen? Was kann das Testen (und was nicht)? Wenn man während des Testens einen Fehler entdeckt, weiß man, dass es in der Software einen Fehlerzustand geben muss. Testen kann also dabei helfen, Fehlerzustände zu finden. Das Entfernen von Fehlerzuständen erhöht die Softwarequalität, indem es die (potentielle) Zuverlässigkeit der Software erhöht. Testen hilft Softwarequalität zu messen! Testen kann jedoch nur das Vorhandensein von Fehlern beweisen, nicht jedoch die Abwesenheit von Fehlern (es könnte noch andere Testfälle geben, die weitere Fehler finden) Testen von Software-Systemen SS 2007 (40)

41 Grundlagen Was ist Testen? Aber was ist Softwarequalität? Qualitätsmerkmale laut ISO 9126: Änderbarkeit Zuverlässigkeit Funktionalität SW-Qualität Effizienz Benutzbarkeit Übertragbarkeit Testen von Software-Systemen SS 2007 (41)

42 Was ist Testen? Definitionen der Qualitätsmerkmale (1) Zuverlässigkeit ist ein Menge von Attributen, die die Fähigkeit der Software beschreiben, ein Leistungsniveau unter festgelegten Bedingungen über einen definierten Zeitraum zu bewahren (ISO 9126). die Wahrscheinlichkeit, dass die Software unter festgelegten Bedingungen über einen definierten Zeitraum fehlerfrei läuft. Testen von Software-Systemen SS 2007 (42)

43 Was ist Testen? Definitionen der Qualitätsmerkmale (2) Effizienz ist eine Menge von Attributen, die das Verhältnis zwischen dem Leistungsniveau der Software und dem Verbrauch an Betriebsmitteln unter festgelegten Bedingungen beschreibt (ISO 9126). die Tatsache, dass die Software nicht verschwenderisch mit Systemressourcen umgeht. Messung der Verarbeitungsgeschwindigkeit bzw. Antwortzeit und des Ressourcenverbrauchs (Speicher u.a.) des Testobjekts für bestimmte Anwendungsfälle, in der Regel in Abhängigkeit steigender Last. (Spillner) Testen von Software-Systemen SS 2007 (43)

44 Was ist Testen? Definitionen der Qualitätsmerkmale (3) Übertragbarkeit ist eine Menge von Attributen, die die Fähigkeit einer Software beschreiben, von einer Umgebung auf eine andere übertragen zu werden (ISO 9126). die Fähigkeit, die Software ohne Probleme von einer Umgebung in eine andere zu übertragen. Testen von Software-Systemen SS 2007 (44)

45 Was ist Testen? Definitionen der Qualitätsmerkmale (4) Benutzbarkeit ist Die Fähigkeit einer Software, unter vorher festgesetzten Bedingungen verstanden, erlernbar, benutzbar und für den Benutzer attraktiv zu sein (ISO ). die Möglichkeit, die Software einfach zu benutzen. Testen von Software-Systemen SS 2007 (45)

46 Was ist Testen? Definitionen der Qualitätsmerkmale (6) Änderbarkeit ist der Aufwand, der zur Durchführung vorgegebener Änderungen notwendig ist. Änderungen können Korrekturen, Verbesserungen oder Anpassungen an Änderungen der Umgebung, der Anforderungen und der funktionalen Spezifikationen einschließen (ISO 9126). Anpassungsfähigkeit einer Software bzgl. sich ändernder Anforderungen entwicklungsseitige Maßnahmen hierzu: klare SW-Architektur, klares SW-Design, geeignete Codierungsrichtlinien, aussagefähige entwicklungsseitige Dokumentation Testen von Software-Systemen SS 2007 (46)

47 Was ist Testen? Definitionen der Qualitätsmerkmale (5) Funktionalität ist eine Menge von Attributen, die die Existenz einer Menge von Funktionen und deren spezifizierte Eigenschaften beschreiben. Diese Funktionen erfüllen definierte oder implizite Bedürfnisse (ISO 9126). die Eigenschaft einer Software, das zu tun was von ihr erwartet wird. Testen von Software-Systemen SS 2007 (47)

48 Priorisierung von Qualitätsmerkmale Nicht alle Qualitätsmerkmale können gleich gut erfüllt werden. Umsetzung von Qualitätsmerkmalen priorisieren. z. B.: Qualitätsmerkmale (ISO 9126) Änderbarkeit 5 4 Benutzbarkeit 3 2 Übertragbarkeit 1 0 Soll Ist Zuverlässigkeit Effizienz Funktionalität Testen von Software-Systemen SS 2007 (48)

49 Priorisierung von Qualitätsmerkmale Nicht alle Qualitätsmerkmale können gleich gut erfüllt werden. Umsetzung von Qualitätsmerkmalen priorisieren. z. B.: Qualitätsmerkmale (ISO 9126) Änderbarkeit 5 4 Benutzbarkeit 3 2 Übertragbarkeit 1 0 Soll Ist Zuverlässigkeit Effizienz Funktionalität Testen von Software-Systemen SS 2007 (49)

50 Was ist Testen? Zusammenfassung Menschen machen Fehler, die zu Fehlerzuständen in der Software führen, welche sich wiederum als Fehlerwirkungen in der Software manifestieren können. Testen kann Fehlerwirkungen aufdecken und so die Qualität einer Software messen. Testen ist niemals vollständig, man kann immer nur Stichproben testen. Testen von Software-Systemen SS 2007 (50)

52 Psychologie des Testens Hauptziele des Testens Fehler aufdecken Abweichungen von Anforderungen aufdecken Wenn Fehler gefunden wurden, muss der zuständige Entwickler informiert werden muss die entsprechende Information weitergegeben und aufgezeichnet werden Psychologie kommt ins Spiel! Testen von Software-Systemen SS 2007 (52)

53 Psychologie des Testens Unterschiedliche Denkweisen Entwickler konstruktiv Erfolgreich, wenn keine Fehler gemacht werden Testet, um zu zeigen dass die Software funktioniert Möglicherweise betriebsblind Tester destruktiv Erfolgreich, wenn Fehler gefunden werden Testet, um Fehlerhaftigkeit zu beweisen Erbsenzähler Testen von Software-Systemen SS 2007 (53)

54 Psychologie des Testens Trennung von Entwicklung und Test Entwickler Sehen eher eine Übereinstimmung mit der Spezifikation als eine Abweichung Interpretieren die Spezifikation und treffen Annahmen (sowohl beim Codieren als auch beim Testen) Unabhängige Tester Haben keine gefühlsmäßige Beziehung zum Testling Betrachten den Testling mit anderen Augen (d.h. sie haben eine andere Einstellung dem Testling gegenüber) Testen von Software-Systemen SS 2007 (54)

55 Psychologie des Testens Kurz: Entwickler und Tester sollten unabhängig sein, aber sie sollten keine Feinde sein! (Denn sie haben ein gemeinsames Ziel!) Testen von Software-Systemen SS 2007 (55)

56 Psychologie des Testens Wie kann man nun diese Situation vermeiden? Testen von Software-Systemen SS 2007 (56)

57 Psychologie des Testens Tester sollten gute kommunikative Fähigkeiten haben und diplomatisch vorgehen, damit Kommunikationsprobleme vermieden werden. Fehlermeldungen sollten neutral sein und nicht dem Entwickler die Schuld geben. Das Produkt wird kritisiert, nicht sein Erschaffer! Der Tester sollte Fehlerprioritäten sorgfältig abwägen. Testen von Software-Systemen SS 2007 (57)

58 Psychologie des Testens Was man tun... Das Wissen und Können des Entwicklers anerkennen. Sicherstellen, dass die Fehlerwirkung reproduziert werden kann: Ich tat A, dann geschah B. Die Abweichung beschreiben, ohne Schuld zuzuweisen (schließlich könnte man auch selbst einen Fehler gemacht haben).... und was man nicht tun sollte Das Wissen und Können des Entwicklers angreifen. Nicht reproduzierbare Fehlerwirkungen melden: Keine Ahnung, was ich getan habe. Das System ist irgendwie einfach abgestürzt. Den Entwickler für eine Abweichung, die während des Tests gefunden wurde, persönlich verantwortlich machen. Testen von Software-Systemen SS 2007 (58)

59 Psychologie des Testens Der Tester und das Projektmanagement Den Tester beißen immer die Hunde, es steht nie genug Zeit fürs Testen zur Verfügung. Es gibt immer politischen Druck: Die Freigabe ist am MM/TT/JJ und keinen Tag später! Der Tester muss die Situation hinsichtlich Testfortschritt und Fehlersituation (d.h. Reife und Stabilität der Software) klar und objektiv darstellen. Der Tester muss die Risiken eines verkürzten Tests deutlich hervorheben. Letztendlich ist das Management für die Freigabe der Software verantwortlich, nicht der Tester. Testen von Software-Systemen SS 2007 (59)

60 Psychologie des Testens Testen von Software-Systemen SS 2007 (60)

61 Psychologie des Testens Zusammenfassung Testen und Programmieren erfordern unterschiedliche Denkweisen. Test und Entwicklung sollten getrennt voneinander und unabhängig sein. Unabhängiges Testen erfordert ein hohes Maß an Kommunikation zwischen Tester und Entwickler. Testen von Software-Systemen SS 2007 (61)