Paul Huber. Vortrag für die ASQF Regionalfachgruppe Softwaretest Schwaben am Copyright Ingenieurbüro Paul Huber. All rights reserved.

Transkript

1 Arbeitsvermeidungsstrategien beim Testen Paul Huber Vortrag für die ASQF Regionalfachgruppe Softwaretest Schwaben am

2 Testen kostet Geld und ist zu Teuer! 2

3 Was nun? Die Drei Dimensionen der Einsparpotentiale: Reduzierung der Testfälle durch strukturierte Testfallentwicklung Priorisierung von Testthemen Geschäftsprozesse / Testautomatisierung

4 1. Dimension des Einsparpotentials Strukturierte Testfallentwicklung 4

5 Grenzwertanalyse Fehler werden oft an den Rändern Definitionsbereichen oder Äquivalentsklassen entdeckt Grenzwert Erlaubter Bereich Verbotener Bereich Mögliche Testfälle: * Testwert > Grenzwert * Testwert = Grenzwert * Testwert < Grenzwert

6 Grenzwertanalyse ist eine einfache Methode zum Test von Grenzen bei Definitionsbereichen oder Äquivalenzklassen ist anwendbar auf allen Testebenen ist oft mit einer hohen Fehlerfindungsrate verbunden ist eine gute Ergänzung zur Äquivalenzklassenmethode

7 Äquivalenzklassen Dreiecksproblem Basisklasse Verfeinerte Klasse Repräsentanten Mögl. Input <a,b,c> Kein Dreieck <3,3,3> <1,1,1> Dreieck gleichseitig Ungleichseitig Gleichschenklig <2,2,2> 7

8 Vorteile von Äquivalenzklassen Systematische Testfallerstellung mit einer minimalen Anzahl von Testfällen um eine bestimmte Testabdeckung zu erreichen Zerlegung in Äquivalenzklassen erfasst sehr genau die funktionalen Anforderungen Priorisierung der Äquivalenzklassen kann dazu dienen die Testfälle zu priorisieren Test nicht spezifizierter Wertebereiche durch Negativtestfälle sichergestellt

9 Entscheidungstabellentest Beispiel Online Banking Überweisung tätigen Deckung Gültiger Empfänger V V TAN als verbraucht markieren Überweisung zurückweisen Gültige TAN Überweisung zurückweisen 9

10 Entscheidungstabellentest Ja 10

11 Entscheidungstabellentest Vorteile Systematische Ermittlung von Ursachenkombinationen, die sonst übersehen werden Einfache Herleitung von Testfällen direkt aus den Entscheidungstabellen Einfache Festlegung von Testendekriterien Syst. Reduzierung von Testfällen Einsparungspotenzial Nachteile Zum Teil sehr komplexe und umfangreiche Resultate => Hohes Fehlerpotenzial => Bei komplexen Projekten Toolunterstützung notwendig

12 Testen von Abläufen Zustandsbaum Start Init Leer gelöscht Teilw. gefüllt Teilw. gefüllt Teilw. gefüllt push voll Leer pop Teilw. gefüllt 12

13 Testen von Abläufen Zustandsbaum in Tabellenform, wird auch State-Transition-Table genannt 13

14 Strukturierte Testfallentwicklung Ziele: Hohe Testabdeckung => hohe Testqualität Vermeidung von Redundanzen Möglichst wenig Testfälle => niedrige Kosten

15 2. Dimension des Einsparpotentials Priorisierung von Testfällen 15

16 Priorisierung der Anforderungen nach Kano Basisfaktoren Basisfaktoren sind ein absolutes Muss! Sie werden in den Anforderungen häufig nicht erwähnt, weil sie vom Kunden als selbstverständlich vorausgesetzt werden. Leistungs- Faktoren Leistungsfaktoren schaffen Zufriedenheit! Sie werden vom Kunden explizit verlangt. Begeisterungsfaktoren Mit den Begeisterungsfaktoren will sich der Kunde vom Wettbewerber abheben. Die Highlights! Achtung: Gefahr der Goldrandlösung! 16

17 Priorisierung von Anforderungen nach Kano Wandel der Anforderungen über die Zeit Roland Jochem Was kostet Qualität? - Wirtschaftlichkeit von Qualität ermitteln 05/2010, 234 Seiten, 31,99 ISBN: S Quelle: 17

18 Priorisierung von Anforderungen Kritikalität für das System Screening Fehlerbaumanalyse Risikoklasse Wichtigkeit der Anforderungen für das Projekt Dringlichkeit Kosten Techn. Machbarkeit Techn. Risiken Kundenwunsch

19 Kriterien für eine Priorisierung von Anforderungen Zeitplan im Projekt z. B. Reihenfolge der Teilprojekte Tatsächlicher Projektverlauf Einfluss des Projekts auf andere Module Marketing und Produktpolitik des Unternehmens / des Kunden

20 Projektablauf bei einem Automotive-Projekt

21 Strukturierung von Tests Analog-Eingänge Klopf-Sensor Druck-Detektion Lambda-Sonde Digital-Eingänge Motordrehzahl sonstige Digitale Eingänge Stromversorgung eigene Stromversorgung ext. Sensoren Prozessor CPU, ROM, RAM, interne Datenbusse Reset Netzwerk Watch-Dog Kommunikation nach außen CAN-Bus Flexray LIN-Bus High-Side Outputs High-Power Low-Side Outputs High-Power Zündung Low-Signal Output DC-Motor-Bridge Steuerung der Drosselklappe 21

22 Fehlerbaumanalyse FTA mit Top-Event (Prinzip) Top Event: Fehlerhafter Zustand Fokus liegt beim Auffinden von Ursachen oder Ursachenkombinationen, die zu diesem Top Event führen. Auftretenswahrscheinlichkeit A Gesamtsystem Top Event Sys. 1 Sys. 2 Sys. 3 Sys. 4 Sys. 5 Sys. 6 Fehler 1 Fehler 2 Fehler n Fehler 1 Fehler 2 Fehler n 22

23 Fehlerbaumanalyse FTA Berechnung der Risikoprioritätszahl R RPZ = A * B * E A = Ausfallwahrscheinlichkeit B = Gefährdung E = Entdeckungswahrscheinlichkeit (10-1) Bestimmung der Kenngrößen durch interdisziplinären Teams über: Tabellenvorlagen von A,B und E Berechnung von A,B und E nach der Gefahrenanalyse (EN ISO 12100) und der Risikobeurteilung (DIN EN ISO )

24 Fehlerbaumanalyse FTA Allg. Einstufung der RPZ Quelle: 2014 IAS, Universität Stuttgart RPZ Einstufung Bemerkung / Maßnahme 1 < RPZ< 100 Akzeptables Restrisiko 100 < RPZ <125 Geringes Restrisiko 125 < RPZ < 250 Erhöhtes Restrisiko 250 < RPZ < 1000 Inakzeptables Restrisiko Keine Maßnahme erforderlich Zusätzlicher Warnhinweis erforderlich (Maschine bzw. Benutzerhandbuch) Ergänzende, zusätzliche Schutzmaßnahmen erforderlich (trennende und nicht trennende Schutzeinrichtungen notwendig) Konstruktive Maßnahmen unbedingt erforderlich 24

25 Fehlerbaumanalyse FTA mit Top- Event A = 10 Weitere Annahmen: B = 9 (Siehe Folie 15) E = ( q k ) + r E = (2*3) +1 = 7 (Folie 16) Ausfallwahrscheinlichkeit Gesamtsystem Anlage läuft unkontrolliert los RPZ = A * B * E RPZ = 10 * 9 * 7 RPZ = 630 => Inakzeptables Risiko Sys. 1 Laptop Sys. 2 MCM Sys. 3 Power Sys. 4 ECU Sys. 5 Eurmux Sys. 6 Not-Aus 25

26 Allgemeines Prinzip der Risikoanalyse Risikomatrix allgemein 26

27 Risikographen nach ISO (IV) 27

28 ISO26262 Risiko-Analyse und Sicherheitsarchitekturen Item definition Functional safety conzept Hazard analysis Safety goals Functional safety architecture Safety Lifecycle Functional safety Requirements FTA System FMEA Produkt tentwicklung Marktanforderungen Produkt- Requirements Komponenten- Requirements Problemraum Lösungsraum Safety plan Weitere Dokumente in tieferen Ebenen Project plan Safety case Entwurf Umsetzung Test Geschäftsprozess Functional safety assesment plan Weitere Dokumente, die später entstehen

29 3. Dimension des Einsparpotentials Geschäftsprozesse / Testautomatisierung 29

30 Gründe für eine Testautomatisierung 30

31 Testautomatisierung Wann lohnt sich Testautomatisierung? Nachtarbeit, Parallel zum Projekt Fehlersicherheit, Nachvollziehbarkeit der Testfälle und Testergebnisse / Genaue Dokumentation Stupid Work Kostenfaktor Zeitfaktor Regressiontest (niedriger Entwicklungsaufwand hohe Anzahl Wiederverwendungen)

32 Vorteile von automatisierten Tests Einsparung von Resourcen Automatisierte Tests können unbeaufsichtigt ablaufen und binden während der Ausführung keine Mitarbeiter Automatisierte Tests sind beliebig oft wiederholbar. Bei Regressions- und Requalifizierungstests wird hier viel Zeit eingespart. Automatisierte Tests können außerhalb der üblichen Geschäftszeiten und rund um die Uhr ausgeführt werden.. Die Dokumentation der Tests kann ebenfalls automatisiert erfolgen. Durch Remote-Zugriff können die Tests an verschiedenen Orten ausgeführt werden

33 Testautomatisierung Wann lohnt sich Testautomatisierung? Hohe Geschwindigkeiten Hohe Datenraten 33

34 Rentabilitätsbetrachtung Testautomatisierung Kosten In diesem Bereich besser ein Firmenevent veranstalten Testautomatisierung Manuell ausgeführte Tests Einspar- Potential durch Automatisierung! Initialisierungskosten Testautomatisierung Initialisierungskosten Manuelle Tests Anzahl Testfälle 34

35 Datenbanken hohe Automatisierung 35

36 Prozessqualität Arbeitsaufwand nach COCOMO II * Wurde bereits 1981 durch Barry W. Boehm, Softwareingenieur bei Boeing entwickelt. 36

37 Prozessqualität Arbeitsaufwand nach COCOMO II nach drei Jahren 10 Mio. 6 Mio. Diff. ca. 4 Mio. EUR 4 Mio

38 Punkten Sie mit den Faktoren Zeitvorteil Kosteneinsparung Qualität (steigt) Wettbewerbsvorteil Quelle:

39 Für weitere Fragen stehe ich Ihnen gerne zur Verfügung! Ingenieurbüro Paul Huber Marlene-Dietrich-Str. 5 D Neu-Ulm Paul Huber GSM: / Tel.: / Mail: paul.huber@ing-buero-ph.de Copyright Paul Huber, All rights reserved