Ein Testprozess für Modellbasiertes Testen

Transkript

1 Ein Testprozess für Modellbasiertes Testen Seminar: Software-Qualitätssicherung Tobias Eckardt 8. Juli 2008

2 Testen von Softwaresystemen Fehler in einer adaptiven Geschwindigkeitsregelung (engl. adaptive cruise control): Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

3 Testen von Softwaresystemen Fehler in einer adaptiven Geschwindigkeitsregelung (engl. adaptive cruise control): Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

4 Modellbasiertes Testen Modellbasiertes Testen als Systematisierung des Testentwurfs: Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

5 Modellbasiertes Testen Modellbasiertes Testen als Systematisierung des Testentwurfs: Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

6 Ein Testprozess für Modellbasiertes Testen Modellbasierter Testprozess Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

7 Ein Testprozess für Modellbasiertes Testen Fundamentaler Testprozess Modellbasierter Testprozess Modellbasiertes Testen Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

8 Ein Testprozess für Modellbasiertes Testen Fundamentaler Testprozess Modellbasierter Testprozess Modellbasiertes Testen Testprozess am Beispiel modellbasierter Testprozess am Beispiel Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

9 Ein Testprozess für Modellbasiertes Testen Fundamentaler Testprozess Modellbasierter Testprozess Modellbasiertes Testen Testprozess am Beispiel modellbasierter Testprozess am Beispiel Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

10 Ein Testprozess für Modellbasiertes Testen Fundamentaler Testprozess Modellbasierter Testprozess Testprozess am Beispiel Modellbasiertes Testen modellbasierter Testprozess am Beispiel Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

11 Fujaba Automotive Toolsuite (PG Mauritius) Entwicklung von Software für Steuergeräte im Automobilbereich: Anforderungen Design Teng Tload Vehicle Dynamics Teng Tload Vehicle Dynamics Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

12 FATS-Komponentendiagrammeditor Spezifikation der Systemstruktur: Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

13 Fundamentaler Testprozess Fundamentaler Testprozess Modellbasierter Testprozess Testprozess am Beispiel Modellbasiertes Testen modellbasierter Testprozess am Beispiel Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

14 Phasen im Prozess Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

15 Ressourcenplanung: Zeit, Mitarbeiter, Werkzeuge Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

16 Ressourcenplanung: Zeit, Mitarbeiter, Werkzeuge Testmanagement: Was ist für die Verwaltung des Prozesses notwendig Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

17 Ressourcenplanung: Zeit, Mitarbeiter, Werkzeuge Testmanagement: Was ist für die Verwaltung des Prozesses notwendig Testrahmen: separate Entwicklung? Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

18 Ressourcenplanung: Zeit, Mitarbeiter, Werkzeuge Testmanagement: Was ist für die Verwaltung des Prozesses notwendig Testrahmen: separate Entwicklung? Teststrategie: Überdeckungsgrad, Testintensität, Testendekriterien Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

19 Ressourcenplanung: Zeit, Mitarbeiter, Werkzeuge Testmanagement: Was ist für die Verwaltung des Prozesses notwendig Testrahmen: separate Entwicklung? Teststrategie: Überdeckungsgrad, Testintensität, Testendekriterien : Überwachung der Artefakte und Aktivitäten Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

20 Analyse der Testbasis Wie sollen Tests aussehen? Ableitung von Testfällen möglich? Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

21 Analyse der Testbasis Wie sollen Tests aussehen? Ableitung von Testfällen möglich? Logische Testfälle (ohne Testdaten) Vor-, Nach- und Randbedingungen Erwartetes Ergebnis (Testorakel) Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

22 Analyse der Testbasis Wie sollen Tests aussehen? Ableitung von Testfällen möglich? Logische Testfälle (ohne Testdaten) Vor-, Nach- und Randbedingungen Erwartetes Ergebnis (Testorakel) Auswahl der Testdaten Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

23 Konkrete Testfälle Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

24 Konkrete Testfälle Testszenarien, Testsequenzen Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

25 Konkrete Testfälle Testszenarien, Testsequenzen Testdurchführung Prüfung des Testrahmens Protokollierung (inkl. Randbedingungen) Fehler? evtl. weitere Testfälle Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

26 Konkrete Testfälle Testszenarien, Testsequenzen Testdurchführung Prüfung des Testrahmens Protokollierung (inkl. Randbedingungen) Fehler? evtl. weitere Testfälle Fehler gefunden: Protokollierung, Einordnung in Fehlerklasse Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

27 Testendekriterium erfüllt? Falls nicht, weiterer Testzyklus: Weitere Testfälle Weitere Testdurchführungen Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

28 Testendekriterium erfüllt? Falls nicht, weiterer Testzyklus: Weitere Testfälle Weitere Testdurchführungen Testbericht: Ergebnisse der Tests, Erfüllung des Testendekriteriums Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

29 Reflexion über den Prozess: 1. Erzielung von geplanten Ergebnissen 2. Unvorhergesene Ereignisse (Gründe und Behandlung) 3. Offene Änderungswünsche 4. Akzeptanz beim Einsatz des Systems Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

30 Reflexion über den Prozess: 1. Erzielung von geplanten Ergebnissen 2. Unvorhergesene Ereignisse (Gründe und Behandlung) 3. Offene Änderungswünsche 4. Akzeptanz beim Einsatz des Systems Konservierung der Testware Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

31 Modellbasiertes Testen Fundamentaler Testprozess Modellbasierter Testprozess Testprozess am Beispiel Modellbasiertes Testen modellbasierter Testprozess am Beispiel Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

32 Generelles Vorgehen (2) Anforderungen (3) (1) Modell (5) Testauswahlkriterien Testfälle (4) (4) Testfallspezifikation Testskript (5.1) Adapter+Umgebung (5.2) SUT Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

33 Erstellung eines Modells I Anforderungen: Komponentendiagrammeditor uc03.1: Komponenten anlegen uc03.2: Ports anlegen uc03.3: Interfaces anlegen Benutzer uc03.4: Interfaces zuweisen uc03.5: Komponenten mittels Interfaces verbinden Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

34 Erstellung eines Modells I Anforderungen: Modell: Komponentendiagrammeditor uc03.1: Komponenten anlegen uc03.2: Ports anlegen Leeres Projekt... komponenteanlegen(...) uc03.3: Interfaces anlegen interfaceanlegen(...) interfaceanlegen(...) komponenteanlegen(...) Benutzer uc03.4: Interfaces zuweisen Interface angelegt Komponente angelegt komponenteanlegen(...) interfaceanlegen(...) uc03.5: Komponenten mittels Interfaces verbinden portanlegen(...)[...] portanlegen(...)[...] Port angelegt interfaceanlegen(...)... komponenteanlegen(...) Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

35 Erstellung eines Modells II Leeres Projekt Komponenten = {} Ports = {} Interfaces = {} komponenteanlegen(kompname) Komponente angelegt Komponenten = Komponenten U {KompName} Ports = Ports Interfaces = Interfaces Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

36 Erstellung eines Modells III Port angelegt Komponenten = Komponenten Ports = Ports U {(PortName,KompName)} Interfaces = Interfaces interfacezuweisen(portname,intname) [PortName in Ports AND IntName in Interfaces] Interface zugewiesen Komponenten = Komponenten Ports = Ports Interfaces = Interfaces PortInterfaces = PortInterface U {(PortName,IntName)} Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

37 Generierung von Testfällen Leeres Projekt... komponenteanlegen(...) interfaceanlegen(...) interfaceanlegen(...) komponenteanlegen(...) Interface angelegt komponenteanlegen(...) Komponente angelegt interfaceanlegen(...) portanlegen(...)[...] portanlegen(...)[...] Port angelegt interfaceanlegen(...)... komponenteanlegen(...) interfaceanlegen(...) 5. interfacezuweisen(...)[...] interfacezuweisen(...)[...] interfacezuweisen(...)[...] Interface zugewiesen... interfacezuweisen(...)[...] komponentenverbinden(...)[...] komponentenverbinden(...)[...] komponentenverbinden(...)[...] 1. komponenteanlegen(... ) 2. portanlegen(... ) 3. interfaceanlegen(... ) 4. portanlegen(... ) 5. interfacezuweisen(... ) 6. interfaceanlegen(... ) 7. interfacezuweisen(... ) 8. komponentenverbinden(... ) Komponenten verbunden... komponentenverbinden(...)[...] Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

38 Einordnung in den Fundamentalen Testprozess Fundamentaler Testprozess Modellbasierter Testprozess Testprozess am Beispiel Modellbasiertes Testen modellbasierter Testprozess am Beispiel Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

39 Ressourcenplanung: Mehr Zeit/Mitarbeiter/Werkzeuge für Modellerstellung, weniger für Testfallerstellung Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

40 Ressourcenplanung: Mehr Zeit/Mitarbeiter/Werkzeuge für Modellerstellung, weniger für Testfallerstellung Testmanagement: zusätzl. Planung/Werkzeuge zur Verwaltung des Modells Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

41 Ressourcenplanung: Mehr Zeit/Mitarbeiter/Werkzeuge für Modellerstellung, weniger für Testfallerstellung Testmanagement: zusätzl. Planung/Werkzeuge zur Verwaltung des Modells Teststrategie: Verankerung im Modell Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

42 Ressourcenplanung: Mehr Zeit/Mitarbeiter/Werkzeuge für Modellerstellung, weniger für Testfallerstellung Testmanagement: zusätzl. Planung/Werkzeuge zur Verwaltung des Modells Teststrategie: Verankerung im Modell : Überwachung des Modells Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

43 Analyse der Testbasis Modelltyp passend zu gewünschten Testfällen (z.b. bzgl. Abstraktionsgrad) Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

44 Analyse der Testbasis Modelltyp passend zu gewünschten Testfällen (z.b. bzgl. Abstraktionsgrad) Testplan: Mehr Zeit für das Modell, weniger für die Testfälle Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

45 Analyse der Testbasis Modelltyp passend zu gewünschten Testfällen (z.b. bzgl. Abstraktionsgrad) Testplan: Mehr Zeit für das Modell, weniger für die Testfälle Kein manuelles Erstellen logischer Testfälle Erstellung des Modells: Integration des Testorakels Testfälle für unerwartete Eingaben Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

46 Analyse der Testbasis Modelltyp passend zu gewünschten Testfällen (z.b. bzgl. Abstraktionsgrad) Testplan: Mehr Zeit für das Modell, weniger für die Testfälle Kein manuelles Erstellen logischer Testfälle Erstellung des Modells: Integration des Testorakels Testfälle für unerwartete Eingaben Neu: Generierung logischer Testfälle Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

47 Berücksichtigung der Prioritäten (eventl. im Testfall integriert) Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

48 Berücksichtigung der Prioritäten (eventl. im Testfall integriert) Konkretisierung der Testfälle eventl. nicht mehr notwendig Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

49 Berücksichtigung der Prioritäten (eventl. im Testfall integriert) Konkretisierung der Testfälle eventl. nicht mehr notwendig Gruppierung von Tests automatisch Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

50 Berücksichtigung der Prioritäten (eventl. im Testfall integriert) Konkretisierung der Testfälle eventl. nicht mehr notwendig Gruppierung von Tests automatisch () Fehler gefunden: Fehlerquelle im Modell? Klassifizierung über das Modell möglich? Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

51 / Testendekriterien: Neue Möglichkeiten auf Basis des Modells Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

52 / Testendekriterien: Neue Möglichkeiten auf Basis des Modells Passt die Testfallgenerierung zur Teststrategie? Eventl. Anpassung des Algorithmus Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

53 / Testendekriterien: Neue Möglichkeiten auf Basis des Modells Passt die Testfallgenerierung zur Teststrategie? Eventl. Anpassung des Algorithmus Größere Menge Fehler mit Fehlerquelle im Modell: Überarbeitung des Modells Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

54 / Testendekriterien: Neue Möglichkeiten auf Basis des Modells Passt die Testfallgenerierung zur Teststrategie? Eventl. Anpassung des Algorithmus Größere Menge Fehler mit Fehlerquelle im Modell: Überarbeitung des Modells Reflexion mit Einbezug des Modells Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

55 / Testendekriterien: Neue Möglichkeiten auf Basis des Modells Passt die Testfallgenerierung zur Teststrategie? Eventl. Anpassung des Algorithmus Größere Menge Fehler mit Fehlerquelle im Modell: Überarbeitung des Modells Reflexion mit Einbezug des Modells Konservierung des Modells und entsprechender Werkzeuge Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

56 Fazit der Einordnung Ressourcenplanung Testmanagement Teststrategie Analyse der Testbasis Testplan Erstellung des Modells Erstellung logischer Testfälle Generierung logischer Testfälle Realisierung und Erstellung konkreter Testfälle Priorisierung der Testfälle Gruppieren von Testfällen Fehlerquelle Überwachung des Modells Testendekriterien Erfüllung der Teststrategie Überarbeitung des Modells Konservierung der Testmittel Reflexion Element = Neu Element = Änderung Element = fällt weg Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

57 Zusammenfassung Fundamentaler Testprozess am Beispiel Modellbasiertes Testen am Beispiel Einordnung eines konkreten modellbasierten Testprozesses in den Fundamentalen Testprozess Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

58 Ausblick Fundamentaler Testprozess? Modellbasierter Testprozess Testprozess am Beispiel Modellbasiertes Testen modellbasierter Testprozess am Beispiel Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

59 Quellen & Literatur El-Far, Ibrahim K. ; Whittaker, James A.: Model-based Software Testing. In: Encyclopedia on Software Engineering (2001) Kapitel 2.2 Fundamentaler Testprozess. In: Spillner, Andreas ; Linz, Tilo: Basiswissen Softwaretest: Aus- und Weiterbildung zum Certified Tester; Foundation Level nach ISTQB-Standard. dpunkt-verl., Heidelberg, 2005, S Utting, Mark ; Pretschner, Alexander ; Legeard, Bruno: A taxonomy of model-based testing. (2006), April, Nr. 04/2006 Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

60 Generierung von Testfällen (konkret) Leeres Projekt komponenteanlegen(...) interfaceanlegen(...) interfaceanlegen(...) komponenteanlegen(...) Interface angelegt komponenteanlegen(...) Komponente angelegt interfaceanlegen(...) portanlegen(...)[...] 2. portanlegen(...)[...] Port angelegt interfaceanlegen(...)... komponenteanlegen(...) interfaceanlegen(...) 5. interfacezuweisen(...)[...] interfacezuweisen(...)[...] interfacezuweisen(...)[...] Interface zugewiesen... interfacezuweisen(...)[...] 1. komponenteanlegen( Steuergerät ) 2. portanlegen( PortA, Steuergerät ) 3. interfaceanlegen( InterfaceA, Steuergerät ) 4. portanlegen( PortB, Steuergerät ) 5. interfacezuweisen( InterfaceA, PortA ) 6. interfaceanlegen( InterfaceB, Steuergerät ) 7. interfacezuweisen( InterfaceB, PortB ) 8. komponentenverbinden( InterfaceA, PortA, InterfaceB, PortB ) komponentenverbinden(...)[...] 8. komponentenverbinden(...)[...] komponentenverbinden(...)[...] Komponenten verbunden... komponentenverbinden(...)[...] Ein Testprozess für Modellbasiertes Testen Tobias Eckardt

61 Modell für den Komponentendiagrammeditor Leeres Projekt Komponenten = {} Ports = {} Interfaces = {} komponenteanlegen(kompname) interfaceanlegen(intname) interfaceanlegen(intname) komponenteanlegen(kompname) Interface angelegt Komponenten = Komponenten Ports = Ports Interfaces = Interfaces U {IntName} komponenteanlegen(kompname) interfaceanlegen(intname) Komponente angelegt Komponenten = Komponenten U {KompName} Ports = Ports Interfaces = Interfaces portanlegen(portname,kompname) [ KompName in Komponenten] portanlegen(portname,kompname) [ KompName in Komponenten] interfaceanlegen(intname) Port angelegt Komponenten = Komponenten Ports = Ports U {(PortName,KompName)} Interfaces = Interfaces komponenteanlegen(kompname) interfaceanlegen(intname) interfacezuweisen(portname,intname) interfacezuweisen(portname,intname) [PortName in Ports AND IntName in Interfaces] [PortName in Ports AND IntName in Interfaces] interfacezuweisen(portname,intname) [PortName in Ports AND IntName in Interfaces] Interface zugewiesen interfacezuweisen(portname,intname) Komponenten = Komponenten [PortName in Ports AND IntName in Interfaces] Ports = Ports Interfaces = Interfaces PortInterfaces = PortInterface U {(PortName,IntName)} komponentenverbinden(portname1,intname1,portname2,intname2) komponentenverbinden(portname1,intname1,portname2,intname2) [(PortName1,IntName1) in PortInterfaces AND [(PortName1,IntName1) in PortInterfaces AND (PortName2,IntName2) in PortInterfaces] komponentenverbinden(portname1,intname1,portname2,intname2) [(PortName1,IntName1) in PortInterfaces AND (PortName2,IntName2) in PortInterfaces] Komponenten verbunden Komponenten = Komponenten Ports = Ports Interfaces = Interfaces PortInterfaces = PortInterface PortInterfaceVerbindungen = PortInterfaceVerbindungen U {(PortName1,IntName1,PortName2,IntName2)} komponentenverbinden(portname1,intname1,portname2,intname2) [(PortName1,IntName1) in PortInterfaces AND (PortName2,IntName2) in PortInterfaces] Ein Testprozess für Modellbasiertes Testen Tobias Eckardt