Testing in the Distributed Test Architecture

Transkript

1 Testing in the Distributed Test Architecture J. Chen, R.M. Hierons, and H. Ural 1

2 Inhalt Einleitung Notation Controllability Problem Erkennen Verifizieren Conclusion 2

3 Einleitung Testen eines Verteilten Systems Aber wie? Mehrere Inputquellen Mehrere Ziele für Output, die weit voneinander entfernt sein können 3

4 Einleitung Erste Idee Distributed Test Architecture mit jeweils einem Tester an einem Interface/Port. 4

5 Einleitung Aber es gibt zwei Probleme Controllability problem Observability problem 5

6 Einleitung Umgehen der beiden Probleme Kommunikation unter den Testern via externem System 6

7 Einleitung Aber Einrichtung eines separaten Kommunikations- Netzwerkes Außerdem Delays bei Kommunikation (Probleme bei zeitkritischen Tests) 7

8 Notation Erweiterte FSM n-port FSM M = (S, I,O, δ, λ, s0) S...states I = U n i=1 I i I i... Input Alphabet von Port i δ... Zustandsübergangsfunktion O = n i=1 (O i U { }) O i... Output Alphabet von Port i λ... Ausgabefunktion (Alle y O sind Vektoren) s0... Anfangszustand 8

9 Notation 9

10 Controllability Problem Synchronisationsproblem unter den Testern Zwei Ports, Programm sieht folgendes vor: Port 1 erhält Input x i. Danach erhält Port 2 Input x i+1. Tester an Port 2 weis nicht, wann er Input x i+1 eingeben muss, da er nicht weis wann x i eingegeben wurde, weil kein Output ausgetauscht wird. 10

11 Controllability Problem Synchronizable Pair of Transition Wenn Transition t i+1 einer Transition t i folgen kann, ohne Synchronisationsprobleme hervorzurufen. 11

12 Controllability Problem t1 = (s0, s1, initreq/initreqtou, ) t2 = (s1, s0, initrej/, initrejtol) t3 = (s1, s2, initacc/, initacctol) t4 = (s2, s2, data/, datatol) t5 = (s2, s0, end/, ). 12

13 Controllability Problem Annahme Für jedes Transitionpaar (t,t ) gilt: Es gibt einen synchronisierbaren Pfad, der mit t startet und mit t endet. Wenn es nicht gilt: FSM ist intrinsically non-synchronizable 13

14 Lösungen Controllability Problem Synchronizable test sequence generation using UIO sequences. (Ural, Wang) Synchronizable checking sequences based on UIO sequences. (Guyot, Ural) Ziel: Erzeugung einer synchronisierbaren Testsequenz, oder checking sequence. Aber für intrinsically non-synchronizable FSM können beide Lösungen keine Sequenz bilden. 14

15 Controllability Problem Lösungen Controllability and observability in distributed testing (Cacciari, Rafiq) Synchronizable checking sequences based on multiple UIO sequences. (Chen, Ural) Ziel: Zusätzlicher Kommunikationskanal zwischen den Testern. 15

16 Controllability Problem Lösungen Synchronizable checking sequences based on multiple UIO sequences. (Tai, Young) Ziel: Andere Definition von Synchronisierbarkeit, die Abhängig vom momentanen Zustand und von den Transitions ist. 16

17 In einem verteiltem System ist es schwer, die globale Reihenfolge von Input und Output und insbesondere, welcher Input welchen Output ausgelöst hat, zu bestimmen. Daher: Output shifts sind schwer zu herauszufinden. 17

18 t4 = (s2, s2, data/, datatol) t5 = (s2, s0, end/, ). richtiger Output Output-shift 18

19 Potentially undetectable output shift fault Wenn es möglich ist, dass das SUT einen Outputshift zu/von einer anderen Transition hat und der Fehler nicht durch den Test, oder der checking sequence erkannt werden kann. 19

20 Forward output shift fault Shift erfolgt beim Test mit dem Pfad. Backward output shift fault Shift erfolgt beim Test gegen den Pfad. 20

21 Definition output shift faults: Transition t ist in einem potentially undetectable output shift fault an Port p involviert, wenn es eine Transition t gibt und einen Transitionpfad q gibt für die eines gilt: 1. tqt ist ein synchronisierbarer Pfad, keine Transition in qt beinhaltet einen Input an p, alle Outputs an p in q sind leer, t p = and t p!=. Backward output shift 21

22 Definition output shift faults: Transition t ist in einem potentially undetectable output shift fault an Port p involviert, wenn es eine Transition t gibt und einen Transitionpfad q gibt für die eines gilt: 2. t qt ist ein synchronisierbarer Pfad, keine Transition in qt beinhaltet einen Input an p, alle Outputs an p in q sind leer, t p = and t p!=. Forward output shift 22

23 Definition output shift faults: Wenn q leer ist, dann ist t in einem potentially undetectable 1-shift fault involviert. 23

24 erkennen Um zu verifizieren, dass das SUT frei von undetectable output shift faults ist, muss der Output von allen Transitions t, die im potentially undetectable output fault vorkommen, an Port p verifiziert werden. Deshalb: Erkennen von potentially undectable output faults. 24

25 erkennen T p = Set der Transitions an p die in einem potentially undecetable output fault vorkommen. T p = T p {t t p!= } T p T p = Set der Transitions an p, die in einem potentially undecetable output fault vorkommen und deren Output an p leer ist. 25

26 erkennen Berechnen von T p und T p T p 1. Berechne alle Transitions, die einen potentially undetectable 1-shift fault aufweisen, durch Vergleich aller synchronizable pair of transitions. Wenn t einen nicht leeren Output an p hat und eine nachfolgende Transition einen leeren, oder umgekehrt, dann ist es ein 1-shift fault. Füge diese 1-shift faults T p und T p T p hinzu und markiere sie als Backward- oder Forward shift. O(v²) v... Anzahl an Transitions 26

27 erkennen Berechnen von T p und T p T p 2. Füge Transitions t zu T p T p hinzu, wenn der Output an p leer ist und eines gilt: Es gibt eine direkt nachfolgende Transition in T p T p, die als backward shift klassifiziert wurde und diese Transition keinen Input an p hat. Markiere t als backward shift. Es gibt eine Transition in T p T p, die als forward shift klassifiziert wurde, deren direkter Nachfolger t ist und t keinen Input an p hat. Markiere t als forward shift. O(v²) 27

28 Verifizierbarkeit des Outputs Ziel: Erzeugung einer Subsequenz für jede Transition in T p, die garantiert, falls sie im Test oder in der checking sequence auftritt und der Output korrekt ist, die SUT frei von undetectable output shift faults ist. 28

29 q 1 : t 1 t 2, Input an U in t 1 und t 2 q 2 : t 1 t 3 t 1, Input an U in t 1 29

30 Absolute verifying path Sei v ein Set von Transitions und t eine Transition Es wird ein Pfad q gesucht, für das Set v, so dass der Output an Port p für jede Transition in v verifiziert wird. Dann gilt: q ist der absolute verifying path für v für (t,p). 30

31 Absolute verifying path Sei v ein Set von Transitions und t eine Transition, dann ist q ein absolute verifying path für v für (t, p), wenn q ein synchronisierbarer Pfad ist, t ist in pre(q) enthalten, first(q) und last(q) und nur diese zwei Transitions in q haben einen Input an Port p, t v und für alle t enthalten in pre(q) gilt, entweder t v oder t p = t p = 31

32 Absolute verifying path mit v = 0 Vorraussetzungen 1. Wenn ein potentially undetectable forward shift eines Outputs von Port p zwischen t 1 und t 2 (t1: s 1 s, t 2 : s s 2 ) gibt, dann muss es mindestens eine Transtition zu s mit Output null an p geben, die ein synchronizable pair of transitions mit t 2 bildet. Und es muss mindestens eine Transition von s mit entweder einem Input, oder einen leeren Output an p, geben, die mit t1 ein synchronizable pair of transitions bildet. 32

33 Absolute verifying path mit v = 0 Vorraussetzungen 2. Wenn ein potentially undetectable backward shift eines Outputs von Port p zwischen t 1 und t 2 (t1: s 1 s, t 2 : s s 2 ) gibt, dann muss es mindestens eine Transtition zu s mit einem nicht leeren Output an p geben, die ein synchronizable pair of transitions mit t 2 bildet. Und es muss mindestens eine Transition von s mit entweder einem Input, oder einen leeren Output an p, geben, die mit t1 ein synchronizable pair of transitions bildet. 33

34 Absolute verifying path mit v = 0 q 1 t q 2 q 1 (absolute leading path): entweder q 1 leer, dann muss t einen Input an p haben, oder q 1 ist nicht leer, dann muss q 1 t ein synchronisierbarer Pfad sein, und alle Transitions in q 1 haben einen nicht leeren Output an p. Nur die erste Transition an q 1 hat einen Input an p. 34

35 Absolute verifying path mit v = 0 q 1 t q 2 q 2 (absolute trailing path): tq 2 muss ein synchronisierbarer Pfad sein, und alle Transitions in q 2 haben einen nicht leeren Output an p, außer eventuell die letzte Transition. Nur die letzte Transition in q 2 hat einen Input an p. 35

36 36

37 Absolute verifying path mit v = 0 Algorithmus 1. Finde einen absolute leading path q 1 mit Outputtyp von q 1 = Outputtyp von t 2. Erzeuge einen absolute trailing path q 2 mit Outputtyp von q 1 = Outputtyp von t 37

38 Absolute verifying path mit v!= 0 U... Set von Transitions R... Relation von U zu U P... function von U zu synchronizable paths U ist verifizierbar an p unter R und P, wenn: 1. Für alle t U, P(t) ist ein absoluter verifiying path an R(t) für (t,p). 2. R {(t, t) t U} is a partial order 38

39 39

40 Absolute verifying path mit v!= 0 Algorithmus 1. Überprüfe, ob T p verifizierbar an p ist. Überprüfe, ob es ein U gibt, das verifizierbar an p ist und T p U oder T p -T p U gilt. 2. Wenn T p verifizierbar an p ist, dann konstruiere absolute verifying paths für jede Transition in T p. 40

41 Conclusion Die gezeigten Algorithmen erzeugen einen test oder checking sequence, die frei von controllability und observability Problemen ist und keine zusätliche Kommunikation unter den Testern benötigt. 41

42 Vielen Dank für Ihre Aufmerksamkeit. 42