Spezifikationsmethode zur Generierung von Modellen und Tests. Qualifizierung von Codegeneratoren.

Transkript

1 Page 1 Spezifikationsmethode zur Generierung von Modellen und Tests. Qualifizierung von Codegeneratoren. Dr. Stefan-Alexander Schneider, Prozessentwicklung

2 Page 2 Agenda. Motivation Vorgehen Spezifikationssprache mit Beispiel Modelle Parameter Tests Fazit

3 Page 3 Ziele. Qualifizierung von Entwicklungswerkzeugen (Erhöhung des Vertrauens im Entwicklungsprojekt) Systematisches Testen von Codegeneratoren Generieren von Modellen Generieren von Testdaten Messen der Qualität

4 Page 4 Validierungssuite. Quelle: Computer-Lexicon Validierungssuite Subst. (validation suite): Eine Menge von Tests, mit denen die Einhaltung eines Standards geprüft wird, insbesondere die Standarddefinition einer Programmiersprache Im Entwicklungsprojekt: Programmiersprache = Modelle (gemäß Richtlinien) Standard: korrekte Codegenerierung (gemäß Modell)

5 Page 5 Korrektheit von Codegenerator. Grundlage für Tests: Verhalten der Modelle Modell Ausgaben Eingaben Codegenerator Vergleich Code Ausgaben Herausforderungen: beliebig viele verschiedene Modelle (trotz Modellierungsrichtlinien) Gute Auswahl aus den zu testenden Modellen sinnvolle Eingaben zu Modellen Chancen: Spezifikation (Sollverhalten) ist durch Matlab präzise spezifiziert Qualitätsmaße: Betriebstreue, Test-Abdeckungen (Code und Generator)

6 Page 6 Datenfluss Testdurchführung. Modell Eingabe-Sequenz Entwicklungsumgebung CG Code Protokoll CG Protokoll Code Istwerte (Sequenz) Sollwerte (Sequenz) Vergleich OK/NOK Wichtig: viele gute Testfälle (Eingaben) für den Test

7 Page 7 Ziele Testspezifikationssprache. Anforderungen Beliebige Modell-Mengen spezifizierbar Zugehörige Eingaben spezifizierbar Relevanten Attribute (Parameter) spezifizierbar Präzision (Syntax-Prüfung) Modellgenerierung Lesbarkeit und Verständlichkeit Ablauf 1. Spezifikation erstellen für Modell, Parameter, Test 2. Spezifikation validieren (Syntax, Typen, Semantik) 3. Modelle und Testeingaben generieren 4. Sollwerte bestimmen (Matlab / Referenzinterpreter) 5. Qualität des Generats bestimmen (Codeabdeckung/Fehler) 6. Generat (=Testfälle) in Testsuite ablegen

8 Page 8 Konzepte Testspezifikationssprache. Grundlagen Spezifikation allg. Datenlisten, Tupel Modellmengen Testvektoren Voraussetzungen Meta-Modell zur Modellbeschreibung Funktionen zur Konstruktion von Modellen (auch hierarchisch) Viel Wiederverwendung Konzepten (Listen, Tupel) Modellen (API) Sprachen (funktionale)

9 Page 9 Beispiel Limiter. Anforderungen Werte begrenzen Obere/untere Schranken Grenzwerte frei wählbar Viele Szenarien Ein Beispiel

10 Page 10 Testspezifikation Limiter-Modelle. selectors:: model list selectors = [mkmin('selector'), mkmax('selector')] lim bounds:: model list bounds = [x:[1..10] -> mkconstant('bound',x)] mklim:: compid => model => model => model mklim lim sel bnd = let selector = compid sel; bound = compid bnd in mksubsystem(lim,1,1, [(lim,in1) >> (selector,in1), (bound,out1) >> (selector,in2), (selector,out1) >> (lim,out1)], [sel, bnd] []) limiters:: model list limiters = [s:selectors, b:bounds -> mklim ('lim',s,b)]

11 Page 11 Sprachelemente. Konstruktorfunktionen für erlaubte Blöcke und Subsysteme mksubsystem(lim,1,1,channels,blocks,properties) erzeugt ein Subsystem mit Namen lim, einem Ein- und Ausgang, das die angegebene Kanäle und Blöcke beinhaltet und properties hat. Kanäle (Verbindung von Ports) channels = [(lim,in1) >> (selector,in1),...] Parametrierung über Argumente der Konstruktoren blocks = [mkconstant('bound',<2>),...] erzeugt einen Constant Block mit dem Value Parameter <2> Nachträgliche Parametrierung über Setzen von Properties b = mkconstant('bound'); setprop b ('Value',<2>);

12 Page 12 Testspezifikation Limiter-Eingaben. times:: int list times = [1...5] [1,2,3,4,5] sine:: float list sine = [t:times -> sin(pi * <t> / <5>)] [0.59, 0.95, 0.95, 0.59, 0.00] noise:: float list noise = [t:times -> <rand [-5...5]> / <5>] sn:: (float * float) list sn = sine ~~ noise [-0.6, 0.2, -1.0, 0.4, -0.4] [(0.59,-0.6),(0.95,0.2),(0.95,-1.0),(0.59,0.4),(0.00,-0.4)] noisysine:: float list noisysine = [(s,n):sn -> s + n] [-0.01, 1.15, -0.05, 0.99, -0.4] psin:: float list psin = [x:noisysine. x > 0] [1.15, 0.99]

13 Page 13 Sprachelemente. Primitive Werte und Typen 10::int <10>::float 'hallo'::string Listen und Tupel [1,2,3]::int list (1,2,3)::int * int * int Funktionen und Zufallsoperatoren sin(pi) = <0> rand([1,2,3]) Listenkomprehension (Filtern aus Listen über Prädikate) [x:[1,-2,3]. x > 0] = [1,3] [x:[1,2,3],y:[1,2,3]. x = y] = [(1,1),(2,2),(3,3)] Listenfunktionale (Map, Zip, Pairs) [x:[1,2,3],y:[1,2] -> x + y] = [2,3,4,3,4,5] [1,2,3] ~~ [a,b,c] = [(1,a),(2,b),(3,c)] Pairs([1,2],[a,b],[+,-]) = [(1,a,+),(1,b,-),(2,a,-),(2,b,+)] alle 2er Kombinationen treten einmal auf.

14 Page 14 Beispiel-Ergebnisse. limiters:: model list limiters =[s:selectors, b:bounds -> mklim ('lim',s,b)] generiert 20 Modelle sine:: float list sine = [t:[ ]. sin(<2> * pi * <t> / <100>)] pulse:: float list pulse = [t:[1...50] -> -> <1>] generiert 2 Testvektoren der Länge 100 demo:: test list demo = [l:limiters -> (l,[[sine >> In1],[pulse >> In1]])] generiert 20 Tests mit jew. 2 Testserien der Länge 100 (ohne Ausgaben)

15 Page 15 Realisierung. Testdurchführung: ex. Tools, z. B. EXACT von Extessy Modellgenerierung: Validas API (mit Metamodell) für MATLAB/Simulink Testdaten *.mat-dateien als Schnittstelle (XML-Format) Referenzwerte unabhängiger Interpreter Testspezifiktion => Isabelle-System Nachbildung der API im Typsystem Verwendung von Tupel und Listen Verwendung von Funktionen Realisierung von Validierungschecks als Prüf-Funktionen Erstellung einer Standard-Bibliothek (Modellierungsrichtlinien) Generierung der Modelle über Isabelle-Generator

16 Page 16 Fazit. Modelle spezifizierbar und generierbar Keine Laufzeitprobleme bei der Generierung 10 5 Generate in 10 Sek. (Intel 2GHz) Spezifikationen Exakt Kompakt Modular Ansatz bewährt sich Arbeitsersparnis (1 Testspez. liefert 100te Tests) Wartbarkeit (Spez. redundanzfreier, übersichtlicher) Wiederverwendbarkeit durch Modularität