Automatisierte Qualitätsbewertung am Beispiel von MATLAB Simulink-Modellen in der Automobil-Domäne

Transkript

1 Automatisierte Qualitätsbewertung am Beispiel von MATLAB Simulink-Modellen in der Automobil-Domäne Vortrag zur Verteidigung der Dissertation Dipl. Inf. Jan Scheible Mathematisch-Naturwissenschaftliche Fakultät der Eberhard Karls Universität Tübingen

2 Inhalt Problemstellung Lösungsansatz Prototyp Evaluation Zusammenfassung und Ausblick Automatisierte Qualitätsbewertung am Beispiel von MATLAB Simulink-Modellen in der Automobil-Domäne / Jan Scheible 2

3 3 Ausgangssituation - Automobilindustrie verwendet verstärkt modellbasierte Softwareentwicklung - Umfang der Modelle wird immer größer - Simulink-Modell ist das zentrale Arbeitsartefakt, daher hat die Modellqualität einen direkten Einfluss auf die Softwarequalität - Entwickler haben trotz höherer Abstraktionsebene viele Freiheiten - Ansätze zur Softwarequalitätsbewertung von eingebetteten Systemen konzentrieren sich bislang vor allem auf den Quellcode Ziel Entwicklung eines Verfahrens zur automatisierten Qualitätsbewertung von Simulink-Modellen

4 MATLAB Simulink BeispielModell Datenflusskante AdderSubsystem Inport- Block 2 sig Subsystem sig Subsystem sig3 sig3 Outport- Block Subsystem - Simulink-Modelle sind kombinierte Daten- und Kontrollflussdiagramme - keine explizite Unterscheidung zwischen dem Platform Independent Model (PIM) und dem Platform Specific Model (PSM) - mithilfe eines Codegenerators wird C-Code für die Zielsteuergeräte erzeugt Automatisierte Qualitätsbewertung am Beispiel von MATLAB Simulink-Modellen in der Automobil-Domäne / Jan Scheible 4

5 5 Inhalt Problemstellung Lösungsansatz Prototyp Evaluation Zusammenfassung und Ausblick

6 6 Metriken für Simulink-Modelle BeispielModell AdderSubsystem sig sig + + sig3 sig3 Subsystem Subsystem2 2 2 Anzahl der überkreuzenden Linien =

7 7 Metriken für Simulink-Modelle BeispielModell AdderSubsystem sig sig + + sig3 sig3 Subsystem Subsystem2 2 2 Anzahl der überkreuzenden Linien = 0 ()

8 8 Metriken für Simulink-Modelle BeispielModell sig AdderSubsystem sig + + sig3 sig3 2 2 Subsystem 3 Subsystem2 2 Anzahl der überkreuzenden Linien = 0 () Tiefe der Subsystem-Hierarchie = 3

9 9 Metriken für Simulink-Modelle BeispielModell AdderSubsystem sig 2 sig + + sig3 2 sig3 Subsystem Subsystem Anzahl der überkreuzenden Linien = 0 () Tiefe der Subsystem-Hierarchie = 3 Durchschnittliche Signalpfadlänge = ( ) / 3 = 3,33

10 0 Metriken für Simulink-Modelle BeispielModell AdderSubsystem sig sig + + sig3 sig3 2 2 Anzahl der überkreuzenden Linien = 0 () Tiefe der Subsystem-Hierarchie = (3) Durchschnittliche Signalpfadlänge = ( ) / 3 = 2 (3,33 )

11 Metriken für Simulink-Modelle BeispielModell AdderSubsystem 2 sig 2 sig + + sig3? sig3 Anzahl der überkreuzenden Linien = 0 () Tiefe der Subsystem-Hierarchie = (3) Durchschnittliche Signalpfadlänge = 2 (3,33 ) Anzahl der Subsystem-Annotationen = 0

12 2 Metriken für Simulink-Modelle BeispielModell AdderSubsystem sig sig + + sig3 sig3 2 2 In this subsystem two numbers are added. Anzahl der überkreuzenden Linien = 0 () Tiefe der Subsystem-Hierarchie = (3) Durchschnittliche Signalpfadlänge = 2 (3,33 ) Anzahl der Subsystem-Annotationen = (0)

13 3 Modellmetriken - bisher existieren in der Literatur nur wenige für Simulink spezifische Metriken - Metriken für die UML sind meist für Klassendiagramme Gruppierung der in diesem Ansatz verwendeten Metriken - Blockmetriken (23) - Linienmetriken (3) - Anzahl der überkreuzenden Linien - Subsystemmetriken (3) - Tiefe der Subsystem-Hierarchie - Annotationsmetriken (2) - Anzahl der Subsystem-Annotationen - Konstantenmetriken (3) - Bibliotheksmetriken (5) - Signalflussmetriken () - Durchschnittliche Signalpfadlänge - Strukturmetriken (7) - Stateflow-Metriken (3) - Codegeneratormetriken (9) - Artefaktmetriken (5)

14 4 Artefakt- und Reportmetriken - berücksichtigen den gesamten modellbasierten Entwicklungsprozess - betrachten sowohl weitere Artefakte als auch Ergebnisreports von Tools - Blockmetriken (23) - Linienmetriken (3) - Subsystemmetriken (3) - Annotationsmetriken (2) - Konstantenmetriken (3) - Bibliotheksmetriken (5) - Signalflussmetriken () - Anzahl der internen Zustände - Strukturmetriken (7) - Anzahl der verletzten MISRA TL- Modellierungsrichtlinien - Stateflow-Metriken (3) - Anzahl der unerreichbaren Zustände - Codegeneratormetriken (9) - Worst-Case-Execution-Time - Artefaktmetriken (5) - Prozentsatz erfolgreicher Testfälle - Testabdeckung - Anforderungsabdeckung

15 5 Qualitätsmodell für Simulink-Modelle - ein Qualitätsmodell - gliedert den Begriff der Modellqualität hierarchisch - macht die Modellqualität greifbar und überprüfbar - enthält auf oberster Ebene abstrakte Faktoren wie z.b. Wartbarkeit, Verständlichkeit oder Testbarkeit - Modelle mit einer hohen Qualität erfüllen diese abstrakten Faktoren - für die herkömmliche, handcodierte Softwareentwicklung existieren bereits verschiedene Qualitätsmodelle

16 6 Vergleich mit anderen etablierten Qualitätsmodellen

17 7 Vergleich mit anderen etablierten Qualitätsmodellen

18 8 Vergleich mit anderen etablierten Qualitätsmodellen Benutzbarkeit Integrität Effizienz Wiederverwendbarkeit Korrektheit Wartbarkeit Testbarkeit Flexibilität Zuverlässigkeit Portabilität Interoperabilität Cavano & McCall

19 9 Vergleich mit anderen etablierten Qualitätsmodellen Benutzbarkeit Integrität Korrektheit Korrektheit Effizienz Effizienz Wiederverwendbarkeit Wartbarkeit Flexibilität Wartbarkeit Verständlichkeit Testbarkeit Testbarkeit Robustheit Zuverlässigkeit Codegenerierbarkeit Portabilität Interoperabilität Cavano & McCall Qualitätsmodell für die modellbasierte Entwicklung von eingebetteten Systemen

20 20 Einordnung der Metriken in das Qualitätsmodell Faktoren sind gewünschte Eigenschaften für qualitativ hochwertige Modelle Verständlichkeit Wartbarkeit Metriken #Subsystemannotationen #Überkreuzender Linien Tiefe der Subsystemhierarchie ØSignalpfadlänge

21 2 Einordnung der Metriken in das Qualitätsmodell Faktoren sind gewünschte Eigenschaften für qualitativ hochwertige Modelle Verständlichkeit Wartbarkeit Kriterien sind Indikatoren für die gewünschte Eigenschaft Dokumentation Umfang Lesbarkeit Komplexität Metriken prüfen die Erfüllung der Kriterien #Subsystemannotationen #Überkreuzender Linien Tiefe der Subsystemhierarchie ØSignalpfadlänge

22 22 Einordnung der Metriken in das Qualitätsmodell Modellqualität Faktoren sind gewünschte Eigenschaften für qualitativ hochwertige Modelle Verständlichkeit Wartbarkeit Auswertung Kriterien sind Indikatoren für die gewünschte Eigenschaft Dokumentation Umfang Lesbarkeit Komplexität Metriken prüfen die Erfüllung der Kriterien #Subsystemannotationen #Überkreuzender Linien Tiefe der Subsystemhierarchie ØSignalpfadlänge

23 23 Überblick über das Qualitätsmodell Modellqualität 7 Faktoren Testbarkeit 2 Kriterien Verständlichkeit 5 Kriterien Wartbarkeit 4 Kriterien Dokumentation Umfang Lesbarkeit Komplexität 4 Metriken 9 Metriken 3 Metriken 6 Metriken Vermeid von Redu 6 Metrik n- en #Subsystemannotationen #Blöcke #Linien #Überkreuzender Linien Tiefe der Subsystemhierarchie ØSignalpfadlänge

24 24 Überblick über das Qualitätsmodell - momentan enthält das Qualitätsmodell 7 Faktoren, 24 Kriterien und 84 Metriken Modellqualität 7 Faktoren Testbarkeit Verständlichkeit Wartbarkeit 2 Kriterien 5 Kriterien 4 Kriterien Aufteilung Dokumentation Umfang Lesbarkeit Komplexität 6 Metriken 4 Metriken 9 Metriken 3 Metriken 6 Metriken Vermeidung von Redundanz 6 Metriken ØBusgröße Tiefe der Subsystemhierarchie Linien #Überkreuzender ØSignalpfadlänge #Blöcke #Linien #Klone #Linienannotationen #Subsystemannotationen [2] J. Scheible und I. Kreuz. Ein Qualitätsmodell zur automatisierten Ermittlung der Modellqualität bei eingebetteten Systemen. In: Proc. of the 8. GI Workshop Automotive Software Engineering, Leipzig, Deutschland. 200.

25 25 Modellqualitätsbewertung - macht das Qualitätsmodell ausführbar - bildet die absoluten Messwerte der Metriken auf relative Bewertungen ab - Regeln geben gewünschte Zusammenhänge vor, wie z.b. die maximal erlaubte Anzahl an überkreuzenden Linien pro Subsystem - gibt es für eine Metrik keine Regel, wird ihr Messwert mit Messwerten anderer Modelle verglichen - aggregiert die Bewertungen im Qualitätsmodell von unten nach oben dadurch kommen die Bewertungen der Faktoren zustande [3] J. Scheible und H. Pohlheim. Automated Model Quality Rating of Embedded Systems. In: 4. Workshop zur Software-Qualitätsmodellierung und -bewertung (SQMB ). 20.

26 26 Handlungsempfehlungen - Handlungsempfehlungen geben auf Basis der Modellqualitätsbewertung Hinweise, wie die Qualität eines Simulink-Modells verbessert werden kann - dazu werden die Informationen aus dem Qualitätsmodell und die konkreten Messwerte eines Modells verknüpft - Beispiele: -»Tiefe der Subsystem-Hierarchie«- Qualitätsmodell: kleinere Messwerte sind besser als größere - Empfehlung: Sobald die Subsystem-Hierarchie zu tief ist, muss ein Modell-Refactoring durchgeführt werden -»Anzahl der Subsystem-Annotationen«- Qualitätsmodell: größere Messwerte sind besser als kleinere - Empfehlung: Die Subsysteme müssen besser dokumentiert werden

27 27 Inhalt Problemstellung Lösungsansatz Prototyp Evaluation Zusammenfassung und Ausblick

28 ... Automatisierte Qualitätsbewertung am Beispiel von MATLAB Simulink-Modellen in der Automobil-Domäne / Jan Scheible 28 Prototyp - enthält einen Modell-Exporter für Simulink (ca Zeilen MATLAB-Script) - Implementiert die Modellmetriken und das Qualitätsmodell (ca Zeilen Java-Code in über 400 Klassen) - verwendet ein Metamodell für den Zugriff auf die Simulink-Modelle in Java - visualisiert die Ergebnisse der Modellqualitätsbewertung ermöglicht eine automatisierte Bewertung der Modellqualität :45: INFO ModelMeasurer - Processing the file 'model.mdlx'. :45: DEBUG * Created the measurement object - Starting the measurement... #crossed lines (/84)... done! øsignal length (2/84)... done! #blocks (3/84)... done! #lines (4/84)... done! #subsystem annotations (83/84)... done! depth of subsystem hierarchy (84/84)... done! * finished! :50:.437 INFO Saved the results to 'model.measurements' (0 hours, 5 min, sec).

29 29 Darstellung der Messwerte und ihrer Grenzen ø Busgröße # Interner Zustände,335,54 2,60 # Linien # Klone 725,065 5,040 6,683 #Überkreuzender Linien ,099 ø Anzahl an nachfolgenden Blöcken, ,908, Tiefe der Subsystemhierarchie 48 # Subsysteme 2, ø Höhe der Subsystemdarstellung 0 68 ø Breite der Subsystemdarstellung.3.5 ø Breite der Ausgangsschnittstelle 5. ø Breite der Eingangsschnittstelle

30 30 Darstellung der aggregierten Bewertungen Verständlichkeit /Lesbarkeit /#Überkreuzender Linien 3% 36% 34% 34% 40% 00% 50% 90% 00% 90% 3% 3% 33% 33% 42% 3% 0% 0% 36% 36% 36%

31 3 Inhalt Problemstellung Lösungsansatz Prototyp Evaluation Zusammenfassung und Ausblick

32 32 Evaluation (/3) - Verwendung des implementierten Prototyps - 74 Metriken wurden verwendet (0 Metriken mit Abhängigkeiten von nicht verfügbaren externen Tools oder Daten mussten weggelassen werden) - es wurden 8 reale Modelle aus der PKW-Entwicklung untersucht - Überprüfung folgender Eigenschaften: - Validität Deckt sich die Modellqualitätsbewertung mit der Einschätzung von Experten? - Diversifikation Können mithilfe der Modellqualitätsbewertung trotz Abstraktion verschiedene Modelle unterschieden werden?

33 33 Evaluation (2/3) Validität Modell Modell 2 Modell 3 Modell Modell 5 Modell 4 Modell 6 Modell 8 Modell 7 Ranking-Tabelle rang(x mbq ) 3 rang(y exp ) d i d 2 i H A : Es besteht eine positive Korrelation r s = 0,809 Annahme von H A mit einer Konfidenz von 99% Ergebnis (0,809) Interpretation von Spearmans Rangkorrelationskoeffizient: - gegenläufige Rangzahlen 0 kein Zusammenhang gleichläufige Rangzahlen

34 34 Evaluation (3/3) - die Evaluation des Ansatzes war mit den betrachteten Modellen erfolgreich - Vergleich der Modellqualitätsbewertung mit den Einschätzungen der Experten hat eine hohe Übereinstimmung gezeigt - Diversifikation der Modellqualitätsbewertung war gegeben - allerdings wurde bei der Evaluation ein konkretes Qualitätsmodell evaluiert - sobald Änderungen an dem Qualitätsmodell vorgenommen werden, müssen die gewünschten Eigenschaften erneut geprüft werden - weitere empirische Studien sind notwendig, die beispielsweise die tatsächlich im Feld aufgetretene Anzahl der Fehler betrachten

35 35 Inhalt Problemstellung Lösungsansatz Prototyp Evaluation Zusammenfassung und Ausblick

36 36 Zusammenfassung Automatisierte Modellqualitätsbewertung Framework zur automatisierten Ermittlung der Modellqualität analytisch Qualitätsmodell Aspekte Faktoren Metriken Kriterien Prototyp Qualitätsbewertung konstruktiv Refactoring Handlungsempfehlung Modellierungsrichtlinien Muster [] J. Scheible. Ein Framework zur automatisierten Ermittlung der Modellqualität bei eingebetteten Systemen. In: Proc. of the Dagstuhl-Workshop: Model-Based Development of Embedded Systems (MBEES), Schloss Dagstuhl, Deutschland. 200.

37 37 Ausblick - Transfer der Arbeitsergebnisse in ein kommerzielles Produkt - Betrachtung der Modellqualität pro Teilsystem bzw. pro Modul - zusätzliche Metriken für Stateflow-Diagramme - Verknüpfung der Modellqualitätsbewertung mit konkreten Vorschlägen für ein Modell-Refactoring als Ergänzung zu den Handlungsempfehlungen - Übertragen der Modellqualitätsbewertung auf andere Modellierungssprachen (wie z.b. ASCET von ETAS)

38 38 Vielen Dank!

39 39 Beispiel eines großen Modells

40 40 Phasen des modellbasierten Entwicklungsprozesses. Phase Umfeldmodell (Simulation) Erstellung des Umfeldmodells 2. Phase Umfeldmodell (Simulation) Steuergerätemodell (Simulation) Erstellung und Simulation des Steuergerätemodells 3. Phase Steuergerätemodell (C-Code) Generierung des C- Codes des Steuergerätemodells 4. Phase HiL (Simulation) / Fahrzeug Steuergerätesoftware (Binärcode) Kompilierung des C- Codes des Steuergerätemodells

41 4 Metriken und Messwerte (/2) Durchschnittliche Signalpfadlänge = ( ) / 3 = 3

42 42 Metriken und Messwerte (2/2) Durchschnittliche Anzahl der unabhängigen Berechnungspfade = 2

43 43 Referenzmodell - definiert, wie ein typisches Simulink-Modell aussieht - enthält erlaubte Minimal- und Maximalwerte - ist dank Normierung durch eine Referenzmetrik (z.b.»anzahl der Blöcke«oder»Höhe der globalen Komplexität«) größenunabhängig Modell Modell Modell 2 Modell 2n # Subsysteme # Subsysteme # Subsysteme 3,4 3,4 (76) 4,7 76 4,7 6,3 (37)... # Linien # Linien # Linien 34,4 34,479,3 (2967) , ,5 (554) # überkreuzender # # überkreuzender Linien Linien Linien24,6 (543) 74, ,3 74,5 (2.37) Regeln Erlaubter Bereich Min. Modell Modell Mittelw. n n Max.,66306,38, (630) 4, , ,5 67, (7.28) 92,9 7, ,53,6 (3.92) 0,9 - machen Aussagen über gewünschte Zusammenhänge von Messwerten - werden verwendet, wenn sich keine sinnvollen Mittelwerte bilden lassen Anzahl der UnitDelay-Blöcke 0 Anzahl der Subsysteme 2 Erlaubter Bereich Min. Max. 0 2,0

44 44 Aggregation der Bewertungen Auswirkung von Schwellwertüberschreitungen - aggregierte Werte erlauben einen einfachen Überblick über die Modellqualität - Bildung des arithmetischen Mittels ist nicht ausreichend: Sind eine oder mehrere Bewertungen nicht erfüllt, muss das zu einer Abwertung führen 60 Bewertungen: e = [25%, 30%, 35%] e 2 = [0%, 80%, 90%] Aggregierte Bewertung (in Prozent) Anzahl der Aggregationen unter dem Schwellwert

45 45 Evaluation Diversifikation