Softwaretest durch HiL-Simulation und Monitoring

Transkript

1 Informatik» Angewandte Informatik» Technische Informationssysteme Softwaretest durch HiL-Simulation und Monitoring Prof. Dr.-Ing. habil. Klaus Kabitzsch Innovationsforum Software Saxony und Kick-off des Forschungsprojektes OMSIS Dresden, 18. April 2008

2 Agenda Agenda: 1. Testmethoden 2. Nutzung von Modellen 3. Monitoring 4. Analyse der gemessenen Daten 5. Projekt OMSIS

3 Testmethoden 1. Testmethoden

4 Testmethoden Sensorik, Aktorik K A I/O R T E N Steuerung Elektrische Signale Monitoring- Aufzeichnung

5 Testmethoden Test Stimulation mit bekannter Eingabe x 1, x 2, x 3 Testobjekt y 1, y 2, y 3 Beobachtung der Reaktion (Ausgabe)

6 Testmethoden Test Stimulation mit bekannter Eingabe x 1, x 2, x 3 Gedankenmodell w 1, w 2, w 3 Vergleich (Residuum) e = w - y Testobjekt y 1, y 2, y 3 Beobachtung der Reaktion (Ausgabe)

7 Testmethoden Test Strukturtest (White-Box, gegen Implementationswissen) Funktionstest (Black Box, gegen Spezifikation) Anweisungsüberdeckung Zweigüberdeckung Pfadüberdeckung Cause-Effect-Analyse Äquivalenzklassentest Grenzwertanalyse Klassifikationsbaum-Methode (nicht-) inkrementelles Testen (top-down oder bottom-up)

8 Testmethoden Systematisches Herangehen (Stimulation x durch Entwickler) Test und Diagnose Test entdeckte Fehlerwirkungen e

9 Testmethoden Systematisches Herangehen (Stimulation x durch Entwickler) Test und Diagnose Test Zufallsbeobachtungen des Bedienpersonals entdeckte Fehlerwirkungen e

10 Testmethoden Systematisches Herangehen (Stimulation x durch Entwickler) Test und Diagnose Test Zufallsbeobachtungen des Bedienpersonals entdeckte Fehlerwirkungen e Diagnose ermittelte Fehlerursachen

11 Nutzung von Modellen 2. Nutzung von Modellen

12 Nutzung von Modellen Sensorik, Aktorik K A I/O R T E N Steuerung Elektrische Signale Monitoring- Aufzeichnung

13 Nutzung von Modellen? Sensorik, Aktorik K A I/O R T E N Elektrische Signale Steuerung Programmierung, Test und Leistungsbewertung während der Prototypen-Entwicklung, wenn die reale Maschine noch gar nicht existiert? Monitoring- Aufzeichnung

14 Nutzung von Modellen? Sensorik, Aktorik K A I/O R T E N Elektrische Signale Steuerung Programmierung, Test und Leistungsbewertung während der Migration, wenn die reale Maschine nicht benutzt werden darf? Monitoring- Aufzeichnung

15 Nutzung von Modellen Sensorik, Aktorik K A I/O R T E N Steuerung Elektrische Signale Ersatz durch ein mechanisches Modell Aufzeichnung

16 Nutzung von Modellen Sensorik, Aktorik K A I/O R T E N Steuerung Elektrische Signale Ersatz durch ein Simulations-Modell Aufzeichnung

17 Nutzung von Modellen Sensorik, Aktorik K A I/O R T E N Steuerung Elektrische Signale Ersatz durch ein Simulations-Modell Aufzeichnung

18 Nutzung von Modellen Sensorik, Aktorik K A I/O R T E N Steuerung Elektrische Signale Ersatz durch ein Simulations-Modell Aufzeichnung

19 Nutzung von Modellen Sensorik, Aktorik K A I/O R T E N Steuerung Elektrische Signale Ersatz durch ein Simulations-Modell Aufzeichnung

20 Nutzung von Modellen Formale Spezifikation und Verifikation Verifikation: Überprüfung konkret formulierter Eigenschaften formale Annahmen über das Verhalten von Prozess und Umgebung formale Beschreibung des Steuerungsprogramms Vorteile: Eigenschaften exakt beweisbar Nachteile: Spezifikationen müssen mit Programm, Prozess und Umgebung exakt übereinstimmen Eigenschaften, die nicht abgefragt werden, werden auch nicht überprüft

21 Nutzung von Modellen Model / Software in the Loop Beobachtungs-Tool (Monitor) Prozessmodell (simuliertes Verhalten) Steuerungsprogramm (durch Modell nachgebildet) Vorteile: Prozesse und Modelle können leichter und exakter nachgebildet werden Nachteile: Man kann zwar die Existenz von Fehlern zeigen, aber niemals deren Abwesenheit beweisen (unendliche Simulationszeit?)

22 Nutzung von Modellen Hardware in the Loop Beobachtungs-Tool (Monitor) Prozessmodell (simuliertes Verhalten) Original-Steuerung Vorteile: Wie Model in the Loop Findet auch hardwarenahe Fehler Nachteile: Wie Model in the Loop Teure Simulatoren (Modellzeit = Realzeit)

23 Nutzung von Modellen Test am Originalsystem Beobachtungs-Tool (Monitor) Original-Prozess Original-Steuerung Vorteile: Wie Hardware in the Loop Findet auch Fehler durch Montage, EMV, Exemplartoleranzen... Nachteile: Wie Model in the Loop Fehler werden erst spät entdeckt

24 Nutzung von Modellen Hardware in the Loop K A I/O R T E N Sensorik, Aktorik K A I/O R T E N Elektrische Signale Steuerung Aufzeichnung

25 Monitoring 3. Monitoring

26 Monitoring Monitoring falls Fehler......dann sind sie durch systematische Tests schwer zu finden nicht reproduzierbar selten transient schnell dann muss man sie am laufenden System durch Langzeit-Monitoring entdecken (z. B. Wackelkontakt, EMV, Echtzeitfehler in parallelen Prozessen,...)

27 Monitoring Maschine 3 Steuerung 3 Leitrechner Maschine 2 Steuerung 2 Monitoring an Steuerungen, Leittechnik heute kein Problem mehr Maschine 1 Steuerung 1

28 Monitoring Maschine 3 Steuerung 3 Leitrechner Maschine 2 Steuerung 2 Maschine 1 Steuerung 1 Neue Probleme, wenn: - Steuerungen für Verbindungen nicht vorbereitet sind - kein Aufwand für Anschluss erlaubt (nur Kabel) - keine Änderungen in der Software der Steuerungen erlaubt - Anschluss bei laufender Maschine gefordert (Steuerung läuft in voller Geschwindigkeit: ohne Stop) - Beobachtung aller Abläufe im Inneren der Software gefordert - Beobachtung soll so schnell sein, dass kein Echtzeit- Detail des Steuerverhaltens verloren geht - Langzeitaufzeichnung für spätere Auswertung in Ruhe (vgl. Flugschreiber) notwendig

29 Monitoring Visualisieren Markieren Messen

30 Datenanalyse Interpretation / Visualisierung 4. Analyse der gemessenen Daten 4.1 Interpretation und Visualisierung

31 Datenanalyse Interpretation / Visualisierung Viele Maschinen erzeugen bereits selbst Monitoring-Records Problem: sie erzeugen extrem große Dateien. Wie soll man diese auswerten?

32 Datenanalyse Interpretation / Visualisierung Zeitstempel Modul :00:07 AM 08/20 chc process:x proc_event_str Rcp mgr : " Saved Data Retrieved: tvalve - 48, total flow " was sent in "Step 2", "ME1", of recipe "P_AV_D11_375_C", executed on wafer "PodB 21" Maschinen-Parameter Lösung: Halbautomatische Textanalyse mit KI-Methoden erkennt die Semantik der Record- Files und macht sie maschinen-interpretierbar.

33 Datenanalyse Interpretation / Visualisierung Zeit-Diagramm: Visualisierung in realen Zeitproportionen Zeitmarken Namen der Ereignismeldungen, die im Record-File erkannt wurden Zeitachse Problem beim Scrollen: Datei sehr groß! Jeder Strich visualisiert eine Meldung, d.h. einen Datensatz des Records

34 Datenanalyse Interpretation / Visualisierung Lösung: Regelbasierte Analyse und Data Mining: Definition von Verhaltens-Details (z. B. Events) und Mining danach Aufstellung und Prüfung von Hypothesen zum Systemverhalten / Data Mining nach komplexen Verhaltensmustern (z. B. typischen Sequenzen) Sammeln einer Wissensbasis über das beobachtete Gesamtverhalten

35 Datenanalyse Interpretation / Visualisierung über den Produktionsprozess - job-track-in vs. job-track-out Regelbasiertes Data Mining (Hypothesenprüfung) über Software-Eigenschaften - start process vs. finish process basiert auf Use-Case-Szenarien - typische Verhaltensmuster - Zeit- / Kausalbeziehungen -Ausreißer abstrahiert und dokumentiert Erfahrungen und Beobachtungen der Anwender bzw. Tester

36 Datenanalyse Interpretation / Visualisierung Visualisierte Ergebnisse des Data Mining: Finden besonderer Aktivitäten, Abweichungen vom Normalverhalten, auffällig häufige Zusammenhänge, Abstrahieren und Komprimieren der Record-Datei.

37 Datenanalyse Interpretation / Visualisierung Ausreißer Beispiel für diskrete Kreuzkorrelation: Welche Jobs führen wie häufig welche Rezepte aus?

38 Datenanalyse diskrete Maschinenmodelle 4.2 Bildung diskreter Maschinenmodelle

39 Datenanalyse diskrete Maschinenmodelle Screen Shot des Tools mit einem automatisch erzeugten Equipment Modell (Materialfluss-Graphen):

40 Datenanalyse kontinuierliche Modelle 4.3 Bildung kontinuierlicher Maschinenmodelle

41 Datenanalyse kontinuierliche Modelle Originaldaten (aus Messung) Schichtdicke h = f (Zeit) Beschichtungsleistung N = f (Zeit)

42 Datenanalyse kontinuierliche Modelle zwei Modelle für die Abhängigkeit: Schichtdicke h = f (Beschichtungsleistung N ) h ˆ b N b N + b 1 ( N) 11 h ˆ 2 ( N ) = b exp b N + b 3 = ( 2 ) h-measured h1(n,y209)-linm-n20-45 h2(n,y209)-nlm-n0-45 layer thickness h [µm] coating capacity N [KW]

43 Datenanalyse kontinuierliche Modelle Das Analysetool führt den Nutzer Schritt für Schritt von einem sinnvollen Analyseverfahren zum nächsten Korrelationsanalyse (AKF KKF) erfolgreich ausgeführt Leistungsdichtespektrum wird nun als nächster Schritt empfohlen

44 Projekt OMSIS 5. Projekt OMSIS

45 Projekt OMSIS Zielgruppen Anbieter: von Simulations-Tools von Tools zur Datenauswertung von Frameworks zur Implementation von Schnittstellen zum Simulator Anwender: Entwickler von Software (z. B. für Factory-IT) Systemintegratoren für diese Software in der Fabrik Testhäuser Endnutzer: Betreiber von Maschinen, Fabriken

46 Projekt OMSIS Steckbrief On-the-fly-Migration und Sofort-Inbetriebnahme von automatisierten Systemen (OMSIS) Beginn Laufzeit 34 Monate Förderprogramm InnoNet 2 Forschungseinrichtungen und 8 Unternehmen Ein Förderprogramm des Projektträger VDI/VDE Innovation + Technik GmbH Steinplatz 1, Berlin

47 Projekt OMSIS Zielstellung Entwicklung einer integrierten Test-Simulationsumgebung

48 Projekt OMSIS Projektpartner

49 Informatik» Angewandte Informatik» Technische Informationssysteme Softwaretest durch HiL-Simulation und Monitoring Prof. Dr.-Ing. habil. Klaus Kabitzsch Vielen Dank!