Einführung in die Simulation. Dr. Christoph Laroque Wintersemester 11/12. Dresden,

Transkript

1 Fakultät Informatik, Institut für Angewandte Informatik, Professur Modellierung und Simulation Einführung in die Simulation Dr. Christoph Laroque Wintersemester 11/12 Dresden,

2 Folie Nr. 2 Einstieg aus der letzten Woche Erfahrungswert: Hypothesentests sind schlecht zum Vergleich zweier Systeme (Nur Ja/Nein-Entscheidung) Besser Konstruiere Konfidenzintervall für den Unterschied (Differenz) der Erwartungswerte eines bestimmten Performanzmaßes Umfasst sowohl das Testergebnis ( Gleich / Unterschiedlich), als auch eine quantitative Aussage über den Unterschied Falls das Konfidenzintervall den Wert 0 enthält, wird nachfolgend davon ausgegangen, dass die Systeme sich nicht signifikant unterscheiden, sonst nicht Einführung in die Simulation Folie Nr. 2

3 Folie Nr. 3 Einführung in die Simulation Wintersemester 11/12 VALIDIERUNG & VERIFIKATION Einführung in die Simulation Folie Nr. 3

4 Folie Nr. 4 Ziele der V&V Die Ziele der Validierung und Verifikation von Simulationsmodellen und Experimenten sind: Nachvollziehbare Grundlagen über die Glaubwürdigkeit des Modells schaffen Fehler während der Modellbildung frühzeitig erkennen Sicherstellen, das gewonnene Erkenntnisse in die weitere Modellbildung einfließen Richtige Anwendung guter Modelle und richtige Interpretation Einführung in die Simulation Folie Nr. 4

5 Vorgehen in einer Simulationsstudie - II Folie Nr. 5 DATEN Problemdefinition MODELLE Validierung und Verifikation der Daten Experimente Zwischenergebnisse Planung der Datenbeschaffung Datenbeschaffung Datenaufbereitung Systemanalyse Modellformalisierung Implementierung Auswertung Validierung und Verifikation der Modelle Einführung in die Simulation Folie Nr. 5

6 Folie Nr. 6 Begriffe Validierung ist eine kontinuierliche Überprüfung, ob die Modelle das Verhalten des abgebildeten Systems hinreichend genau wiedergeben. (Tut es das Richtige?) Verifikation ist die Überprüfung, ob ein Modell von einer Beschreibungsart in eine andere Beschreibungsart korrekt transformiert wurde. (Tut es das Richtige richtig?) Einführung in die Simulation Folie Nr. 6

7 Folie Nr. 7 Begriffe Testen erfolgt regelmäßig von Beginn der Entwicklung bis zur Fertigstellung. Man unterscheidet: Sachliche Korrektheit (hinreichend genaue Wiedergabe) Funktionale Korrektheit (alle Funktionen für Zielstellung vorhanden?) Technische Korrektheit (Werden alle Randbedingungen eingehalten, bspw. Rechenzeit, Schnittstellen?) Einführung in die Simulation Folie Nr. 7

8 Folie Nr. 8 Kriterien Modell kann nur vor dem Hintergrund eines konkreten Zweckes auf seine Gültigkeit hin überprüft werden. Allgemein können als Kriterien bestimmt werden: Vollständigkeit (Korrektheit von Inhalt und Struktur) Konsistenz (Korrektheit von Inhalt und Struktur) Genauigkeit (Angemessenheit des Ergebnisses) Aktualität (Angemessenheit des Ergebnisses) Eignung (Angemessenheit des Ergebnisses) Plausibilität (Angemessenheit des Ergebnisses) Verständlichkeit (Angemessenheit des Ergebnisses) Machbarkeit (Durchführbarkeit) Verfügbarkeit (Durchführbarkeit) Einführung in die Simulation Folie Nr. 8

9 Folie Nr. 9 Ergebnisdokumentationen Die einzelnen Phasen der Simulationsstudie können über festgelegte Dokumente gesichert werden: Zielbeschreibung Aufgabenspezifikation Konzeptmodell Formales Modell Ausführbares Modell Simulationsergebnisse Rohdaten Aufbereitete Daten Einführung in die Simulation Folie Nr. 9

10 Folie Nr. 10 Ergebnisdokumentation Aufgabenspezifikation (Auszug aus Gliederungsvorschlag) 1. Zielbeschreibung und Aufgabenstellung 2. Beschreibung des zu untersuchenden Systems 3. Notwendige Informationen und Daten 4. Geplante Modellnutzung Zeitraum der Nutzung Anwenderkreis und Qualifikation Art der Modellnutzung 5. Lösungsweg und Methode 6. Anforderungen an Modell und Modellbildung Einführung in die Simulation Folie Nr. 10

11 Folie Nr. 11 Ergebnisdokumentation Aufgabenspezifikation (Auszug aus Prüffragen) Wird die Aufgabenspezifikation gemeinsam mit den Fachverantwortlichen geprüft? Ist die Auswahl der gewählten Lösungsmethoden hinreichend begründet? Ist der Zweck der Simulationsstudie klar definiert? Ist die Beschreibung des Systems insgesamt schlüssig und verständlich? Ist das benannte V&V Vorgehen unter Aufwand und Nutzengesichtspunkten angemessen? Einführung in die Simulation Folie Nr. 11

12 Folie Nr. 12 Techniken der Verifikation und Validierung Animation Begutachtung Dimensionstest Ereignisvaliditätstest Festwerttest Grenzwerttest Monitoring Schreibtischtest Sensititivitätsanalyse Statistische Techniken Strukturiertes Durchgehen Test der internen Validität Test von Teilmodellen Trace-Analyse Turing-Test Ursache-Wirksungs-Graph Validierung im Dialog Validierung von Vorhersagen Vergleich mit anderen Modellen Vergleich mit aufgezeichneten Daten Einführung in die Simulation Folie Nr. 12

13 Folie Nr. 13 Techniken: Animation Mit Animation kann insbesondere aufgezeigt werden, dass das Verhalten eines Modells in bestimmten Situationen nicht gültig ist. Vorteil: Überprüfung des Modellverhaltens in ausgewählten Modellabschnitten Lokalisierung von Detailfehlern Direkte Beobachtung des Modellverlaufs Nachteil: Vortäuschung von Detailtreue Selten auftretende Fehler nicht erkannt Einführung in die Simulation Folie Nr. 13

14 Folie Nr. 14 Techniken: Schreibtischtest Sorgfältige Überprüfung der eigenen Arbeit in Bezug auf Vollständigkeit, Korrektheit, Konsistenz und Eindeutigkeit Vorteil: Eigene Arbeit wird nochmals in Ruhe überdacht Nachteil: Bestimmte Fehler werden nicht erkannt ( Blindheit) Hinweis: Hinzuziehen einer anderen Person und Validierung im Dialog Einführung in die Simulation Folie Nr. 14

15 Folie Nr. 15 Techniken: Sensitivitätsanalyse Hier werden Eingabe Parameter des Modells verhindert und die Auswirkungen auf Ausgabeparameter bestimmt Vorteil: Identifikation besonders sensitiver Parameter Abgleich mit realem Verhalten Nachteil: Dynamische Wirkzusammenhänge und Interaktionseffekte der Parameter werden nicht erkannt Einführung in die Simulation Folie Nr. 15

16 Folie Nr. 16 Techniken: Strukturiertes Durchgehen Technik aus der Softwareentwicklung. Verantwortlich gehen jede Anweisung des Programms gemeinsam durch. Vorteil: 4-Augen-Prinzip ( mindestens) Einigkeit aller Projektverantwortlichen Nachteil: Sehr zeitaufwändig, insbesondere bei komplexen Modellen und/ oder langen Dokumentationen Einführung in die Simulation Folie Nr. 16

17 Folie Nr. 17 Vorgehensmodell - Leitlinien 1. V&V sind integriert durchzuführen; alle Maßnahmen, Vorgehensweisen etc. zur Verifikation zur Validierung werden gemeinsam behandelt 2. V&V ist ein Prozess, der stets die gesamte Simlationsstudie begleitet 3. Basis sind dokumentierte Phasenergebnisse 4. Die Daten müssen besonderer Weise berücksichtigt werden. Einführung in die Simulation Folie Nr. 17

18 Folie Nr. 18 Vorgehensmodell Hier kommt das Bild Einführung in die Simulation Folie Nr. 18

19 Folie Nr. 19 Qualitätskriterien Qualität ist die Gesamtheit von Merkmalen und Merkmalswerten werden eine Einheit bezüglich ihrer Eignung, alle festgelegten und vorausgesetzten Erfordernisse zu erfüllen. Bezieht sich nicht nur auf Ergebnis, sondern auch auf das Vorgehen. Qualität eines Simulationsprojektesist abhängig von den projektspezifischen Anforderungen Wird bestimmt durch die Sorgfalt und Systematik der Projektvorbereitung Durchführung Vergleiche Todsünden von Liebl. Einführung in die Simulation Folie Nr. 19

20 Folie Nr. 20 Qualitätskriterien Fünf wesentliche Qualitätskriterien können unterschieden werden: 1. Sorgfältige Projektvorbereitung 2. Konsequente Dokumentation aller Projektaktivitäten 3. Durchgängige Verifikation und Validierung 4. Kontinuierliche Integration des Auftraggebers 5. Systematische Projektdurchführung Einführung in die Simulation Folie Nr. 20

21 Folie Nr. 21 Qualitätskriterium Projektvorbereitung Im Rahmen der Projektvorbereitung müssen schon sehr früh einige Grundsatzentscheidungen getroffen werden: Simulationswürdigkeit prüfen Akzeptanz für die Methode Simulation feststellen Vergabe der Simulationsstudie festlegen Aufgabenstellung eindeutig formulieren vorbereiten Auswahl eines Dienstleisters Auswahl eines Simulationswerkzeug Konsequente Dokumentation Einführung in die Simulation Folie Nr. 21

22 Folie Nr. 22 Einführung in die Simulation Wintersemester 11/12 FRAGEN? Einführung in die Simulation Folie Nr. 22