Engineering Design via Surrogate Modelling Sampling Plans Lisa Weber Universität Trier 01.06.2011 L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 1 / 34
Inhaltsverzeichnis 1 Einführung 2 Surrogate Model 3 Engineering Design 4 Sampling Plans-Stichprobenpläne Der Fluch der Dimensionen und wie ich damit umgehen kann Physikalische vs. rechnerische Experimente Entwerfen eines vorläufigen Experiments (Screening) Erstellung eines Stichprobenversuchs 5 Fazit/Ausblick L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 2 / 34
Einführung Wer ist es? L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 3 / 34
Einfu hrung Wer ist es? Auflo sung L. Weber (Universita t Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 4 / 34
Surrogate Model Grundidee Ein Surrogate Model ist ein Approximationsmodell, also Ersatzmodell für rechenaufwendige Simulationen. Es versucht mit Hilfe von einigen Parametern aus der rechenaufwendigen Simulation möglichst genau die Eigenschaften dieser nachzustellen um so rechnerisch günstiger an die gewünschten Informationen zu gelangen. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 5 / 34
Surrogate Model Der Teufel steckt im Detail Der Teufel steckt im Detail Welche Punkte nehme ich um die Approximation zu bauen? Welche Approximationsmethode soll ich verwenden? Wie kann ich die Approximation nutzen um neue Designs zu erhalten? Was muss ich tun wenn die Simulation numerical noise aufweist? Wo bekomme ich den Computercode her, der dies alles kann? L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 6 / 34
Engineering Design Im Engineering Design trifft man mit Hilfe von Analysen Entscheidungen, die Auswirkungen auf Produkt und Service haben. Diese Analysen dienen dabei als eine Art Background der Entscheidungstreffung. (Bsp. Luft-und Raumfahrttechnik) = Surrogate Models ergeben Kompromisse zwischen Rechenaufwand und Genauigkeit. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 7 / 34
Engineering Design Wo werden Surrogate Modelle im Engineering Design genutzt? Zur Unterstützung der Resultate einer Simulation Als Kalibrierungsmechanismus für Codes mit begrenzter Exaktheit Zur Datengewinnung um die funktionale Beziehung zwischen den Designvariablen und anderen Variabelen, die interessant sind, zu vergleichen Den Umgang mit fehlerhaften Daten zu lernen L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 8 / 34
Sampling Plans Engineering Designs benötigen die Konstruktion eines Surrogate Modells, welches die rechenaufwendige Antwort einer black box f in Variationen nachbilden kann. Fundamentales f (x) ist eine gleichbleibende Qualitäts-, Kosten- oder Performance Abbildung eines Produktes oder Prozesses, welche durch einen k-vektor mit Designvariablen x D R k dargestellt wird. D ist design space oder design domain diskrete Beobachtungen oder Stichproben erhalten wir mit Hilfe von {x (i) y (i) = f (x (i) ) i = (1,...,n)} Konstruiere nun eine Approximation ˆf um eine günstige performance Vorhersage zu tätigen für jedes x D X = {x (1),x (2),...,x (n) } ist der Stichprobenplan (sample plan) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 9 / 34
Sampling Plans Engineering Designs benötigen die Konstruktion eines Surrogate Modells, welches die rechenaufwendige Antwort einer black box f in Variationen nachbilden kann. Fundamentales f (x) ist eine gleichbleibende Qualitäts-, Kosten- oder Performance Abbildung eines Produktes oder Prozesses, welche durch einen k-vektor mit Designvariablen x D R k dargestellt wird. D ist design space oder design domain diskrete Beobachtungen oder Stichproben erhalten wir mit Hilfe von {x (i) y (i) = f (x (i) ) i = (1,...,n)} Konstruiere nun eine Approximation ˆf um eine günstige performance Vorhersage zu tätigen für jedes x D X = {x (1),x (2),...,x (n) } ist der Stichprobenplan (sample plan) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 9 / 34
Der Fluch der Dimensionen und wie ich damit umgehen kann Intuitiv Je höher die Anzahl der Designvariablen im Modellierungsproblem, desto mehr Messungen für die Stellen der Zielfunktion benötigen wir um eine genaue Approximation zu tätigen. z.b. Wenn ein bestimmtes Approximationslevel durch einen Stichprobenversuch in einem Ein-Variabel-Raum an n Stellen erzielt wurde, würde die Erzeugung der selben Stichprobendichte in einem k dimensionalen Raum n k Versuche benötigen. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 10 / 34
Der Fluch der Dimensionen und wie ich damit umgehen kann Intuitiv Je höher die Anzahl der Designvariablen im Modellierungsproblem, desto mehr Messungen für die Stellen der Zielfunktion benötigen wir um eine genaue Approximation zu tätigen. z.b. Wenn ein bestimmtes Approximationslevel durch einen Stichprobenversuch in einem Ein-Variabel-Raum an n Stellen erzielt wurde, würde die Erzeugung der selben Stichprobendichte in einem k dimensionalen Raum n k Versuche benötigen. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 10 / 34
Der Fluch der Dimensionen und wie ich damit umgehen kann Bsp: Modellierung der Kosten für einen Autoreifen Aufgabe: Kostenvoranschlag für Herstellungsprozess pro Auswertungs- und Designprozess benötigen wir 1 Stunde, und wir haben ein Budget von 10 Stunden Kostenberechnung für eine Variable (Reifendurchmesser)? 10 Versuche Kostenberechnung für mehrere Variablen (z.b. Furchenabstand; Flankenstärke; Laufflächenbreite usw.)? 10 8 Versuche (11416 Jahre) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 11 / 34
Der Fluch der Dimensionen und wie ich damit umgehen kann Bsp: Modellierung der Kosten für einen Autoreifen Aufgabe: Kostenvoranschlag für Herstellungsprozess pro Auswertungs- und Designprozess benötigen wir 1 Stunde, und wir haben ein Budget von 10 Stunden Kostenberechnung für eine Variable (Reifendurchmesser)? 10 Versuche Kostenberechnung für mehrere Variablen (z.b. Furchenabstand; Flankenstärke; Laufflächenbreite usw.)? 10 8 Versuche (11416 Jahre) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 11 / 34
Der Fluch der Dimensionen und wie ich damit umgehen kann Bsp: Modellierung der Kosten für einen Autoreifen Aufgabe: Kostenvoranschlag für Herstellungsprozess pro Auswertungs- und Designprozess benötigen wir 1 Stunde, und wir haben ein Budget von 10 Stunden Kostenberechnung für eine Variable (Reifendurchmesser)? 10 Versuche Kostenberechnung für mehrere Variablen (z.b. Furchenabstand; Flankenstärke; Laufflächenbreite usw.)? 10 8 Versuche (11416 Jahre) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 11 / 34
Der Fluch der Dimensionen und wie ich damit umgehen kann Fazit: Kostenvoranschlag für Herstellungsprozess Die Berechnung aller möglichen Kombinationen ist sehr rechenaufwendig Die Anzahl der Designvariablen hat großen Einfluss auf die Zahl der Untersuchungen. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 12 / 34
Physikalische vs. rechnerische Experimente Physikalische Experimente Physikalische Experimente und Ergebnisse beinhalten oft Versuchsfehler human error systematic error (wiederholbar) random error rechnerische Experimente Auch in rechnerischen Experimenten sind Fehler zu finden human error systematic error deterministisch L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 13 / 34
Physikalische vs. rechnerische Experimente Physikalische Experimente Physikalische Experimente und Ergebnisse beinhalten oft Versuchsfehler human error systematic error (wiederholbar) random error rechnerische Experimente Auch in rechnerischen Experimenten sind Fehler zu finden human error systematic error deterministisch L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 13 / 34
Entwerfen eines vorläufigen Experiments (Screening) Wie sieben wir die falschen Variablen aus ohne die Analyse zu vergessen? Sei f einmal diff bar über der design domain D bezüglich aller x, so ist f X i x ein Kriterium zur Klassifizierung von Designvariablen. ABER in der Praxis ist diese Berechnung von f X i x zu rechenaufwendig. Screeningregel Viele Variablen inaktiv: gründliches Screening wichtig Viele Variablen aktiv: Fokus auf Modellierung L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 14 / 34
Entwerfen eines vorläufigen Experiments (Screening) Abschätzung der Verteilung elementarer Effekte Vorbemerkung -Morris Algorithmus Normierung aller Variablen in den Einheitswürfel D = [0,1] n Beschränkung des design space D zu einem k-dimensionalen, p-ebenen vollständigen faktoriellen Gitters (full factorial grid) 1 x i {0, (p 1), 2 (p 1),...,1} für i = 1,...,k für einen Ausgangswert x D bezeichnet d i (x) den elementaren Effekt von x i d i (x) = y(x 1,x 2,...,x i 1,x i +,x i+1,...,x k ) y(x) wobei x D, so dass gilt x i 1 (1) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 15 / 34
Abschätzung der Verteilung elementarer Effekte Morris Methode Die Morris Methode schätzt die Parameteraufteilung elementarer Effekte in Verbindung mit jeder Variable ab. Zentrale Tendenz der Variable wichtiger Einfluss auf Zielfunktion Streuung der Variable Interaktion mit Termen in denen f nicht linear ist In der Praxis Wir schätzen den Stichprobenmittelwert und die Standardabweichung der Stichprobe durch eine Menge von d i (x) Werten ab, die in verschiedenen Teilen des design space berechnet wurden. der Stichprobenplan gibt uns eine bestimmte Anzahl r von elementaren Effekten für jede Variable L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 16 / 34
Abschätzung der Verteilung elementarer Effekte Morris Methode Die Morris Methode schätzt die Parameteraufteilung elementarer Effekte in Verbindung mit jeder Variable ab. Zentrale Tendenz der Variable wichtiger Einfluss auf Zielfunktion Streuung der Variable Interaktion mit Termen in denen f nicht linear ist In der Praxis Wir schätzen den Stichprobenmittelwert und die Standardabweichung der Stichprobe durch eine Menge von d i (x) Werten ab, die in verschiedenen Teilen des design space berechnet wurden. der Stichprobenplan gibt uns eine bestimmte Anzahl r von elementaren Effekten für jede Variable L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 16 / 34
Abschätzung der Verteilung elementarer Effekte Wie erhalte ich einen solchen Stichprobenplan X? Stichprobenmatrix B k + 1 k mit 0s und 1s, wobei für jede Spalte i = 1,2,...,k jeweils 2 Reihen B existieren, die sich im i ten Eintrag unterschieden Berechne eine zufällige Orientierung von B, B Um r elementare Effekte für jede Variable zu erhalten, ist der Screening-Plan durch r zufällige Orientierungen aufgebaut B1 B2. B r (2) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 17 / 34
Abschätzung der Verteilung elementarer Effekte Konzeptuelle Levelabschätzung des Gewichtes eines Leichtflugzeugflügels W = 0.036S 0.758 W W 0.0035 fw ( A cos 2 Λ )0.6 q 0.006 λ 0.04 ( 100tc cos Λ ) 0.3 (N z W dg ) 0.49 +S W W p (3) L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 18 / 34
Abschätzung der Verteilung elementarer Effekte L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 19 / 34
Abschätzung der Verteilung elementarer Effekte L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 20 / 34
Abschätzung der Verteilung elementarer Effekte Fazit Screening wird gemacht, wenn kein Vorwissen da ist und wenn man zur Identifikation der Variablen nur auf die Zielfunktion als black box vertrauen kann L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 21 / 34
Erstellung eines Stichprobenversuchs-Schichtung Wir nehmen an, dass das einheitliche Level der Modellgenauigkeit durch den gesamten design space eine gleichbleibende Punktestreuung verlangt. Die Stichprobenversuche mit dieser Eigenschaft heißen space-filling (Raumerfüllung). Bsp.: full factorial grid-methode L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 22 / 34
Erstellung eines Stichprobenversuchs-Schichtung Beispiel Stichprobe des Einheits- Hyperwürfels in allen Ebenen und Dimensionen. Beispiel eines 3-dimensionalen full factorial sampling plan L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 23 / 34
Erstellung eines Stichprobenversuchs-Schichtung 2 Hauptmängel Nur definiert für Design s bestimmter Größe Überlappen der Punktmengen durch Projektion an den Achsen Die zufällig geschichtete Stichprobe wird erreicht durch Teilung der Variabelbereiche in eine relativ große Anzahl von gleichgroßen Kästchen und die Generierung gleichgroßer Stichprobenversuche innerhalb dieser Kästchen. (stratified random sampling) Latin Hybercube Stichprobe Die natürliche Entwicklung einer solchen Idee ist es einen Stichprobenplan so zu generieren, dass er in allen Dimensionen geschichtet ist. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 24 / 34
Erstellung eines Stichprobenversuchs-Schichtung 2 Hauptmängel Nur definiert für Design s bestimmter Größe Überlappen der Punktmengen durch Projektion an den Achsen Die zufällig geschichtete Stichprobe wird erreicht durch Teilung der Variabelbereiche in eine relativ große Anzahl von gleichgroßen Kästchen und die Generierung gleichgroßer Stichprobenversuche innerhalb dieser Kästchen. (stratified random sampling) Latin Hybercube Stichprobe Die natürliche Entwicklung einer solchen Idee ist es einen Stichprobenplan so zu generieren, dass er in allen Dimensionen geschichtet ist. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 24 / 34
Erstellung eines Stichprobenversuchs-Schichtung 2 Hauptmängel Nur definiert für Design s bestimmter Größe Überlappen der Punktmengen durch Projektion an den Achsen Die zufällig geschichtete Stichprobe wird erreicht durch Teilung der Variabelbereiche in eine relativ große Anzahl von gleichgroßen Kästchen und die Generierung gleichgroßer Stichprobenversuche innerhalb dieser Kästchen. (stratified random sampling) Latin Hybercube Stichprobe Die natürliche Entwicklung einer solchen Idee ist es einen Stichprobenplan so zu generieren, dass er in allen Dimensionen geschichtet ist. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 24 / 34
Erstellung eines Stichprobenversuchs-Latin Viereck und zufälliger Latin Hypercube Generierung eines Projektionsplans Es seien n Design s notwenig, so dass ein n n Würfel so aufgebaut ist, dass jede Spalte und Reihe durch eine Permutation von {1,2,...,n} gefüllt ist. Jedoch darf jede Zahl nur einmal pro Zeile und Spalte vorkommen. Bsp n = 4 Latin Viereck. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 25 / 34
Erstellung eines Stichprobenversuchs-Latin Viereck und zufälliger Latin Hypercube Bau eines Latin Hyperwürfels Teilung der Designraums in gleichgroße Hyperwürfel Platziere eines Punkt in einen Hyperwürfel pro Spalte und Zeile Bsp. Drei-Variablen, 10 Punkte Latin Hyperwürfel Stichprobenplan L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 26 / 34
Erstellung eines Stichprobenversuchs-Latin Viereck und zufälliger Latin Hypercube Bau eines zufälligen Stichprobenplans X bezeichnet die n k Matrix, in welcher wir unseren Stichprobenplan mit n Punkten in k Dimensionen bauen wollen auffüllen von X mit zufälligen Permutationen von {1,2,...,n} in jeder Spalte normieren des Plans in die [0,1] k box Dies erzeugt einen zufälligen Stichprobenplan, dessen Projektionen auf die Achsen gleichmäßig verteilt sind. keine Garantie für Raumfüllung L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 27 / 34
Erstellung eines Stichprobenversuchs-Raumfüllung eines Latin Hyperwürfels Maximin Metrik Messung zur gleichmäßigen Raumfüllung eines Stichprobenversuchs d 1,d 2,...,d m sind die aufsteigend sortierten eindeutigen Distanzwerte zwischen allen möglichen Punktepaaren im Stichprobenplan X Seien J 1,J 2,...,J m so definiert, dass J j die Anzahl der Punktepaare in X getrennt durch die Distanz d j ist L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 28 / 34
Erstellung eines Stichprobenversuchs-Raumfüllung eines Latin Hyperwürfels Definition Distanz Meistens wird die p-norm des Raums genutzt d p (x i 1,x i 2 ) = ( k j=1 x i 1 j x i 2 j p ) 1 p (4) p = 1 rechteckige Distanz (Manhatten-Norm) p = 2 Euklidische Norm Definition Wir nennen X den Maximinplan zwischen allen möglichen Plänen, wenn er d 1 maximiert und J 1 minimiert, wenn er d 2 maximiert und J 2 minimiert,..., wenn er d m maximiert und J m minimiert. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 29 / 34
Erstellung eines Stichprobenversuchs-Raumfüllung eines Latin Hyperwürfels Definition Distanz Meistens wird die p-norm des Raums genutzt d p (x i 1,x i 2 ) = ( k j=1 x i 1 j x i 2 j p ) 1 p (4) p = 1 rechteckige Distanz (Manhatten-Norm) p = 2 Euklidische Norm Definition Wir nennen X den Maximinplan zwischen allen möglichen Plänen, wenn er d 1 maximiert und J 1 minimiert, wenn er d 2 maximiert und J 2 minimiert,..., wenn er d m maximiert und J m minimiert. L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 29 / 34
Erstellung eines Stichprobenversuchs-Raumfüllung eines Latin Hyperwürfels Praktischer Anwendung der Definition Erstelle die Vektoren d 1,d 2,...,d m und J 1,J 2,...,J m Erstelle Vektor, der alle Distanzen zwischen allen möglichen Punktpaaren enhält. (sehr aufwendig, Speicherplatzprobleme) Suche nach einem geeigneten raumfüllenden Stichprobenplan mit Hilfe der scalar-valued criterion function m Φ q (X ) = ( J j d q j ) 1 q (5) Je kleiner der Wert von Φ q,desto besser die Raumfüllungseigenschaften von X j=1 L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 30 / 34
Erstellung eines Stichprobenversuchs-Raumfüllung eines Latin Hyperwürfels L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 31 / 34
Erstellung eines Stichprobenversuchs-Raumfüllung eines Latin Hyperwürfels Zusammenfassung Jetzt haben wir alle Teile des optimalen Latin Hyperwürfel Sammelprozess-Puzzle s 1 Zufälliger Hyperwürfelgenerator als Startpunkt 2 Raumfüllende Metrik zur Optimierung 3 Optimierung L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 32 / 34
Fazit/Ausblick Was haben wir gelernt Was ein Surrogate Model ist und wozu am es im Engineering Design benötigt kleiner Auschnitt von Möglichkeiten einen Stichprobenplan zu konstruieren Wie man an hand eines Screenings die Variablen für einen Stichprobenplan auswählt Wie man einen Stichprobenplan erstellen Ausblick Möglichkeiten weiterer Optimierungen L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 33 / 34
Danke für Eure Aufmerksamkeit L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 34 / 34