Vortrag von Marko Kapitza DESIGN OF EXPERIMENTS Seminar Robust Design Prof. Trottenberg Universität zu Köln, WS 08/09
2 Inhalt 1 Was ist DOE? 2. One Factor at a time 3. Designs für Lineare Modelle Full Factorial Fractional Factorial, Orthogonal und Balanced Screening Placket Burmann 4. Designs für Kriging und quadratische Modelle LS und LHS Central Composite Box-Behnken D-Optimal 5. DOE in der Praxis
3 Was ist DOE? Genaue Planung erforderlich für.. Naturwissenschaftliche Versuche Marktforschung Simulationsexperimente DOE bietet verschiedene Konzepte, wie gute Experimente durchgeführt werden können. O i i hi i h li h Optimierung hinsichtlich Genauigkeit und Zuverlässigkeit der Ergebnisse Kosten und Aufwand
4 Was ist DOE? Statistische Versuchsplanung DOE versucht mit möglichst wenig Versuchen den Zusammenhang von Einflussfaktoren (Input) und Zielgrößen (Output) zu ermitteln. Störungen (Noise) INPUT OUTPUT Vorgänge werden als Black Box betrachtet
5 Störungen (Noise) Was ist DOE? INPUT OUTPUT Input: Beeinflussbare Faktoren x 1,x 2,x 3,.. Output y: Response, wird gemessen. Noise: Bekannte oder unbekannte Störungen Modell y = f(x 1,,x n) = c 1 x1 1+c 2 x2 2+ + c 12 x 1 x1 2 + 2 + c 11 x 1 Bestimmt werden sollen die Koeffizienten
6 Beispiel Crash-Test Jeder Faktor hat mehrere Level Stetige ti (z.b. Geschwindigkeit: it 0 100 km/h) Diskrete (z.b. Airbag: an/aus) Einteilung der stetigen Level in sinnvolle Stufen Z.B. Geschwindigkeit niedrig, mittel, hoch Zielgröße: Kraftwirkung auf Dummy. Faktoren, Level, gewünschte Genauigkeit werden im Versuchsplan festgehalten
7 Design Of Experiment One Factor at a time 1. Variiere einen Faktor, während die anderen fest sind und führe Messung durch. 2. Optimum suchen. 3. Der so optimierte Faktor wird festgehalten und ein weiterer variiert usw Benzinverbrauch senken: Faktoren Motorsteuerung (A, B), Reifendruck (hoch, niedrig), Oktanzahl (95,90) Steuerung Druck Oktanzahl Verbrauch A Niedrig 95 9 L B Niedrig 95 8 L B Hoch 95 7,5 L B Hoch 90 9,1L
8 Design Of Experiment One Factor at a time Aufwendig Einzelwirkungen i werden nicht erkannt (Welchen Einfluss hat Motorsteuerung A?) Wechselwirkungen werden nicht erkannt (z.b. Kombination Steuerung A mit 90 Oktan) Es wird nur das Optimum gesucht und höchstens durch Zufall gefunden. DOE bietet bessere Methoden ein Experiment durchzuführen. Eine solche Methode/Vorschrift nennt man Experimentdesign d i
9 Design Of Experiment Verschiedene Designs Full Factorial Central Composite D-Optimal Orthogonal Array Hexagon Latin Hybercube (LHS) Fractional Factorial Box-Behnken G-Optimal Plackett-Burman Random Selection Select by Hand
10 Full Factorial Design Einfaches/Naheliegendes Design Idee: Alle Level-Kombinationen testen Benzinsparen (2 Faktoren, 3 Level): Durchgang Steuerung Druck Oktanzahl 1 A Niedrig 95 2 A Niedrig 90 3 A Hoch 95 4 A Hoch 90 5 B Niedrig i 95 6 B Niedrig 90 7 B Hoch 95 8 B Hoch 90
11 Full Factorial Design Abkürzende Schreibweise für ein Full Factorial Design mit k Faktoren je L Level: L k. Z.B. 2 2, 3 2 oder 3 2 53 Entspricht der Anzahl nötiger Einzelversuche Problem: Sehr große Anzahl Einzelversuche bei großer Anzahl Levels, z.b. 3 7 = 2187, bei 3-facher Durchführung 6561 Einzelversuche.
12 Full Factorial Design Bsp. Marktforschung: Bewerten Sie die Attraktivität des Produkts mit dem Preis. Faktor Marke: 3 Level (Aronal, Elmex, Colgate) Faktor Preis: 2 Level (0,99, 1,99 ) 3 1 2 1 Design
13 Full Factorial Design Ihr Interesse (von 1-5) Elmex 099 0,99 Elmex 1,99 Aronal 099 0,99 Aronal 1,99 Colgate 0,99 Colgate 1,99 4 2 3 2 5 3
14 Terminologie i Umfrage Full Factorial Randomized Coding Marke Preis Elmex 0,99 Elmex 199 1,99 Aronal 0,99 Aronal 1,99 Colgate 0,99 Colgate 1,99 x1 x2 x1 x2 x1 x2 1 1 2 2 1 2 1 1 2 1 1 2 2 2 3 1 3 1 3 2 0 +1-1 -1-1 +1 +1-1 +1 +1 1,99 3 2 2 1 0-1
15 Wechselwirkungen Input: Faktoren x 1, x 2, x 3 mit verschiedenen Leveln x 1, x 2, x 3, : Main effects x 1 x 2, x 2 x 3, : 2-way interaction effects x 1 x 2 x 3, : 3-way interaction effects ect.
16 Haupteffekte und Wechselwirkungen Haupteffekt Preis: Wechselw. Preis*Marke:
17 Design Of Experiment Full Factorial Design Faktorielle Matrix am Beispiel 2^3: X1 X2 X1*X2 X3 X1*X3 X2*X3 X1*X2*X3 Y -1-1 +1-1 +1 +1-1 Y1 = 5,5 +1-1 -1-1 -1 +1 +1 Y2 = 3-1 +1-1 -1 +1-1 +1 Y3 = 11 +1 +1 +1-1 -1-1 -1 Y4 = 2,6-1 -1 +1 +1-1 -1 +1 Y5 = 3,9 +1-1 -1 +1 +1-1 -1 Y6 = 7,9-1 +1-1 +1-1 +1-1 Y7 = 8,2 +1 +1 +1 +1 +1 +1 +1 Y8 = 4,4
18 Full Factorial Design Berechnung der Effekte ohne Statistik: Berechne Koeffizient c1 für Main-Effekt X1: Durchschnitts-Werte h mit +1 für X1 summieren. Durchschnitts-Werte mit -1 für X1 abziehen. Z.B. c 1 = ¼ (Y 2 +Y 4 +Y 6 +Y 8 ) - ¼(Y+Y 1 3 +Y 5 +Y 7 ) = ¼( 3+ 2,6 + 7,9 + 4,4) - ¼ (5,5+11+3,9+8,2) = -2,675 Besser: Statistische Auswertung mittels Regressionsanalyse oder Varianzanalyse
19 Full Factorial: Visualisierung 2 3 : x2 x3 x1 X1 = +1, x2 = -1, x3 = -1 X1 = -1, x2 = -1, x3 = +1 3 3 :
20 Design Of Experiment Full Factorial Design Findet Anwendung, wenn.. Die Anzahl von Leveln und Faktoren klein ist (etwa max. 4-5 Faktoren, je 2 Level) Abhängigkeit von Parametern unbekannt Denn Alle Main effects, 2-way und alle höheren h Wechselwirkungen können bestimmt werden und sind unkorelliert
21 Fractional Factorial Idee: Verzicht auf einige Kombinationen des Full Factorial Design L (k-p) bei Fraktion 1/p. (1/2, ¼,..) Bsp. 2 (3-1) : Durchgang Steuerung Druck Oktanzahl 1 A Niedrig 95 2 A Niedrig 90 3 A Hoch 95 4 A Hoch 90 5 B Niedrig i 95 6 B Niedrig 90 7 B Hoch 95 8 B Hoch 90
22 Fractional Factorial 2^3 Design X1 X2 X3 +1 +1 +1 +1 +1-1 +1-1 +1 +1-1 -1-1 +1 +1-1 -1 +1-1 +1-1 -1-1 -1 X3 X2 X1 2^(3-1) Design x1 x2 x3 +1 +1 +1 +1-1 -1-1 +1-1 -1-1 +1
23 Fractional Factorial: Konstruktion Konstruiere 2 (3-1) : 2 2 : x1 x2 x1 x2 X1 * x2-1 -1-1 -1 +1-1 +1-1 +1-1 +1-1 +1-1 -1 +1 +1 +1 +1 +1 X1 x2 = x3 Generator 3 = 1 2 x1 x2 x3-1 -1 +1-1 +1-1 +1-1 -1 +1 +1 +1
24 Design Of Experiment Fractional Factorial Aliasing: X1 X2 X2 = X3 : Wechselwirkung wird durch 3. Haupteffekt ersetzt Wechselwirkung ist somit überlagert und kann nicht mehr bestimmt werden Hoffentlich ist X1 X2 X2 vernachlässigbar klein
25 Design Of Experiment Fractional Factorial Was kann passieren? Gemessene Effekte nicht unabhängig Vermengung von Hauptwirkungen und wichtigen Wechselwirkungen (Aliasing) Findet Anwendung, wenn.. Bekannt ist, dass bestimmte Wechselwirkungen vernachlässigbar sind Vermengungen bewusst zugelassen werden, um weitere Faktoren statt Wechselwirkungen zu untersuchen. Zur Bestimmung wichtiger Effekte wird Screening angewendet
26 Design Of Experiment Fractional Factorial Resolution R: Maß für die Vermengung von Faktoren Def.: Kein p-faktor-effekt ist mit Effekt mit weniger als R-p-Faktoren vermischt. Eben: 2 (3-1) x1 x 2 = x3, ansonsten keine Vermengungen => Resolution III ( 2 3 1 III ) 2 8 2 V : Haupteffekte mit höchstens 4-Effekten, 2- Effekte mit 3-Effekten vermengt Größere Resolution verlangt kleinere Fraktion.
27 Design Of Experiment Fractional Factorial Resolution Resolution Full III IV V Vermengung Keine Überlagerungen von Haupt- und Wechselwirkungen Faktor mit 2-Faktor-Wechselwirkung Faktor mit 3-Faktor Wechselwirkung 2-Faktor-WW mit 2-Faktor-WW Faktor mit 4-Faktor Wechselwirkung 2-Faktor-WW mit 3-Faktor-WW Praxis: Dominante Wechselwirkungen > Grad 2 kommen kaum vor. Res. IV führt meist schon zu brauchbaren Ergebnissen.
28 Screening Fractional Factorial Designs mit Resolution III oder IV nutzen, um nach wichtigen Faktoren zu suchen. (Screening Designs) Resolution V oder höher zur genauen Untersuchung der wichtigen Hauptfaktoren und ihrer Zusammenhänge verwenden.
29 Plackett-Burman Designs Extremfall des Fractional Factorial Designs III-Fractional Factorial Designs Anzahl Durchgänge: Vielfaches von 4. Sehr effizient, i große Anzahl Hauptfaktoren wird mit so wenig Durchgängen wie möglich untersucht Für Screening geeignet Alle Freiheitsgrade werden für Haupteffekte verwendet (Saturated Main Effect designs)
30 Design Of Experiment Plackett-Burman Designs 12 Durchläufe für 11 Faktoren: Nr. x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 1 +1 +1 +1 +1 +1 +1 +1 +1 +1 +1 +1 2-1 +1-1 +1 +1 +1-1 -1-1 +1-1 3-1 -1 +1-1 +1 +1 +1-1 -1-1 +1 4 +1-1 -1 +1-1 +1 +1 +1-1 -1-1 5-1 +1-1 -1 +1-1 +1 +1 +1-1 -1 6-1 -1 +1-1 -1 +1-1 +1 +1 +1-1 7-1 -1-1 +1-1 -1 +1-1 +1 +1 +1 8 +1-1 -1-1 +1-1 -1 +1-1 +1 +1 9 +1 +1-1 -1-1 +1-1 -1 +1-1 +1 10 +1 +1 +1-1 -1-1 +1-1 -1 +1-1 11-1 +1 +1 +1-1 -1-1 +1-1 -1 +1 12 +1-1 +1 +1 +1-1 -1-1 +1-1 -1
31 Design Of Experiment Plackett-Burman Wenn angenommen wird, dass alle Zwischenwirkungen vernachlässigbar klein sind im Vergleich zu ein paar sehr wichtigen Haupteffekten, ist Plackett-Burmann ein sehr effektives Design um viele Faktoren zu untersuchen und ddie wichtigsten t herauszufinden (Screening)
32 Design Of Experiment Orthogonale Designs Schlechtes Design: x1 +1 +1 +1 +1-1 -1-1 -1 Besser: x1 +1 +1 +1-1 -1 +1-1 -1 x2 x2 Korellation: 1 Keine Unterscheidung zwischen Effekten von x1 und x2 (Korellation: +1) Unabhängig voneinander variiert Korellation: 0
33 Design Of Experiment Orthogonal Arrays N Versuche, K Faktoren, S Level: Orthogonales Array von Stärke t: In beliebigen t Spalten der N*K- Matrix kommt jedes Mögliche t-tupel der S Level vor und erscheint gleich oft. Abkürzung OA(N,K,S,t) Bsp: OA(8,4,2,3) Design kann in Literatur gefunden werden x1 x2 x3 x4-1 -1-1 -1-1 -1 1 1-1 1-1 1-1 1 1-1 1-1 -1 1 1-1 1-1 1 1-1 -1 1 1 1 1
34 Orthogonal larray OA(4,3,2,2), X1 X2 X3-1 -1-1 -1 1 1 1-1 1 1 1-1 Alle Haupteffekte sind unkorelliert, da Level gleichmäßig und ausgewogen verteilt Oth Orthogonal larrays sind dbl balanciert t(alle Level- Kombinationen werden gleich oft gemessen)
35 Orthogonal larrays Weitere Vorteile: Geringer Aufwand Einfache Analyse Stufe 2: Haupteffekte lassen sich untersuchen Höhere Stärken: auch Wechselwirkungen lassen sich ihuntersuchen (unvermengt) Starke Fraktion möglich, besonders bei vielen Faktoren anwendbar Flexibel
36 Latin Square Design Latin Square: NxN Matrix mit N Werten, die in jeder Zeile und Spalte genau einmal vorkommen 1 2 3 3 1 2 Findet Anwendung bei 2 3 1 1 wichtigen/interessanten Faktor (Treatment factor) Mehreren störenden, aber vernachlässigbar unwichtigen Faktoren (nuisance) Keine Wechselwirkungen zwischen Treatment und Nuisance Beispiel: i Ertrag von Getreide Wichtiger Faktor Getreidesorte (Sorten A,B,C,D), 2 Nuisance Faktoren Dünger und Erntemaschine.
37 Latin Square Design Wichtiger Faktor Getreidesorte (Sorten A,B,C,D), 2 Nuisance-Faktoren Dünger (1,2,3,4) und Erntemaschine (1,2,3,4). Ernte- Maschine 1 2 3 4 1 A B C D Dünger 2 B A D C 3 D C B A 4 C D A B Also 16 Versuche: (A,1,1), (B,2,1),(C,3,1),(D,4,1),(B,1,2),(A,2,1),(D,3,1), (C,4,2),(D,1,3),(C,2,3),(B,3,3),(A,4,3),(C,1,4),(D,2,4),(A,3,4),(B,4,4) (D ) ) (B ) (A ) ) (D ) (A ) (B )
38 Latin Square Design Relativ wenige Durchgänge (hier: 16 statt 4 3 = 64 bei Full Factorial) Möglichst zufällig anordnen! Getreide A,B,C,D Erntemaschine 1 2 3 4 1 A B C D Dünger 2 D A B C 3 C D A B 4 B C D A Äquivalent zu manchen Fractional-Factorial Designs
39 LHS Latin Hypercube Sampling: Weiterführung von LS 1 Eintrag je Zeile und Spalte x x x
40 LHS als Experiment-Design i Vorgehensweise: Level der k Faktoren werden in N>1 Bereiche aufgeteilt. Einen Wert aus jeden Intervall für x1 auswählen (Zufälliges Ziehen ohne Zurücklegen ) Zuordnen dieser n Werte mit n Werten aus jedem Intervall für x2 (ebenfalls zufällig gezogen ohne zurücklegen) u.s.w. für alle Faktoren bis N k-tupel entstehen, z.b. Beispiel: 2 Faktoren, 5 Level A,B,C,D,E: (E,D), (A,C), (B,B), (D,A), (C,E)
41 LHS Beispiel i 2 Faktoren, 5 Level A,B,C,D,E: (E,D),,(A,C),,(B,B),, (D,A),,(C,E) x1 A B C D E A X x2 B X C X D X E X Mehr Faktoren erhöhen nicht die Anzahl Versuche!
42 LHS Starke Reduzierung der Designpunkte Alle Faktoren müssen gleichviele Level haben bzw. in gleichviele Level eingeteilt werden Keine Wechselwirkungen (werden auch nicht erkannt) Nicht einfach reproduzierbar Häufig genutzt für Meta Modelling Technik Kriging
43 LHS Zufall Verringern des systematischen Fehlers, z.b. beim Auswählen Es kann ungünstiges Design entstehen (nur Hauptdiagonale) Wünschenswerte Eigenschaften Space filling (Annähernd) orthogonal Optimale Verteilung Maximiere die minimale Distanz zwischen den Punkten
44 Nicht-Lineare Modelle Linear: y = b 0 + b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 13 x 1 x 3 + b 23 x 2 x 3 Quadratisch: y = b 0 + b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 13 x 1 x 3 +b 23 x 2 x 3 + b 11 x 12 +b 22 x 22 + b 33 x 3 2
45 Center Point Design Center Point Designs helfen, nicht-lineare Effekte im Experimenten zu erkennen. Wenig Aufwand Ist der Center Point signifikant, hat mind. 1 Faktor einen nicht-linearen Einfluss Der Einfluss kann aber nicht abgeschätzt werden.
46 Central Composite Design 2-Level-Full- oder Fractional Factorial Design mit.. N Center Points 2 Star points pro Faktor bei +/- alpha 2 (k-p) + 2k + n Design-Punkte
47 Central Composite Design CCC: Central Composite Circumscribed -1 +1 Star Points sind neue Extrempunkte, 5 Level pro Faktor In 3D: Kugel Sehr gute Vorhersage möglich CCI: Central Composite Inscribed Herunterskaliertes CCC (geteilt duch alpha) => Starpoints bei -1,+1, 5 Level pro Faktor Findet Anwendung, falls -1,+1 Grenzen sind Kleinster untersuchter Raum CCF: Central Composite Face Centered alpha = +/- 1 Nicht rotierbar (CCC und CCI schon)
48 Box-Behnken B Designs Beinhaltet kein Factorial Design Designpunkte in der Mitte der Kanten 3 Level pro Faktor Rotierbar Keine Extreme (manchmal nützlich)
49 CCC Vergleich Box-Behnken und Central Composite Wdh. x1 x2 x3 1-1 -1-1 1 +1-1 -1 1-1 +1-1 1 +1 +1-1 1-1 -1 +1 1 +1-1 +1 1-1 +1 +1 1 +1 +1 +1 1-1,628 0 0 1 1,628 0 0 1 0-1,682 0 1 0 1,682 0 1 0 0-1,682 Box- Behnken Wdh. x1 x2 x3 1-1 -1 0 1 +1-1 0 1-1 +1 0 1 +1 +1 0 1-1 0-1 1 +1 0-1 1-1 0 +1 1 +1 0 +1 1 0-1 -1 1 0 +1-1 1 0-1 +1 1 0 +1 +1 3 0 0 0 1 0 0 1,682 6 0 0 0 20 Durchgänge 15 Durchgänge
50 Vergleich Box-Behnken und Central Composite CCC: Gute Vorhersage über gesamten Designraum Über Grenzen des Factorial Designs CCI: In den Grenzen des Factorial Designs Nicht ganz so hohe Qualität wie CCC CCF: In den Grenzen des Factorial Designs Nur 3 Level pro Faktor werden getestet (statt 5) Nicht sehr präzise zum Schätzen reiner quadratischer Effekte Box-B.: Regionen mit wenig Präzision (wie CCI) Keine Kombination extremer Level 3 Level pro Faktor
51 Vergleich Box-Behnken und Central Composite Faktoren Central Composite Box-Behnken 2 13 (5 Center Point Runs) / 3 20 (6 Center Point Runs) 15 4 30 27 5 33 46 6 54 54
52 D-Optimal Je abhängiger die Spalten einer Matrix, desto näher ist die Determinante an 0. Je unabhängiger die Spalten einer Matrix, desto größer die Determinante DOE-Konzept: Maximiere Det(A t A) Von Algorithmus zur Verfügung gestellt
53 D-Optimal: Ablauf 1. Bestimme Faktoren und Level und Modell Z.B. x1: -1-0,5 0 0,5 +1 / X2: -1 +1/X3:-1 1 +1 2. Bestimme Modell Z.B. Y = b o + b 1 x 1 + b 2 x 2 + b x + b 2 3 3 11 x 1 3. Computer berechnet D-optimales Design
54 D-Optimal Design für lineare und nicht-lineare Modelle Eindeutige Abbildung von gewünschten Effekten und Wechselwirkungen Haupteffekte A,B,C,D => >Wechselwirkungen AB, AC, AD, BC, BD, CD Full Factorial: D-Optimal für lineare Modelle
55 D-Optimal # A B C D Konstruktion: P + P*(p-1)/2 + 1 4 Faktoren A,B,C,D Für quadratische Effekte kommen nochmal Versuche mit mittlerer Einstellung 0 hinzu. 1 +1-1 -1-1 2-1 +1-1 -1 3-1 -1 +1-1 4-1 -1-1 +1 5 +1 +1-1 -1 6 +1-1 +1-1 7 +1-1 -1 +1 8-1 +1 +1-1 9-1 +1-1 +1 10-1 -1 +1 +1 11-1 -1-1 -1
56 D-Optimal Vorteile Freie Wahl der Level pro Einflussfaktor Unterschiedliche Levelzahl pro Einflussfaktor Bestimmte Einstellungen, die nicht erreicht werden, können ausgeschlossen werden Genaues Bestimmen von Hauptfaktoren und Wechselwirkungen (Keine Vermengungen) g Nachteile Versuchsplan ist nicht orthogonal Vorher nicht festgelegte g Wechselwirkungen sind später nicht mehr zu ermitteln Nicht genügend Freiheitsgrade um Streuung zu bestimmen (dafür häufig 5 weitere Versuche) Erstellung des Versuchsplans nur mit Algorithmen möglich
57 DOE in der Praxis Software: z.b. Cornerstone, Modde,.. Cornerstone:
58 Cornerstone
59 Cornerstone
60 Matlab-Befehle fullfact([2 4]) Full Factorial Design für 2 Level beim 1.Faktor und 4 Level beim 2.Faktor bbdesign(n) Box-Behnken-Design Behnken für n Faktoren ccdesign(2,'type','circumscribed') ' ' i ib d') CCC-Design für 2 Faktoren lhsdesign(n,p) Latin Hypercube-Sampling für n Werte auf p Faktoren
61 Fragen?
62 Quellen Literatur: Kleijnen: Design and Analysis of Simulation Experiments Springer Verlag. Box/Hunter: Statistics for Experimenters: An Introduction to Design, Data Analysis and Model Building 1978, Wiley and Sons Simpson et. Al. : On the use of Statistics in Design and the Implications for deterministic Computer Experiments Kuhfeld: Marketing Research Methods in SAS
63 Quellen Internet: www.itl.nist.gov/div898/handbook/pri/pri.htm htm www.statsoft.com/textbook/stexdes.html www.research.att.com/~njas/doc/oa.html www.versuchsmethoden.de Cornerstone-Testversion erhältlich unter www.versuchsplanung.de