Kurs Multivariate Datenanalyse (MVA) Versuchsplanung (design of experiments)

Transkript

1 Kurs Multivariate Datenanalyse (MVA) Versuchsplanung (design of experiments) Datenanalyse heißt, aus einer Menge von Daten nicht irgendwelche sondern solche Informationen über ein Objekt zu gewinnen, die für die Erreichung eines Zieles notwendig sind Das Ziel muss vor dem Beginn der Datenanalyse definiert sein! Unter Objekt verstehen wir einen Produktionsprozess oder das Produkt eines Produktionsprozesses Die Menge der Daten ist entweder bereits vorhanden, zum Beispiel aus Aufzeichnungen, die aus anderen Gründen, und nicht wegen der geplanten Datenanalyse, erfolgen (Schichtprotokolle, Datenbestände der Prozessüberwachungssysteme, Protokolle des Kundenservice, Protokolle der Qualitätssicherung) Oder wir sind in der vorteilhafteren Lage, gezielte Versuche für die Informationsgewinnung durchzuführen In beiden Fällen ist es notwendig, vor Beginn der Datenanalyse die Arbeitsschritte zu planen Man bezeichnet diesen ersten Schritt der Analyse als Versuchsplanung (design of experiment, DOE) Aufgabe der Versuchsplanung ist es, die Art und den Umfang der Datenerfassung für die Datenanalyse so fest zu legen, dass Gültige, belastbare Erkenntnisse über das untersuchte Objekt erhalten werden Der Aufwand an Zeit und Kosten für die Versuche minimiert wird Aus den Daten soll ein mathematisches Modell ermittelt werden, mit dessen Hilfe es möglich ist, eines oder mehrere der folgenden Ziele zu erreichen: Berechnung nicht direkt messbarer Variablen Optimierung der Objekteigenschaften Überwachung des Objektes Um diese Ziele zu erreichen sind vier Schritte notwendig: Ermitteln der Variablen, die das Objekt beeinflussen (Objekteigenschaften) 2 Sortieren der einzelnen Variablen nach ihrer Wichtigkeit (Screening) 3 Anpassen des Regressionsmodells (Kalibrierung) 4 Werte der Variablen für bestmögliche Eigenschaften Objektes suchen (Optimierung) Die für die Versuche einzustellenden Werte der Variablen sind durch das Ziel der Untersuchung bestimmt Wenn die Reihenfolge der einzustellenden Werte willkürlich festgelegt werden kann und nicht durch den Prozess vorgegeben ist - soll die Versuchsplanung die Randomisierung, die Blockbildung und die Wiederholung der Messreihen beinhalten Randomisierung heißt, dass die Folge der Werte der Variablen zufällig ist Damit können systematische Fehler durch nicht gemessene Einflüsse reduziert werden Die Reihenfolge der Werte (nicht die Werte selbst) kann mittels einer Tafel von Zufallszahlen oder mit Hilfe der Excel -Funktion Zufallszahl() festgelegt werden Beispiel: Bei einer Feldmessung wirke die nicht erfasste - Umgebungstemperatur in der gleichen (oder entgegen gesetzten) Richtung wie eine im Versuch schrittweise geänderte Variable Eine Versuchsreihe mit den Schritten der Variablen in aufsteigender Folge ergibt bei steigender Umgebungstemperatur (vormittags) ein anderes Ergebnis als bei fallender Umgebungstemperatur (abends) (Ein vergleichbarer Effekt kann auch auftreten, wenn Blatt von 2

2 menschliche Arbeitskraft im Produktionsprozess beteiligt ist und deren Effektivität im Verlauf der Versuche über die Dauer einer Schicht abnimmt) Im Beispiel beträgt der Einfluss der Umgebungstemperatur 0% des Einflusses der unabhängigen Variablen Die folgende Grafik zeigt die Messergebnisse für den Fall, dass für die unabhängige Variable x die Wertefolge aufsteigend (x < x 2 < x 3 ) eingestellt wurde Die dadurch ungewollt hergestellte Synchronisation mit der Umgebungstemperatur führt zu falschen Kalibrierungen Wertefolge x aufsteigend y x Kennlinie Vormittag Nachmittag Wenn jedoch die Wertefolge der Variablen nicht systematisch aufsteigend oder absteigend sondern zufällig eingestellt wird, so wird die Synchronisation mit der Umgebungstemperatur unterbunden In der folgenden Grafik wurde die Folge der Messwerte mit Hilfe von gleich verteilten Zufallszahlen randomisiert Reihenfolge x Zufallszahl Sortiert nach den Zufallszahlen aufsteigend: Reihenfolge x Zufallszahl Wertefolge x randomisiert y x Kennlinie Random Regression Blatt 2 von 2

3 Durch die Randomisierung wirkt der Einfluss der Umgebungstemperatur als Zufallsgröße Wenn jedoch alle Einstellungen der x-werte wie in diesem Beispiel dargestellt vormittags erfolgen, so wirkt der Einfluss der Umgebungstemperatur immer in Richtung einer Vergrößerung der y-werte Es bleibt ein systematischer Fehler in Form einer Verschiebung der durch Regression bestimmten Kennlinie zu größeren Werten von y Würden alle Einstellungen von x nachmittags gemessen, so würde ein systematischer Fehler in Richtung zu kleiner Werte y auftreten Der systematischen Verschiebung der gemessenen Kennlinie kann man begegnen, indem die Messreihe in zwei randomisierte Blöcke aufgeteilt wird Die Messungen für Block A erfolgen vormittags, die Messungen für Block B nachmittags: Block A B Reihenfolge x Zufallszahl Wertefolge x random & Blockbildung y x Kennlinie Random & Block Regression Der systematische Fehler, hervorgerufen durch die nicht erfasste Umgebungstemperatur, wird durch die Blockbildung verringert Die zusätzliche Wiederholung der Messung und Mittelwertbildung für jede Einstellung, im Beispiel erfolgten zwei unabhängige Messungen je Einstellung von x, werden die Fehler weiter verringert: Wertefolge x random & Blockbildung & Doppelmessung y x Random & Block & Wiederholung Regression Blatt 3 von 2

4 In der Praxis der Datenanalyse sind Randomisierung, Blockbildung und Wiederholung nicht immer möglich und nicht immer notwendig Der Analyst muss hier von Fall zu Fall entscheiden Objekteigenschaften Die Objekteigenschaften können nur in Zusammenarbeit mit Spezialisten der jeweiligen Branche ermittelt werden Die folgenden Fragen sollten geklärt werden: Liste der relevanten Variablen Variationsbereich der einzelnen Variablen Messbarkeit der Variablen Zu erwartende Messfehler Festlegen der Messorte und Messverfahren für die einzelnen Variablen Sind nicht messbare Einflüsse (Umgebungsbedingungen, subjektive Einflüsse des Personals, unterschiedliche Ausprägungen bei der Messung an mehreren Objeken) bekannt oder zu erwarten? Screening Die Aufgabe des Screening besteht darin, einen Überblick über den Einfluss der Variablen auf das Objekt zu gewinnen: Wie wirkt sich eine Änderung der Variablen auf das Objekt aus? Gibt es eine Wechselwirkung der Variablen untereinander? Unter Wechselwirkung (confounding) verstehen wir den Fall, das die Stärke des Einflusses r r der Variablen vom Wert einer oder mehrerer anderen Variablen x r, abhängt x j Als Ergebnis des Screening sollen die Variablen nach Stärke ihres Einflusses auf das Objekt sortiert werden können und ihre Wechselwirkung soll bekannt sein Für das Screening werden für jede x-variable zwei Einstellungen (Minimalwert x min und Maximalwert x max ) geplant Die Variablen werden skaliert gemäß x k, r x x ( x ( x max max + x x min min )/ 2 )/ 2 Dadurch wird die folgende Codierung erhalten: Originalwert x min (x min +x max )/2 x max Code Für ein vollständiges faktorielles Design (full factorial design) wird jede Kombination der Werte - und + (nicht 0)für alle Variablen eingestellt Mit zunehmender Anzahl von Variablen steigt die Anzahl der zu untersuchenden Objektzustände sehr schnell an Für n Variablen sind 2 n Proben erforderlich Bei n = 4 also bereits 6 Messungen ohne Wiederholung Die r Menge aller 2 n T Vektoren x i sind die Ecken eines Würfels im n-dimensionalen Raum der Variablen Diese Einstellungen werden deshalb als cube points bezeichnet Für Wiederholungsmessungen verwendet man die Einstellung 0 für alle Variablen Diese Einstellung wird als centre point bezeichnet Die gemessenen Werte der abhängigen Variab- Blatt 4 von 2

5 len im centre point werden benutzt, um einen Schätzwert für die Standardabweichung der Messwerte zu erhalten und um die Gültigkeit des linearen Modells zu prüfen = y+ bˆ ( x x) + bˆ ( x ) + + bˆ ( x yˆ i i 2 i2 x2 n in xn ) x 3 -,+,+ x 2 +,+,+ -,-,+ +,-,+ 0, 0, 0 -,+,- +,+,- x -,-,- +,-,- Der Versuchsplan für zwei x-variable und fünf Wiederholungsmessungen ist bei einem full factorial design: Einstellung Nr Muster x x 2 x x Die abgeleitete Variable x x 2 beschreibt mögliche Wechselwirkungen der unabhängigen Variablen x und x 2 Sie benötigt keine eigenen Einstellungen Wir sehen, dass die Spaltenvektoren der X-Matrix einschließlich der Spalte x x 2 orthogonal sind Das heißt, die Korrelationsmatrix X T X ist die Einheitsmatrix 0 X T X= I= Blatt 5 von 2

6 Diese Eigenschaft gilt für alle vollständigen faktoriellen Design Sie hat zur Folge, dass der Einfluss jeder Variablen und aller Wechselwirkungen der Variablen ohne gegenseitige Beeinflussung analysiert werden können Weil die Anzahl der Proben mit zunehmender Anzahl n von x-variablen wie 2 n wächst, benutzt man fraktionierte faktorielle Design Diese sind in der Literatur zu finden Ein Beispiel ist das folgende Design nach Blackett-Burman für Variable: Muster x x2 x3 x4 x5 x6 x7 x8 x9 x0 x Das fraktionelle faktorielle Design lässt jedoch Wechselwirkungen der Variablen nicht ausreichend erkennen! Die Vorgehensweise besteht deshalb darin, dass in der ersten Etappe der Versuche die wichtigen x-variablen identifiziert werden In weiteren Schritten wird dann mit der nunmehr geringeren Anzahl von Variablen mittels eines vollständigen faktoriellen Design nach Wechselwirkungen gesucht Wir betrachten als Beispiel einen Versuch zur Auslegung eines Wirbelstrom-Messgerätes für die Erkennung von Fehlern in Flugzeug-Tragflächen (MVAKursxls) X-Matrix Y-Matrix 2 3 N S D Impedance M2(---) -00E+00-00E+00-00E+00 70E+00 2 M8(+--) 00E+00-00E+00-00E E+00 3 M3(-+-) -00E+00 00E+00-00E E-0 4 M6(++-) 00E+00 00E+00-00E E+00 5 M7(--+) -00E+00-00E+00 00E+00 5E+00 6 M(+-+) 00E+00-00E+00 00E E+00 7 M4(-++) -00E+00 00E+00 00E E-0 8 M5(+++) 00E+00 00E+00 00E E+00 Gemessen wurde die Impedanz der Spule nach einem vollständigen faktoriellen Design für die drei Variablen Variable Bezeichnung - entspricht + entspricht Windungsanzahl N Wicklungssteigung S Drahtdicke D Blatt 6 von 2

7 Wir ergänzen die X-Matrix um die Wechselwirkungsterme: N S D N*S N*D D*S M2(---) -,00 -,00 -,00,00,00 -,00 M8(+--),00 -,00 -,00 -,00 -,00,00 M3(-+-) -,00,00 -,00 -,00,00,00 M6(++-),00,00 -,00,00 -,00 -,00 M7(--+) -,00 -,00,00,00 -,00,00 M(+-+),00 -,00,00 -,00,00 -,00 M4(-++) -,00,00,00 -,00 -,00 -,00 M5(+++),00,00,00,00,00,00 Mittelwert 0,00E+00 0,00E+00 0,00E+00 0,00E+00 0,00E+00 0,00E+00 Stabw,07E+00,07E+00,07E+00,07E+00,07E+00,07E+00 Alle x-variablen sind zentriert und besitzen die gleiche Standardabweichung Für die Regressionsananlyse ist deshalb standardisieren nicht erforderlich! Die Korrelationsmatrix zeigt die Orthogonalität der Variablen: N S D N*S N*D S*D N*S*D Impedance N 00 S D N*S N*D S*D N*S*D Impedance Die abhängige Variable ist korreliert mit der Windungszahl und sehr schwach korreliert mit der Steigung Die Auswertung der Versuchsreihe mit der Methode PLS, nicht standardisiert zeigt, dass die Impedance mit zwei Faktoren modelliert werden kann Weitere Faktoren bringen in der cross validation keine Verbesserung Calibration 00,0% 0,3% 0,3% 0,3% 0,3% 0,3% 0,3% Leverage Corr 00,0% 0,3% 0,4% 0,5% 0,6% 0,8%,% Cross Validation 00,0% 252,0% 44,9% 44,9% 44,9% 44,9% 44,9% Die Grafik Ye(Y) bestätigt, dass mehr als zwei Faktoren zur Berechnung der Impedance nicht erforderlich sind Aus der Grafik R-Koeff Entnehmen wir, dass N und S die wichtigsten Variablen sind D und alle Wechselwirkungen spielen eine untergeordnete Rolle Wir wiederholen deshalb die Regressionsanalyse mit den zwei Variablen N und S 0 2 Calibration 00,0% 2,3% 2,3% Leverage Corr 00,0% 2,5% 3,% Cross Validation 00,0% 23,6% 5,4% Die Werte für die cross validation haben sich deutlich verbessert Das Modell mit zwei Variablen N und S y = 2,646+ 0,0342*( N 35),345*( S 0,76) Blatt 7 von 2

8 ist ein gutes Modell für die Schätzung der Impedance im untersuchten Variationsbereich der Variablen N, S, D Dieses Modell kann man verwenden, um Bereiche im Raum der Variablen zu finden, in denen die abhängige Variable optimiert werden kann Hierzu geht man schrittweise vor )Man sucht zb mit Hilfe der Excel -Funktion Solver - im Gültigkeitsbereich der Kalibrierung die Koordinaten des Vektors x r der unabhängigen Variablen, für die die abhängige Variable y minimal oder maximal ist 2) Um diesen Punkt definiert man erneut das faktorielle Design, misst die Proben, berechnet die Regressionskoeffizienten und prüft, ob das in x r lineare Modell weiterhin gültig ist Wenn ja, dann wird mit ) fortgesetzt, wenn nein, dann wird mit der Optimierung fortgesetzt (Wir werden Solver im Beispiel Optimierung benutzen) Kalibrierbereich festlegen Regressionsparameter bestimmen Modell linear? Start Optimierung ja x-koordinaten des Extremwertes y bestimmen Die Suche nach dem Optimum muss Randbedingungen für die Variablen berücksichtigen Wir werden sofort sehen, wie das mit Solver möglich ist Blatt 8 von 2

9 Optimierung Optimierung bedeutet das Auffinden der Werte der unabhängigen Variablen, für die die abhängige Variable einen Extremwert (Maximal- oder Minimalwert je nach Zielstellung) annimmt Bei einem Modell, in dem die unabhängigen Variablen nur linear enthalten sind, liegen die Extremwerte an einem der cube points, wie das folgende Beispiel für zwei unabhängige Variable zeigt y max -, + +, + -, - +, - y min Wenn ein Extremwert innerhalb des durch die cube points definierten Raumes existiert, dann muss die Fläche y = f(x, x 2, ) gekrümmt sein In der Umgebung eines Extremwertes y 0 kann man stetige, differenzierbare Funktionen durch eine quadratische Potenzfunktion approximieren Für den Fall von zwei Variablen also y = b b2 2 2 f( x + [ ], x2) y0 x x2 x x2 xx2 * b3 b4 b 5 Zur Bestimmung von Schätzwerten für die Regressionskoeffizienten b i aus den Messwerten von yi und xi, xi2 sind mehr Stützpunkte erforderlich als die cube points und der central point Ein Beispiel für ein geeignetes Design ist das central composite design Zusätzlich zu den cube points und dem centre point werden hier star points gemessen Für zwei unabhängige Variable wird das in der folgenden Grafik dargestellte Design benutzt Alle Einstellungen für die x-variablen liegen auf einem Kreis mit dem Radius 2, der durch die cube points geht Das hat zur Folge, dass alle Proben den gleichen Einfluss (leverage) auf das Regressionsmodell haben Die Spaltenvektoren des central composite design sind orthogonal Das hat zur Folge, dass der Einfluss jeder Variablen und aller Wechselwirkungen der Variablen ohne deren gegenseitige Beeinflussung analysiert werden können In der Literatur findet man weitere Designs für die Optimierung Kommerzielle Software ermöglicht die Berechnung spezieller Designs Blatt 9 von 2

10 x 2,max x 2 (0, + 2) (-,+) (+,+) (- 2, 0) (0, 0) (+ 2, 0) x x,min x,max (-,-) (+,-) x 2,min (0, - 2) Wir benutzen das central composite design um das Optimum eines Prozesses mit zwei unabhängigen Variablen zu bestimmen In unserem Beispiel soll der Wert der abhängigen Variablen minimiert werden Die Regressionsanalyse des Arbeitsblattes Kosten Kosten x x2 x^2 x2^2 xx2 Kosten Cube,00,00,00,00,00 6,20E-0 2 Cube2,00 -,00,00,00 -,00 9,95E-0 3 Cube3 -,00,00,00,00 -,00 4,44E-02 4 Cube4 -,00 -,00,00,00,00,73E-02 5 Star,4 0,00 2,00 0,00 0,00,08E+00 6 Star2 -,4 0,00 2,00 0,00 0,00-2,79E-02 7 Star3 0,00,4 0,00 2,00 0,00,96E-0 8 Star4 0,00 -,4 0,00 2,00 0,00 3,03E-0 9 Center-5 0,00 0,00 0,00 0,00 0,00-3,02E-02 Mittelwert -5,43E-6 0,00E+00 8,89E-0 8,89E-0 0,00E+00 3,56E-0 Stabw,00E+00,00E+00 7,82E-0 7,82E-0 7,07E-0 4,39E-0 Liefert mit der Methode PCR das folgende Ergebnis: Calibration 00,0% 93,3% 82,4% 77,5% 75,3% 0,4% Leverage Corr 00,0% 0,5% 9,4% 98,8% 08,% 0,9% Cross Validation 00,0% 40,8% 40,8% 40,8% 44,7% 3,3% Es werden fünf Faktoren für benötigt Das ist damit zu erklären, dass im central composite design alle Messpunkte ausgenommen der centre point auf dem Rand des Kalibrierbereiches liegen Die Proben gehören zu sehr unterschiedlichen Objektzuständen und die Information ist nahezu gleichmäßig auf alle Richtungen im Raum der x-variablen verteilt Blatt 0 von 2

11 Das Kalibriermodell für drei Faktoren liefert die folgenden Schätzwerte der Regressionskoeffizienten: ˆ b r 0,390 0,099 = ,48 0,45 Das Regressionsmodell ist also Kosten= 0,390x xx 2 2 0,099x2 + 0,286x + 0,48x2 0, 45 Wir berechnen im Arbeitsblatt Übung 5Übungen xls die Schätzwerte der Kosten für alle Gitterpunkte des Variablenraumes: 2 x 2 y(x, x 2 ),4 0,46 0,255 0,54 0,625 0,984,00 0,272 0,090 0,048 0,580 0,963 0,00 0,09-0,04 0,000 0,677,20 -,00 0,06-0,002 0,247,069,572 -,4 0,63 0,25 0,434,35,842 x -,4 -,00 0,00,00,4 Die gelb markierten Felder sind die Stützstellen des central composite design, an denen die y-werte gemessen wurden Wir benutzen die Excel -Grafik um ein anschauliches Bild des y-verlaufes zu erhalten: 2,000,500,000 0,500 0,000-0,500 -,4 -,00 0,00,00,500-2,000,000-,500 0,500-,000 0,000-0,500-0,500-0,000 -,4 -,00 0,00,00,4,4 Blatt von 2

12 -,4 -,00 0,00,00,500-2,000,000-,500 0,500-,000 0,000-0,500-0,500-0,000,4 -,4 -,00 0,00,00,4 Aus der Grafik geht hervor, dass das Minimum der Kosten im Bereich (-, 0) liegt Wir benutzen das Excel -Addin Solver, um die genauen Werte für das Minimum und dessen Lage im Variablenraum zu berechnen Das Ergebnis ist y min =y( 0,682, 0,00) = 0,33 Noch ein abschließender Hinweis: Auch wenn die einzustellenden Werte der unabhängigen Variablen nach einem Design festgelegt werden, soll nach Notwendigkeit und Möglichkeit - die zeitliche Folge der Messungen randomisiert und die Messungen sollen in Blöcken und mit Wiederholungen erfolgen Wegen der begrenzten Zeit für diesen Kurs habe ich die Fehlerbetrachtungen und die statistischen Tests nicht behandelt Blatt 2 von 2