Versuchsplanung. Teil 1 Einführung und Grundlagen. Dr. Tobias Kiesling <kiesling@stat.uni-muenchen.de> Einführung in die Versuchsplanung

Transkript

1 Versuchsplanung Teil 1 Einführung und Grundlagen Dr. Tobias Kiesling <kiesling@stat.uni-muenchen.de> Inhalt Einführung in die Versuchsplanung Hintergründe Grundlegende Prinzipien und Begriffe Vorgehensweise Inhalt der Vorlesung Statistische Grundlagen Stichproben und Wahrscheinlichkeitsverteilungen Hypothesentests Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 2 1

2 Experimente Experiment als Test oder Reihe von Tests Breites Anwendungsspektrum in Wissenschaft und Technik Charakterisierung/Optimierung von Prozessen Untersuchung von Materialeigenschaften Entwurf und Entwicklung von Produkten Bestimmung der Fehler-Toleranz von Systemen und viele weitere Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 3 Warum Experimente? Einsatzmöglichkeiten von Experimenten Erhöhung des Funktionsumfangs eines Produkts Bessere Erfüllung von Kundenanforderungen Kostensenkungen, z.b. geringere Materialkosten Verkürzung der Entwicklungszeit neuer Produkte Verkürzung der Durchlaufzeit in der Fertigung Einsatz objektiver Methoden Gezielte Erhebung anderweitig nicht verfügbarer Daten Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 4 2

3 Warum Versuchsplanung? Knappe Ressourcen möglichst wenig Einzelversuche Randbedingungen beeinflussen Anzahl nötiger Versuche Beispiel 8 Einzelversuche je Variante erforderlich für Erkennung eines Unterschieds von 2σ 16 Einzelversuche für Vergleich zweier Anlagen Häufiger Ansatz für Versuchsdurchführung: One-factor-at-a-time Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 5 Warum Versuchsplanung? Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 6 3

4 Warum Versuchsplanung? Vorteile der Versuchsplanung Geringere Anzahl Einzelversuche (Effizienz) Möglichkeit der Betrachtung von Interaktionen zwischen den Einflüssen Ausgewogener Versuchsplan Bedeutung erhöht sich mit steigender Anzahl von Einflüssen, z.b. bei vier Einflüssen 16 Einzelversuche mit Versuchsplanung 40 Einzelversuche mit One-factor-at-a-time Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 7 Geschichte der Versuchsplanung Die Ursprünge in der Landwirtschaft, 1908 bis in 40er Jahre W. S. Gossett und der t-test (1908) R. A. Fisher und Mitarbeiter Durchschlagender Einfluss auf die Landwirtschaft Faktorielle Designs, ANOVA Die erste industrielle Ära, 1951 bis Ende 70er Jahre Box & Wilson, response surfaces Anwendungen in chemischer und verarbeitender Industrie Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 8 4

5 Geschichte der Versuchsplanung Die zweite industrielle Ära, späte 70er Jahre bis 1990 Bestrebungen zur Qualitätsverbesserung in vielen Firmen Taguchi mit robustem Design, Robustheit von Prozessen Die Moderne, seit ca Weiterentwicklung und Verfeinerung statistischer Versuchsplanung Statistische Ausbildung als fester Bestandteil vieler Ingenieurstudiengänge Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 9 Inhalt Einführung in die Versuchsplanung Hintergründe Grundlegende Prinzipien und Begriffe Vorgehensweise Inhalt der Vorlesung Statistische Grundlagen Stichproben und Wahrscheinlichkeitsverteilungen Hypothesentests Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 10 5

6 Ein einfaches Prozessmodell Kontrollierbare Einflussgrößen x 1 x 2 x p... Eingaben Prozess Ausgabe y... z 1 z 2 z q Unkontrollierbare Einflussgrößen Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 11 Ziele der Experimentdurchführung Bestimmung der wichtigsten Faktoren x i Kalibrierung der Faktoren x i zur Einstellung eines Nominalwertes von y Bestimmung der Werte der x i so, dass die Streuung von y minimiert wird Bestimmung der Werte der x i so, dass Einfluss der Störgrößen z i minimiert wird Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 12 6

7 Wichtige Begriffe Bsp 1.1 Zielgrößen Bestimmung des Grads der Zielerreichung Errechnet aus Messgrößen Einflussgrößen Meist Berücksichtigung aller Steuergrößen als Faktoren Evtl. Blockbildung für Störgrößen Einflussgrößen Steuergrößen Störgrößen Einflussgrößen Faktoren Nicht im Versuch Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 13 Inhalt Einführung in die Versuchsplanung Hintergründe Grundlegende Prinzipien und Begriffe Vorgehensweise Inhalt der Vorlesung Statistische Grundlagen Stichproben und Wahrscheinlichkeitsverteilungen Hypothesentests Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 14 7

8 Vorgehensweise beim Experimentieren 1. Ausgangssituation beschreiben 2. Untersuchungsziel festlegen 3. Zielgrößen und Faktoren festlegen 4. Versuchsplan aufstellen 5. Experimente durchführen 6. Versuchsergebnisse auswerten 7. Ergebnisse interpretieren und Maßnahmen ableiten Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung Ausgangssituation beschreiben Wer ist der Kunde? Was ist die langfristige Zielsetzung? Welches konkrete Problem soll durch die jetzt geplante Untersuchung gelöst werden? Wie viel Zeit und Geld ist verfügbar? Wer ist von der Untersuchung betroffen? Was ist über Problemstellung schon bekannt? Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 16 8

9 2. Untersuchungsziel festlegen Erkennung der wichtigsten Einflüsse Faktor-Screening (v.a. faktorielle Designs) Eher qualitative als quantitative Aussagen Optimierung der Zielgröße(n) Bestmöglich oder Erreichung einer Zielmarke Z.B. Response-Surface-Methoden (RSM) Reduzierung der Streuung/Robustheit Fokus eher auf geringer Streuung der Zielgröße Methoden nach Taguchi Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung Zielgrößen und Faktoren festlegen Für Auswahl der Zielgrößen zu berücksichtigende Aspekte Kundenorientierung/Relevanz Quantifizierung Vollständigkeit Verschiedenheit Aspekte können im Konflikt stehen Berücksichtigung von Messungenauigkeiten Atomare vs. aggregierte Zielgrößen Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 18 9

10 3. Zielgrößen und Faktoren festlegen Sammlung der Einflussgrößen Z.B. mittels Ursache-Wirkungs-Diagramm Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung Zielgrößen und Faktoren festlegen Auswahl der Faktoren aus Menge der Einflussgrößen Nur hier gewählte Einflüsse können später in der Analyse näher untersucht werden Festlegung der Faktorwertstufen Abhängigkeit vom Untersuchungsziel Art des Faktors (quantitativ/qualitativ) Richtige Auflösung bei quantitativen Größen Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 20 10

11 3. Zielgrößen und Faktoren festlegen Festlegung der Faktorwertstufen Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung Versuchsplan aufstellen Festlegung der Wertstufenkombinationen Anzahl der Replikationen Verbesserung der Schätzung von Effekten Schätzung der Reststreuung Blockbildung Umgang mit bekannten Störgrößen Randomisierung Durchführung in zufälliger Reihenfolge Umgang mit nicht kontrollierbaren Einflussgrößen Aufwandsabschätzung Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 22 11

12 Restliche Schritte 5. Experimente durchführen 6. Versuchsergebnisse auswerten Anwendung statistischer Methoden Beschreibende/Schließende Statistik Identifikation/Behandlung von Ausreißern 7. Ergebnisse interpretieren und Maßnahmen ableiten Bedeutung der Ergebnisse Einleitung neuer Experiment-Iterationen Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 23 Wesentliche Aspekte beim Experimentieren Statistisches Denken notwendig, aber Nicht-statistisches Wissen unabdingbar Wesentliche Bedeutung der Planungen vor Experimentdurchführung Sequentielles Denken und Experimentieren (iteratives Vorgehen) Zielgerichtetes Experimentieren Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 24 12

13 Inhalt Einführung in die Versuchsplanung Hintergründe Grundlegende Prinzipien und Begriffe Vorgehensweise Inhalt der Vorlesung Statistische Grundlagen Stichproben und Wahrscheinlichkeitsverteilungen Hypothesentests Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 25 Überlick über die Veranstaltung Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 26 13

14 Überlick über die Veranstaltung Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 27 Inhalt Einführung in die Versuchsplanung Hintergründe Grundlegende Prinzipien und Begriffe Vorgehensweise Inhalt der Vorlesung Statistische Grundlagen Stichproben und Wahrscheinlichkeitsverteilungen Hypothesentests Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 28 14

15 Experimente Beobachtung ergibt sich aus Einzelversuch Werte der Zielgröße unterscheiden sich für die verschiedenen Einzelversuche Verrauschte Zielgröße (Noise) Experimentfehler (error) = statistischer Fehler Fehler resultiert aus unkontrollierbarer Variation Zielgröße ist Zufallsgröße Diskrete vs. kontinuierliche Zufallsgrößen Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 29 Statistische Grundlagen Deskriptive Statistik für Stichprobendaten Zufallsstichproben vs. Gesamtpopulation Stichprobenmittel, Stichprobenvarianz und Standardabweichung Erwartungswert, Varianz, Standardabweichung Parameterschätzer Einfache vergleichende Experimente Grundlagen von Hypothesentests Der Zwei-Stichproben t-test Überprüfung von Annahmen; Validität Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 30 15

16 Mittelwert und Varianz Erwartungswert einer Zufallsgröße Varianz einer Zufallsgröße Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 31 Bsp 1.2 Stichprobenmaße für Zufallsgröße Stichprobenmittel als Schätzer des EW y 1 n yi n i = 1 = Stichprobenvarianz als Varianzschätzer 1 S y y n 2 2 = ( i ) n 1 i= 1 Unverzerrte Schätzer mit min. Varianz Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 32 16

17 Quadratsummen und Freiheitsgrade Korrigierte Quadratsumme einer Stichprobe Anzahl Freiheitsgrade von SS: Für den Erwartungswert von SS gilt Anzahl Freiheitsgrade von SS entspricht Anzahl unabhängiger Elemente in SS Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 33 Standardfehler des Mittelwertes Mittelwert als Schätzer ist Zufallsgröße Standardfehler repräsentiert Varianz des Schätzers Errechnung aus Standardabweichung Kann zur Berechnung approximativer Konfidenzintervalle verwendet werden Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 34 17

18 χ 2 -Verteilung Normalverteilte ZG mit EW μ und Varianz σ 2 Verteilung der Varianz einer Stichprobe Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 35 t-verteilung z und χ 2 unabh. Std-Normal-/Chi-Quadrat-verteilt t-verteilt mit k Freiheitsgraden t-verteilt mit n 1 Freiheitsgraden Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 36 18

19 F-Verteilung χ u2 und χ v2 unabhängig Chi-Quadrat-verteilt mit u bzw. v Freiheitsgraden F-verteilt mit u,v Freiheitsgraden Beispiel: Mit S 12 und S 2 2 zweier unabhängiger Populationen mit gleicher Varianz gilt Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 37 Inhalt Einführung in die Versuchsplanung Hintergründe Grundlegende Prinzipien und Begriffe Vorgehensweise Inhalt der Vorlesung Statistische Grundlagen Stichproben und Wahrscheinlichkeitsverteilungen Hypothesentests Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 38 19

20 Grundlagen von Hypothesentests Statistische Hypothesentests wichtiges Werkzeug bei Analyse von Experimentdaten Ursprünge der Methodologie reichen in die frühen 1900er-Jahre zurück Hauptwerkzeug bei Auswertung geplanter Experimente ist Zwei-Stichproben t-test Annahme: Vollständig randomisierter Versuchsplan Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 39 Grundlagen von Hypothesentests Zwei Stichproben t-test Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 40 20

21 Grundlagen von Hypothesentests Zwei Stichproben mit Normalverteilungsannahme Statistische Hypothesen (einseitiger Test) H 0 : μ 1 = μ 2 H 1 : μ 1 μ 2 Statistische Hypothesen (zweiseiten Test) H 0 : μ 1 < μ 2 H 1 : μ 1 μ 2, oder H 0 : μ 1 > μ 2 H 1 : μ 1 μ 2 Testentscheidungen können Fehlerhaft sein α = P(Fehler 1. Art) = P(H 0 abgelehnt obwohl zutreffend) β = P(Fehler 2. Art) = P(H 0 nicht abgelehnt obwohl falsch) Alternativ: Mächtigkeit eines Tests Power = 1 β = P(H 0 richtigerweise abgelehnt) Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 41 Funktionsweise des t-tests (1) Differenz der Stichprobenmittel als Maß des Unterschiedes zwischen den Populationen Verteilung von : Daraus ergibt sich als Teststatistik Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 42 21

22 Funktionsweise des t-tests (2) Verwendung von S 12 und S 22 als Schätzer für σ 12 und σ 2 2 ergibt für Z 0: y1 y2 2 2 S1 S2 + n n 1 2 Mit der Annahme σ 12 = σ 22 = σ 2 wird als gemeinsamer Schätzer verwendet: ( n1 1) S1 + ( n2 1) S2 S p = n + n Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 43 Funktionsweise des t-tests (3) Die Test-Statistik ist t n n 1 2 t 0 nahe Null impliziert H 0 t 0 stark unterschiedlich von Null weist auf H 1 hin t 0 ist ein Distanz-Maß der Mittelwerte in Relation zur Standardabweichung t 0 kann auch als signal-to-noise -Verhältnis angesehen werden = S p y y Bsp 1.2 Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 44 22

23 Funktionsweise des t-tests (4) Keine richtige Statistik bisher Benötigt wird objektive Basis zur Entscheidung wie groß t 0 wirklich ist W. S. Gosset leitete 1908 die Referenz- Verteilung für t 0 ab, die sog. t-verteilung Tabellen der t-verteilung z.b. im Anhang des Lehrbuches Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 45 Funktionsweise des t-tests (5) t-verteilung mit 18 Freiheitsgraden und kritischem Bereich t 0 = Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 46 23

24 Funktionsweise des t-tests (6) Wert von t 0 zwischen und deutet auf Gleichheit der Mittelwerte hin Es kann sein, dass die Mittelwerte gleich sind, und t 0 liegt nicht zwischen und Dies ist ein seltenes Ereignis, das zum falschen Schluss führt, dass die Mittelwerte ungleich sind Alternativ kann der P-Wert-Ansatz verwendet werden Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 47 Funktionsweise des t-tests (7) P-Wert entspricht Fläche (= W keit) in Enden der t-verteilung >2.2 und <-2.2 P-Wert ist Maß dafür wie unerwartet der Wert der Test-Statistik ist, gegeben H 0 ist wahr P-Wert zeigt Risiko an, die Null-Hypothese falscherweise abzulehnen (Maß für die Seltenheit dieses Ereignisses) In unserem Beispiel ergibt sich P = Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 48 24

25 Weitere Aspekte Bedeutung des t-tests für Experimente Objektives Werkzeug für einfache vergleichende Experimente In 2-wertigen faktoriellen Designs Tests aller relevanten Hypothesen möglich Hypothesen berücksichtigen Mittelwerte auf gegenüberliegenden Seiten des Hyperquaders Überprüfung der Annahmen nötig Quantifizierung der Unsicherheit mit Konfidenzintervallen Teil 1 -- Einführung und Grundlagen Tobias Kiesling, Versuchsplanung 49 25