Beurteilung von Analysenwerten im Hinblick auf eine Grenzwertüberschreitung

Transkript

1 Beurteilung von Analysenwerten im Hinblick auf eine Grenzwertüberschreitung K. Molt Universität Duisburg-Essen, Fak. 4, FG Instrumentelle Analytik 3. Juni 2007 K. Molt (Fachgeb. IAC) 3. Juni / 41

2 Die Grenzwertproblematik Mögliche Ausgänge eines Tests auf Grenzwertüberschreitung Tatsächliche Aus dem Analysenergebnis Diag- Wahrheits- Situation gezogene Schlussfolgerung nose gehalt µ < µ 0 Grenzwert nicht überschritten - richtig µ > µ 0 Grenzwert nicht überschritten - falsch µ > µ 0 Grenzwert überschritten + richtig µ < µ 0 Grenzwert überschritten + falsch K. Molt (Fachgeb. IAC) 3. Juni / 41

3 Die Grenzwertproblematik Hypothesentest (Methode I) H 0 : µ µ 0 ; H 1 : µ > µ 0 (Methode 1) Hier geht man davon aus, dass µ (geschätzt durch den Messwert x) unterhalb des Grenzwertes µ 0 liegt. Nur wenn gravierende statistische Gründe vorliegen, weicht man von dieser Annahme ab und geht von einer Grenzwertüberschreitung aus (µ > µ 0 ). Diese Festlegung von Alternativ- und Nullhypothese geht zu Gunsten des Verursachers ( in dubio pro reo ) und zu Ungunsten der eventuell gefährdeten Umwelt (Natur und/oder Mensch). K. Molt (Fachgeb. IAC) 3. Juni / 41

4 Die Grenzwertproblematik Hypothesentest (Methode II) H 0 : µ µ 0 ; H 1 : µ < µ 0 (Methode 2) Hier geht man davon aus, dass µ (geschätzt durch den Messwert x) oberhalb des Grenzwertes µ 0 liegt. Nur wenn gravierende statistische Gründe vorliegen, weicht man von dieser Annahme ab und geht von einer Grenzwertunterschreitung aus (µ < µ 0 ). Diese Festlegung geht zu Ungunsten des Verursachers und zu Gunsten der eventuell gefährdeten Umwelt (Natur und/oder Mensch). Für worst case -Betrachtungen ist dies die geeignete Methode. Sie ist aber nur dann anzuwenden, wenn das bei der Festlegung von Grenzwerten explizit verlangt ist. K. Molt (Fachgeb. IAC) 3. Juni / 41

5 Die Grenzwertproblematik Methode I an einem Zahlenbeispiel Es wird eine Probe simuliert, die einen bestimmten Grenzwert überschreitet, der mit µ 0 = 10 vorgegeben wird. Der wahre Analysenwert soll µ = 11 sein mit einer Standardabweichung für von σ = 1 für eine einzelne Analyse. Es wird eine Stichprobe von 6 Analysenwerten simuliert werden, aus denen der Mittelwert gebildet wird. K. Molt (Fachgeb. IAC) 3. Juni / 41

6 Die Grenzwertproblematik Methode I an einem Zahlenbeispiel Die Situation Der wahre Gehalt der Probe µ = 11 überschreitet den vorgegebenen Grenzwert µ 0 = 10! Was hindert uns daran dies festzustellen? Die Messunsicherheit! Können wir die Messunsicherheit ausschalten? Nein! Können wir die Messunsicherheit reduzieren? Ja, durch Mittelung von Einzelmessungen (σ/ n)! Die Messunsicherheit bedingt, dass das Analysenergebnis (positiv bzw. negativ) unweigerlich mit einer gewissen Irrtumswahrscheinlichkeit verknüpft ist (α bzw. β)! K. Molt (Fachgeb. IAC) 3. Juni / 41

7 Die Grenzwertproblematik Methode I an einem Zahlenbeispiel > set.seed(18) #Der Zufallszahlengenerator wird an einem d gestartet. > n <- 6 > x <- rnorm(n,mean=11,sd=1) > x <- round(x,1) > x #Simulierte Analysenwerte [1] > (mittelw<- mean(x)) # Mittelwert [1] > (stdabw <- sd(x)) #Standardabweichung [1] > (std.mittel <- stdabw/sqrt(n)) # Standardabweichung des [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

8 Konfidenz-Intervall Konfidenzintervall Obere und untere Grenze x u = x t krit x o = x + t krit s n (1) s n (2) Hierbei ist t krit = Φ t,df =5 (α/2) wobei Φ t,df =5 die Quantile über einer t-verteilung mit dem Freiheitsgrad df = 5 bezeichnet. K. Molt (Fachgeb. IAC) 3. Juni / 41

9 Konfidenz-Intervall Konfidenzintervall für α = 0.1 t_krit <- qt(p=0.95,df=5) > t_krit [1] > (E <- t_krit*std.mittel) [1] > x_u <- mittelw - E > x_u [1] > x_o <- mittelw + E > x_o [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

10 Konfidenz-Intervall Erweiterte Messunsicherheit Die durch Multiplikaton der Standardabweichung mit dem kritischen t-wert erhaltene Fehlermarche von E = t krit = s n = 0, 96 wird in der Analytik auch als erweiterte Messunsicherheit bzw. erweiterte kombinierte Messunsicherheit bezeichnet. K. Molt (Fachgeb. IAC) 3. Juni / 41

11 f Konfidenz-Intervall Zweiseitiges Konfidenzintervall x u x x o α 2 α X K. Molt (Fachgeb. IAC) 3. Juni / 41

12 Konfidenz-Intervall Bedeutung des Konfidenzintervalls Zieht man ständig neue Stichproben, so enthalten auf lange Sicht 1 α = 90% der Konfidenzintervalle den Mittelwert µ. 1 α wird auch die Konfidenzwahrscheinlichkeit genannt. In α = 10% der Fälle enthält das Konfidenzintervall den Mittelwert nicht. Auf Lange Sicht irren wir uns also in α = 10% der Fälle, wenn wir annehmen, dass das Konfidenzintervall µ enthält. α wird daher auch Irrtumswahrscheinlichkeit genannt. K. Molt (Fachgeb. IAC) 3. Juni / 41

13 Konfidenz-Intervall Bedeutung des Konfidenzintervalls x µ Analyse Nr. α = 10% der Konfidenzintervalle enthalten µ nicht! K. Molt (Fachgeb. IAC) 3. Juni / 41

14 Konfidenz-Intervall Einseitiges Konfidenzintervall Prüft man nun auf Überschreitung des Grenzwertes µ 0 = 10, so wird man eine solche dann feststellen, wenn die untere Grenze des Konfidenzintervalls oberhalb des Grenzwerts liegt. Die obere Grenze des Konfidenzintervalls ist dabei irrelevant. In diesem Fall genügt es daher ein einseitiges Konfidenzintervall zu konstruieren, das nach oben offen ist. Übernimmt man die untere Grenze aus dem obigen Beispiel, so erhält man ein Konfidenzintervall von [10.19,+ ]. K. Molt (Fachgeb. IAC) 3. Juni / 41

15 Konfidenz-Intervall Einseitiges Konfidenzintervall f µ 0 x u x α X K. Molt (Fachgeb. IAC) 3. Juni / 41

16 Konfidenz-Intervall Bedeutung des Konfidenzintervalls x µ µ Analyse Nr. α = 5% der Konfidenzintervalle enthalten µ nicht und β = 32% enthalten µ 0! K. Molt (Fachgeb. IAC) 3. Juni / 41

17 Hypothesentest f Einseitiger t-test µ 0 x e x p α X K. Molt (Fachgeb. IAC) 3. Juni / 41

18 Hypothesentest Einseitiger t-test > t.test(x,mu=10,alternative="greater") One Sample t-test data: x t = , df = 5, p-value = alternative hypothesis: true mean is greater than percent confidence interval: Inf sample estimates: mean of x K. Molt (Fachgeb. IAC) 3. Juni / 41

19 Einseitiger t-test Hypothesentest Bedeutung von t Normalisierter x-wert angegeben (t), der angibt, um wieviel Standardabweichungen x von µ 0 abweicht: t = x µ 0 s/ n > t krit (3) t = ( )/(1.1675/ 6) = (4) Dieses t ist größer als der durch die Wahl von α vorgegebene kritische t-wert t krit = 2.02 und es kann daraus der sog. p-wert berechnet werden. > 1-pt(2.4128,df=5) [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

20 Hypothesentest f Einseitiger t-test µ 0 x e x p α X K. Molt (Fachgeb. IAC) 3. Juni / 41

21 Hypothesentest Bedeutung von p Einseitiger t-test Der p-wert entspricht der Wahrscheinlichkeit, dass man bei der Annahme einer Grundgesamtheit mit dem Mittelwert µ 0 einen Wert von x > x erhält. p entspricht damit der Wahrscheinlichkeit, dass ein erzieltes positives Analysenergebnis falsch ist wird auch als beobachtetes Signifikanzniveau bezeichnet. α ist das vorgegebene Signifikanzniveau. Ist der der p-wert kleiner als α, so ist die Nullhypothese zu verwerfen, d.h. der Test ist signifikant. K. Molt (Fachgeb. IAC) 3. Juni / 41

22 Einseitiger t-test Hypothesentest Signifikante Grenzwertüberschreitung In dem vorliegenden simulierten Fall hat die Analyse also eine signifikante Grenzwertüberschreitung ergeben. Wäre ein solcher Fall in der Praxis aufgetreten, dann hätte der Analytiker Glück gehabt, indem er eine signifikante Grenzwertüberschreitung nachweisen konnte und somit die Untersuchung mit Fug und Recht hätten abschließen können, indem das Analysenergebnis zusammen mit dem vorgegebenen Signifikanzninveau α (und möglichst auch p) angegeben wird. α ist dabei der Fehler erster Art und gibt an mit welcher Wahrscheinlichkeit die Feststellung der Grenzwertüberschreitung nicht zutrifft (falsch positives Ergebnis). K. Molt (Fachgeb. IAC) 3. Juni / 41

23 Hypothesentest Einseitiger t-test Keine Signifikante Grenzwertüberschreitung > set.seed(1.13e2) > n <- 6; x <- rnorm(n,mean=11,sd=1) > (mittelw <- mean(x));(stdabw <- sd(x)) [1] [1] > t.test(x,mu=10,alternative="greater") One Sample t-test data: x t = , df = 5, p-value = alternative hypothesis: true mean is greater than percent confidence interval: Inf sample estimates: mean of x K. Molt (Fachgeb. IAC) 3. Juni / 41

24 Einseitiger t-test Hypothesentest Keine signifikante Grenzwertüberschreitung Wäre ein solcher Fall in der Praxis aufgetreten, dann hätte der Analytiker Pech gehabt, indem zwar eine Grenzwertüberschreitung vorliegt, er diese aber nicht feststellen konnte. D.h. das Ergebnis ist falsch negativ. Dies würde im vorliegenden Fall in β = 32% der Fälle passieren! β ist der Fehler 2. Art. K. Molt (Fachgeb. IAC) 3. Juni / 41

25 Power: Aussagekraft des Tests Leistungsfähigkeit (Power) Abhängigkeit von δ β ist die Wahrscheinlichkeit, dass man ein falsch negatives Ergebnis bekommt. 1-β ist die Wahrscheinlichkeit, dass ein Test bzw. Analysenverfahren bei Vorliegen einer Grenzwertüberschreitung ein richtig positives Ergebnis liefert und wird daher auch die Leistungsfähigkeit (Power) des Tests genannt. 1 β ist verknüpft mit dem niedrigsten noch erfassbaren Konzentrations-Effekt δ, also dem kleinsten Betrag der Grenzwertüberschreitung, den wir mit unserem Analysenverfahren noch signifikant erkennen können. 1 β, α,n,σ und δ hängen zusammen. Wenn wir vier dieser Größen kennnen, so können wir die fünfte daraus berechnen. K. Molt (Fachgeb. IAC) 3. Juni / 41

26 Power: Aussagekraft des Tests Berechnung der Aussagekraft eines Tests Was ist die Aussagekraft unseres vorliegenen Testverfahrens, wenn wir eine Grenzwertüberschreitung um δ = 1 noch zuverlässig erfassen wollen? power.t.test(6,delta=1,sd=1,sig.level=0.05, power=null,"one.sample","one.sided") One-sample t test power calculation n = 6 delta = 1 sd = 1 sig.level = 0.05 power = alternative = one.sided K. Molt (Fachgeb. IAC) 3. Juni / 41

27 f Power: Aussagekraft des Tests Sonderfall: µ = x e β = 1 β = 50% µ 0 µ = x e β α X K. Molt (Fachgeb. IAC) 3. Juni / 41

28 Power: Aussagekraft des Tests Steuerung der Leistungsfähigkeit eines Tests Wie groß muss die Zahl der Einzelmessungen sein, wenn denn der Test so leistungsfähig sein soll, dass er eine Grenzwertüberschreitung um δ = 1 in 95% der Fälle erkennt? power.t.test(n=null,delta=1,sd=1,sig.level=0.05, power=0.95,"one.sample","one.sided") One-sample t test power calculation n = delta = 1 sd = 1 sig.level = 0.05 power = 0.95 alternative = one.sided K. Molt (Fachgeb. IAC) 3. Juni / 41

29 f Power: Aussagekraft des Tests Aussagekraft 1 β = 95% µ 0 x e µ δ = µ µ0 β α 1 β X K. Molt (Fachgeb. IAC) 3. Juni / 41

30 Power: Aussagekraft des Tests Aussagekraft 1 β = 95% x µ µ Analyse Nr. K. Molt (Fachgeb. IAC) 3. Juni / 41

31 Situation bei bekanntem σ Power-Berechnungen bei Normalverteilung und bekanntem σ ( ) n δ 1 β = Φ σ Φ 1 (α) (5) ( ) Φ 1 (α) + Φ 1 2 (β) n = (6) δ/σ δ = σ n ( Φ 1 (α) + Φ 1 (β) ) (7) K. Molt (Fachgeb. IAC) 3. Juni / 41

32 Situation bei bekanntem σ δ = 1, σ = 1, n = 6, α = 0, 05 > delta = 1 > power = pnorm(sqrt(6)*(delta/1) - qnorm(1-0.05)) > power [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

33 Situation bei bekanntem σ δ = 1, σ = 1, n = 6, α = 0, 1 > delta = 1 > power = pnorm(sqrt(6)*(delta/1) - qnorm(1-0.1)) > power [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

34 Situation bei bekanntem σ σ = 1, n = 6, α = 0, 05, β = 0, 05 delta <- 1/sqrt(6)*(qnorm(1-0.05) + qnorm(1-0.05)) > delta [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

35 Situation bei bekanntem σ σ = 1, δ = 1, α = 0, 05, β = 0, 05 > n <- ((qnorm(1-0.05) + qnorm(1-0.05))/(delta/1))^2 > n [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

36 Situation bei bekanntem σ σ = 1, δ = 2, α = 0, 05, β = 0, 05 > delta = 2 > n <- ((qnorm(1-0.05) + qnorm(1-0.05))/(delta/1))^2 > n [1] K. Molt (Fachgeb. IAC) 3. Juni / 41

37 Situation bei bekanntem σ n als Funktion von d = δ/σ (Effektgrößen-Index) > delta.div.sigma <- seq(0.1,3.3,0.1) > n <- ceiling(((qnorm(0.05) + qnorm(0.05)) /delta.div.sigma)^2) > colnames(tabelle) <- c("delta/sigma","n") > Tabelle delta/sigma n K. Molt (Fachgeb. IAC) 3. Juni / 41

38 Situation bei bekanntem σ n als Funktion von d = δ/σ (Effektgrößen-Index) delta/sigma n K. Molt (Fachgeb. IAC) 3. Juni / 41

39 Situation bei bekanntem σ n als Funktion von d = δ/σ (Effektgrößen-Index) delta/sigma n K. Molt (Fachgeb. IAC) 3. Juni / 41

40 OC- und ROC-Kurven Operationscharakteristik-Kurven Aussagekraft in % n=1 n=2 n=3 n=4 n=5 n=6 n=7 n=8 n=9 n=10 n=11 n= δ σ K. Molt (Fachgeb. IAC) 3. Juni / 41

41 OC- und ROC-Kurven Receiver Operator Characteristic (ROC)-Kurven Aussagekraft (1 β) in % n=1 n=2 n=3 n=4 n=5 n= Vertrauenswahrscheinlichkeit (1 α) in % K. Molt (Fachgeb. IAC) 3. Juni / 41