Einbeziehen von A-Priori-Wissen, scharfer Model-Prior, Regressionsrechnung

Transkript

1 Einbeziehen von A-Priori-Wissen, scharfer Model-Prior, Regressionsrechnung Dozent: Dr.-Ing. Gerd Ehret Physikalisch-Technische Bundesanstalt 4. Dez Siebte Vorlesung zu Messdatenauswertung und Messunsicherheit (MDA) Modulverantwortlicher: Prof. Dr.-Ing. R. Tutsch, iprom, TU Braunschweig 1 Einbeziehen von a-priori-wissen 1.1 Kurze Wiederholung: Bayessche Statistik zur MU-Bestimmung In der 6. Vorlesung haben wir das Bayes-Theorem kennengelernt. Mit diesem ist es möglich a-priori-wissen p(y ) über die zu bestimmende indirekte Messgröße Y zu berücksichtigen. Wir haben folgenden Zusammenhang kennengelernt: p(y X 1,..., X N ) l(y X 1,..., X N ) p(y ) (1) bzw. p(y X 1,..., X N ) p(x 1,..., X N Y ) p(y ) 1

2 mit p(y ) dem Prior der indirekten Messgröße Y (auch oft als Ausgangsgröße bezeichnet), l(y X 1,..., X N ) Likelihood der Messdaten (Eingangsgrößen) X 1,..., X N. Die Likelihood kann auch wie in der 6. Vorlesung dargestellt als bedingte Wahrscheinlichkeitsdichte p(x 1,..., X N Y ) aufgefasst werden. Der Erwartungswert y := E(Y ) ist der beste Schätzwert für die Messgröße Y und die Varianz ist ein Maß für die Unsicherheit u 2 (y) := V (Y ). Beispiel: Bestimmung einer physikalischen Größe Wir betrachten ein Beispiel, bei dem irgendeine physikalische Größe zu messen ist. Dabei werde ein Gerät bzw. Sensor verwendet, dessen Funktionsprinzip auf einem physikalischen Effekt beruht und dadurch die Größe so erfasst, dass als direkte Messgröße eine Spannung in Volt angezeigt wird. Dies kann beispielsweise die Messung einer Temperatur sein, in der das Phänomen, dass sich ein elektrischer Widerstand proportional zur Tempertur verändert und die Widerstandsänderung über die Änderung der elektrischen Spannung, die über dem Widerstand abfällt, bestimmt wird. Dies kann beispielsweise eine Stufenhöhe sein, die mit Hilfe eines induktiven Wegaufnehmers gemessen wird, der auf dem Phänomen beruht, dass sich die Induktivität einer Spule in Abhängigkeit von der Position ihres Ferritkerns verändert. Es sind viele Beispiele denkbar. Sensoren sind oft so konzipiert, dass sie ein physikalisches Phänomen nutzen und zur elektronischen Erfassung der zu messenden Größe als direkte Größe ein Messignal in Form einer elektrischen Spannung liefern. Wir wollen im folgenden ganz allgemein die indirekte Messgröße mit Y bezeichnen und uns auf keine physikalische Einheit festlegen, sondern diese allgemein nur Einheit nennen. Das Modell, das wir betrachten, ist wie folgt: Das rohe Messsignal (Rohdaten), das als Spannung U bzw. direkte Größe X M vorliegt, ist über einen Kalibrierfaktor K bzw. eine direkte Größe X K in die indirekte physikalische Größe Y umzurechnen. Der Index M steht hier für Messung und der Index K für Kalibrierfaktor. In dem betrachteten Beispiel ergebe das Produkt Y = f(x K, X M ) = X K X M (2) der beiden direkten Größen X K und X M die indirekte Größe Y. Um den Unterschied zwischen der bayesischen Statistik im eigentlichen Sinne und einem Ansatz, der dem GUM Supplement 1 [GUMS1] zugrunde gelegt wird, zu veranschaulichen, werden wir uns klar machen, dass es einerseits die Sichtweise gibt, dass nicht nur die beiden direkten Messgrößen X K und X M Zufallsgrößen sind, sondern MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

3 auch die indirekte Messgröße eine Zufallsgröße Y ist (bayesische Statistik), die ihrerseits zusätzlich zu der Streuung der beiden direkten Größen einen Beitrag zur Streuung liefert, und andererseits, dass die Streuung der indirekten Größe Y von der Streuung der beiden direkten Messgrößen X K und X M herrührt, dass aber Y selber von sich aus nicht streut, sondern dass es einen scharfen Model-Prior gibt. Mit dem Begriff scharf ist hier gemeint, dass Y = f(x K, X M ) also Y keine Streuung haben würde, wenn die beiden direkten Größen X K und X M keine Streuung hätten. Der Einfachheit halber nehmen wir an, dass die Streuung der beiden direkten Größen normalverteilt sei, so dass für deren Wahrscheinlichkeitsdichteverteilungen, Probability Density Functions - kurz pdfs, folgendes gelte: Der Kalibrierfaktor sei nach Herstellung des Sensors bestimmt worden mit einem Wert K 0 und einer Unsicherheit U K, zu der der Erweiterungsfaktor mit k = 2 angegeben sei, so dass wir die Standardabweichung s K = 1 2 U K. p K e 1 2 ( X K K 0 s K ) 2 (3) Diese Verteilung betrachten wir als Prior, der in Abb. 1 dargestellt ist. Ferner sagen wir, dass Abbildung 1: Wahrscheinlichkeitsdichteverteilung, Prior, des Kalibrierfaktors zur Umrechnung der Sensordaten, die die physikalische Dimension einer Spannung in der Einheit Volt hat, in die Dimension der indirekten Messgröße Y in ihrer Einheit. MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

4 wir in unserem Beispiel eine Stichprobe mit J = 11 Messwerten mit dem Sensor aufgenommen haben, (X M,1,..., X M,J ). Der zu messende Gegenstand mit Messgröße Y, deren physikalische Einheit wir hier ganz allgemein einfach Einheit nennen, solle so streuen, dass die gemessenen Spannungswerte (X M,1,..., X M,J ) mit σ = 12 Volt streuen. Wir machen uns dazu klar, dass die Streuung von σ = 12 V nicht die Eigenschaft des Sensors ist, sondern aus der Eigenschaft des Messgegenstands kommt! Als à-priori Wissen zu dem Sensor kennen wir für einen Fall (A.) die Unsicherheit des Sensors unabhängig von dem aktuell vorliegenden Gegenstand der Messung. Die dazu proportionale Standardabweichung s S des Sensors mit Index S für Sensor sei signifikant kleiner als die Streuung der Daten der Stichprobe. Ferner untersuchen wir Auswerteverfahren ohne Kenntnis der Unsicherheit des Sensors, für die die gemeinsame Unsicherheit von Sensor und der Größe Y des Gegenstands der Messung verwendet wird, um die Likelihood zu berechnen, also eine Standardabweichung s M, die sich aus der empirischen Varianz der Stichprobe ergibt. Dazu verwenden wir die Wurzel aus der empirischen Varianz. Dies nennen wir Fall (B.). Wir betrachen nun folgende vier Ansätze zur Bestimmung einer Posterior: (A.) Präziser Sensor, der die Rohdaten in der physikalischen Einheit Volt ausgibt und sehr wenig streut (z. B. s S = 0.3 V). Die sensorintrinsische Standardabweichung s S wird für die Likelihood der direkten Messgröße X M verwendet. p L J e 1 2 ( XM X M,j s S ) 2 (4) (B.) Das intrinsische Streuverhalten des Sensors sei unbekannt und damit nicht trennbar von der Streuung der Größe Y. Eine gemeinsame Streuung s M, die signifikant größer ist als die intrinsische Sensorstreuung s S wird für die Likelihood der Sensorspannung X M verwendet. p L J e 1 2 ( XM X M,j s M ) 2 (5) In Abb. 2 ist die Likelihood gemäß Gl. (4) mit schwarzer, durchgezogener Kurve dargestellt. Sie setzt sich zusammen aus einzelnen schmalen Peaks, Gaußverteilungen, weil die Breite der Normalverteilungen mit s S = 0.3 V wesentlich schmaler ist als der Abstand zwischen den einzelnen Stichprobenelementen. Gl. (5) mit der gemeinsamen, breiten Streuung, die von der Streuung des Messgegenstandes dominiert wird, ist als rot gestrichelte Kurve eingezeichnet. MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

5 Hier sehen wir eine gemeinsame, breite Normalverteilung. Abbildung 2: Likelihood (Wahrscheinlichkeitsdichtefunktion pdf) der direkt gemessenen Größe X M, der Rohdaten: Schwarze, durchgezogene Linie für die pdf mit à-priori- Wissen über die Genauigkeit des Sensors/Messgerätes ( Geraet genau ); rote gestrichelte Kurve für die pdf für unbekannte Streuung vom Gerät, mit der aus der empirischen Standardabweichung der Rohdaten bestimmten Streuung, so dass das Gerät als ungenau erscheint erscheint ( Geraet ungenau ) MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

6 1. Im Fall 1 verwenden wir die Likelihood mit bekannter Streuung s S = 0.3 V des Präzisionssensors (A.), Gl. (4), zusammen mit der Verteilung des Kalibrierfaktors, dem Prior Gl. (3), und einer Normalverteilung für die indirekte Messgröße Y mit einer zu schätzenden Standardabweichung σ Y : p Modell (X K, X M Y, σ Y ) e 1 2 ( ) 2 Y X K X M ( ) 2 σ σy Y mit (J 1) χ 2 (6) s KM Dabei ist s KM eine zur Streuung der Rohdaten proportionale Größe s KM = K 0 s M. Der Faktor K 0 ist der à-priori bekannte Schätzer des Kalibrierfaktors. Die Posterior ist dann p(y, X K, X M, σ Y (X M,1,..., X M,J ), K 0, s K, s S ) ( ) 2 ( ) 2 ( ) 2 e 1 Y X K X M 2 σ Y J e 1 XM X M,j 2 s S e 1 X K K 0 ( 2 s K p χ 2((J 1) ) σ 2). Y s KM (7) 2. Im Fall 2 betrachten wir für die Likelihood (B.) der direkten Messgröße X M die Standardabweichung s M, Gl. (5), und für Verteilung B ( Gerät ungenau ) in Kombination mit der Verteilung des Kalibrierfaktors und für die Modellverteilung nehmen wir wieder eine Standardabweichung s KM an. p(y, X K, X M, σ Y (X M,1,..., X M,J ), K 0, s K ) ( ) 2 ( ) 2 ( ) 2 e 1 Y X K X M 2 σ Y J e 1 XM X M,j 2 s M e 1 X K K 0 ( 2 s K p χ 2((J 1) ) σ 2) Y s KM (8) mit s M für die empirische Standardabweichung berechnet aus der Stichprobe (X M,1,..., X M,J ). 3. Im Fall 3 nehmen wir genauso wie in Fall 2 wieder (B.) ( Gerät ungenau ) dieselbe Likelihood und verwenden wie gehabt die Verteilung des Kalibrierfaktors. Wir wollen jetzt den Übergang zu dem Ansatz mit scharfem Model-Prior bekommen, indem wir für σ Y einen sehr, sehr kleinen Wert einsetzen, so dass die Verteilungsdichte für das Modell Gl. (6) sehr schmal wird, weil die Dirac-Funktion als Normalverteilung für σ 0 MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

7 interpretiert werden kann. p(y, X K, X M (X M,1,..., X M,J ), K 0, s K ) ( ) 2 Y X K X M σ winzig J e 1 2 mit σ winzig = s KM. e 1 2 ( XM X M,j s M ) 2 e 1 2 ( X K K 0 ) 2 (9) s K 4. Im Fall 4 wird für die pdf des Modells der Grenzübergang σ Y 0 vollzogen, siehe Paper von Wuebbler et al. [Wue08], also p Modell (X K, X M Y ) lim σ Y 0 ) 2 ( 1 e 1 Y X K X M 2 σ Y σ Y = δ(y X K X M ) (10) oder allgemein für jedes Modell der Gestalt Y = f(x 1,... X N ) p Modell (X K, X M Y ) lim σ Y 0 Damit sieht der Posterior wie folgt aus ( ) 2 1 e 1 Y f(x1,...x N ) 2 σ Y = δ(y f(x 1,... X N )). (11) σ Y p(y, X K, X M (X M,1,..., X M,J ), K 0, s K ) ( ) 2 ( ) 2 δ (Y X K X M ) e 1 XM X M,j 2 s M e 1 X K K 0 2 s K. (12) Wir berechnen für die jeweiligen Posteriors wieder die jeweilige Marginalverteilung, bei der die Posterior als Funktion von Y gewonnen wird, indem über die Größen X K, X M und σ Y integriert wird. Bei dem im Anhang abgedruckten Matlab/Gnu-Octaveskript wurde eine Vereinfachung vorgenommen, ( ) indem darauf verzichtet wurde, für σ Y eine Verteilungsdichtefunktion σ 2) p χ 2((J 1) Y s KM zu verwenden und dann über σy zu integrieren. Hier wurde einfach nur für σ Y die zur Streuung der Rohdaten proportionale Streuung s KM eingesetzt, also σ Y = s KM. Um von der Überdeckung her sicherer zu sein, haben wir diese aufgrund des sehr kleinen Stichprobenumfangs noch mit einem heuristischen Faktor c > 1 multipliziert s KM = c K 0 s M, MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

8 so dass für die Posteriors der Fälle 1 und 2 folgende Integrationen durchgeführt wurden p(y (X M,1,..., X M,J ), K 0, s K, s S ) ( ) 2 Y X K X M σ Y J e 1 2 e 1 2 ( ) 2 ( ) 2 XM X M,j s S e (13) 1 X K K 0 2 s K d X M d X K für Fall 1, bei dem s S die aus vorheriger Charakterisierung des Sensors, d.h. aus à-priori Wissen, bekannte Standardabweichung der Sensorspannung ist und p(y (X M,1,..., X M,J ), K 0, s K ) ( ) 2 e 1 Y X K X M 2 σ Y J e 1 2 ( ) 2 ( ) 2 XM X M,j s M e (14) 1 X K K 0 2 s K d X M d X K für Fall 2, bei dem s M die aus der Stichprobe (X M,1,..., X M,J ) berechnete empirische Standardabweichung ist. Die Marginalverteilung zu Posterior Gl. (12) für Fall 4, also die pdf als Funktion von Y, sieht wie folgt aus p(y (X M,1,..., X M,J ), K 0, s K ) δ (Y X K X M ) J e 1 2 ( XM ) X 2 ( ) M,j s M e 1 XK K s K d X M d X K. (15) Damit berechnen wir für alle möglichen Paare X K, X M direkt je ein Y mit Y = X K X M. Zu jedem der Paare X K, X M berechnen wir die Wahrscheinlichkeit p(x K X M ) J die dann die pdf als Funktion von Y ist. e 1 2 ( XM ) X 2 ( ) M,j s M e 1 XK K s K, In dem im Anhang gezeigten Matlab/Gnu-octaveskript haben wir für die Größen X K und X M ein äquidistant gerastertes Gitter verwendet und alle Möglichkeiten durchgerechnet. Das lässt sich bei diesem kleinen Beispiel und der Leistung der heutigen Rechentechnik leicht durchführen. Bei umfangreicheren Problemstellungen jedoch ist diese brute force nicht sinnvoll. Für solche Fälle werden solche Samples für die direkten Messgrößen gewählt, die bereits berücksichtigen, wie ihre Wahrscheinlichkeitsdichteverteilungen aussehen. Dies können MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

9 nichtäquidistante, deterministische Samples sein, deren Intervalle enger sind je größer die Wahrscheinlichkeit ist. Dies können aber auch stochastisch gewählte Samples sein, die sich ebenfalls an der Wahrscheinlichkeitsdichte der direkten Größen orientieren. Für die stochastischen Samples werden Pseudozufallszahlen eingesetzt, also Zahlen, die zufällig aussehen, die aber mit deterministischen, numerischen Algorithmen berechnet werden. Wegen des zufälligen Charakters der Zahlen, den auch Zahlen, die bei Spielen mit Würfeln und Roulettescheiben gefunden werden, haben, werden diese Methoden Monte-Carlo-Methoden genannt. Abb. 3 zeigt alle vier Posteriormarginalverteilungen, die pdf für Fall 1 gemäß Gl. (13) als schwarze, durchgezogene Linie mit der Bezeichung in der Legende Geraet genau, Messobjekt schlecht, die pdf für Fall 2 gemäß Gl. (14) als rote, gestrichelte Linie mit der Bezeichnung beides ungenau, die Marginalverteilung zu Gl. (9) als blaue, durchgezogene Kurve und die Wahrscheinlichkeiten zu den paarweise berechneten Werten für Y gemäß der Marginalverteilung mit dem scharfen Model-Prior Gl. (15). Abbildung 3: Posteriorverteilungen für die Bestimmung der indirekten Größe für die 4 Fälle MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

10 1.2 Modellgleichung als à-priori-wissen klass. Statistik Wenn eine Modellgleichung gegeben ist, so kann diese als à-priori-wissen miteinbezogen werden. Gegeben sei die Modellgleichung zwischen der gesuchten Messgröße Y und den direkten Messgröße X 1,..., X N, die wir auch in einem Vektor X := (X 1... X N ) schreiben Y = f(x 1,..., X N ) = f(x) (16) Werden alle Größen, sowohl die direkten X := (X 1... X N ) als auch die indirekte Größe Y als Zufallsgrößen angesehen, so gibt es zu jeder der Größen eine stochastische Komponente, die wir oftmals als normalverteilt erachten können. Wir können aber auch für bestimmte physikalische Gegebenheiten, wie beispielsweise Störungen durch Vibrationen, als verteilt nach einem Arcussinus-Verhalten berechnen. Zu jeder der Größen gibt es also Abweichungen, so dass wir schreiben Y + ε Y all = f(x 1 + ε 1,..., X N + ε N ) + ε Y intrinsisch (17) Wir wollen im weiteren Fall 4 des oben dargelegten Beispiels, nämlich den Fall eines scharfen Model-Priors, genauer beleuchten. Mit dem Begriff des scharfen Model-Priors ist gemeint, dass das Modell selber scharf ist, also Gl. (16) genau so gilt und nur die direkten Größen als Zufallsgrößen erachtet werden Y + ε Y = f(x 1 + ε 1,..., X N + ε N ) (18) sodass die Abweichungen ε Y der indirekten Größe Y allein von den Abweichungen ε i der direkten Größen abhängt und keine der Größe Y eigene (intrinsische) Abweichung zugeordnet wird. ε Y N i=1 X i f(x 1 + ε 1,..., X N + ε N ) ε i + O(ε 2 i ) (19) Das heißt es gelte der in Gl. (11) vorgenommene Grenzübergang, der auch dem entspricht, dass wir sagen ε Y intrinsisch 0 und es wird für die indirekte Messgröße keine Verteilung mehr angenommen. Anders ausgedrückt heißt es, dass bei einem gemessenen Satz an Eingangsgrößen, sich die Ausgangsgröße nach der Modellgleichung Gl.(16) berechnet, so wird die gesuchte Messgröße Y festgelegt. Man kann sich das auch so vorstellen, dass die angenommene Modellverteilung immer schmaler wird und somit nur noch ein Y j Wert bei jeder Beobachtung X j = (X 1,j,... X N,j ) erlaubt ist. Diesen Übergang stellt auch Abb. 4 dar. MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

11 Abbildung 4: Übergang von Bayes-Statistik zur klassischen Statistik mit immer schmaler werdenden angenommenen Verteilungen für Y Wir verwenden gemäß Gl. (11) den Model-Prior als Dirac sche delta-funktion: δ(y f(x)) (20) Dadurch, dass wir hier Y festlegen sind wir nicht mehr in der Bayes-Welt (Bayes-Statistik), sondern wieder in der klassischen Statistik. Durch Messungen oder andere Informationen seien Wahrscheinlichkeitsdichteverteilungen der Messdaten X gegeben, d.h. p(x) (21) Darüberhinaus können haben wir zusätzliche Informationen über die Größe Y in die statistische Analyse einarbeiten, beispielsweise Ergebnisse aus anderen Instituten oder aus vergangenen Messkampagnen. Die können wir ganz genau so behandeln wie den Prior in der bayes schen Statistik. Da wir von den anderen Instituten oder Messkampagnen keine direkten Größen und somit auch keine Likelihood vorliegen haben, verwenden wird eine Wahrscheinlichkeitsdichteverteilung für Y gemäß den Annahmen über die Streuung von Y, die aus dem vollständigen Messergebnis des anderen Instituts oder der anderen Messkampagne hervorgeht. Dies kann eine Normalverteilung, eine Student-t-Verteilung oder dergleichen sein. Die Wahrscheinlichkeitsdichteverteilung (PDF) des Priors zu Y kennzeichnen wir hier mit einem Index Null, also p 0 (Y ) (Prior der Messgröße Y ) p 0 (Y ) (22) Wir können nun eine gemeinsame PDF für Z = (X, Y ) aufstellen, die wie folgt gegeben ist MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

12 [Els07]: p(z) = p(x, Y ) p(x) p 0 (Y ) δ(y f(x)) (23) Die gesuchte PDF für die Messgröße Y erhalten wir durch Marginalisierung der p(x, Y ) über X: p(y ) = p(x, Y )dx p 0 (Y ) p(x ) δ(y f(x ))dx (24) Den besten Schätzwert für Y erhalten wir wieder über den Erwartungswert y = E(Y ): y = = Y p(y )dy Y p 0 (Y ) p(x ) δ(y f(x ))dx p0 (Y ) p(x ) δ(y f(x ))dx dy dy = ( Y p 0 (Y ) p(x ) δ(y f(x ))dy ) dx ( p0 (Y )p(x ) δ(y f(x ))dy ) dx = f(x ) p 0 (f(x )) p(x )dx p0 (f(x )) p(x )dx (25) Die Unsicherheit ergibt sich aus der Varianz von Y u 2 (y) = (y Y ) 2 p(y )dy = (y f(x )) 2 p 0 (f(x )) p(x )dx p 0 (f(x )) p(x )dx (26) Die Nenner in den beiden Gleichungen (25) und (26) sind für die Normierung da. Für den Fall, dass wir keine Vorkenntnisse über die Messgröße Y haben und als Prior- Verteilung eine 1 verwenden (siehe auch die Hinweise der 6. Vorlesung zu non-informativen Priors), d.h. p 0 (Y ) 1 ergibt sich für die Verteilungsdichte von Y aus der Gl.(24) die sogenannte Markov-Formel [Cox06]: p(y ) = p(x ) δ(y f(x ))dx (27) In der Regel benötigen die Formeln (27) und (24) numerische Lösungsverfahren. In einer späteren Vorlesung Monte-Carlo-Methoden als Lösungsverfahrenb vorgestellt werden. Hier zeigen wir für den Fall, dass wir eine lineares Modell und Normalverteilungen haben, eine analytische Lösung. Dieser Ansatz geht natürlich auch, wenn die Modellgleichung (16) linearisiert werden kann. MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

13 1.3 Analyt. Lösung für lineares Modell und Normalverteilungsdichten Die Herleitung findet sich im Paper [Els07]. Gegeben ist die lineare Modellgleichung: Y = N c i X i = c T X (28) i=1 Darüber hinaus seien die Kovarianzen der direkten Messgrößen X gegeben, d.h. die Kovarianzmatrix V (X) bzw. äquivalent X als Index geschrieben V X : V (X) = (Cov(X i, X j )) i,,...,n E((X 1 µ 1 )(X 1 µ 1 )) E((X 1 µ 1 )(X 2 µ 2 )) E((X 1 µ 1 )(X N µ N )) E((X 2 µ 2 )(X 1 µ 1 )) E((X 2 µ 2 )(X 2 µ 2 )) E((X 2 µ 2 )(X N µ N )) = E((X N µ N )(X 1 µ 1 )) E((X N µ N )(X 2 µ 2 )) E((X N µ N )(X N µ N )) Var(X 1 ) Cov(X 1, X 2 ) Cov(X 1, X N ) Cov(X 2, X 1 ) Var(X 2 ) Cov(X 2, X N ) = (29) Cov(X N, X 1 ) Cov(X N, X 2 ) Var(X N ) Die Unsicherheiten u(x) der direkten Messgrößen X stehen auf der Hauptdiagonalen der Kovarianzmatrix V, d. h. u 2 (X i ) = Var(X i ). (Hinweis: Zu den Begriffen Varianz und Kovarianz, siehe auch 5. Vorlesung) Für die pdfs des linearen Modells nehmen wir eine Normalverteilung an, d.h. p(x x) = exp [ 1(X 2 x)t V 1 X (X x)] (2π)N det(v X ) (30) wobei x der Vektor mit beobachteten oder geschätzten Werten zu den Größen X ist. Die Priorinformationen über die zu bestimmende Messgröße Y seien gegeben durch die Stan- MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

14 dardabweichung σ 0 und den Schätzwert y 0 zur Größe Y : p 0 (Y y 0, σ 0 ) = exp [ 1(Y y ] 2 0) 2 /σ0 2 (31) (2π) σ0 Wenn die Priorinformationen über Y nicht berücksichtigt werden, so erhalten wir aus den Schätzwerten x, die wir aus den Beobachtungen der direkten Größen gewonnen haben, für die indirekte Größe Y aufgrund des linearen Zusammenhangs, Gl. (28), folgendes Ergebnis für den Schätzwert y und die Standardabweichung u(y) bzw. Varianz u 2 (y): y = c T x, u 2 (y) = c T V X c. (32) Wenn die Information aus den Messungen, also aus x, nicht berücksichtigt wird, sondern nur die Priorinformation σ 0 und y 0 vorliegt, dann gilt, dass das Ergebnis für Y gleich dem seiner Priorinformationen ist: y = y 0, u 2 (y) = σ0. 2 (33) Wenn wir beide Informationen, die à-priori mit y 0 und σ 0 und die aktuelle Messung mit dem Schätzervektor x, verknüpfen wollen, bilden wir wie gehabt das Produkt der entsprechenden Wahrscheinlichkeitsdichteverteilungen (PDFs) p(y x, y 0, σ 0 ) p(x x) p 0 (Y y 0, σ 0 ) (34) d.h. p(y x, y 0, σ 0 ) exp [ 1(X 2 x)t V 1 X (X x)] (2π)N det(v X ) exp [ 1(Y y ] 2 0) 2 /σ0 2 (35) (2π) σ0 Hier haben wir zunächst proportional geschrieben, denn das Produkt der beiden Verteilungen Gl. (30) und Gl. (31) muss noch derart normiert werden, dass gilt p(y x, y 0, σ 0 ) d Y = 1. Die pdf p(y x, y 0, σ 0 ) für Y ist also gegeben durch das normierte Produkt der beiden Verteilungen Gl.(30) und Gl.(31) bzw. deren Marginalverteilung Gl.(24). Diese aus dem Produkt resultierende Verteilung p(y x, y 0, σ 0 ) ist wegen des Potenzgesetzes mit e a e b normalverteilt. Also schreiben wir folgenden Ansatz auf: p(y y) = exp [ 1 2 (Y y)2 /u 2 (y) ] (2π)u2 (y) = e a+b ebenso (36) Dabei müssen also der Schätzer y und dessen Varianz u 2 (y) eine Verknüpfung aus den Schätzern MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

15 y 0 und x und deren (Ko-)Varianzen σ 2 0 und V X darstellen. Der Erwartungswert y ist gegeben durch: [ y = u 2 c T x (y) c T V X c + y ] 0 σ0 2 (37) Die Varianz bzw. Unsicherheit u 2 (y) ist gegeben durch: [ u 2 1 (y) = c T V X c + 1 ] 1 σ0 2 (38) Der Erwartungswert in Gl.(37) ist der gewichtete Mittelwert y aus dem Schätzwert aus den der Messungen c T x gemäß Gl. (32) und der Priorinformation y 0. Dabei sind die Gewichtsfaktoren, wie wir es für den Fall einer einzelnen Messgröße kennengelernt haben, die reziproken Varianzen bzw. reziproken Kovarianzmatrizen. Für den Fall, dass keine Priorinformationen vorhanden sind, d.h. σ 0 ist der Erwartungswert und die Unsicherheit durch die Messung gegeben. In der Gl. (37) und (38) verschwindet dann der 2. Term. 2 Regression (Ausgleichsrechnung) 2.1 Methode der kleinsten Abweichungsquadrate Ziel der Regression ist es den funktionalen Zusammenhang Y = f(x 1, X 2,..., X N ) zwischen den Eingangs-Messgrößen X j (Regressanden) und der Ausgangsgröße Y (Regressor) möglichst gut zu charakterisieren (siehe 5. Vorlesung). Zur Vereinfachung wollen wir hier nur eine Eingangsgröße betrachten, d. h. Y = f(x). Da die Messgrößen nicht exakt bestimmt werden können betrachten wir diese wieder als Zufallsgrößen X bzw. Y, die mögliche Beobachtungen der Messgrößen repräsentieren. Die Regression soll nun Schätzwerte für die Parameter (Parameter sind wieder Zufallsvariablen) des funktionalen Zusammenhanges der Zufallsgrößen Y = f(x) berechnen. Um eine Schätzung für die Parameter des funktionalen Zusammenhangs zu erhalten, wird die Eingangsgröße in einem bestimmten Bereich variiert. Man misst J Messwertpaare (X j, Y j ) mit j = 1,..., J, die sich als Punktwolke in einem Diagramm darstellen lassen. Auf Grund von Störungen werden die Wertepaare (X j, Y j ) die Gleichung Y j = f(x j ) i. Allg. nicht exakt MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

16 Abbildung 5: Gegebene Wertepaare X j, Y j erfüllen, sondern etwas abweichen, d. h. Y j = f(x j ) + ε j mit j = 1, 2,..., J (39) (ε j : Approximationsfehler, Residuen) Man bestimmt die Parameter der Regressionsfunktion Y = f(x) nun so, dass die Summe der Quadrate der Approximationsfehler (Residuen) ε j möglichst klein wird (Methode der kleinsten Abweichungsquadrate nach C. F. Gauß), d.h. das Qualitätsmaß Q muss minimal werden: Q := ε 2 j = (Y j f(x j )) 2 min (40) Als Modellfunktion wählen wir einen Polynomansatz Y = f(x) p m = θ m X m + θ m 1 X m 1 + θ 1 X + θ 0 m bezeichnet die Ordnung des Poynoms. Die Anzahl der Regressionsparamter bezeichen wir mit M = m + 1 (siehe auch 5. Vorlesung). Die Minimumbedingung lautet dann: Q = Q(θ m, θ m 1,..., θ 1, θ 0 ) = (Y j p m (X j )) 2 min Die Konstanten ˆθ k, die die Funktion Q minimieren stellen dann die beste Schätzung der MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

17 Parameter θ k dar. Die Konstanten ˆθ k, ergeben sich bei der Berechnung der Nullstellen der partiellen Ableitungen von Q: Q θ k = 0, k = 0, 1,..., m θk =ˆθ k Als Lösung erhält man die gesuchte Modellgleichung mit den Regressionskonstanten ˆθ k : Y = f(x) p m = ˆθ m X m + ˆθ m 1 X m 1 + ˆθ 1 X + ˆθ 0 (41) Ein Schätzwert für die Varianz der Approximationsfehler (Residuen), d.h. Var(ε), ergibt sich durch die empirische Varianz: Var(ε) = s 2 = (ˆθ m, ˆθ m 1,..., ˆθ 1, ˆθ 0 ) = Q(ˆθ m, ˆθ m 1,..., ˆθ 1, ˆθ 0 ) J 1 m (42) Am Beispiel der linearen Regression wollen wir uns dieses Verfahren etwas genauer anschauen. 2.2 Lineare Regression Gegeben sind Messreihen (X j, Y j ), j = 1, 2,..., J der beiden Zufallsgrößen X und Y. Beispielhaft ist in Abb. 6 eine entsprechende Punktwolke dargestellt: Da man durch eine Punkt- Abbildung 6: Beispiel für mögliche Fits, linearer Fit und Polynomfit vom Grade 6 wolke immer eine Regressionsgerade legen kann, muss man sich im vorhinein sehr sorgfältig überlegen, ob für das Messsystem als Modellgleichung ein linearer Ansatz überhaupt sinnvoll MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

18 und logisch ist. Bei der linearen Regression wird Folgendes angenommen: Lineare Modellgleichung Die unabhängigen Zufallsgrößen X sind eindeutig gegeben, d.h. Var(X) = 0 Die abhängigen Zufallsgrößen Y sind normalverteilt mit Erwartungswert µ = E(Y ) = ˆθ 0 + ˆθ 1 X und Var(Y ) = σ 2 Gesucht ist die empirische Regressionsgerade zwischen Eingans- und Ausgangs-Zufallsgröße: Y = θ 0 + θ 1 X (43) Die beste Schätzung für die Parameter θ 0 und θ 1 findet man durch Minimierung nach Gl. (40), d. h. Q(θ 0, θ 1 ) = (Y j (θ 0 + θ 1 X j )) 2 min (44) Für jedes vorgegebene Messwertpaar-Ensemble (X j, Y j ), j = 1, 2,... J existiert eine eindeutige Lösung der Gl. (44). Zum Auffinden des Minimums der Gl.(44), bildet man die partiellen Ableitungen und setzt diese gleich Null: Q(θ 0, θ 1 ) θ 0 = Q(θ 0, θ 1 ) θ0 =ˆθ 0, θ 1 =ˆθ 1 θ 1 = 0 θ0 =ˆθ 0, θ 1 =ˆθ 1 mit 2 Q(θ 0, θ 1 ) θ 2 0 > 0 ; θ0 =ˆθ 0, θ 1 =ˆθ 1 2 Q(θ 0, θ 1 ) θ 2 1 > 0 θ0 =ˆθ 0, θ 1 =ˆθ 1 Daraus folgt: Y j J ˆθ 0 ˆθ 1 X j = 0 Y j X j a 0 N X j a 1 Mit J X j = J X und J Y j = J Ȳ folgt: Xj 2 = 0 J Ȳ J ˆθ 0 J ˆθ 1 X = 0 bzw. ˆθ0 = Ȳ ˆθ 1 X MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

19 X j Y j ˆθ 0 n X ˆθ 1 Xj 2 = 0 Diese beiden Gleichungen ineinander eingesetzt, ergibt sich dann: ˆθ 0 = Ȳ ˆθ 1 X und ˆθ1 = (X j Y j XȲ ) (X j X) 2 Durch Verwendung der empirischen Varianz und der empirischen Kovarianz: s 2 X = 1 J 1 s XY = 1 J 1 (X j X) 2 (X j X)(Y j Ȳ ) ergibt sich für die gesuchten Regressionskonstanten ˆθ 0 und ˆθ 1 : ˆθ 0 = Ȳ ˆθ 1 X und ˆθ1 = s XY s 2 X (45) An dieser Gleichung sieht man, dass der Punkt ( X, Ȳ ), den man auch als Schwerpunkt bezeichnet, stets auf der Regressionsgeraden liegt. Hier wurde angenommen, dass X als unabhängige und Y als abhängige Zufallsvariable betrachtet wird. Oft ist es jedoch inhaltlich nicht klar, welche der beiden Zufallsvariablen die abhängige ist. In solch einem Fall kann man zusätzlich die Regression von X auf Y durchführen. Trägt man beide Regressionsgeraden in das gleiche Koordinatensystem ein, so schneiden sich diese stets im Schwerpunkt ( X, Ȳ ). Für den Schätzwert der Varianz des Approximationsfehlers (Residuen) ergibt sich, siehe Gl.(42) s 2 (ˆθ 0, ˆθ 1 ) = Q(ˆθ 0, ˆθ 1 ) J 1 m = Q(ˆθ 0, ˆθ 1 ) J 2 (46) MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

20 2.2.1 Vertrauensbereiche für die Regressionskonstanten Es können aus den Messreihen Vertrauensbereiche für die berechneten Regressionskonstanten ˆθ 0 und ˆθ 1 bestimmt werden. Damit hat man ein Maß für die statistische Sicherheit der Schätzung der Parameter θ 0 und θ 1 durch die Regressionskonstanten ˆθ 0 und ˆθ 1. Der Vertrauensbereich für die Regressionskonstante ˆθ 1 berechnet sich wie folgt: εˆθ1 = t s(ˆθ 0, ˆθ 1 ) s X J 1 (47) (t : t-quantil mit Freiheitsgrad J M, wobei M die Anzahl der Regressionskonstanten, also hier M = 2 ist) Für den Vertrauensbereich der Regressionskonstante ˆθ 0 gilt: εˆθ0 = t s(ˆθ 0, ˆθ 1 ) 1 J + X2 (J 1)s 2 X (48) (t : t-quantil mit Freiheitsgrad J 2) Die Varianz des y-abschnittes wurde in der Gl. (75) der 5. Vorlesung hergeleitet. Dort hatten wir (Hinweis: Wir haben hier den y-abschnitt mit θ 0 bezeichnet und nicht wie in der 5. Vorlesung mit θ 1 ) ˆσ θ 2 0 = ˆσ ε 2 (X 2 j )/(J (Xj 2 ) ( (X j )) 2 ) (49) Wir bezeichnen nun das ˆσ 2 ε hier mit s 2ˆθ0,ˆθ 1 und erhalten: ˆσ 2 θ 0 = s 2ˆθ0,ˆθ 1 (X 2 j )/(J (X 2 j ) ( (X j )) 2 ) (50) Mit der folgenden Null-Identität ˆσ 2 θ 0 = s 2ˆθ0,ˆθ 1 (1/J) (X 2 j )/( (X 2 j ) (1/J)( (X j )) 2 ) (51) 0 = (1/J)( (X j )) 2 + (1/J)( (X j )) 2 (52) gilt (1/J) (X 2 j )/( (X 2 j ) (1/J)( (X j )) 2 ) = (1/J)[ (X 2 j ) (1/J)( (X j )) 2 + (1/J)( (X j )) 2 ]/( (X 2 j ) (1/J)( (X j )) 2 ) das heisst (1/J) (X 2 j )/( (X 2 j ) (1/J)( (X j )) 2 ) = MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

21 (1/J)[1 + (1/J)( (X j )) 2 /( (X 2 j ) (1/J)( (X j )) 2 )] und mit ( (X 2 j ) (1/J)( (X j )) 2 ) = (J 1)s 2 X gilt dann ˆσ 2 θ 0 =s 2ˆθ0,ˆθ 1 (1/J) (X 2 j )/( (X 2 j ) (1/J)( (X j )) 2 ) (53) =s 2ˆθ0,ˆθ 1 (1/J) (X 2 j )/(J 1)s 2 X (54) und mit der Umformung der Null-Identität gilt dann ˆσ 2 θ 0 =s 2ˆθ0,ˆθ 1 (1/J) (X 2 j )/( (X 2 j ) (1/J)( (X j )) 2 ) (55) =s 2ˆθ0,ˆθ 1 (1/J)[1 + (1/J)( (X j )) 2 /( (X 2 j ) (1/J)( (X j )) 2 )] (56) =s 2ˆθ0,ˆθ 1 (1/J)[1 + (1/J)( (X j )) 2 /(J 1)s 2 X (57) mit (1/J)( (X j )) = X gilt (1/J)( (X j )) 2 = J X 2 so dass ˆσ 2 θ 0 =sˆθ0,ˆθ 1 (1/J)[1 + (1/J)( (X j )) 2 /(J 1)s 2 X (58) =s 2ˆθ0,ˆθ 1 (1/J)[1 + (J X 2 )/(J 1)s 2 X] (59) =s 2ˆθ0,ˆθ 1 [(1/J) + ( X 2 )/(J 1)s 2 X] (60) Damit erhalten wir für die Varianz bzw. die Unsicherheit des Achsenabschnittes: ˆσ 2 θ 0 = s 2ˆθ0,ˆθ 1 [(1/J) + ( X 2 )/(J 1)s 2 X] (61) Für den Vertrauensbereich der Regressionskonstante ˆθ 0 erhalten wir somit: εˆθ0 = t ˆσ θ0 = t s(ˆθ 0, ˆθ 1 ) 1 J + X2 (J 1)s 2 X (62) 2.3 Bestimmtheitsmaß, empirischer Korrelationskoeffizient Die Güte des gewählten linearen Ansatzes kann mit dem Bestimmtheitsmaß ρ 2 XY bzw. dem empirischen Korrelationskoeffizienten ρ XY beurteilt werden, aber nur dann wenn ein solcher Zusammenhang auch existiert. Der empirische Korrelationskoeffizienten gibt den Grad der linearen Abhängigkeit zwischen den Messwerten (X 1,..., X J ) und (Y 1,..., Y J ) an. Für den empirischen Korrelationskoeffizienten ρ XY gilt folgendes: MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

22 ρ XY = ±1 ρ XY = 0 ρ XY > bzw. < lineare Abhängigkeit keine lineare Abhängigkeit gleich-/gegenläufige lineare Abhängigkeit Für die Bestimmung des Bestimmtheitsmaßes oder des empirischen Korrelationskoeffizient führt man eine Streuungs- bzw. Varianzanalyse durch. Man kann bei der linearen Regression 3 Arten von Streuungen unterscheiden: st 2 : die totale empirische Varianz sm 2 : die empirische Varianz auf Grund des Modells sr 2 : die restliche empirische Varianz Die totale Streuung ist bei unabhängigen direkten Messgrößen X j gegeben durch: st 2 = 1 J 1 (Y j Ȳ )2 mit Y j : Messwert zu X j (63) Die empirische Varianz auf Grund des Modells beschreibt die Streuung der Y-Werte auf der Regressionsgeraden in Bezug zum Mittelwert Ȳ, d. h. sm 2 = 1 J 1 n (ˆθ 0 + ˆθ 1 X j Ȳ )2 (64) Die Differenz zwischen Y j und ˆθ 0 + ˆθ 1 X j bleiben im Modell unerklärt, sie wird als restliche Streuung bezeichnet: sr 2 = 1 J 1 (Y j (ˆθ 0 + ˆθ 1 X j )) 2 (65) Man kann nun folgendes Bemerkenswerte zeigen: st 2 = sm 2 + sr 2 (66) Das Bestimmtheitsmaß ist definiert als das Verhältnis von empirischer Varianz des Modells zu der totalen Varianz: ρ 2 XY = sm 2 st 2 = (ˆθ 0 + ˆθ 1 X j Ȳ )2 (Y j Ȳ )2 MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

23 Mit dem Schwerpunkt Ȳ = ˆθ 0 + ˆθ 1 X ergibt sich: ρ 2 XY = ˆθ 2 1 (X j X) 2 (Y j Ȳ )2 (X j X) 2 (siehe Gl.(45)) erhält man für das Be- Mit der Regressionskonstanten ˆθ 1 = stimmtheitsmaß: ρ 2 XY = (X j X)(Y j Ȳ ) [ ] 2 (X j X)(Y j Ȳ ) (X j X) 2 (Y j Ȳ )2 = s2 XY s 2 X s2 Y mit 0 ρ 2 XY 1 (67) Den empirischen Korrelationskoeffizienten kann man somit wie folgt berechen (Hinweis: Diese Formel wurde bereits in der 5. Vorlesung eingeführt): ρ XY = s XY s X s Y mit 1 ρ XY 1 (68) Literatur [Els07] C. Elster: Calculation of unceratinty in the presence of prior knowledge, Metrologia 44, , (2007) [Cox06] M.G. Cox, B.R.L. Siebert:The use of a Monte Carlo method for evaluating..., Metrologie 43, S178-88, (2006) [GUMS1] JCGM 101:2008; Evaluation of measurement data Supplement 1 to the Guide to the expression of uncertainty in measurement Propagation of distributions using a Monte Carlo method (2008); E.pdf [Wue08] Gerd Wübbeler, Michael Krystek and Clemens Elster: Evaluation of measurement uncertainty and its numerical calculation by a Monte Carlo method Meas. Sci. Technol. 19 (2008) (4pp) doi: / /19/8/ MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

24 Anhang A1: Matlab-Skript zum Delta-Peaken mit Bayes function bayes_indirect_quantity() Hueser, close all, clear all Kalibrierfaktor K_faktor_0 = ; sigma_k = ; Unsicherheit Messgeraet sigma_m = 0.3; Volt JM = 11; sig = 12; mue = 500; data_m = mue + sig*randn( JM,1); xk = [-4*sigma_K:0.001:4*sigma_K] + K_faktor_0; nk = length(xk) xm = [-4*sig:0.1:4*sig] + mue; nm = length(xm) y = [20:0.2:80]; ny = length(y) std_m = std(data_m)*1.7; std_km = K_faktor_0 * std_m; Messungen in Volt XM = data_m * ones(1,nm) - ones(jm,1) * xm; Das Modell: y = f(xk, xm) für jedes xk und jedes xm kombiniert y_{km,i,j} = xk_i * xm_j für alle i=1,..,nk und,..,nm y_km_matrix = xk * xm; MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

25 in einen langen Spaltenvektor gebracht y_km = y_km_matrix(:); nkm = length(y_km); delta_y = y_km * ones(1,ny) - ones(nkm, 1)*y; direkte Groessen Kalibrierfaktor p_k = exp(-0.5 * ( (xk - K_faktor_0)/sigma_K ).^2 ); p_k = p_k / sum(p_k); figure(110); plot( xk, p_k, linewidth,2); xlabel( Kalibrierfaktor / (Einheit/Volt), fontsize, 14); ylabel( pdf, fontsize, 14); set(gca, fontsize, 14); set(gcf, PaperUnits, centimeters ); x_width=15 ;y_width= 8; set(gcf, PaperPosition, [0 0 x_width y_width]); print -dpng Kalibrierfaktor.png Messungen mit der kleinen Streuung p_m_matrix = exp(-0.5 * ( XM/sigma_M ).^2 ); Summe über alle Messungen p_m_1 = sum( p_m_matrix ); p_m_1 = p_m_1 / sum(p_m_1); mit der grossen Streuung p_m_matrix = exp(-0.5 * ( XM/std_M ).^2 ); Summe über alle Messungen p_m_2 = sum( p_m_matrix ); p_m_2 = p_m_2 / sum(p_m_2); figure(111); plot(xm, p_m_1, k-,... xm, p_m_2, r--, linewidth,2); xlabel( Rohdaten / Volt, fontsize, 14); ylabel( pdf, fontsize, 14); legend( Geraet genau, Geraet ungenau, fontsize,14) set(gca, fontsize, 14); set(gcf, PaperUnits, centimeters ); MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

26 x_width=15 ;y_width= 8; set(gcf, PaperPosition, [0 0 x_width y_width]); print -dpng Rohdaten.png PWahrscheinlichkeit als Funktion der beiden direkten Groessen xk und xm p_km_matrix = p_k * p_m_1; in einen langen Spaltenvektor gebracht p_km_1 = p_km_matrix(:); p_km_matrix = p_k * p_m_2; in einen langen Spaltenvektor gebracht p_km_2 = p_km_matrix(:); Wahrscheinlichkeitsdichteverteilung des Modells zur Vereinfachung nehme ich jetzt keine Verteilung um die std_m sondern nur den einen Schätzwert p_y = exp(-0.5 * ( delta_y/std_km ).^2 ); posterior post_matrix = p_y.* (p_km_1 * ones(1,ny)); sumpost = sum(post_matrix(:)); post_matrix = post_matrix/sumpost; Marginalverteilung durch Summation über xm, xk posterior1 = sum(post_matrix); posterior post_matrix = p_y.* (p_km_2 * ones(1,ny)); sumpost = sum(post_matrix(:)); post_matrix = post_matrix/sumpost; Marginalverteilung durch Summation über xm, xk posterior2 = sum(post_matrix); MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

27 p_y2 = exp(-0.5 * ( delta_y/(std_km*0.003) ).^2 ); posterior post_matrix = p_y2.* (p_km_2 * ones(1,ny)); sumpost = sum(post_matrix(:)); post_matrix = post_matrix/sumpost; Marginalverteilung durch Summation über xm, xk posterior3 = sum(post_matrix); [y_kmsort, km_sort] = sort(y_km); p_2 = p_km_2(km_sort); diff_y = diff(y_kmsort); mid_p_km_2 = (p_2(2:nkm)+p_2(1:nkm-1))*0.5; iuse = find(diff_y>0); meandiff = mean(diff_y(iuse)) diff_y = diff_y/meandiff; pdf = mid_p_km_2(iuse)./diff_y(iuse); figure(120); plot(diff_y); figure(121); plot(y_kmsort(iuse),pdf); sumpdf = 5.2e6; max(pdf) figure(100); plot( y_kmsort(iuse), max(posterior1)*pdf/sumpdf, g.,... y, posterior1, k-,... y, posterior2, r--,... y, posterior3, b-, linewidth,2); xlabel( indirekte Groesse / Einheit, fontsize, 14); ylabel( pdf, fontsize, 14); legend( Dirac: Weise/Wuebbler, Geraet genau, Messobj schlecht,... beides ungenau, Geraet ungenau, Modell duenner Peak ) axis([10 100]); set(gca, fontsize, 14); set(gcf, PaperUnits, centimeters ); x_width=15 ;y_width= 8; set(gcf, PaperPosition, [0 0 x_width y_width]); print -dpng Posterior_all.png MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

28 Übungsaufgaben Aufgabe 7-1: Bestimmung des Schätzwertes und der Messunsicherheit bei einem linearen Modell und Normalverteilungen Gegeben ist ein linearer Zusammenhang zwischen der Ausgangsgröße (indirekte Messgröße) Y und den Eingangsgrößen X j (direkte Messgrößen) wie folgt: Y = c 1 X 1 + c 2 X 2 Die direkten Messgrößen X 1 und X 2 sind nicht korreliert und normalverteilt mit: X 1 N 1 (µ 1 = x 1 = 3, σ 2 1 = ) X 2 N 2 (µ 2 = x 2 = 5, σ 2 2 = ) Nehmen Sie für c 1 = 2 und für c 2 = 3 an. Als Priorinformation ist bekannt, dass die indirekte Messgröße normalverteilt ist mit N 0 (y 0 = 20, σ0 2 = 3) (a) Bestimmen Sie den Schätzwert y und die dazugehörige Unsicherheit u(y) mit den Gl.(37) und (38) Lösung zu 7-1(a) Die Kovarianzmatrix ist gegegen durch V (X) = ( Var(X 1 ) 0 0 Var(X 2 ) ) = ( σ σ 2 2 ) (69) Für die Unsicherheit von y erhält man mit Vorwissen nach Gl. (38): [ u 2 1 (y) = + 1 ] 1 [ 1 = c 2 1 σ1 2 + c 2 2 σ2 2 σ ] 1 = Für den Schätzwert y ergibt sich nach Gl.(37): y = u 2 (y) [ c1 x 1 + c 2 x 2 c 2 1 σ c 2 2 σ y ] 0 = σ0 2 [ ] = Als Schätzwert erhält man y = und als Unsicherheit u(y) = 1.09 MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

29 Aufgabe 7-2: Lineare Regression Gegeben sind 5 Messpunkte X i Y i (a) Führen Sie eine lineare Regression durch, indem Sie den y-abschnitt ˆθ 0 und die Steigung ˆθ 1 bestimmen. Geben Sie das Bestimmtheitsmaß ρ 2 XY an. (b) Bestimmen Sie die Residuen ε j und das Qualitätsmaß Q(ˆθ 0, ˆθ 1 ) der Regression. Geben Sie die Varianz der Residuen s 2 (ˆθ 0, ˆθ 1 ) an? (c) Geben Sie das 95ige Vertrauensintervall von ˆθ 0 und ˆθ 1 an. Es wird dazu das t-quantil für 3 Freiheitsgrade (5 Messpunkte minus 2 Parameter = 3 Freiheitsgrade) benötigt. Das t-quantil für den beidseitigen Vertrauensbereich von 95 für 3 Freiheitsgrade ist gegeben durch t 3 = Man erhält das t-quantil durch den Matlab/Octave-Befehl: tinv(0.975,3) = (tinv berechnet den einseitigen Vertrauensbereich) oder man schlägt in einem Tabellenwerk nach; siehe z. B. t-verteilung Lösung zu 7-2(a) Gesucht: Y = ˆθ 1 X + ˆθ 0 Mittelwert von X: X = 3; Mittelwert von Y : Ȳ = 0.64; Empirische Standardabeichung von X: s X = ; Empirische Standardabeichung von Y : s Y = ; Empirische Kovarianz: s XY = 0.25 Schätzwerte ˆθ 1 und ˆθ 0 : Bestimmtheitsmaß: Lösung zu 7-2(b) ˆθ 1 = s XY s 2 X = ˆθ 0 = Ȳ ˆθ 1 X = ρ 2 XY = s2 XY s 2 X s2 Y Residuen: ε j = Y j (ˆθ 0 + ˆθ 1 X j ) mit j = 1,..., 5 = ε 1 = ; ε 2 = ; ε 3 = ; ε 4 = ; ε 5 = MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

30 Qualitätsmaß: Varianz der Residuen: Q(ˆθ 0, ˆθ 1 ) = ε 2 j = s 2 (ˆθ 0, ˆθ 1 ) = Q(ˆθ 0, ˆθ 1 ) J 2 = bzw. s(ˆθ 0, ˆθ 1 ) = Lösung zu 7-2(c) 95iger Vertrauensbereich für ˆθ 1 mit t 3 = und Standardabweichung von s X = εˆθ1 = t 3 s(ˆθ 0, ˆθ 1 ) s X J 1 = iger Vertrauensbereich für ˆθ 0 errechnet sich durch: εˆθ0 = t 3 s(ˆθ 0, ˆθ 1 ) 1 J + X2 (J 1)s 2 X = Ergebnis: Der 95 Vertrauensbereich des Schätzwertes ˆθ 1 ist somit gegeben durch: ˆθ 1 = ± bzw. [0.0514; ] (70) Der 95 Vertrauensbereich des Schätzwertes ˆθ 0 ist somit gegeben durch: ˆθ 1 = ± bzw. [0.1788; ] (71) MDA, 7.V, iprom, Version: gerd.ehret@ptb.de

31 Anmerkung: Lösung mit Matlab/Octave Bei Matlab gibt es den Befehl polyfit mit dem Polynomfits durchgeführt werden können. Matlab liefert hier dasselbe Ergebnis, auch für die Vertrauensbereiche, das Qualitätsmaß Q (engl. SSE: Sum sqared error) oder das Bestimmheitsmaß ρ 2 XY (R-square), siehe Abb.7: Abbildung 7: Lösung der Aufgabe mit dem polyfit Befehl von Matlab/Octave. Es wird hier u. a. der 95ige Vertrauensbereich berechnet und angezeigt (siehe Mitte links in der Abbildung). MDA, 7.V, iprom, Version: gerd.ehret@ptb.de