Shrinkage Estimators for Covariance Matrices

Transkript

1 Shrikage Estimators for Covariace Matrices Floria Forster wwwforster-floriade 9 Jui 003 Daiels, M J ad Kass, R E (00) Shrikage Estimators for Covariace Matrices Biometrics 57, Geerelles Problem Zu schätze ist die Kovariazmatrix eier d-dimesioale ZV aus uabhägige Realisieruge x,,x Ma möchte auch da ei möglichst gutes Schätzergebiss erziele we ur relativ weig Beobachtuge zur Verfügug stehe I der Praxis werde die durch Auswertug der Date erzielte Schätzergebisse durch Awedug bestimmter Verfahre verbessert Zufallszahle mit dem Box-Muller-Verfahre double radomgood() { N = * N + 7; // rechet mod ^{3} retur (double) N / ; // (double) ^{3} } aus Aus zwei uiform verteilte ZV (Geerator aus Ritter (003)) auf [0, [ erhält ma durch das Box- Muller-Verfahre zwei stadard ormal verteilte ZV, dh eie sphärisch (=rotatiosivariat) ormalverteilte ZV i Ê Seie X,X uabhägig ud uiform verteilt i [0,[ da sid Z = lx cos(πx ) ud Z = lx si(πx ) uabhägig ormal verteilt mit Mittelwert µ= 0 ud Variaz σ =

2 3 Bestimmug ud Realisierug der Populatio Ma immt eie beliebige symmetrische Matrix der Dimesio d ud berechet die Eigevektore dieser Matrix Die daraus resultierede orthogoale Matrix der Eigevektore ist im folgede U Mittels d uabhägige ud stadard ormal verteilte Zufallsvariable X,,X d erstellt ma eie Beobachtug der Form x = x x d 3 Jede dieser Beobachtuge wird mit der Matrix U ud de Eigewerte i der Form λ x x eu = U multipliziert λd x d 4 x eu (besser gesagt die zugehörige ZV) ist u zetriert mit Variaz EUD λ xxt D λ U T = UD λ (ExxT )D λ U T = UD λ D λ U T = UD λ U T Die Eigewerte sid also λ,,λ d 4 Naiver Schätzer Um verüftige Werte zu erhalte sollte die Azahl der Beobachtuge um de Faktor 0 größer sei als die Dimesio d Aus de obe gegebee Date berechet ma de Mittelwert x = i= x eu i Die geschätzte Kovariazmatrix berechet sich u als ˆΣ = i= x eui x x euid x d ( x eui x ) x euid x d 5 Verbesserug vo ˆΣ 5 Weightig Es hat sich gezeigt dass eie Multiplikatio der geschätzte Matrix mit 4 log(n) auf alle Elemete der Matrix außer der Diagoale die Schätzug verbessert Es ist offesichtlich dass dieser Faktor gege kovergiert we die Azahl der Beobachtuge gege geht ud dass er gege 0 kovergiert we im Vergleich zu d klei ist Durch zahlreiche Tests wurde vo mir ermittelt, dass ma mit sqrt(log(n))

3 (schelleres Wachstum) bereits schlechtere Ergebisse erzielt werde Eie utere Schrake kote trotz zahlreicher Versuche mit der begrezte Zeit icht festgestellt werde Ma fidet allerdigs sicherlich durch ausführlichere Tests eie Gerade die für jedes eie schlechtere Faktor liefert 5 Stei-Schätzer Die zugrudeliegede Idee bei Stei ist, dass bei eier Zerlegug vo ˆΣ = OˆλO T i Eigewerte ud Eigevektore der größte Eigewert zu groß ud der kleiste zu klei ist Die Vorgehesweise ist u, dass dieser Mißstad i de Date behobe wird Stei schlug vor Σ = OΛ (ˆλ)O T mit Λ (ˆλ) = diag(λ (ˆλ),,λ d (ˆλ)) zu wähle, wobei λ j (ˆλ) = ˆλ j α i ud α j = d++ˆλ j i j ˆλ j ˆλ j gilt Es ist leicht zu sehe dass egative Eigewerte bei eiem kleie im Vergleich zu d auftrete köe ud dass die Summe schell gege uedlich geht we geschätzte Eigewerte ah zusamme liege Dadurch ka ei udefiite Matrix etstehe, welche i eier Determiate < 0 resultiere ka ud zum Versage der Verlustfuktio führt (siehe Foliesatz) 53 Log Eigevalue Posterior Mea Estimator aus (Daiels ad Kass (00)) Daiels/Kass gehe bei ihrem Schätzer vo eier a-priori Normalverteilug auf de Logarithme der Eigewerte, also log(λ i ) N(log( λ i ),τ ), ud eier likelihood Fuktio log( ˆλ i ) N(log(λ i ), ) aus Für die Herleitug des Schätzers siehe Ahag mit λ i = exp( ˆτ = log(ˆλ)+ ˆτ + ˆτ + log(ˆλ i ) ˆτ d i= log(ˆλ i ) log(ˆλ) c wobei i beide Fälle log(ˆλ) = d d i= log(ˆλ i ) gilt Für c köe verschiedee Werte geutzt werde, wobei sich die Autore für c = d + 4 etschiede habe Adere Werte aus der Literatur sid c = d (James- Stei) oder c = d 5 3 (Strawderma, Efro/Morris) Diese tediere allerdigs geauso wie der Stei- Schätzer zu eier zu starke Verkleierug der Eigewerte ) 54 Qualitätskotrolle Um die Qualität eies Schätzers zu überprüfe beötigt ma eie Verlustfuktio Die Autore beutzte hierfür die vo Stei vorgeschlagee Formel L = tr( ΣΣ ) d log ΣΣ Das Resultat dieses Wertes wurde da i ei prozetuales Ergebiss im Vergleich zum aive Schätzer ohe Verbesserug i der Form aiv verbessert aiv (PRIAL=Percetual Reductio I Average Loss) umgewadelt 3

4 6 Tests Um die Arbeit zu verifiziere ud um selbst Ergebisse zur Beurteilug der Qualität der Schätzer zu erhalte wurde mit folgede Date getestet Λ = diag(,,) (gut koditioiert) Λ = diag(0 d,0 d,,0 0 ) (schlecht koditioiert) Die Matrix U wird aus eier ach auße abkligede symetrische Matrix der Form d d d d berechet Als Startwerte für de Zufallszahlegeerator wurde die Zahle 34, 0, 777, 437, 987, 45, 3470, 9999, 645, 00 beutzt Dabei kame die drei obe geate Schätzer zum Eisatz ud wurde miteiader vergliche 6 d=5/λ Weightig (Mi/Avg/Max) Stei (Mi/Avg/Max) Log Eigevalue (Mi/Avg/Max) 0 599/7594/ /-77/749 ( a) 507/4333/ /757/ /-9064/ /5837/ /6836/ /-3669/533 (4 a) 4033/656/ /666/ /-4455/-8776 (3 a) 4630/7348/ /6345/ /-460/ /808/ d=5/λ Weightig (Mi/Avg/Max) Stei (Mi/Avg/Max) Log Eigevalue (Mi/Avg/Max) 0 670/566/6467-3/500/945 ( a) 5/3/ /565/ /645/68 53/646/ /538/ /87/904 5/90/ /586/576 4/47/ /6/ /4635/ /-08/ /-054/-049 4

5 63 d=0/λ Weightig (Mi/Avg/Max) Stei (Mi/Avg/Max) Log Eigevalue (Mi/Avg/Max) 0 778/845/ /785/ /65/ /8660/ /-74/393 0/3488/ /8499/ /-547/ /456/ /7975/ /-65758/ /4450/ /7770/ / / /457/54 64 d=0/λ Es wird ur och der Mittelwert agegebe Die Streuug der Eizelergebisse ist bei jedem Schätzer zu gerig um och vo Iteresse zu sei Weightig Stei Log Eigevalue A Herleitug des Log-Eigevalue-Schätzers Durch die beide Vorraussetzuge erhält ma zuächst für die a-priori Verteilug (logλ i log λ) πτ e τ sowie e π (log ˆλ i logλ i ) für die likelihood Fuktio Diese beide Terme werde u multipliziert ud ma erhält dadurch eie a-posteriori Fuktio die bzgl logλ i zu maximiere ist, also (logλ i log λ) πτ e τ π e (log ˆλ i logλ i ) miimal Da die Brüche vor der Expoetialfuktio i diesem Fall als kostat azuehme sid, es wird ja bzgl logλ i maximiert, erreicht ma sei Ziel am beste durch Zusammefasse der beide Expoetialfuktioe ud Miimierug dieses Terms multipliziert mit l Zu Miimiere ist also der Term (logλ i log λ) + (log ˆλ i logλ i ) τ (log ˆλ i logλ i ) = 0 was ach logλ i aufzulöse ist Durch Ableite ud gleichsetze mit 0 erhält ma letztlich (logλ i log λ) τ 5

6 (logλ i log λ) τ logλ i log λ τ logλ i log λ τ τ logλ i log λ + logλ τ i = τ log λ logλ i = + log ˆλi τ ( τ +) ( τ +) logλ i = logλ i = τ ( τ (log ˆλ i logλ i ) = 0 log ˆλ i + logλ i = 0 log ˆλ i + logλ i = 0 +) log λ+ log λ+ τ +τ + log ˆλ i ( τ +) log ˆλ i ( +τ ) log ˆλ i Die Fuktio ist also da miimal we user eues λ i = e ( ) log λ+ τ +τ ( log ˆλ i +τ ) ist Literatur Daiels, M J ad Kass, R E (00) Shrikage Estimators for Covariace Matrices Biometrics 57, Ritter, G (00) Grudlage der Stochastik Vorlesugsmauskript, 7 revidierte Auflage, Uiversität Passau Ritter, G (003) Markov Kette Vorlesugsmauskript, Uiversität Passau 6