Notation. d N beschreibt in allen Fällen die Dimension des betrachteten Raumes. Die Indikatorfunktion ist. 1 falls x A 0 sonst.

Transkript

1 Notation Bevor wir mit dem eigentlicen Inalt beginnen, ist es notwendig, uns auf einige grundlegende Notationen zu einigen, damit der Textfluss nict unnötig unterbrocen wird und die einzelnen Kapitel auc unabängig voneinander betractet werden können. d N bescreibt in allen Fällen die Dimension des betracteten Raumes Die Indikatorfunktion ist 1 A (x = 1 x A = { 1 falls x A 0 sonst λ = λ d ist das Lebesgue-Maß, die Dimension d werden wir in der Notation meist unterdrücken L p = L p ( R d mit p 1, die Räume der p-fac λ-integrierbaren Funktionen auf R d. Wir werden den zugrundeliegenden Raum in der Notation meist unterdrücken Wenn wir über den gesamten Raum R oder R d integrieren werden wir dies in der Regel nur notieren, wenn es aus dem Kontext eraus nict absolut klar ist. Außerdem lassen wir der besseren Übersict alber an mancen Stellen die Integrationsvariable weg: f(xdx = f(xdx = f R d x = ist die partielle Ableitung in x-rictung, ist der Gradienten- x Operator und der Laplace-Operator S a,b = { x R d a x b } ist die abgesclossene Späre um a mit Radius b c d = λ(s 0,1 ist das Volumen der Eineitsspäre in Dimension d supp(f = { x R d f(x 0 } ist der Träger der Funktion f Nullmengen und fast alle bezieen sic wenn nict näer spezifiziert immer auf das Lebesgue-Maß, fast sicer immer auf das gerade betractete Warsceinlickeitsmaß B(R d ist die Menge aller Borelmengen auf R d 2

2 φ µ,σ 2 ist die Dicte einer N(µ, σ 2 -Verteilung, φ = φ 0,1 (außer im Kontext der Fourier-Transformierten Die Faltung zweier Funktionen f, g L 1 ist definiert durc: f g(x = f(x yg(ydy = f(yg(x ydy 3

3 1 Einfürung in die Kerndictescätzung Wir betracten ein klassisces Problem der Statistik: Wir aben n unabängige, identisc verteilte Datenpunkte oder Beobactungen X 1,..., X n in R d, d 1 einer uns unbekannten Verteilung P X gegeben und wollen nun die Warsceinlickeitsdicte f bezüglic des Lebesgue-Maßes bestimmen diese Notation dient als Argumentationsgrundlage für den vorliegenden Abscnitt. Dabei setzen wir natürlic voraus, dass f überaupt existiert. Dem parametriscen Ansatz folgend wäre nun P X aufgrund von Vorwissen oder Scätzungen einer bestimmten Klasse von Verteilungen zuzuordnen etwa den Normalverteilungen. Daran anscließend würde man die zugeörigen Parameter in diesem Fall also den Erwartungswert und die Varianz scätzen. Wie wir weiter unten seen werden, birgt dieser Ansatz einige Nacteile, wesalb ier der nictparametrisce Fall untersuct wird. Zur Herleitung werden wir zuerst nur den Fall d = 1 betracten und dann auf öere Dimensionen verallgemeinern. Um die Dicte zu scätzen betracten wir zuerst die zugeörige Verteilungsfunktion F. Der natürlice Scätzer für diese Größe ist die empirisce Verteilungsfunktion F n (x = 1 n 1 n (,x] (X i, die für jedes feste x R auc erwartungstreu ist: E(F n (x = E(1 (,x] (X 1 = F (x. Da f = F liegt es zunäcst nae, auc die empirisce Verteilungsfunktion abzuleiten, was allerdings nict weit fürt; F n ist nur fast überall differenzierbar und die resultierende scwace Ableitung ist fast überall gleic 0, wir kommen also auf diesem Weg zu keiner Dictefunktion. Stattdessen können wir jedoc die Ableitung durc den zweiseitigen Differenzenquotienten approximieren: ( ( f(x 1 F x + 2 ( (F n ( F x 2 ( F n 1 x + 2 x 2 = 1 n = 1 n n n 1 (x 2,x+ 2 ] (X i 1 ( 1 2, 1 2] ( x Xi wobei > 0 ein sogenannter Glättungsfaktor ist, meist auc Bandweite genannt; dazu später mer. Das Ergebnis ist eine stückweise konstante 4,

4 Abbildung 1: Ein Kerndictescätzer für n = 7 und f N(0, 1. Funktion, die aber offensictlic eine Dicte ergibt: Sie ist nictnegativ und 1 ( x X1 1( 1 2, 2] 1 dx = 1. Um das Ergebnis weiter zu verstetigen und zu glätten, können wir die Funktion 1 1 ( 2, (, die die Dicte einer 2] 1 Unif (( 1, 1 2 2] -Verteilung darstellt, durc einen sogenannten Kern K ersetzen. Damit können wir den eindimensionalen Kerndictescätzer definieren: Definition. Kerndictescätzer (univariat Eine Funktion f n : R R eißt (eindimensionaler Kerndictescätzer, abgekürzt auc KDE (für Kernel Density Estimator, falls f n (x := 1 n n ( x Xi K, mit > 0 und K : R R einer Funktion mit K = 1. Meist wird es sic bei dem Kern aber auc um eine W-Dicte andeln, die außerdem noc symmetrisc um den Ursprung ist. Ein typiscer Kern ist die Dicte der Standardnormalverteilung, der Gaußkern (siee Abscnitt Abbildung 1 zeigt einen solcen Kerndictescätzer für 7 Datenpunkte einer Standardnormalverteilung, normalerweise sind allerdings deutlic mer Beobactungen für ein aussagekräfiges Ergebnis notwendig. Der Scätzer ist im Allgemeinen auc von abängig, was in der Notation jedoc unterdrückt wird. Offensictlic vererben sic die Stetigkeits-, 5

5 Integrierbarkeits- und Differenzierbarkeitseigenscaften des Kerns auc auf f n, womit unter anderem folgt, dass auc f n eine W-Dicte ist. Der merdimensionale Fall wird ieraus abgeleitet: Definition. Kerndictescätzer (multivariat, nac [11] Eine Funktion f n : R d R eißt (merdimensionaler Kerndictescätzer, falls f n (x := 1 n 1 d mit l > 0 und K l : R R, so dass n d l=1 K l ( xl X l i l 0 K l c <, K l (y = K l ( y für alle y R K l (yy 2 dy < K l (ydy = 1., (1 für alle l = 1,..., d. Tatsäclic gibt es eine Reie von Variationen für die die Anforderungen an die K l abgemildert werden können oder für die der Kern anders aussiet, aber der ier definierte Fall ist für unsere Zwecke allgemein genug. Ein äufiger Spezialfall tritt auf, wenn := 1 =... = d κ := K 1 =... = K d f n (x = 1 n ( (2 x Xi K n d mit K(x := d l=1 κ(x l Die versciedenen Bandweiten in den versciedenen Dimensionen sind insbesondere in der Praxis relevant, etwa wenn die Dimensionen verscieden skaliert sind, für teoretisce Resultate jedoc meist unereblic. Stattdessen kann man den Datensatz auf Kosten der Anscaulickeit auc auf ( 1, 1 d zentrieren und skalieren. 1.1 Versciedene Felermaße Um die Güte eines Dictescätzers bewerten zu können braucen wir zuerst ein passendes Felermaß. Die rictige Wal ierfür kann zu untersciedlicen 6

6 Resultaten füren und sollte nict unterscätzt werden. Das natürlicste Maß für die Entfernung zweier Dicten g und ist der L 1 -Feler, g. Den Gedanken kann man weiterfüren und für beliebiges p [1, ] den L p -Feler betracten der dann jedoc nict mer notwendigerweise endlic ist. Insbesondere die Fälle p = 2 und p = liegen intuitiv na, wobei sic gerade der erste Fall in der Literatur stark durcgesetzt at. Anstatt des L 2 -Felers werden wir im Folgenden der Einfaceit alber ausscließlic dessen Quadrat verwenden, an dem Veralten ändert sic nicts. Der Vorteil des L 1 -Felers liegt vor allem darin, dass er immer woldefiniert ist insbesondere gilt g g + = 2 und dass er die tatsäclice, anscaulice Entfernung zwiscen zwei Dicten bescreibt. Andererseits lässt es sic in praktiscen Anwendungen scwerer mit dem L 1 -Feler recnen. Für den L 2 -Feler gibt es dagegen einige gute Recentecniken wie wir später seen werden. Es ist jedoc klar, dass er die Regionen unterbetont, in denen g tendenziell kleiner ist und die anderen dafür überbetont. Gerade in öeren Dimensionen kann das zu Problemen füren. Der L p -Feler betractet immer nur den Feler für zwei bestimmte Dicten. Wenn wir die Eigenscaften von auf zufälligen Daten beruenden Kerndictescätzern untersucen, müssen wir dagegen den Erwartungswert betracten: Definition. MIAE und MISE Sei f eine Warsceinlickeitsdicte und f n ein Scätzer für diese Dicte, dann gelten die Bezeicnungen: ( MIAE = E ( MISE = E f f n (f f n 2 (Mean Integrated Absolute Error (Mean Integrated Square Error In diesem Teil werden wir nur den MISE betracten, was für praktisce Zwecke ausreicend ist, im zweiten Teil dagegen werden wir ein Konsistenzresultat für den MIAE zeigen. 1.2 Nictparametrisce oder parametrisce Scätzer Es stellt sic die Frage, wesalb überaupt nictparametrisce Scätzer benötigt werden, denn tatsäclic werden in der Praxis meist parametrisce Scätzer verwendet. Die Vorteile der parametriscen Scätzer liegen zum einen darin, dass man viele bekannte Eigenscaften von bekannten 7

7 f KDE Parametrisc Abbildung 2: Vergleic von parametriscem und nictparametriscem Scätzer bei leicten Unsymmetrien; f = 0.8φ 0, φ 2,1. Verteilungsfamilien verwenden kann und viele teoretisce Resultate über diese Verteilungen vorliegen. Zum anderen ist die Berecnung einer kleinen Anzal von Parametern auc bei großen Datensätzen meist one Probleme möglic und danac ist eine gesclossene, analytisce Form der Dicte voranden. Bei Kerndictescätzern ingegen sind sämtlice Datenpunkte für die Form des Scätzers relevant und müssen daer immer zugreifbar sein. Obwol beispielsweise Kerne mit kompaktem Träger den Recen- und Speiceraufwand ereblic minimieren können, ist dieser Meraufwand nict unereblic und muss bei großen Datensätzen beactet werden. Ein möglicer Lösungsansatz für den Recenaufwand ist es, den Kerndictescätzer durc ein Polynom zu interpolieren; mit modernen Algoritmen und ausreicend oem Polynomgrad genügt die resultierende Funktion in der Praxis durcaus den meisten Anforderungen und ist leicter zu berecnen. Für die nictparametriscen Scätzer sprict vor allem ire gute Anpassungsfäigkeit. Es müssen keine bescränkenden Annamen über die Verteilung getroffen werden und viele Details der tatsäclic vorliegenden Verteilung fallen nict unter den Tisc. Ein Beispiel ierfür sind leicte Unsymmetrien um den Mittelwert erum bei sonst sceinbar normalverteilten Zufallsvariablen Abbildung 2 veranscaulict das Problem. Insbesondere für ungeübte Praktiker können sic Kerndictescätzer daer als vorteilaft erweisen. 8

8 Aus teoretiscer Sict und bei ser großen Datensätzen ist zu bedenken, dass parametrisce Scätzer natürlic nur für die vorer spezifizierten Verteilungen auc konsistent sind wir werden zeigen, dass Kerndictescätzer dagegen scon bei minimalen Anforderungen an die Bandweite für alle Dicten konsistent sind; siee Kapitel Der MISE und die Wal von Kern und Bandweite Wir stellen eine kleine Vorüberlegung an: Kern und Bandweite sollten möglicst so gewält werden, dass der Feler minimiert wird. Wie bereits erwänt betracten wir ier der Einfaceit alber den MISE, der minimiert werden soll. Da dieser selbst aber auc noc zu unandlic ist, werden wir nur eine Approximation verwenden, die jedoc für ausreicend große Sticproben angemessen ist. Wir betracten nur den bereits erwänten Spezialfall in Gleicung (2 mit gleicem Kern und gleicer Bandweite in allen Dimensionen. Es gilt: MISE = E ( (f(x f n (x 2 dx = V ar(f(x f n (xdx + (E(f n (x f(x 2 dx = V ar(f n (xdx + bias (x 2 dx, wobei bias (x = E (f n (x f(x also ein Maß für die tendenzielle Abweicung des Scätzers in x angibt und V ar(f n (x die zugeörige Streuung bescreibt. Wir approximieren nun beide Terme einzeln und definieren eine Approximation an den MISE: Satz und Definition 1.1 (Epanecnikov [11], Silverman [23]. Sei f eine mindestens zweimal stetig differenzierbare Warsceinlickeitsdicte, f n ein Kerndictescätzer wie in (2 und = (n eine monoton fallende Nullfolge von Bandweiten. Mit der abkürzenden Notation k 1 := k 1 (K := κ(yy 2 dy und k 2 := k 2 (K := K(t 2 dt R R d gilt: bias (x 2 dx = k 2 1 ( f(x 2 + O( 5 (3 V ar(f n (xdx = n 1 d k 2 + O(n 1 d+2. (4 9

9 Daer definieren wir den asymptotiscen (oder approximierten MISE: AMISE = n 1 d k k1 2 ( f(x 2 Beweis. Wir zeigen zuerst Gleicung (3. bias (x = E(f n (x f(x n = n 1 ( ( x E d Xi K f(x ( x y = d K f(ydy f(x = K(tf(x tdt f(x K(tdt = K(t(f(x t f(xdt. für y = x t, t R d (5 Für f(x t füren wir eine merdimensionale Taylor-Approximation zweiten Grades durc: f(x t = f(x f(x, t d d j=1 k=1 2 f(x x j x k t j t k + O( 3, wobei, das Skalarprodukt im R d weiterfüren: ist. Wir können Gleicung (5 also bias (x = K(t f(x, t Der erste Teil davon verscwindet, denn: R d K(t f(x, t dt = = = d j=1 d j=1 d j=1 = 0, d j=1 k=1 xj f(x K(tt j dt R d d 2 f(x t j t k dt + O( 3. x j x k xj f(x κ(t d κ(t 1 t j dt 1 dt d R R xj f(x κ(t j t j dt j R wobei wir zweimal Fubini und im letzten Scritt die Symmetrie von κ benutzt aben. 10

10 Den interen Teil können wir auc vereinfacen: R d K(t d d j=1 k=1 2 f(x x j x k t j t k dt = d = d d j=1 k=1 d + 2 j=1 k<j = d 2 f(x K(tt j t k dt x j x k R d 2 f(x x 2 i 2 f(x x j x k 2 f(x x 2 i = f(xk 1, R R κ(t i t 2 i dt i R κ(t j t i dt j κ(t i t 2 i dt i, R κ(t k t k dt k wobei wir auc ier wieder Fubini und die Symmetrie von κ verwenden. Insgesamt aben wir bias (x = f(xk 1 + O( 3. Quadrieren und integrieren liefert Gleicung (3 Um Gleicung (4 zu zeigen geen wir änlic vor. Es gilt ( ( x V ar(f n (x = n 1 V ar d X1 K ( ( x 2 ( ( = n 1 E 2d X1 x 2 K n 1 (E d X1 K ( x y 2 = n 1 2d K f(ydy n 1 (f(x + bias (x 2 = n 1 d K(t 2 f(x tdt + O(n 1. Der intere Term ist O(n 1, da f(x+bias (x in n monoton fällt. Wieder ersetzen wir f(x t durc eine Taylor-Approximation, diesmal aber erster Ordnung: und damit: f(x t = f(x f(x, t + O( 2, 11

11 n 1 d K(t 2 f(x tdt = n 1 d K(t 2 (f(x f(x, t + O( 2 dt = n 1 d f(x K(t 2 dt n 1 d+1 d xi f(x K(t 2 t i dt + O(n 1 d+2 R d = n 1 d f(xk 2 d n 1 d+1 xi f(x = n 1 d f(xk 2 + O(n 1 d+2, R κ(t i 2 t i dt i + O(n 1 d+2 wobei im letzten Scritt der intere Term wieder aufgrund der Symmetrie verscwindet. Es gilt O(n 1 d+2 + O(n 1 = O(n 1 d+2 und für den zu minimierenden MISE folgt somit: V ar(f n (xdx + bias (x 2 dx = n 1 d f(xk 2 dx + O(n 1 d ( f(x 2 k1dx 2 + O( 5 = n 1 d k k1 2 ( f(x 2 dx + O(n 1 d Satz 1.1 zeigt ein grundlegendes Problem bei der Wal der Bandweite auf: Je kleiner die Bandweite gewält ist, desto geringer ist der Bias, aber dafür wird die Varianz größer. Diese Scwierigkeit ist auc unter dem Begriff Bias-Variance-Tradeoff bekannt. Den Tiefpunkt für (z = az α + bz β, z, a, b > 0 und α, β 1, finden wir durc Ableiten: (z = aαz α 1 bβz β 1 = 0 ( 1 βb α+β z = αa (z = α(α 1az α 2 + β(β + 1bz β 2 > 0. Dementsprecend optimiert also 12

12 opt = ( dk 2 k 2 1 ( ( f 2 1 n 1 1 d+4 den AMISE. Auffällig ist, dass opt als Funktion von n bereits für kleines d nur ser langsam gegen 0 konvergiert. Wie zu erwarten war ist opt auc von der unbekannten Dicte f abängig, was die Wal der Bandweite in der Praxis problematisc mact; k 1 und k 2 sind jedoc im Allgemeinen one Probleme bestimmbar, entweder durc analytisce oder numerisce Verfaren, da K bekannt ist. Eine einface Metode zur Wal von in der Praxis stellen wir nac einer genaueren Betractung des Kerns dar Wal des Kerns Wir betracten zuerst nur den eindimensionalen Fall und scränken uns zusätzlic ein, indem wir für einen Kern K(xxdx = 0 voraussetzen (was insbesondere für symmetrisce Kerne erfüllt ist und wie für den Multivariaten Kerndictescätzer K L 2 fordern. Für den approximierten Feler können wir dann opt = (k 2 k1 2 n 1 ( f einsetzen und eralten: AMISE 1 = n 1 1 k k 2 1 f (x 2 dx = 5 4 n 4 5 k k ( f Wir sucen also einen Kern K, der C(K := k k minimiert. Wir können one Einscränkungen so skalieren, dass k 1 = 1, indem wir in durc K s (t := k K ( k t (6 ersetzen, denn k K ( k y dy = 1 k = 1 k 1 K ( ( k y k y dy K(zz 2 dz = 1, 13

13 außerdem bleibt C(K durc die Skalierung unverändert: C(K s = 1 ( k 1 K ( = = k ( = C(K, k K(t 2 5 dt ( 4 k t dt 4 K(t 2 5 dt wobei wir natürlic k 1 = k 1 (K aben. Mit anderen Worten eißt das, wir müssen nur diejenigen Kerne untersucen, für die k 1 = 1 gilt, anstatt alle möglicen Kerne K zu betracten; die Skalierung übernimmt die Bandweite. Damit ergibt sic ein Optimierungsproblem mit Nebenbedingungen (k 1 = 1, K = 1, K 0, K(xxdx = 0, das mit Lagrange- Multiplikatoren gelöst werden kann (siee etwa [13], Gleicungen Der daraus resultierende sogenannte Epanecnikov-Kern ist K e (x = 3 ( x2 1 [ 5, 5] (x. Die Effizienz eines beliebigen anderen Kerns K 0 geben wir dazu im Verältnis an, indem wir betracten, wie viele Beobactungen wir bei Benutzung von K e benötigen, um den gleicen approximierten Feler wie bei Benutzung von K 0 zu macen: also 5 ( e C(K e 4 4 n 5 n e = f ( 5 C(Ke 4 n0, C(K 0 = 5 ( 4 4 n 5 0 C(K 0 f Definition. Effizienz eines Kerns Für eine beliebige Funktion K 0 : R R, die die Bedingungen in (1 erfüllt, ist die Effizienz durc definiert. eff (K 0 := ( 5 C(Ke 4 C(K 0 14

14 Name Definition Effizienz ( 3 Epanecnikov x 1 [ 5, 5] (x 1 1 Gauß (Normalverteilung 2π exp ( x Dreieckskern ( x 1[ 6, 6] (x Gleicverteilung [ 3, 3] (x Tabelle 1: Effizienz einiger skalierter Kerne. Die Daten zur Effizienz stammen aus [23], Abscnitt 3.3 und sind auf 4 Nackommastellen genau. Die Definition und Effizienz einiger äufig benutzter Kerne werden in Tabelle 1 festgealten, die zugeörigen Grapen sind in Abbildung 3 aufgefürt. Es fällt sofort auf, dass die Effizienz bei allen aufgefürten Kernen ser nae an 1 liegt. Entsprecend bietet es sic an, die Wal des Kerns anand anderer Kriterien zu treffen, etwa anand von Stetigkeits- und Differenzierbarkeitseigenscaften ier bietet sic vor allem der Gaußkern an, aber auc Berecnungseffizienz kann aussclaggebend sein ier bieten sic etwa Kerne mit kompaktem Träger an. Tatsäclic ist die ganze Approximation des Felers auf die bescränkende Anname gegründet, dass der Kern notwendigerweise selbst eine Warsceinlickeitsdicte ist. Wenn man auc Kerne mit negativen Werten zulässt, so lässt sic zeigen, dass man die Konvergenzrate von n 4 5 auf n 2k 2k+1 für k N verbessern kann, also beliebig nae an n 1 erankommt für Details siee [26] (Abscnitt 2.8. Ein Nacteil ierbei ist, dass der resultierende Kerndictescätzer nict mer automatisc eine W-Dicte ist. Für den merdimensionalen Fall liegen deutlic weniger ausgefeilte Ergebnisse vor. In unserer Definition des Kerndictescätzers aben wir die restriktive Anname eines Produktkerns getroffen. In der Literatur werden versciedene Ansätze gewält, der allgemeinste Fall generalisiert die Bandweite zu einer positiv definiten Matrix H R d d und definiert f n (x = n 1 n K H (x X i mit K H (x = H 1 2 K ( H 1 2 x und K einer Funktion auf R d, die zu 1 integriert. Ein typiscer Kern, der mit jeder zugrundeliegenden Definition erleitbar ist, ist die multivariate Standardnormalverteilung. Wir werden nict ier nict weiter auf die Eigenscaften von multivariaten Kernen eingeen und verweisen für mer Details auf [26], Kapitel 4 und [23], Kapitel 4. 15

15 Gauss Dreieck Epanecnikov Unif Abbildung 3: Vier weit verbreitete Kerne, skaliert wie in Gleicung ( Wal der Bandweite Die Wal der Bandweite ist in der Literatur über Kerndictescätzer das wol am meisten untersucte und komplexeste Tema. Im Ramen dieser Arbeit ist es leider nict möglic, eine ausfürlice Betractung durczufüren und wir werden nur eine einface Metode für die Praxis angeben, die in [23] (Abscnitt vorgesclagen wurde. Wieder betracten wir den Fall d = 1 gesondert. Teoretisc aben wir mit opt bereits eine ausreicend gute Lösung, in der Praxis ist f allerdings nict bekannt. Ein weiterer Nacteil ist, dass opt auc nur den approximierten Feler optimiert, die Approximierung greift aber nur für große n und entsprecend kleine Größenordnungen von. Wir geen nict weiter auf dieses Problem ein und versucen eine Näerung für opt zu finden, indem wir f 2 versucen anzunäern. Da wir nur an einem tendenziellen Wert interessiert sind, ist es naeliegend, f mit einer Standardverteilung parametrisc zu scätzen, etwa mit der Normalverteilung. Der Erwartungswert dieser Verteilung ist irrelevant, da wir onein das Integral über ganz R betracten. Wenn also ˆf unser parametriscer Scätzer für f xf(xdx ist, dann gilt ˆf(x = 1 φ( x, σ σ σ > 0 und ˆf (x = σ 3 φ ( x. Für das Integral gilt also unter Beactung σ 16

16 von φ (x = (x 2 1φ(x: ˆf (x 2 dx = 1 σ 6 = 1 σ 5 φ ( x σ 2 dx φ (x 2 dx = 1 (x σ 5 2π exp ( x 2 dx = 1 ( x 4 exp ( x 2 dx 2 x 2 exp ( x 2 dx + 2σ 5 π = 1 ( 3 π π + π 2σ 5 π 4 3 = 8 πσ, 5 exp ( x 2 dx wobei wir im vorletzten Scritt die bekannten zweiten und vierten Momente einer N ( 0, 1 2 -Verteilung benutzt aben, 1 und 3. σ kann jetzt aus den 2 4 X 1,... X n gescätzt werden und wir eralten durc Einsetzen eine Näerung an opt, ier ĥopt genannt. Diese Metode ist nict für jede Verteilung geeignet. f 2 kann als ein Maß dafür angeseen werden, wie gleicmäßig f ist, wobei niedrige Werte mit gleicmäßigeren Dicten einergeen. Die Normalverteilungen sind im Vergleic mit anderen Dicten allerdings äufig zu optimistisc und entsprecend ˆf 2 zu klein und ĥopt zu groß; der Scätzer wird überglättet. Eine Möglickeit damit umzugeen ist, anstatt einer Normalverteilung andere Verteilungsklassen zu betracten, die den tatsäclicen Daten näer liegen. Ein anderer Ansatz benutzt ĥopt lediglic als Startpunkt; damit plotted man dann den Kerndictescätzer und versuct, so anzupassen, dass er angemessen ersceint dieser Vorgang ist natürlic subjektiv und minimiert im Allgemeinen auc nict den tatsäclicen Feler, kann aber nictsdestotrotz in vielen Situationen völlig ausreicend sein. Ein Beispiel findet sic in Abbildung 4: Für zu kleine Werte von werden zufällige Scwankungen überbewertet und füren zu einer Verrauscung des Grapen. Zu große Werte dagegen füren dazu, dass wictige Details übergangen werden; so ist etwa der Hocpunkt in -2 bei einer Bandweite von 1.69 nict als solcer zu erkennen. Geen wir im merdimensionalen Fall wie oben auc wieder von gleicer Bandweite in allen Dimensionen aus, so aben wir im Prinzip das gleice Problem wie im eindimensionalen Fall. opt ängt wieder von der tatsäclicen Verteilung ab, diesmal durc ( f 2. Auc dieses Funktional kann durc eine vorer festgelegte Verteilung gescätzt werden, etwa der multivariaten Normalverteilung. Da die Ergebnisse nict vollständig exakt zu sein 17

17 f =1.69 =0.42 = Abbildung 4: Kerndictescätzer mit Gaußkern und versciedenen Bandweiten für f = 0.3φ 2, φ 4,1 und n = 500. braucen und ( f 2 auc nur einmal berecnet werden muss, bietet es sic gerade ier an, numerisce Verfaren zur Lösung eranzuzieen. Eine andere, weniger genaue Möglickeit, die dafür jedoc direkt für jede einzelne Dimension passende Werte angibt, bestet darin, den im Eindimensionalen ergeleiteten Wert für ĥopt mit einem Scätzer für die Standardabweicung entlang der einzelnen Acsen anzugeben, das eißt = ( 1,..., d mit j = 3 8 πˆσ 5 j und ˆσ 2 j = 1 n 1 n (X j i X j 2, wobei X = n 1 n X i. 1.4 Varianten des Kerndictescätzers Wärend die ier definierten Kerndictescätzer im Eindimensionalen in der Regel gute Ergebnisse liefern, werden im Höerdimensionalen vor allem die Ausläufer meist unterscätzt. Für große d verält sic R d kontraintuitiv; so beträgt das Verältnis zwiscen Eineitsspäre und dem umscließenden Quader mit Seitenlänge 2 für d = 1 und d = 2 beispielsweise 1 und π 0.79, 4 π für d = 10 dagegen Angewandt auf eine Unif ([ 1, 1] verteilte Zufallsvariable Y bedeutet das, dass P (Y S 0,1 = , wärend der überragende Anteil in den Ausläufern liegt für andere Verteilungen liegen änlice Zalen vor. Da jedoc in den Flanken bei den meisten 18

18 Verteilungen naturgemäß weniger Datenpunkte vorliegen, ist es scwierig, dort die Warsceinlickeitsdicte vernünftig zu scätzen, ein Pänomen, das auc als Curse of dimensionality bekannt ist. Für mer Details siee etwa [22], Kapitel 7. Um diesen Problemen entgegenzuwirken, bietet es sic an, den Glättungsfaktor an die Region anzupassen, in der man f(x scätzen will. In dicteren Regionen wird also kleiner gewält um Details nict zu verscmieren, in den anderen Regionen wird dagegen größer gewält, um mer Datenpunkte mit einfließen lassen zu können. Die zwei resultierenden Möglickeiten sind, entweder = (x oder = (X i zu wälen (wir betracten wieder nur den Fall, dass 1 =... = d =. Im Folgenden werden wir zwei wictige Abwandlungen des Kerndictescätzers betracten, die jeweils einen der beiden Ansätze verfolgen. Wir werden diese Metoden nur kurz einfüren und deren Eigenscaften und genaueres Veralten nict detaillierter betracten Näcste-Nacbarn-Verfaren Die Näcste-Nacbarn-Metode verallgemeinert den Kerndictescätzer auf die erste der oben bescriebenen Weisen, indem wir = (x wälen. Wir benötigen einen weiteren Parameter k = k(n N, der nur von n abängig ist. Damit definieren wir r k (x = als den Abstand von x zum k-näcsten Nacbarn bezüglic der Metrik auf R d, das eißt in S x,rk (x befinden sic mindestens k Punkte aus X 1,..., X n. Da der Rand von S x,rk (x jedoc eine λ-nullmenge ist, können wir den Fall, dass mer als k Punkte in S x,rk (x liegen vorerst ignorieren. Das eißt, dass sic für fast alle x R d genau k Punkte in der definierten Umgebung befinden. Wir wälen als Kern K(x = c 1 d 1 x 1. Es ergibt sic damit: Definition. k-näcste-nacbarn-scätzer, nac [23] Seien k, r k und K definiert wie oben, dann eißt eine Funktion f knn : R d R n ( f knn (x = n 1 r k (x d x Xi K r k (x der k-näcste-nacbarn-scätzer für f. Die Bezeicnung ergibt mer Sinn, wenn man bedenkt, dass f knn (x = n 1 r k (x d c 1 d = k nc d r k (x d 19 n 1 x Xi r k (x

19 für fast alle x R d. Offensictlic ist r k als Funktion von x stetig, entsprecend also auc f knn, jedoc nur fast überall differenzierbar. Die wictigste Eigenscaft liegt jedoc in der Integrierbarkeit: Da r k (x für x im Betrag ausreicend groß linear verläuft, gilt f knn =. Zum Scätzen der gesamten Dicte erweist sic f knn also als denkbar ungeeignet. Man kann jedoc zeigen, dass f knn (x n f(x in Warsceinlickeit für fast alle x R d, vorrausgesetzt dass k(n n 0 und k(n n n 0, siee etwa [17]. Anstatt des ier vorgesclagenen Unif(S 0,1 -verteilten Kerns kann man wie beim normalen Kerndictescätzer auc wieder andere Warsceinlickeitsdicten wälen, um glattere Ergebnisse zu erzielen. Diese Flexibilität wird allerdings durc ineffizientere Berecnung und komplexere (allerdings stärkere teoretisce Resultate erkauft. Auf das Näcste-Nacbarn-Verfaren werden wir im dritten Kapitel als Grundlage für ein Klassifizierungsverfaren wieder zurückkommen Adaptive Kerndictescätzer Auc das Konzept vom adaptiven Kerndictescätzer entfernt sic von einer statisc festgelegten Bandweite als einzigem Glättungsfaktor. Im Gegensatz zum Näcste-Nacbarn-Verfaren jedoc ängt der Faktor, den wir neu einfüren, nict mer von dem Punkt an dem wir f scätzen ab, sondern von den X 1,..., X n. Wir definieren: Definition. Adaptiver Kerndictescätzer, nac [23] Sei > 0, K wie in (1, n ˆf(Xi 1 n λ i = ˆf(X i mit α [0, 1] und ˆf einem beliebigen Dictescätzer für den ˆf(X i > 0, i = 1,... n gilt, dann eißt eine Funktion f adapt : R d R adaptiver Kerndictescätzer, falls f adapt (x = n 1 d n λ d i K α, ( x Xi In der Definition erfüllen der Glättungsfaktor und der Kern K die gleice Funktion wie bei dem normalen Kerndictescätzer und werden genauso ausgewält. λ i eralten wir mitilfe eines zuvor berecneten Pilotscätzers ˆf. In der Regel wird ˆf entweder ein normaler Kerndictescätzer mit der gleicen Bandweite wie auc f adapt oder ein Näcste-Nacbarn-Scätzer sein. 20 λ i.

20 Die Differenzierbarkeit des Pilotscätzers spielt ier natürlic keine Rolle mer, da er nur an den Punkten X 1,..., X n ausgewertet wird, weswegen sic etwa der Epanecnikov-Kern anbietet. Für α gibt es versciedene Ansätze. α = 0 fürt natürlic wieder zu dem normalen Kerndictescätzer mit fester Bandweite; Standardwerte sind α = 1 und α = 1, siee [23], Abscnitt 5.3. d 2 Der offensictlice Vorteil des adaptiven Kerndictescätzers ist, dass er einerseits so wie f n auc eine Warsceinlickeitsdicte ist, andererseits aber auc in Regionen mit weniger Datenpunkten verältnissmäßig gute Ergebnisse liefert; die Nacteile liegen vor allem darin, dass durc α ein weiterer Parameter ausgewält werden muss und bei großem n auc der Recenaufwand für die λ i nict zu vernaclässigen ist. 21

21 2 Konsistenz in L 1 In diesem Abscnitt beweisen wir ein starkes Konsistenzresultat in L 1 : Wenn der L 1 -Feler des Kerndictescätzers in Warsceinlickeit für eine Dicte f gegen 0 konvergiert, so konvergiert er scon für alle Dicten und das sogar fast sicer und mit exponentieller Gescwindigkeit. Dafür sind nur ser geringe Anforderung an den Kern K, n und die Bandweite notwendig. Wir betracten der Einfaceit alber nur den Fall, dass := 1 =... = d > 0. Der Übergang zu versciedenen Bandweiten in versciedenen Dimensionen ist dann möglic, erfordert aber gesonderte Voraussetzungen. Der Beweis orientiert sic in weiten Teilen an [9], Kapitel 2 und 3, und [10], Kapitel 2 und 3, mit Änderungen wo sie angebract erscienen. Zur speziellen Notation in diesem Kapitel: Weiterin seien X 1,..., X n unabängig und identisc verteilt, außerdem ist µ := P X 1 mit zugeöriger Dicte f und µ n ( := 1 n 1 n ( (X i das entsprecende empirisce Maß. Wir verwenden K (x := d K( x und daer f n (x = 1 n K n (x X i für den Kerndictescätzer. Den Erwartungswert von f n werden wir äufig braucen und definieren desalb: g (x := E(f n (x = K (x yf(ydy = f K (x. (7 Außerdem können wir f n weiter umformen zu f n (x = K (x yµ n (dy. (8 Der Beweis des folgenden Satzes wird das gesamte Kapitel in Anspruc nemen. Satz 2.1 (Devroye, [9]. Sei f n wie weiter oben definiert, K 0 eine Borelmessbare Funktion auf R d mit K(xdx = 1 und = (n > 0 eine Folge, dann sind folgende Aussagen äquivalent: 1. f n f P 0 für mindestens eine Warsceinlickeitdicte f 2. f n f P 0 für alle Warsceinlickeitsdicten f 3. f n f 0 fast sicer für alle Warsceinlickeitsdicten f 4. f n f 0 exponentiell für alle Warsceinlickeitsdicten f, das eißt: Für alle ɛ > 0 existieren r, m > 0 so dass P ( f n f ɛ e rn für alle n > m, wobei r unabängig von f wälbar ist 5. lim n = 0, lim n n d = 22

22 Beweis. Die Hauptarbeit liegt im Beweis von 5 4 und 1 5. Die Implikation ist trivial und 4 3 folgt sofort mit Satz 34.6 in [2], einem Korollar des Borel-Cantelli-Lemmas, denn n>m e rn <. Einige Hilfsaussagen wurden an das Ende des Kapitels verscoben, da sie entweder äufiger gebrauct werden oder ein zwiscengescobenes Lemma die Übersictlickeit des Beweises beeinträctigt ätte. 5 4 Es gelte also lim = 0 und lim n n nd =. (9 Im Folgenden werden wir die erste Bedingung durcgeend verwenden, die zweite wird erst im letzten Scritt benutzt. Wir wollen zeigen, dass für festes ɛ 0 > 0 r und m > 0 existieren, sodass P ( f n (x f(x dx > ɛ 0 < e rn, wobei r unabängig von f sein soll. Der Beweis lässt sic in merere logisce Abscnitte einteilen: Zuerst werden wir zeigen, dass wir uns für K auf Treppenfunktionen bescränken können und in Folge nur die exponentielle Konvergenz von d µ(x + A µ n (x + A dx für einen beliebigen alboffenen Quader A R d zu zeigen braucen. Diesen Ausdruck werden wir im zweiten Scritt nac oben durc eine Summe bescränken, für deren einzelne Summanden wir im letzten Scritt die exponentielle Konvergenz zeigen. Starten wir mit dem ersten Scritt: Wir können zuerst festalten, dass f(x f n (x dx f n (x g (x dx + f(x g (x dx. Mit Hilfssatz 2.2 und Bedingung (9 können wir für n ausreicend groß f(x g (x dx < δ 1 = δ 1 (n für 0 < δ 1 < ɛ 0 beliebig klein fordern. Daer folgt: ( P ( f(x f n (x dx ɛ 0 P f n (x g (x dx ɛ 0 δ 1 (n, (10 und die Beauptung folgt, falls wir die exponentielle Konvergenz von fn (x g (x dx zeigen können. Wie bereits erwänt verscärfen wir jetzt die Bedingungen an den Kern. Da die Treppenfunktionen dict in L 1 liegen und K als integrierbare Funktion f.s. endlic ist, finden wir zu festem ɛ > 0 Konstanten M, L, N, a 1,..., a N und disjunkte Quader A 1,..., A N in R d, sodass die Funktion N K (x := a i 1 Ai (x 23

23 K in L 1 approximiert mit: K M, supp(k [ L, L] d und K(x K (x dx < δ 2, (11 mit 0 < δ 2 < ɛ 2 beliebig klein. δ 2 wird später eine änlice Rolle spielen wie δ 1 in Gleicung (10. Wir definieren nun f n und g wie f n und g durc ersetzen von K durc K und können mit (8 abscätzen: ( x y f n (x fn(x dx = d K ( x y d K ( x y = d K < δ 2, ( x y K K ( x y K ( x y µ n (dy dx µ n (dydx dxµ n (dy und mit (7 g(x g (x dx = f K(x f K (x dx ( ( ( x y x y = d K K f(ydy dx ( ( x y x y d K K f(ydydx ( ( x y x y = d K K dxf(ydy < δ 2. Damit folgt dann: f n (x g (x dx f n (x fn(x dx + fn(x g(x dx + g(x g(x dx 2δ 2 + fn(x g(x dx, wobei wir die Reienfolge der Integration vertausct und Bedingung (11 verwendet aben. 24

24 Den interen Term können wir weiter abscätzen: f n(x g (x dx N = d ( x y a i 1 Ai N d ( a i x y 1 Ai µ n (dy µ n (dy N = N d a i µ(x + A i µ n (x + A i dx N d M µ(x + A i µ n (x + A i dx d MN max N µ(x + A i µ n (x + A i dx ( x y a i 1 Ai f(ydy ( x y 1 Ai f(ydy dx nac Wal von M und a 1,..., a N. Wir sind jetzt am Ende unseres ersten Scrittes angekommen, denn ( P f n g > ɛ ( P 2δ 2 + d MN ( = P d N max max N µ(x + A i µ n (x + A i dx > ɛ µ(x + A i µ n (x + A i dx > (ɛ 2δ 2 M 1 N 1. Wir kommen nun zum zweiten Scritt, in dem wir den Ausdruck d µ(x + A µ n (x + A dx für einen beliebigen alboffenen Quader A = d [x i, x i + b i nac oben bescränken. Zu diesem A und ˆɛ = (ɛ 2δ 2 M 1 N 1 partitionieren wir R d jetzt in disjunkte alboffene Quader der Seitenlänge N 0, wobei wir N 0 erst später festlegen und jetzt nur verlangen, dass b i 2 N 0, i = 1,..., d. Diese Partition sei Ψ genannt und es gilt Ψ = { [ dj=1 (ij 1 N 0, i j i1 N 0,..., i d Z } Zur besseren Übersict definieren wir zusätzlic A, C x und Cx: A := d [x i + 1 N0, x i + b i 1 N0, also A one einen Ramen der Breite 1 N 0, 25

25 und C x := (x + A \ B B Ψ,B x+a C x := x + (A \ A. Da aufgrund der respektiven Seitenlängen A B Ψ,B A B gilt, gilt auc C x C x. Wir können mit Maßadditivität für disjunkte Mengen und Dreiecksungleicung abscätzen: µ n (x + A µ(x + A dx = µ n (C x + µ n (B µ(c x µ(b dx B Ψ,B x+a µ n (C x + µ(c x + B Ψ,B x+a B Ψ,B x+a B Ψ,B x+a (µ n (B µ(b dx µ n (B µ(b dx + µ n (Cx + µ(cxdx. (12 Betracten wir nun den ersten Teil des Terms. Zuerst fixieren wir eine aufsteigende Folge von endlicen Teilmengen von Ψ, (Ψ k k N Ψ, das eißt mit Ψ k Ψ l Ψ für k l, Ψ k < für alle k N und Ψ k = Ψ. k N Wie die Ψ k konkret ausseen spielt dabei keine Rolle. Es gilt dann: ψ(x := B Ψ,B x+a ψ k (x := µ n (B µ(b = lim k ψ k (x, B Ψ k,b x+a µ n (B µ(b, wobei die ψ k offensictlic monoton steigend in k sind. 26

26 Mit diesen Bezeicnungen gilt mit dem Satz von der monotonen Konvergenz im ersten Scritt und der Endlickeit der Ψ k im zweiten Scritt: ψ(xdx = lim ψ k (xdx k = lim µ n (B µ(b dx k B Ψ B x+a k = µ n (B µ(b dx. B Ψ B x+a Als Hilfsfakt braucen wir, dass B x+a dx λ(a. Um dies einzuseen, reict es aufgrund der Bewegungsinvarianz von λ, nur B 0 = [ d 0, N 0 und A 0 = d [0, b i zu betracten. Dafür gilt aber offensictlic [ λ x Rd 0, d ( d d x + [0, b i = λ [0, b N 0 i N0 λ(a 0. Wir füren nun eine neue Variable R > 0 ein, welce wir erst im näcsten Scritt fixieren werden. ψ(xdx d λ(a d λ(a d λ(a = d λ(a B Ψ,B S 0,R B Ψ,B S 0,R B Ψ,B S 0,R B Ψ,B S 0,R µ n (B µ(b + µ n (B µ(b + B Ψ,B S c 0,R B Ψ,B S c 0,R µ n (B µ(b (µ n (B + µ(b ( ( µ n (B µ(b + µ n S c 0,R + µ S c 0,R ( ( ( µ n (B µ(b + µ n S c 0,R µ S c 0,R + 2µ S c 0,R (13 Für das dritte Ungleiceitszeicen aben wir dabei verwendet, dass die B disjunkt sind. Wir fixieren R ausreicend groß, sodass 2λ(Aµ(S c 0,R < δ 3 (14 27

27 mit 0 < δ 3 < ˆɛ 2 gilt; das δ 3 erfüllt die gleice Funktion wie δ 1 und δ 2 zuvor. Nacdem wir den ersten Teil aus Gleicung (12 abgescätzt aben betracten wir nun den zweiten. µ n (Cx + µ(cxdx = f(y1 C x (ydydx + = f(y = 2λ(C x = 2λ((A A n 1 1 C x (ydxdy + n 1 n = 2 d (λ(a λ(a ( d ( = 2 d λ(a N 0 b i 4 d λ(a δ 3 d, d 1 N 0 b i n 1 C x (X i dx 1 C x (X i dx (15 für N 0 ausreicend groß. Im vorletzten Scritt aben wir dabei das folgende kleine Lemma benutzt: Lemma Für z i (0, 1], i = 1,..., d gilt: d d 1 (1 z i z i Beweis. Per Induktion über d. Sei d = 1, dann ist 1 (1 z i = z i. Gelte die Beauptung bis zu d. Dann folgt d+1 d d 1 (1 z i = 1 (1 z i + z d+1 (1 z i d d z i + z d+1 (1 z i d+1 z i. 28

28 Wir aben jetzt durc Kombination von (13, (14 und (15 d µ n (x + A µ(x + A dx λ(a µ n (B µ(b + λ(a ( ( ( µ n S c 0,R µ S c 0,R + 2δ3 B Ψ,B S 0,R und in dem verbleibenden dritten Scritt ist nur noc zu zeigen, dass µ n ( S c 0,R µ ( S c 0,R (16 und B Ψ,B S 0,R µ n (B µ(b (17 jeweils exponentiell gegen 0 konvergieren, dann folgt die Beauptung. Für den Term in (16 wollen wir die Hoeffding-Ungleicung anwenden: Lemma (Hoeffding-Ungleicung. Seien Y 1,..., Y n unabängig und a i Y i b i für i = 1,..., n, dann gilt für t > 0 ( ( 1 n P Y i E(Y i t exp 2n2 t 2 n n b i a i Ein Beweis findet sic in [14] (Teorem 2. Offensictlic lässt sic µ n (S0,R c folgendermaßen als Zufallsvariable ausdrücken: µ n S ( c 0,R = 1 n 1 n S c (X 0,R i = 1 n Z n i, wobei die Z i unabängig, identisc Bern ( µ ( S0,R c -verteilt sind. Daraus folgt dann durc Einsetzen in die Hoeffding-Ungleicung: P ( ( ( µ ( n n S c 0,R µ S c 0,R ɛ = P Z i E(Z i nɛ exp ( 2nɛ 2 mit ɛ := λ(a 1 (ˆɛ 2δ 3. Für den Term (17 benötigen wir ein Lemma, für dessen Beweis wir auf [9] (Lemma 3.1 verweisen. Lemma Sei (Y 1,..., Y k ein Multinomial(n, p 1,..., p k -verteilter Zufallsvektor, t (0, 1 und k t2, dann gilt: n 20 ( k ( P Y i E(Y i > nt 3 exp nt

29 Um die Vorraussetzungen des Lemmas zu erfüllen, beacten wir zuerst, dass ( d k := {B Ψ B S 0,R } 2 d RN Um dies einzuseen, betracte statt S 0,R den um 0 zentrierten Würfel mit Seitenlänge 2R, Q 0,R S 0,R. Teile diesen Würfel entlang der Koordinatenacsen in 2 d Abscnitte und in jeden dieser Abscnitte passen aufgrund der jeweiligen Seitenlängen maximal RN der B Ψ. Mit der Standard Groß-O-Notation gilt aber 2 d ( RN0 + 1 d = O ( d = O(n, (18 das eißt 2 ( d RN d wäcst nict scneller als n. Dies gilt, da alle anderen Variablen bereits fixiert wurden und die Vorraussetzung lim n n d = impliziert, dass n scneller steigt als d. Daer können wir n ausreicend groß wälen, so dass k ɛ2. n 20 Da die B Ψ, B S 0,R paarweise disjunkt sind, ist der Vektor (Y 1,..., Y k := (nµ n (B B Ψ,B S0,R bereits multinomialverteilt, wesalb wir das Lemma darauf anwenden können: ( k P µ n (B µ(b > ɛ = P Y i E(Y i > nɛ B Ψ,B S 0,R ( 3 exp nɛ 2, 25 für n genügend groß. Die Beauptung folgt, denn: P ( d P P 3 exp µ n (x + A µ(x + A dx > ˆɛ B Ψ,B S 0,R B Ψ,B S 0,R ( nɛ ( ( µ n (B µ(b + µ n S c 0,R µ S c 0,R > ɛ ( µ n (B µ(b > ɛ ( ( + P µ n S c 2 0,R µ S c ɛ 0,R > 2 ( + exp nɛ

30 1 5 Wir setzen jetzt voraus, dass K und f beliebige Warsceinlickeitsdicten sind und f(x f n (x n 0 in Warsceinlickeit. Wir wollen zeigen, dass dann sowol als auc = (n n 0, (19 n(n d n. (20 Die erste Beauptung folgt scnell: Da f(x f n (x dx in Warsceinlickeit konvergiert, konvergiert es auc in Verteilung, insbesondere gilt also E ( f(x f n (x dx 0. Daer folgt mit der Jensenscen Ungleicung: ( E f n (x f(x dx = = E( f n (x f(x dx E(f n (x f(x dx g (x f(x dx. (21 Da der letzte Term immer noc nict-negativ ist, konvergiert auc er gegen 0 und mit Hilfssatz 2.5 folgt sofort Beauptung (19. Im Folgenden können wir also annemen, dass (19 gilt. Außerdem wissen wir, dass auc E( f n (x g (x dx gegen 0 konvergiert, denn mit Ungleicung (21 folgt auc: ( 0 E ( E f n (x g (x dx ( f n (x f(x dx + E ( 2E f n (x f(x dx n 0. f(x g (x dx Wir wollen Beauptung (20 per Widerspruc zeigen. Nemen wir an, es gebe eine Teilfolge von n d, die gegen einen reellen Limes konvergiert, also lim n k d n k k =: s [0,. (22 Im Folgenden approximieren wir K durc eine gestutzte und damit bescränkte Variante K. Dafür sei M > 0 beliebig und wird erst am Ende des Beweises festgelegt und 31

31 K (x := K(x1 K(x M. f n und g sind wie f n und g definiert mit K durc K ersetzt. Die L 1 -Distanz zwiscen diesen ist dann nur durc K(x K (xdx =: δ bescränkt: n f n (x fn(x dx = d n 1 ( ( x Xi K n = n 1 ( x (K d Xi = K(x K (xdx = δ ( x K Xi dx K ( x Xi dx und ( ( ( x y x y g (x g(x dx = d f(y K K ( ( x y x y = d f(y K K = K(x K (xdx f(ydy = δ. dydx dxdy Damit und mit der inversen Dreiecksungleicung folgt dann: f n (x g (x dx fn(x g(x dx f n (x fn(x dx = fn(x g(x dx 2δ. g (x g (x dx (23 Sei L > 0 eine Konstante, die wir wie M erst am Ende des Beweises fixieren. Um K auf einen kompakten Träger einzuscränken, definieren wir und zusätzlic K := 1 S0,L K K := 1 S c 0,L K, 32

32 sodass also K = K + K und fn = f n + f n, wobei f n und f n wieder durc ersetzen von K durc K bzw. K definiert sind. Wenn wir n A x := {X i / S x,l } i=i definieren, so gilt offensictlic 1 Ax f n(x = 0. Damit folgt dann ( E fn(x g(x dx = E ( g(x fn(x 1 Ax dx E(g(x1 Ax dx E(fn(x1 Ax dx g(xp(a x dx E(f n(x1 Ax dx. (24 Der Term auf der linken Seite der Ungleicungskette (24 konvergiert aber mitilfe von Ungleicung (23 gegen 0, da wir δ beliebig klein macen können. Daer reict es, die recte Seite weiter abzuscätzen und zu zeigen, dass sie nur gegen 0 konvergiert, wenn s =. Wir benötigen folgendes Lemma: Lemma Mit der Notation wie zuvor gelten folgende drei Aussagen: (a g (x f(x K (zdz (b µ(s y+z,l f(y alle z λ(s y z,l Rd, λ-fast alle y R d. (c 1 x exp ( x 1 x für 0 x 1 Beweis. (a Es gilt: g (x = K (x yf(ydy = K (zdz 0 K (x y K (zdz f(ydy K (zdzf(x mit Hilfssatz 2.3, da besitzt und zu 1 integriert. K ( K (zdz bescränkt ist, kompakten Träger S 0,L 33

33 (b Wir benutzen das Lebesgue-Density-Teorem 2.2, wobei wir als Klasse B = {S 0,r r > 0} wälen, für die die Voraussetzung des Satzes offensictlic erfüllt ist. Damit gilt dann für beliebiges z R d und fast alle y R d : da f λ-fast überall stetig ist. µ(s y+z,l λ(s y z,l = 1 f(ydy λ(s 0,L S y+z,l f(y, (c Standard-Ungleicung, siee etwa [19] (Ungleicung Es gilt jetzt für den linken Term der recten Seite von (24 unter Benutzung des Lemmas von Fatou, Lemma (a, Lemma (c und scließlic der Anname (22 in gleicer Reienfolge: lim inf g(xp(a x dx k lim inf g (xp(a x dx k lim inf k g (x lim inf P(A xdx k = f(x K (zdz lim inf (1 µ(s x,l n dx k ( f(x lim inf exp µ(s x,l n k dx K (zdz k 1 µ(s x,l ( ( [nk = f(x exp lim sup d] [ λ(s 0,1L d] µ(s x,l 1 dx K (zdz k λ(s x,l 1 µ(s x,l S 0,L = f(x exp ( sλ(s 0,1 L d f(x dx K (zdz. S 0,L Andererseits gilt für den zweiten Term in (24 bei Beactung der Unabängigkeit der X i, Vertauscung der Integrale und Verwendung von z = x y : 34

34 E (f n(x1 Ax dx = = n 1 d ( d E n ( E ( x 1 Ax K Xi dx n E(1 Xi / S x,l dx 1 X1 / S x,l K ( x X1 = d (1 µ(s x,l n 1 = = d f(y x y / S 0,L K i=2 y x/ S 0,L K ( x y ( x y f(ydydx (1 µ(s x,l n 1 dxdy f(y (1 µ(s y+z,l n 1 K (zdzdy z / S 0,L f(y exp( (n 1µ(S y+z,l K (zdzdy, z / S 0,L (25 wobei die letzte Ungleicung gilt, weil für 1 0 e 0 und a (1 a = 1 a (e a = e a ( ] 1, 1 e und damit (1 a n 1 e (n 1a für alle a (0, 1]. Nemen wir iervon den Limes superior könnnen wir wieder das Lemma von Fatou anwenden, da exp( (n 1µ(S y+z,l K (z K (z L 1, also: lim sup E(f n k (x1 Ax dx k lim sup f(y exp( (n k 1µ(S y+z,l K (zdzdy k z / S 0,L ( n k 1 f(y lim inf n k d µ(s y+z,l k n k λ(s y+z,l Ld λ(s 0,1 exp z / S 0,L K (zdzdy = f(y exp ( sf(yl d λ(s 0,1 K (zdzdy z / S 0,L = f(y exp ( sl d λ(s 0,1 f(y dy K (zdz z / S 0,L (26 Ungleicungen (23, (24, (25 und (26 können wir jetzt alle zusammenfassen: 35

35 lim inf E( f nk (x g (x dx k ( lim inf E fn k k (x g(x dx 2δ f(y exp ( sl d λ(s 0,1 f(y ( dy K (zdz K (zdz 2δ S 0,L S0,L c f(y exp ( sl d λ(s 0,1 f(y ( dy 2 K (zdz 1 2δ S 0,L M f(y exp ( sl d λ(s 0,1 f(y ( dy 2 K(zdz 1, S 0,L wobei der letzte Scritt gilt wegen des Satzes von der majorisierten Konvergenz ( K K und K K K und weil M biser beliebig war. Außerdem können wir nun L so groß wälen, dass der intere Faktor 2 S 0,L K(zdz 1 =: c > 0 ist, und aben daer 0 = lim inf k E( f nk (x g (x dx c f(y exp ( sl d λ(s 0,1 f(y dy 0. Damit diese letzte Gleicung ält, muss aber s = gelten, also ein Widerspruc zur Anname (22. Desalb konvergiert keine Teilfolge von n d gegen einen rellen Limes und folglic gilt Beauptung (20. Hilfssätze In diesem Abscnitt werden wir, wie zu Beginn des vorergeenden Beweises bemerkt, einige Hilfssätze auffüren und beweisen. Auc diese stammen wieder aus [9] und [10] Als Hauptilfsmittel benötigen wir das sogenannte Lebesgue-Density- Teorem, das ein Korollar des Lebesque-Differentiation-Teorems ist: Satz 2.2 (Lebesgue-Density-Teorem. Sei B B(R d und Q 0 = { [ a, a] d R d a > 0 } und es gelte sup B B ( min Q Q 0,B Q λ(q <. λ(b Außerdem sei f eine beliebige Warsceinlickeitsdicte und (B k k N eine Folge in B, für die λ(b k k 0 gilt, dann folgt: 36

36 lim k und insbesondere lim k 1 f(y f(x dy = 0 für f.a. x R d λ(b k x+b k 1 f(ydy = f(x für f.a. x R d. λ(b k x+b k Für einen Beweis siee beispielsweise [27] (Teorem Hilfssatz 2.1 (Young sce Ungleicung. Für beliebige g, L 1 gilt: f g(x dx f(x dx g(x dx Beweis. Mit Fubini folgt sofort: f g(x dx = f(yg(x ydy dx f(y g(x y dydx = f(y g(x y dxdy = f(y dy g(x dx. Hilfssatz 2.2. Sei f eine Warsceinlickeitsdicte, K L 1 und K = 1, dann gilt: lim f K (x f(x dx = 0. 0 Beweis. Gelte die Beauptung anstatt für alle Warsceinlickeitsdicten nur für eine dicte Teilmenge G. Dann gilt mit Hilfssatz 2.1 für g G und f eine beliebige W-Dicte : f K (x f(x dx (f g K + f g + g K g (f g K + f g + g K g ( = 1 + K f g + g K g, wobei der erste Teil des letzten Terms aufgrund der Dicteit beliebig klein gemact werden kann und der zweite Teil nac Voraussetzung gegen 37

37 0 konvergiert. Es reict also, die Beauptung für eine dicte Teilmenge zu zeigen. Wir betracten für G die stetigen Funtionen mit kompaktem Träger. Zu M > 0 und K definieren wir K (x := K(x1 x M und K (x := K(x1 x >M und es gilt für g G wieder mit Hilfssatz 2.1: g K g g K g g K g = g K g K + K + K g K + g g K + g + 2 K. K K Der zweite Term kann durc Wal von M beliebig klein gemact werden, es reict also zu zeigen, dass der erste Term gegen null konvergiert. Wir definieren ω(g, := sup g(x y g(x. x,y: y Da g kompakten Träger at existiert eine kompakte Menge C, sodass: g K g K = C = C K g K g (f(x y f(xk (ydy dx f(x y f(x K (y dydx C ω(y K (y dydx C λ(c ω(y K (y dy λ(cω(m K (y dy, wobei im letzten Scritt benutzt wurde, dass K (y = 0 für y > M. ω(g, M konvergiert bei festem M aber aufgrund der Stetigkeit von g für 0 gegen 0, es folgt also die Beauptung. Hilfssatz 2.3. Sei f eine Warsceinlickeitsdicte und K L 1 bescränkt mit kompaktem Träger und K = 1, dann gilt: 38

38 lim 0 f K (x = f(x für fast alle x R d. Beweis. Da K bescränkt ist und kompakten Träger at, finden wir C R und r > 0, sodass K C und supp(k S 0,r =: A. Da auc K zu 1 integriert folgt daer: f K (x f(x = (f(x y f(xk (ydy f(x y f(x K (y dy ( y = d f(x y f(x K dy A Cλ(Aλ(A 1 f(x y f(x dy A 1 = Cλ(A f(s f(x ds. λ(a x+a Der letzte Ausdruck konvergiert aber für 0 und fast alle x R d gegen 0 nac dem Lebesgue-Density-Teorem 2.2; daraus folgt die Beauptung. Hilfssatz 2.4. Seien f und K beides Warsceinlickeitsdicten, dann gilt für alle > 0: f K (x f(x dx > 0. Beweis. Für den Beweis benötigen wir die carakteristisce Funktion auc Fourier-Transformierte (F.T. genannt einer Verteilung P X auf R d : φ X (t := exp(itxp X (dx, für t R d. Nac A.1 (siee Anang ist eine solce Verteilung durc ire Fourier- Transformierte bereits vollständig festgelegt. Bezeicnen φ, ψ und ν die carakteristiscen Funktionen von f, K und f K, so gilt für alle t R d : 39

39 ν(t = = = f K (xe itx dx f(y K (x ye itx dxdy ( x y f(ye ity d K = ψ(tφ(t. e x y it dxdy Nemen wir an, es gelte f K f = 0 für ein > 0, dann folgt scon f K (x = f(x für fast alle x R d und somit aufgrund der Eindeutigkeit der carakteristiscen Funktion auc ψ(tφ(t = ν(t = φ(t. Offensictlic nimmt jede F.T. in t = 0 den Wert 1 an, und nac A.2 ist sie auc stetig, daer gibt es eine Umgebung S 0,ɛ von 0 in der φ > 0, also auc ψ(t = 1 für alle t S 0,ɛ. In diesem Bereic gilt desalb für die erste und zweite Ableitung: ψ = ψ = 0 und somit nac A.3 insbesondere E(X 2 K = ψ (0 = 0, wobei P X K die Dicte K besitzt. Die Endlickeit von E(XK, 2 die Voraussetzung für Gültigkeit der letzten Gleicung ist, folgt dabei aus der auc in Satz A.3 entaltenen Umkerung. Daraus folgt dann aber X K = 0, ein Widerspruc, und somit die Beauptung. Hilfssatz 2.5. f und K seien Warsceinlickeitsdicten, = (n eine Folge und lim f K (x f(x = 0. (27 n Dann gilt scon lim = 0. n Beweis. Wir beweisen wieder über einen Widerspruc und nemen zuerst an, dass c (0, entlang einer Teilfolge n k von n. Damit gilt f K f f K c f f K c f K. 40

40 Die linke Seite der Ungleicung konvergiert gegen 0 nac Voraussetzung und der erste Term der anderen Seite ist nac Hilfssatz 2.4 positiv. Wenn also der letzte Ausdruck gegen 0 konvergiert folgt der Widerspruc. Sei dafür K : R d R stetig mit kompaktem Träger, woraus insbesondere K L 1 und max y R d K (y < folgt. Für eine ausreicend große, kompakte Menge A gilt also: K (x = d K ( x d 1 A (x max y R d K (y (c δ d 1 A (x max y R d K (y R, ab einem n k groß genug (und damit c klein genug und 0 < δ < c passend. K wird also von einer L 1 -Funktion majorisiert. Damit folgt dann mit Hilfssatz 2.1 und dem Satz von der majorisierten Konvergenz: f K c f K K c K K c K c + K c K + K K = 2 K K + K c K 2 K K + = 2 K K lim k K c K aufgrund der Stetigkeit von K. Der letzte Term kann beliebig klein gemact werden und damit folgt der erwünscte Widerspruc. Es bleibt der Fall lim k (n k = entlang einer Teilfolge zu betracten. Für die carakteristiscen Funktionen (mit den gleicen Bezeicnungen wie im Beweis von Hilfssatz 2.4 wissen wir: f K (x f(x dx = e itx f K (x f(x dx e itx (f K (x f(x dx = ψ(tφ(t φ(t, für t R d beliebig und daraus folgt dann mit der Voraussetzung (27: lim ψ(tφ(t φ(t lim f K (x f(x dx = 0. k k Da φ(t > 0 zumindest in einer Umgebung von t = 0, muss also lim ψ(t = 1 gelten. Nac dem Riemann-Lebesgue-Lemma A.4 gilt aber lim t φ(t = 0, also insbesondere auc lim ψ(t = 0 1, ein Widerspruc. Die Beauptung folgt. 41