! # %& (! ) # +,.. # / #. + /

Transkript

1 ! # %& (! ) # +,.. # / #. + /

2 Inhaltsverzeichnis Einführung 2 2 Die τ-topologie 2 3 Der Kullback-Leibler-Abstand 2 4 Empirische Maße 3 5 Der Satz von Sanov 3 6 Anmerkungen 3 7 Lemma 4 8 Beweis Satz von Sanov 4 9 Literatur 6

3 Einführung Der Satz von Sanov wurde erstmals von Sanov in den 930er Jahren für den Spezialfall Γ = R bewiesen. Er thematisiert die Abweichungen vom Starken Gesetz der Großen Zahlen und befasst sich dabei mit der Konvergenzgeschwindigkeit. 2 Die τ-topologie Im Folgenden betrachten wir den Wahrscheinlichkeitsraum (X, F) und bezeichnen die Menge aller Wahrscheinlichkeitsfunktionen mit P. Für P P, A Π und ǫ > 0 sei U(P,A,ǫ) = {P P : P (A i ) P(A i ) < ǫ,i =,...,k}. () Eine Basis der τ-topologie ist gegeben durch alle Mengen dieser Form. Die τ- Topologie ist die gröbste Topologie, die alle Abbildungen P P(F) stetig macht für alle F F. Die Menge aller Partitionen A = (A,...,A k ) von X in eine endliche Anzahl von Mengen A i F wird bezeichnet mit Π. 3 Der Kullback-Leibler-Abstand Wir betrachten auf einer endlichen Menge {,..., k} die Wahrscheinlichkeitsverteilungen P = (p,...,p k ) und Q = (q,...,q k ). Der Kullback-Leibler-Abstand (bzw. die relative Entropie) wird definiert als D(P Q) = k i= p i log p i q i mit den Konventionen: 0 log0 = 0 log 0 0 ; t log t 0 = + für t > 0. Der Kullback-Leibler-Abstand der Wahrscheinlichkeitsmaße P P, Q P wird definiert als D(P Q) = supd(p A Q A ) (2) A Π mit P A = (P(A ),...,P(A k )), Q A = (Q(A ),...,Q(A k )). 2

4 4 Empirische Maße Seien X,...,X n Zufallsgrößen mit X i X, dann nennt man das Wahrscheinlichkeitsmaß P x (F) = n δ xi (F), F F n i= das empirische Maß der Folge X,...,X n. Hierbei bezeichnet δ x das Diracmaß in x. Für jede Menge A ist P x (A) der relative Anteil der Treffer der Folge X,...,X n in der Menge A. 5 Der Satz von Sanov Für unabhängige Zufallsgrößen, die bezüglich Q P verteilt sind, erfüllen die resultierenden empirischen Maße das Prinzip großer Abweichungen in der τ-topologie mit der guten Ratenfunktion D( Q). Das bedeutet für Γ P : lim inf n n logqn ({x : P x Γ}) inf D(P Q) (3) P int τγ lim sup n und die Divergenzbälle sind kompakt bezüglich der τ-topologie. n logqn ({x : P x Γ}) inf D(P Q) (4) P cl τγ B(Q,α) = {P : D(P Q) α} (5) 6 Anmerkungen i. Umsicherzustellen,dassQ n ({x : P x Γ})wohldefiniertist,wirdüblicherweise eine Messbarkeitsbedingung an die erlaubten Mengen Γ P gestellt. Alternativ kann Γ P beliebig gewählt werden, wenn Q n ({x : Px Γ}) als das innere Maß in (3) oder als das äußere Maß in (4) interpretiert wird. ii. Die Bedingung der unteren Grenze kann verschärft werden, indem die Behauptung für die Topologie τ 0 gezeigt wird. Eine Basis dieser Topologie wird durch Mengen U 0 (P,A,ǫ) = {P U(P,A,ǫ) : P(A i ) = 0 P (A i ) = 0} definiert mit A = (A,...,A k ) Π und ǫ > 0 3

5 7 Lemma Sei P n (k) die Menge der Wahrscheinlichkeitsverteilungen auf der Menge {,...,k} der Form P = ( n n,..., n k n ) P n (k) mit den natürlichen Zahlen n,...,n k. Für ein solches P sei T n (P) die Menge aller Tupel der Länge n mit Einträgen aus {,...,k}, bei denen i {,...,k} n i -Mal vorkommt. i. Es gilt: P n (k) (n+) k ii. Für P P n (k) und jede Verteilung Q auf {,...,k} gilt: (n+) k e nd(p Q) Q n (T n (P)) e nd(p Q). 8 Beweis Satz von Sanov 8. Beweis für (3) Behauptung: liminf n n logqn ({x : P x Γ}) D(P Q) für P int τ0 (Γ). Wähle P n P n (k) für alle natürlichen Zahlen n, sodass P n P A mit P n (i) = 0, wenn P(A i ) = 0. Dann gilt: P n (i) P(A i ) < ǫ n für alle i =,...,k und geeignete ǫ n 0. Und es folgt: Q n ({x : P x Γ}) Q n ({x : P x U 0 (P,A,ǫ n )}) Q n ({x : P A x = P n } = (Q A ) n (T n (P n )) Lemma(ii) (n+) k e nd(pn QA ) Durch die Wahl der P n folgt D(P n Q A ) D(P A Q A ) und per Definition D(P A Q A ) D(P Q). Damit gilt die Behauptung. 8.2 Beweis für (5) Behauptung: B(Q,α) = {P : D(P Q) α} ist kompakt in der τ-topologie. Wir betrachten die Menge M aller endlich additiven Mengenfunktionen auf (X, F) mit Werten im Intervall [0, ]. M ist eine abgeschlossene Menge von [0,] F = {f : F [0,]} versehen mit der Produkttopologie, der gröbsten Topologie, die alle Abbildungen f f(f)) mit F F stetig macht. Da [0,] F nach dem Satz von Tychonov kompakt ist, ist M als abgeschlossene Teilmenge einer kompakten Menge auch kompakt. Die Definition des Kullback-Leibler-Abstands überträgt sich unverändert auf P und Q aus M. Offensichtlich ist für jede Partition A Π die Teilmenge {P M : D(P A Q A ) α} M abgeschlossen und daher kompakt. Als Schnitt für alle A Π ist K = {P M : D(P Q) α} auch kompakt. Wenn Q P dann ist die kompakte Menge K P und daher K = B(Q,α). Wäre allerdings P M nicht σ-additiv, dann existiert eine absteigende Folge von 4

6 Mengen F n F mit leerem Schnitt und lim n P(F n ) > 0, wohingegen aus der σ-additivität folgt Q(F n ) 0. Daraus ergibt sich D(P An Q An ) für die Partitionen A n = (F n,f C n ) und daher D(P Q) = und folglich P / K. Dies vervollständigt den Beweis, da die Teilraumtopologie P M [0,] F per Definition der τ-topologie gleicht. 8.3 Beweis für (4) Für den Beweis führen wir folgende Notation ein: Γ A = {P A : P Γ}, Γ(A) = {P P : P A Γ A } für A Π. Behauptung: cl τ Γ = A Π cl τγ(a) Da Γ Γ(A), bleibt zu zeigen: P cl τ Γ(A) A Π U(P,A,ǫ) von P schneidet Γ ǫ > 0. Sei A = (A,...,A k ) Π und P Γ(A U(P,A,ǫ) (, da P cl τ Γ(A)) P Γ(A) DefΓ(A) P (A i ) = P(A i ),i =,...,k für ein P Γ P U(P,A,ǫ) DefU P U(P,A,ǫ) Daraus folgt: U(P,A,ǫ) Γ 2. Behauptung:Γ(A) B(Q,α) mita = (A...A k ) Πundα > sup A Π inf P Γ D(P A Q A ) Aus der Wahl von α folgt die Existenz eines Wahrscheinlichkeitsmaßes P Γ mit D( P A Q A ) < α. Mit Hilfe dieses P konstruiere nun das Wahrscheinlichkeitsmaß P Γ(A) wie folgt: P(F) = k P(A i ) i= Q(F A Q(A i ) i),f F mit der Konvention, dass für Q(A i ) = 0 der zugehörige Term gleich Null gesetzt wird. Dann gilt: P(A j ) = k i= Daraus folgt: P Γ(A), da P A = P A und P(A i ) Q(A i ) Q(A j A i ) = P(A j ) Q(A j ) Q(A j) = P(A j ) D(P A Q A ) = k i= P(A i )log P(A i) Q(A i ) = k i= P(A i )log P(A i ) Q(A i ) = D( P A Q A ) Des weiteren gilt D( P A Q A ) = D(P B Q B ) für alle Partitionen B Π, die A verfeinern. Zusammen mit der Definition von D(P Q) führt dies zu D(P Q) = D( P A Q A ), sodass P B(Q,α). 5

7 3. Behauptung: cl τ Γ B(Q,α) mit A = (A...A k ) Π und α > sup A Π inf P Γ D(P A Q A ) Für jede A,...,A m Π mit A Π verfeinert jedes A i gilt Γ(A) Γ(A i ), i =,...,m. Aus (2.) folgt somit m (Γ(A i ) B(Q,α)) (6) i= Aufgrund der Kompaktheit von B(Q, α) sind auch die Mengen cl τ Γ(A) B(Q,α), A Π kompakt in der τ-topologie und alle endlichen Kollektionen dieser Mengen haben nach (6) keinen leeren Schnitt. Es folgt, dass der Schnitt all dieser Mengen ebenfalls nicht leer ist. Mit Hilfe von (.) folgt die Behauptung. 4. Behauptung: (4) Für jede Partition A Π gilt: Q n ({x : P x Γ}) Q n ({x : P x Γ(A)}) = Q n ({x : P A x Γ A P n (k)}) Lemma(i) (n+) k max (Q A ) n (T n (P)) Lemma(ii) (n+) k e ninf P ΓD(P A Q A ) P Γ A P n(k) und daher: lim sup n n logqn ({x : P x Γ}) inf [ inf A Π P Γ D(PA Q A )] = sup Damit gilt die Behauptung. 3. sup A Π A Π inf P Γ D(PA Q A ) inf P cl D(PA Q A ) inf D(P Q) τγ B(Q,α) P cl τγ 9 Literatur Imre Csiszár: A simple proof of Sanovs theorem Bulletin of the Brazilian Mathematical Society, 2006, Volume 37, Number 4, S