Die Probabilistische Methode

Transkript

1 Die Probabilistische Methode Wladimir Fridman Hauptseminar im Sommersemester 2004 Extremal Combinatorics Zusammenfassung Die Probabilistische Methode ist ein mächtiges Werkzeug zum Führen von Existenzbeweisen. Dieser Seminarbeitrag stellt zunächst die Idee dieser Methode vor, sowie die stochastischen Grundlagen und drei wichtige Ungleichungen, die sich bei der Anwendung der Probabilistische Methode als sehr nützlich erweisen. Abschließend wird ein Satz mittels der Probabilistischen Methode bewiesen. Als Grundlage dieses Beitrags diente das Kapitel 17 des Buches Extremal Combinatorics von Stasys Jukna.

2 Inhaltsverzeichnis 1 Einleitung: Probabilistische Methode 3 2 Stochastische Grundlagen 3 3 Werkzeuge Markov-Ungleichung Tschebyscheff-Ungleichung Chernoff-Ungleichungen Beispiel: First Moment Method - ksat 9

3 1 EINLEITUNG: PROBABILISTISCHE METHODE 1 Einleitung: Probabilistische Methode Die Probabilistische Methode wird dazu benutzt, Existenzbeweise zu führen. Diese Methode findet insbesondere Anwendung in der Kombinatorik und der Graphentheorie. Als ein sehr nützliches Mittel erweist sie sich auch in der Zahlentheorie und der kombinatorischen Geometrie. In der Informatik wird diese Methode zum Entwickeln effizienter Algorithmen und zur Problemanalyse angewandt. Man will also nachweisen, dass ein Objekt mit bestimmten Eigenschaften existiert. Dazu definiert man einen geeigneten Wahrscheinlichkeitsraum und zeigt, dass ein aus dem Wahrscheinlichkeitsraum zufällig gewähltes Objekt mit einer positiven Wahrscheinlichkeit die gewünschten Eigenschaften hat. Die Idee stützt sich auf das folgende Argument: Seien x 1,..., x n R und x x n a n dann existiert mindestens ein i {1,..., n}, so dass x i a. Die zwei Thesen, auf denen die Probabilistische Methode basiert, sind also: These 1 Eine Zufallsvariable X nimmt mindesten einen Wert X x an, so dass x E[X, wobei E[X der Erwartungswert von X ist. These 2 Wenn ein aus einem Universum zufällig gewähltes Objekt mit einer positiven Wahrscheinlichkeit bestimmte Eigenschaften hat, dann muss in diesem Universum auch ein Objekt mit diesen Eigenschaften existieren. Die Probabilistische Methode ist insofern mächtig, dass es oft einfacher ist, den Durchschnitt bzw. den Erwartungswert zu berechnen, als ein bestimmtes Objekt x i vorzuzeigen, um den Existenzbeweis zu führen. 2 Stochastische Grundlagen Definition 1 (Wahrscheinlichkeitsraum) Ein diskreter Wahrscheinlichkeitsraum wird durch eine endliche Menge Ω und eine Funktion P rob : Ω [0, 1 mit der Eigenschaft x Ω P rob(x) 1 beschrieben. Ω heißt Ergebnismenge, P ot(ω) Ereignismenge, wobei die Teilmengen A Ω Ereignisse heißen. Die Wahrscheinlichkeit eines Ereignisses A ist definiert durch P rob(a) x A P rob(x). Man nennt P rob eine Wahrscheinlichkeitsverteilung. 3

4 2 STOCHASTISCHE GRUNDLAGEN Die folgenden Eigenschaften lassen sich leicht aus der Definition ableiten. Seien A, B und C 1,..., C n Ereignisse und C 1,..., C n eine Partition von Ω, dann gilt: P rob(a B) P rob(a) + P rob(b) P rob(a B) P rob(a) 1 P rob(a) P rob(a B) P rob(a) P rob(b) P rob(a) n P rob(a B i) A bezeichne hier das Komplement von A (also A Ω A). Definition 2 (Bedingte Wahrscheinlichkeit) Seien A und B Ereignisse und P rob(b) 0. P rob(a B) P rob(a B) P rob(b) heißt bedingte Wahrscheinlichkeit von A unter der Bedingung B. Bedingte Wahrscheinlichkeit kann als Wahrscheinlichkeit für das Eintreten des Ereignisses A interpretiert werden, unter der Annahme, dass das Ereignis B bereits eingetreten ist. Sei A das Ereignis, dass bei einen fairen Würfel die Nummer 2 gewürfelt wird und B das Ereignis, dass die gewürfelte Nummer gerade ist, dann ist P rob(a B) 1 und P rob(b A) 1. 3 Definition 3 (Stochastische Unabhängigkeit) Zwei Ereignisse A und B heißen stochastisch unabhängig, falls P rob(a B) P rob(a). ( P rob(a B) P rob(a) P rob(b)) Ereignisse A 1,..., A n heißen gemeinsam stochastisch unabhängig, falls P rob(a i1... A ik ) P rob(a i1 )... P rob(a ik ) für beliebige 1 i 1 <... < i k n, d.h. die Wahrscheinlichkeit eines beliebigen Durchschnitts lässt sich als das Produkt der Einzelwahrscheinlichkeiten bestimmen. Zu beachten ist, dass aus paarweiser stochastischer Unabhängigkeit nicht die gemeinsame stochastische Unabhängigkeit folgt. Definition 4 (Zufallsvariable) Eine Zufallsvariable ist eine auf dem Wahrscheinlichkeitsraum definierte Funktion X : Ω S, wobei S R. Die Verteilung einer Zufallsvariablen ist eine Funktion f : S [0, 1, definiert als f(i) P rob(x i), wobei P rob(x i) die Wahrscheinlichkeit des Ereignisses A {x Ω : X(x) i} ist. 4

5 2 STOCHASTISCHE GRUNDLAGEN Beispiel (Indikatorvariable, Binomialverteilung): Betrachte n-fachen Münzwurf, sei p die Wahrscheinlichkeit für das Auftreten von Kopf. Die Würfe sind unabhängig voneinander. Ω {(x 1,..., x n ) x i {0, 1}}, wobei x i 1, falls Kopf fällt, x i 0 andernfalls. Die Zufallsvariable X ist die Anzahl des Auftretens von Kopf, also X((x 1,..., x n )) n x i. Die Verteilung von X ist P rob(x k) ( n k) p k (1 p) n k. Man sagt die Zufallsvariable X ist binomialverteilt mit Parametern n N und p [0, 1. Hier kann man die x i als Indikatorvariablen ansehen, denn eine Indikatorvariable { für ein Ereignis A ist eine 1 falls ω A Zufallsvariable X A : Ω [0, 1, mit X A (ω) 0 falls ω / A. Definition 5 (Erwartungswert) Der Erwartungswert einer Zufallsvariable X ist definiert durch: E[X x i P rob(x x i ) Seien X 1,..., X n Zufallsvariablen und a R, dann gilt: E[aX ae[x E[X 1 + X X n E[X 1 + E[X E[X n (Linearität) E[X 1 X 2... X n E[X 1 E[X 2... E[X n, falls X 1,..., X n auch gemeinsam unabhängig. Definition 6 (Varianz) Die Varianz einer Zufallsvariable X ist definiert durch: V ar[x E[(X E[X) 2 / E[X 2 (E[X) 2 / Seien X und Y Zufallsvariablen und a R, dann gilt: V ar[ax a 2 V ar[x V ar[x + Y V ar[x + V ar[y, falls X und Y stochastisch unabhängig. Der Erwartungswert E[X gibt den erwarteten (durchschnittlichen) Wert von X an, die Varianz V ar[x die durchschnittliche Abweichung vom Erwartungswert. Sei X binomialverteilt, dann ist E[X np und V ar[x np(1 p), denn [ E[X E X i E[X i p np 5

6 3 WERKZEUGE und [ V ar[x V ar X i V ar[x i (E[X 2 i (E[X i ) 2 ) (p p 2 ) p(1 p) np(1 p) 3 Werkzeuge Die folgenden drei Ungleichungen haben sich als sehr nützliche Werkzeuge bei der Anwendung der Probabilistischen Methode erwiesen. 3.1 Markov-Ungleichung Markov-Ungleichung. Sei X : Ω R + eine nicht-negative Zufallsvariable und λ R +, dann gilt: P rob(x λ) E[X λ. Oder äquivalent Beweis. P rob(x λ E[X) 1 λ. E[X x x P rob(x x) x λ λ P rob(x x) λ P rob(x λ) 3.2 Tschebyscheff-Ungleichung Tschebyscheff-Ungleichung. Sei X eine Zufallsvariable mit V ar[x < und λ R +, dann gilt P rob( X E[X λ) V ar[x λ 2 Beweis. Mit der Markov-Ungleichung folgt: P rob( X E[X λ) P rob((x E[X) 2 λ 2 ) E[(X E[X)2 λ 2 V ar[x λ 2 6

7 3.3 Chernoff-Ungleichungen Beachte, dass hier die Markov-Ungleichung angewendet werden darf, denn X E[X und damit auch X E[X 2 nicht negativ sind. Die Ungleichung gibt also eine obere Schranke für die Wahrscheinlichkeit, dass die Zufallsvariable von ihrem Erwartungswert um mehr als λ abweicht, an. 3.3 Chernoff-Ungleichungen Diese Ungleichungen kann mann als Spezialfälle der Markov-Ungleichung, daher mit einem größeren Informationsgehalt, ansehen, angewandt auf Summen von Zufallsvariablen X i. (Chernoff-Ungleichung 1.) Seien X 1,..., X n n unabhängige Zufallsvariablen, mit P rob(x i 1) P rob(x i 1) 1 für i 1,..., n, und X n 2 X i, dann gilt für jedes λ > 0 Beweis. Es gilt: P rob(x λ) e λ2 /2n P rob(x λ) P rob(e tx e tλ ) E[etX e tλ. für ein beliebiges t 0. Der erste Teil gilt, da exp( ) die Ordnung beibehält und der zweite folgt aus der Markov-Ungleichung. Wegen der Taylor-Entwicklung von e folgt: E[e tx i 1 2 et e t 1 (1 + 2 t1! + t2 2! + t3 3! + ) + 1 (1 2 ) ( t2 2! t2k (2k)! + ) t2 + t1! 2! t3 3! + Wegen (2k)! (k!)2 k folgt die Abschätzung: E[e tx i i0 t 2i (2i)! i0 t 2i 2 i (i!) i0 1 i! ( ) t 2 i e t2 /2 2 7

8 3 WERKZEUGE Wegen der Unabhängigkeit der X i : E[e tx E [ e ( i tx i) E n e t2 /2 e nt2 /2 [ i e tx i n E[e tx i Dieses Ergebnis oben eingesetzt ergibt: P rob(x λ) E[etX e tλ ent2/2 e tλ e nt2 /2 tλ Für t λ/n nimmt e nt2 /2 tλ den kleinsten Wert an. Setze also t λ/n: ( n 2 P rob(x λ) e ( n) λ 2 ) λ n λ e λ2 /2n (Chernoff-Ungleichung 2.) Seien X 1,..., X n n unabhängige Indikatorvariablen, mit P rob(x i 1) p und P rob(x i 0) 1 p für i 1,..., n und 0 < p < 1, und X n X i. X ist also binomialverteilt X B(n, p) mit E[X np µ. Dann gilt für jedes 0 < λ < 1 und Beweis. Es gilt: P rob(x (1 + λ)µ) e µλ2 /3 P rob(x (1 λ)µ) e µλ2 /2 ( ) ( ) und P rob(x m) P rob(e tx e tm ) E[etX e tm. P rob(x m) P rob(e tx e tm ) E[e tx e. tm für ein beliebiges t 0. Wegen 1 + a e a und der Unabhängigkeit der X i folgen die Abschätzungen: E[e tx E [e ( n tx i) E [ n (pe t + 1 p) n e pn(et 1) i e tx i n E[e tx i 8

9 4 BEISPIEL: FIRST MOMENT METHOD - ksat und E[e tx E [e ( n tx i) E [ n (pe t + 1 p) n e pn(e t 1) i e tx i n E[e tx i Diese Ergebnisse oben eingesetzt: P rob(x m) e tm e pn(et 1) und P rob(x m) e tm e pn(e t 1) Setze nun in ( ) t ln(m/pn), da in ( ) m pn und in ( ) t ln(pn/m), da in ( ) m pn Daraus folgt für ( ): ( ) (1+λ)µ ( µ P rob(x (1 + λ)µ) e (1+λ)µ µ e λ (1 + λ)µ (1 + λ) (1+λ) und für ( ): ( ) (1 λ)µ ( µ P rob(x (1 λ)µ) e (1 λ)µ µ e λ (1 λ)µ (1 λ) (1 λ) Da λ ln((1 + λ) (1+λ) ) λ 2 /3 für 0 < λ < 1 folgt die Behauptung ( ): P rob(x (1 + λ)µ) e µλ2 /3 Da (1 λ) (1 λ) e λ+λ2 /2 für 0 < λ < 1 folgt die Behauptung ( ): P rob(x (1 λ)µ) e µλ2 /2 ) µ ) µ 4 Beispiel: First Moment Method - ksat Für jede Zufallsvariable X bezeichnet man E[X k als das k-te Moment von X. So benutzt man in der First Moment Method die Größe E[X 1, also den Erwartungswert. 9

10 LITERATUR Die First Moment Method besagt: Wenn E[X t, dann P rob(x t) > 0. Wir wollen nun den folgenden Satz beweisen: Satz 1. Jede Instanz des k-sat mit weniger als 2 k Klauseln ist erfüllbar. Beweis. Man betrachte eine zufällig generierte Belegung, wobei jede Variable der Formel unabhängig von den anderen mit gleicher Wahrscheinlichkeit auf true oder false gesetzt wird. Seien X i Indikatorvariablen definiert wie folgt: { 1 falls i-te Klausel nicht erfüllt X i 0 falls i-te Klausel erfüllt Da es für jede Klausel 2 k Belegungen gibt und nur eine Belegung die Klausel nicht erfüllt, ist P rob(x i 1) 1. Ferner sei die Zufallsvariable X n 2 k X i die Anzahl der unerfüllten Klauseln, wobei n die Anzahl der Klauseln in der Formel sei. [ 1 E[X E X i E[X i 2 n k 2 k Da die Anzahl der Klauseln n < 2 k, folgt E[X < 1. Dann ist P rob(x < 1) > 0 (First Moment) und daraus folgt sofort P rob(x 0) > 0. Also existiert eine Belegung, so dass 0 Klauseln unerfüllt, d.h. alle Klauseln erfüllt sind. Literatur [1 JUKNA, S.: Extremal Combinatorics - With Applications in Computer Science. Springer-Verlag,