6: Diskrete Wahrscheinlichkeit

Stefan Lucks Diskrete Strukturen (WS 2009/10) 219 6: Diskrete Wahrscheinlichkeit 6: Diskrete Wahrscheinlichkeit

Stefan Lucks Diskrete Strukturen (WS 2009/10) 220 Wahrscheinlichkeitsrechnung Eines der wichtigsten mathematischen Werkzeuge für Informatiker (Analyse probabilistischer Algorithmen, Zuverlässigkeit eines Systems,... ) Diskrete Wahrscheinlichkeit als besonders einfacher Fall (im Gegensatz zur kontinuierlichen Wahrscheinlichkeit) 1. Einige Grundbegriffe (z.b. was ist Wahrscheinlichkeit?) 2. Secret Sharing bzw. Verschlüsselung mit perfekter Sicherheit 3. Neuer Blick auf den Diffie-Hellman Schlüsselaustausch Wie berechnet man Diskrete Logarithmen möglichst effizient? (Oder: Warum verlangen wir q > 2 160?) 6: Diskrete Wahrscheinlichkeit

Stefan Lucks Diskrete Strukturen (WS 2009/10) 221 6.1: Grundbegriffe Definition 91 Ein diskreter Wahrscheinlichkeitsraum besteht aus der Menge der Elementarereignisse, einer abzählbaren Menge Ω, zusammen mit der Wahrscheinlichkeitsverteilung, einer Funktion Pr : Ω R 0, mit Pr(x) = 1. x Ω Dabei bezeichnet R 0 die Menge aller reellen Zahlen 0. In diesem Kapitel benutzen wir den Bezeichner Ω stets für eine abzählbare Menge von Elementarereignissen und Pr für die zugehörige Wahrscheinlichkeitsverteilung.

Stefan Lucks Diskrete Strukturen (WS 2009/10) 222 Beispiele (Würfel) Fairer Würfel ( Laplace-Würfel ): Ω = {1, 2, 3, 4, 5, 6}, x Ω : Pr[x] = 1/6. Würfel mit Bleigewicht unter der 1: Ω = {1, 2, 3, 4, 5, 6}, Pr[2] = Pr[3] = Pr[4] = Pr[5] = 1/6, Pr[6] = 3/9. Was ist Pr[1]? Wie wahrscheinlich ist es, eine gerade Zahl zu würfeln? Fairer Würfel mit manipulierten Augenzahlen 2,3,4,5,6,6: Ω = {1, 2, 3, 4, 5, 6}, Pr[1] = 0, Pr[2] = Pr[3] = Pr[4] = Pr[5] = 1/6, Pr[6] = 1/3.

Stefan Lucks Diskrete Strukturen (WS 2009/10) 223 Ereignisse und ihre Wahrscheinlichkeit Definition 92 Die Elemente von Ω sind die Elementarereignisse, alle Teilmengen von Ω sind Ereignisse, und die Wahrscheinlichkeit Pr[E] eines Ereignisses E Ω ist Pr[E] = x E Pr(x). Das Ereignis {} ist das unmögliche und Ω selbst ist das sichere Ereignis.

Stefan Lucks Diskrete Strukturen (WS 2009/10) 224 Beispiel: Gleichverteilung ( Laplace-Verteilung ) Sei Ω endlich. Sind alle Elementarereignisse gleich wahrscheinlich, dann ist x Ω : Pr[x] = 1/ Ω. Ferner gilt für alle Ereignisse E Ω: Pr[E] = E Ω. Konkretes Beispiel: Fairer ( Laplace -) Würfel (kennen wir schon). Ω = {1, 2, 3, 4, 5, 6}, x Ω : Pr[x] = 1/6, Pr[{2, 4, 6}] = 1/2.

Stefan Lucks Diskrete Strukturen (WS 2009/10) 225 Eigenschaften der Wahrscheinlichkeit Satz 93 (Monotonie der Wahrscheinlichkeit) Sei A B Ω. Dann gilt Pr[A] Pr[B]. Satz 94 (Additivität der Wahrscheinlichkeit) Seien A, B Ω. Dann gilt Pr[A B] = Pr[A] + Pr[B] Pr[A B].

Stefan Lucks Diskrete Strukturen (WS 2009/10) 226 Folgerungen Seien A ein Ereignis. Dann gilt: 0 Pr[A] 1. Sind die Ereignisse A und B disjunkt, also A B = {}, dann gilt Pr[A B] = Pr[A] + Pr[B]. Seien A Ω. Dann gilt Pr[A] = 1 Pr[A].

Stefan Lucks Diskrete Strukturen (WS 2009/10) 227 Beispiel: Mehrere Würfe mit einem Würfel Man werfe den fairen 2,3,4,5,6,6-Würfel zweimal. Nun ist Ω = {(1, 1), (1, 2),..., (6, 6)} (Beachte: (i, j) heißt zuerst i, dann j gewürfelt ) für i j ist (i, j) (j, i)!) Pr[(1, 1)] = = Pr[(1, 6)] = 0, Pr[(2, 3)] = 1/36,... Was ist Pr[(3, 6)]? Was ist Pr[(i, i)] für i {2,..., 6}?

Stefan Lucks Diskrete Strukturen (WS 2009/10) 228 Zwei unabhängige Ereignisse Definition 95 Zwei Ereignisse A, B Ω heißen (stochastisch) unabhängig, wenn Pr[A B] = Pr[A] Pr[B] gilt. Andernfalls heißen sie (stochastisch) abhängig. Beispiel: Laplace-Würfel. E 1 = {2, 3} E 2 = {3, 5} E 3 = {2, 3, 4}. E 4 = {1, 2, 3}. Es gibt 6 Paare von Ereignissen (E 1, E 2 ), (E 1, E 3 )..., (E 3, E 4 ). Welche dieser Paare sind unabhängig, welche nicht?

Stefan Lucks Diskrete Strukturen (WS 2009/10) 229 Das Zwei-Würfel Experiment Wir haben zwei faire Würfel, 1,1,2,3,4,5 und 2,3,4,5,6,6. Wir wählen zufällig einen der beiden Würfel und würfeln. Es ist Ω = {1, 2,..., 6}, und für alle x Ω ist Pr[x] = 1/6. (Nachrechnen!) Nun würfeln wir zweimal. Also ist Ω = {1, 2,..., 6} 2. Sei X das Ereignis, dass wir im ersten Wurf eine 6 werfen, Y das Ereignis, dass wir im zweiten Wurf eine 6 werfen.

Stefan Lucks Diskrete Strukturen (WS 2009/10) 230 Das Zwei-Würfel Experiment (2) Wenn wir für beide Würfel den gleichen (zuvor zufällig gewählten) Würfel wählen, dann sind X und Y abhängig. (Nachrechnen!) Wenn wir dagegen den Würfel nach dem ersten Wurf zurücklegen und vor dem zweiten Wurf wieder zufällig einen der beiden Würfel wählen, dann sind X und Y unabhängig. (Nachrechnen auch wenn es offensichtlich erscheint!)

Stefan Lucks Diskrete Strukturen (WS 2009/10) 231 Bedingte Wahrscheinlichkeit Definition 96 Seien A und B zwei Ereignisse mit Pr[B] > 0. Die bedingte Wahrscheinlichkeit Pr[A B], dass das Ereignis A unter der Bedingung B eintritt, ist Pr[A B] = Pr[A B]. Pr[B] Beispiel: Das Zwei-Würfel-Experiment (ohne Zurücklegen), X: Beim ersten Wurf eine 6, Y : Beim zweiten Wurf eine 6. Man rechne Pr[X Y ] aus! Satz 97 Zwei Ereignisse A, B Ω sind unabhängig, genau dann, wenn Pr[A B] = Pr[A].

Stefan Lucks Diskrete Strukturen (WS 2009/10) 232 Beispiel: Eine Familie mit zwei Kindern Wir besuchen eine Familie, von der wir wissen, dass sie zwei Kinder hat. An der Tür werden wir von einem der beiden Kinder begrüßt. Es ist ein Junge. Wie wahrscheinlich ist es, dass das andere Kind auch ein Junge ist? (Dabei sei es gleich wahrscheinlich, dass ein Kind als Junge geboren wird, oder als Mädchen. Insbesondere sei dieses Ereignis unabhängig vom Geschlecht der anderen Geschwister.)

Stefan Lucks Diskrete Strukturen (WS 2009/10) 233 Eigenschaften der bedingten Wahrscheinlichkeit Satz 98 (Multiplikationssatz für Wahrscheinlichkeiten) Pr[A B] = Pr[B] Pr[A B]. Satz 99 (Bayes) Seien A, B Ω Ereignisse mit Pr[A] > 0 < Pr[B]. Dann gilt: Pr[A B] = Pr[A] Pr[B] Pr[B A].

Stefan Lucks Diskrete Strukturen (WS 2009/10) 234 6.2: Perfekt sichere Verschlüsselung Szenario: M {0, 1} n : vertrauliche Nachricht C = E K (M): Chiffretext (Verschlüsselung von M unter einem geheimen Schlüssel K ) Angreifer kennt C, aber weder M noch K Legaler Empfänger kennt K, erfährt C und berechnet M = D K (C) durch Entschlüsselung von C unter K Idee Ein Verschlüsselungssystem heißt perfekt, falls der Angreifer aus dem Chiffretext nichts über M erfährt, was er nicht sowieso schon weiß. 6: Diskrete Wahrscheinlichkeit 6.2: Perfekt sichere Verschlüsselung

Stefan Lucks Diskrete Strukturen (WS 2009/10) 235 Von der Idee zur formalen Definition Definition 100 Ein Verschlüsselungssystem heißt perfekt, falls für den Angreifer und für alle Nachrichten M {0, 1} n und alle Chiffretexte C gilt: Pr[ M C ] = Pr[ M ]. (Achtung: Etwas missbräuchliche Notation! Für M {0, 1} n bezeichnet M das Ereignis, dass der Sender diese Nachricht verschickt. Ebenso für Chiffretexte C und Schlüssel K.) Das Shamir Secret Sharing kann man als perfektes Verschlüsselungssystem auffassen. Wir betrachten im folgenden ein einfacheres Beispiel. 6: Diskrete Wahrscheinlichkeit 6.2: Perfekt sichere Verschlüsselung

Stefan Lucks Diskrete Strukturen (WS 2009/10) 236 Die Vernam-Chiffre ( One-Time Pad, Vernam, 1917) M {0, 1} n : vertrauliche Nachricht Schlüssel K {0, 1} n, gleichverteilt Chiffretext C {0, 1} n : C = M K. Entschlüsselung: M = C K. Satz 101 (Shannon, 1949) Die Vernam-Chiffre ist perfekt. 6: Diskrete Wahrscheinlichkeit 6.2: Perfekt sichere Verschlüsselung

Stefan Lucks Diskrete Strukturen (WS 2009/10) 237 Perfekte Verschlüsselung ist in der Praxis eine seltene Ausnahme Satz 102 Bei jedem perfekten Verschlüsselungssystem muss der Schlüssel mindestens so lang sein, wie die Nachricht. Werden mehrere Nachrichten verschlüsselt, muss der Schlüssel mindestens so lang sein, wie die Längen aller Nachrichten zusammen. (Ohne Beweis) 6: Diskrete Wahrscheinlichkeit 6.2: Perfekt sichere Verschlüsselung

Stefan Lucks Diskrete Strukturen (WS 2009/10) 238 6.3: Das Geburtstagsparadoxon Wie wahrscheinlich ist es, dass von 23 Leuten auf einem Fußballfeld (beide Teams und der Schiedsrichter) zwei am gleichen Tag Geburtstag haben Etwa 50.7 %. Überrascht? http://de.wikipedia.org/wiki/geburtstagsparadoxon 6: Diskrete Wahrscheinlichkeit 6.3: Das Geburtstagsparadoxon

Stefan Lucks Diskrete Strukturen (WS 2009/10) 239 Wie rechnet man das aus? n 365 Bälle, die jeweils zufällig in einen von 365 Körben geworfen werden. Die Wahrscheinlichkeit p n, dass von n Bällen in jedem Korb höchstens ein Ball ist: p1 = (365/365) = 1 p2 = (364/365) p3 = (364/345) (363/365) p4 = (364/345) (363/365) (362/365)... p n = 0 i<n 365 i 365. Die Wahrscheinlichkeit, dass in mindestens einem Korb mehr als ein Ball liegt, ist natürlich 1 p n, siehe Tabelle. 6: Diskrete Wahrscheinlichkeit 6.3: Das Geburtstagsparadoxon Anz. 1 p n 1 0.0000 2 0.0027 3 0.0082 4 0.0164.. 20 0.4114 21 0.4437 22 0.4757 23 0.5073 24 0.5383 25 0.5687 26 0.5982 27 0.6269 28 0.6545

Stefan Lucks Diskrete Strukturen (WS 2009/10) 240 Verallgemeinerung des Geburtstagsproblems k Körbe und (wie bisher) n k Bälle. Die Wahrscheinlichkeit, dass Bälle in verschiedenen Körben landen: p n = k i k. 0 i<n Für große k erwartet man eine Kollision (zwei Bälle im gleichen Korb) bei π n = 2 k (ohne Beweis). Es ist π 2 1.25. Ist n = c π 2 k, dann ist die erwartete Anzahl an Kollisionen c 2. 6: Diskrete Wahrscheinlichkeit 6.3: Das Geburtstagsparadoxon

Stefan Lucks Diskrete Strukturen (WS 2009/10) 241 Warum ist das für die Informatik relevant? Die Effizienz vieler probabilistischer Algorithmen hängt eng mit der Anzahl an zufälligen Kollisionen zusammen. Uns schon bekannt ist das Problem des Diskreten Logarithmus: ( Diffie-Hellman Schlüsselaustausch): Seien ein erzeugendes Element g einer (zyklischen) Gruppe der Ordnung q und x = g y gegeben, gesucht ist y. Es gibt Algorithmen zur Berechnung des Diskreten Logarithmus, die mit π 2 q Rechenschritten auskommen (Berechne viele g i x j, Tafel). Warum verlangen wir für den D.-H. Schlüsselaustausch q > 2 160? Wir wollen Angreifer zwingen, mindestens 2 80 Rechenschritte durchzuführen in der Erwartung, dass sie diese Rechenleistung nicht aufbringen können. 6: Diskrete Wahrscheinlichkeit 6.3: Das Geburtstagsparadoxon