Freie Universität Berlin Institut für Mathematik Winter Semester 2015/16 Stochastik 1 29 Oktober 2015 Dozent: Prof. Tibor Szabó, Tutoren: Jan Corsten, Fabian Fumagalli, Yizheng Yuan Material Jede Woche sollten Sie die entsprechende Abschnitte von dem Buch Elementare Stochastik nachlesen und verstehen. Dies ist sehr wichtig, damit Sie Unklarheiten aus der Vorlesung klären können und Ihre Kenntnis des Materials festigen. Für die jenigen die mehr wissen wollen, ist das Lesen aller Ergänzungsabschnitte und Anhänge empfohlen. Für die Klausur müssen Sie die Definitionen und Sätze auswendig können, und die Beweise so gut verstehen, dass Sie diese wirklich selbst ausführen können (Idealerweise lernen Sie den Beweis nicht auswendig, sondern verstehen die Ideen und Methoden, so dass Sie in der Lage sind, den Satz selbst zu beweisen.). Sie sollten mit dem Lernen jetzt anfangen, andernfalls schaffen Sie das am Ende nicht. Woche 1 Abschnitt 3.4, 3.5; Ursprung: Glückspiele; Menge Ω der mögliche Ausgänge ist endlich; Urnemodellen: n Kugeln sind von einem Urne mit N numerierter Kugeln gezogen (geordnet/ungeordnet, mit/ohne Zurücklegen) Beispiele: Kennzeichnen, Vereinwahl/Geburtstagsparadox, Lotto/Anzahl der Teilmengen einer n-elementigen Menge, Teilchen in Fächern Woche 2. Lesen und verstehen: Abschnitt 1.1, 1.2, 1.3 Zufallsexperimenten (Beispiele); Definitionen: Elementareignis, Ereignis, Menge der Elementarereignisse, σ- Algebra, Beispiele (die kleinste, die größte σ-algebra auf einer Menge, Partitionerzeugte σ-algebra); Wahrscheinlichkeitsmaß(disjunkte Folge von Teilmengen einer Menge), Wahrscheinlichkeitsraum, Beispiele (Laplace Raum, Punktmaß) Satz über Eigenschaften von σ-algebren (, endliche Vereinigung, endliche/unendliche Schnitt, Differenz); Satz über Eigenschaften von Wahrscheinlichkeitsmaßen (, Additivität, Monotonität, Subadditivität ( Union bound ), Stetigkeit nach oben, Stetigkeit nach unten ) Woche 3. (Abschnitt: 2.1, 3.5, 5.1, 5.2, 5.3) Characterizierung von W-Räume auf einer höchstens abzählbaren Menge Ω (Bijektion zu Folgen (p ω ) ω Ω, p ω ). Beispiele: Laplaceraum (nur für endliche Ω), Bernoulliraum, Hypergeometrische Verteilung, Binomial Verteilung (Notationen abweichen von Buch); Approximation der hypergeometrische Verteilung durch die binomial Verteilung, Poisson Verteilung (Approximation der binomial Verteilung durch die Poisson Verteilung; Anwendung: Anzahl der Erfolgen unter viele unabhängige Bernoulli Versuchen mit winziger W-keit; Wahlen den λ); Maximum-likelyhoodschätzung;
Woche 4. (Abschnitt: 2.1, 4.1, 4.2, 4.3) Geometrische Verteilung; bedingte Wahrscheinlichkeit von Ereignis A unter Ereignis B (Beispiele: Die W-keit von A kann steigen, sinken, und gleich bleiben wenn man sie unter eine Bedingung stellt.) Einfache Eigenschaften der bedingten W-keit (W-Maß auf der Spur σ-algebra) Unabhängigket von zwei Ereignisse, Die Ereignisse die von einem fixierten Ereignis A unabhängig sind, formen einen Dynkin-system. (Was ist ein Dynkin-system?); Satz der totalen Wahrscheinlichkeit; Satz von Bayes, Beispiel aus der Medizin (Krankheitstest). Beispiel: Ein Ereignis A, das von B und auch von C unabhängig ist aber B und C zusammen bestimmen A. Unabhängigkeit eines Ereignisses A von einer Menge von Ereignissen. (Bem: Definition weicht vom Buch ab, vergleiche Satz 4.3.2) Unabhängigkeit einer Menge von Ereignissen A 1,... A n, Satz: Äquivalenz zur Unabhängigkeit aller Ereignisse von den anderen. Woche 5. (Abschnitt: 1.7, 1.4, 1.5, 1.6 (erste Teil)) Warum braucht man die Begriff von einer σ-algebra? Eine verrückte Menge (Es existiert keine sinnvollen gleichverteilte W-Maß (d.h. Translationinvariant) auf Ω = [0, 1] die misst die Wahrscheinlichkeit von alle Teilmengen. (Auswahlaxiom!)). Satz: Existenz und eindeutigkeit der von M erzeugte σ-algebra; Beispiele: Explizite Beschreibung der erzeugten σ-algebra von endlichen Mengensystemen (Hausaufgabe) und der erzeugten σ-algebra von einelementigen Teilmengen einer beliebigen Menge Ω. (Bemerkung: Beschreibung wenn M beliebig ist.) Definition von Borelmengen in R. Beispiele von Borelmengen. (abgeschlossene, halboffene Intervalle, rationale Zahlen, Urbilder von Intervallen unter stetigen Funktionen...) Die σ-algebra der Borelmengen wird von dem Mengensystem der offenen Intervalle erzeugt. Verschiedene abzählbare Erzeugern von der σ-algebra der Borelmengen (Hausaufgabe) Borelmengen auf einen Interval, Borelmengen auf R n. Eigenschaften von Borelmengen (Urbilder von Borelmengen sind Borelmengen. Korolläre.) Woche 6. (Abschnitt 2.2, 2.4, 1.6) Dichtefunktion, durch eine Dichtefunktion definierter W-Raum (Satz 2.2.1, ohne genauen Beweis), Gleichverteilung auf einem beschränkten Interval; Ereignisse mit Wahrscheinlichkeit 0 vs. unmögliche Ereignisse. Gleichverteilung auf beschränkten Teilmengen von R 2 und R n (Flächeninhalt- und Volumenverhältnis). Die Wahrscheinlichkeit von einem gleichverteilt ausgewählten zufälligen Punkt in der Nähe des Randes eines Hyperquadrates zu sein. Rein zufällige Sehne in einem Kreis: drei Varianten. Definition der Exponentialverteilung und der Normalverteilung (Eigenschaften der Dichtefunktion beweisen) Die Tabelle der Normalverteilung um die Wahrscheinlichkeiten auszurechnen (Warum braucht man eine Tabelle?) Zu einem W-Maß P gehörige Verteilungsfunktion. Wie kann man Verteilungsfuktionen von W-Maßen auf beliebigen Borelmengen in R auf ganz R auffassen? Beispiele: Würfel, Gleichverteilung auf [0, 3]. Zuordnung P F P ist injektiv (Beweis: allgemeine Satz über die Eindeutigkeit einer W-Maß (Satz 1.6.5)) Woche 7. (Abschnitt 1.6, 2.4, 3.1, 3.2) Existenz einem eindeutigen kleinsten Dynkin-system das von einem Mengensystem M erzeugt ist. Das erzeugten Dynkin system eines schnitt-stabiles Mengensystem ist ein σ-algebra. (Satz 1.6.4), Eigenschaften von Verteilungsfunktionen (Hausaufgabe), Die Dichte einem Maß P mit stetig differenzierbare Verteilungsfunktion F P (Lemma 2.4.2) (In Beweis: Hauptsatz der Differenzial- und Integralrechnung), Angenommen, man kann die Gleichvertei-
lung simulieren, wie kann man dann einen Raum mit Dichtefunktion simulieren (Satz 2.4.3)? Beispiele: wie simuliert man die Verteilung mit Dichtefunktion 2 3 x + 2 3 auf [0, 1]? Wie simuliert man die Exponentialverteilung? Definition: Zufallsvariable. Beispiele: Lotto, zwei Würfel, Abstand zum Nullpunkt. Warum muß man die eher technische Bedingung an die Urbilder der Elemente der Bild-σ-Algebra fordern? Beispiel: Indikatorfunktion eines Ereignisses. Definition: Zufallsvariable induzierte Wahrscheinlichkeitsmaß, Wahrsheinlichkeitsraum (Satz 3.2.1). Was ist zu eine reelwertige Zufallsvariable gehörige Verteilungsfunktion? Beispiele: Lotto, Augensumme von zwei Würfeln, Indikatorfunktion, Abstand zum Nullpunkt. Woche 8. (Abschnitt 3.1, 3.2, 3.3) Durch welche einfache Bedingung sind reellwertige Zufallsvariables und Zufallsvariables mit höchstens abzählbar viele Werten charakterisiert (Satz 3.1.2)? Linear Kombinationen, Produkte, und Quotiente von Zufallsvariablen, Suprema, und punktweise Limites von Folgen von Zufallsvariblen sind wieder Zufallsvariable (Satz 3.1.4). Beispiele von Zufallsvarible auf ein abgeschlossene Interval die eine diskrete Raum induzieren, und die weder eine diskrete Raum noch eine Raum mit Dichte induzieren (Teil Hausaufgabe); Wie kann man die Dichtefunktion von einem W-Maß berechnen welches von einer schönen (stetig differenzierbare mit positive derivative) Zufallsvariable induziert ist auf einem W-Raum mit stetiger Dichtefunktion (Satz 3.2.3)? Beispiele für Dichtefunktion der induzierte W-Raum: (konkretes; Simulationssatz); Erwartungswert für diskrete Räume (Motivation und Definition) Beispiel für Zufallsvariable wobei Erwartungswert nicht existiert (Warum?) Erwartungswert von Gleichverteilung, Bernoulliverteilung, Poissonverteilung, geometrische Verteilung, Erwartungswert für Räume mit Dichten (Motivation und Definition) Woche 9. (Abschnitt 3.3, 4.4) Erwartungswert von Exponentialverteilung und Normalverteilung (Hausaufgabe)? Einfache Eigenschaften von Erwartungswert. (Linearität, Monotonität, Indikator Zufallsvariable) Beispiel: Erwartungswert der hypergeometrischen Verteilung. (Hausaufgabe) Wie kann man den Erwartungswert von X durch P X ausdrücken? (diskrete, und mit Dichte) Definition von Varianz und Streuung einer Zufallsvariablen. Beispiele: Laplaceverteilung, Exponentialverteilung. Einfache Eigenschaften von Varianz und Streuung (Satz 3.3.9). Unabhängigkeit von zwei Zufallsvariablen. Wie kann man das nachprüfen (Lemmas 4.4.1)? Woche 10. (Abschnitt 4.4, 2.4 (Normalverteilung)), 4.6) Wie kann man die Unabhängigkeit von zwei diskreten Zufallsvariablen einfach nachprüfen? (Satz 4.4.3) Wie ist Unabhängigkeit von X und Y durch die Dichtefunktionen von X, Y, und (X, Y ) charakterisierbar? Wie kann man die Normalverteilung simulieren? Definition: Zufallsvariablen X 1,..., X n sind unabhängig. Unabhängigkeit von Zufallsvariablen die von disjunkten Teilmengen einer unbhängigen Menge von Zufallsvariablen bestimmt sind. (Satz 4.4.8, ohne Beweis). Beispiel. Was weiß man über den Erwartungswert eines Produkts zweier unabhängigen Zufallsvariablen? Was folgt daraus für die Varianz der Summe von unabhängigen Zufallsvariablen? Was ist das Wurzel-n Gesetz? Woche 11. (Abschnitt 4.5, 4.6, 5.1) Wie kann man das Produkt von unendlich vielen
Zufallsvariable definieren? Satz (Eigenschaften der Projektionen in Produkt) Was besagt der Klonsatz? Beispiele, Bernoulliraum, endliche Produkten, Binomialverteilung; die negative Binomialverteilung; Was versteht man unter der diskrete Faltung zwei diskrete Zufallsvariablen auf N 0? Beispiel: Faltung von zwei unabhängige Zufallsvariable mit Poissonverteilung. Wie ist die Faltung zweier Funktionen definiert? Woche 12. (Abschnitt 4.6, 5.1, 6.1, 6.3) Was ist die Dichtefunktion von der Summe zweier unabhängigen Zufallsvariablen mit Dichtefunktion? Beispiel: Gleichverteilung. Unter welchem heuristischen Voraussetzungen kann man das Warten auf Anrufen in einem Versicherungsbüro modellieren? Was folgt davon für die Zeitpunkt des erste Anruf? (Exponentialverteilung) Kontinuierliche Wartezeiten, Charakterisierung als Exponential-Verteilungen (Satz 6.1.3), Beispielen, Wartezeiten diskreter Fall, Charakterisierung als geometrische Verteilungen (Satz 6.3.2), Summen/maximum/minimum von unabhängigen diskreten Zufallsvariablen, alles mit Beispielen. Summen von unabhängige Wartezeiten mit Dichtefunktion. (Beispielen, Gammaverteilung (Definition)) Woche 13. (Abschnitt 6.2, 7.1, 7.2, 8.1, 8.2) Minimum (Satz 6.2.4) und Maximum (Satz 6.2.3) (auch Erwartungswert) von Wartezeiten mit Dichtefunktion. Beispiele. Motivation: die Durchschnitt von n unabhängige Münzwürfen wenn n sehr gross ist. Was versteht man unter Konvergenz in Wahrscheinlichkeit? Beispiele. Erinnerung: punktweise Konvergenz. Beispiel: Folge die in Wahrscheinlichkeit konvergiert, aber an keiner Stelle punktweise. Fast sichere Eindeutigkeit des Limes, Schwaches Gesetz der großen Zahlen. Beispiel: Ehrenfest-Modell. Beispiel: Warum ist man mit dem schwachen Gesetz nicht zufrieden? Was versteht man unter punktweiser fast sicherer Konvergenz? Fast sicher Konvergenz impliziert Konvergenz in Wahrscheinlichkeit, Starkes Gesetz der großen Zahlen, Woche 14. (Abschnitt 8.1, 8.3, Skript, Ergänzung: Buch Abschnitte 5.4, 8.4) Was versteht man über dem Limes Superior A einer Ereignisfolge A 1, A 2,...,? Wie kann man A formal mit Vereinigungen und Durchschnitten von der A i ausdrücken? Was sagen die zwei Borel-Cantelli Lemmas? Beispiel dafür, dass die Unabhängigkeit in Teil (ii) notwendig ist. Anwendungen: Urnbeispiel für 0/1-Gesetz, Affe an der Schreibmaschine. Anwendung des starken Gesetzes: Normale Zahlen. Stirling Formel (ohne Beweis), Approximation der Binomialverteilung durch die Normalverteilung. Satz von de Moivre-Laplace. Konvergenz in Verteilung (definiert durch Verteilungsfunktionen, siehe Skript). Konvergenz in Verteilung folgt aus Konvergenz in Wahrscheinlichkeit (ohne Beweis), Zentraler Grenzwertsatz als veralgemeinerung des Satzes von de Moivre-Laplace, Bedeutung. Woche 15-16 Skript (4.1-4.5), (Ergänzung: Buch Abschnitte 10.1-10.5 und 11.1-11.3) Orangeimporteurbeispiel: Parameter schätzen, Konfidenzinterval, Hypothesetesten; Parameterschätzen: Stichprobenraum, Was ist ein parametrisches statistisches Modell? Was versteht man unter einem Schätzer? Was ist ein erwartunswerttreuschätzer? Ein bester Schätzer? Beispiele. Maximum likelyhood Schätzer; Beispiele; Konfidenzintervalle: Was ist eine Konfidenzabbildung zum Irtummsniveau α. Beispiele (Münzwurf, Wahlprognose)
Testen von Hypothesen: Wie verhalten sich Nullhypothese und Alternativehypothese zueinander? Was ist ein Fehler erster bzw. zweiter Art? Was ist ein deterministischer, bzw. randomisierter Test? Was versteht man unter Annahme-, bzw. Ablehnungsbereich? Wie ist die Gütefunktion eines Tests definiert? Was versteht man unter einem Test, bzw. besten Test zum Irrtumsniveau α? Beispiel (Medium-test (Georgii)) Durch welche Bedingung ist ein Neyman-Pearson -Test definiert? Was sagt der Satz von Neyman-Pearson?