Bayessche Lineare Regression

Größe: px
Ab Seite anzeigen:

Download "Bayessche Lineare Regression"

Transkript

1 Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Baessche Lineare Regression Niels Landwehr

2 Überblick Baessche Lernproblemstellung. Einführendes Beispiel: Münzwurfexperimente. Baessche Lineare Regression. 2

3 Lernprobleme: Modelle, Daten Verfügbare Daten Menge von Trainingsbeispielen T {( x, ),,( x, )}. In Matrixnotation: Vorhersagemodelle X x,..., 1 x Merkmalsvektoren Trainingsbeispiele Vorhersage * f Parametervektor, definiert Modell n ( x) n Instanz, Merkmalsvektor 1 1 n n Labels Trainingsbeispiele 3

4 Probabilistisches / Baessches Lernen Anwendung probabilistischer Überlegungen auf Modelle, Daten, und Vorhersagen. Probabilistische Modelle: definieren eine Verteilung über die Ausgabe gegeben die Eingabe x. Beispiel: lineares Modell mit Gauß schem Rauschen, T θ x Allgemeine Form: Verteilung Instanz 2 ~ ( 0, ). Px (, θ). Parametervektor, definiert Modell 4

5 Baessches Lernen: Modellvorstellung der Datengenerierung Zuerst wird ein Modell * aus einer a priori Verteilung P() gezogen. Echtes Modell * ist nicht bekannt, aber P() reflektiert Vorwissen (was sind wahrscheinliche Modelle?). Dann werden die Trainingseingaben x 1,, x n gezogen (unabhängig von * ). Dann werden die Trainingslabels 1,, n gezogen, mit * i ~ P( xi, θ ). 5

6 Baessches Lernen Ziel: Vorhersage des Labels für eine neue Testinstanz x. Wir müssen uns nicht auf ein Modell festlegen: Wähle das wahrscheinlichste Label gegeben x und T. * arg max P x T arg max (, ) P(, θ x, T )dθ arg max P( x, θ) P( θ T )dθ Integration über Raum aller Modelle: Baesian Model Averaging Gewichtung der Modelle mit ihrer a-posteriori Wahrscheinlichkeit Die Verteilung Px (, θ) ist durch die Modelldefinition gegeben. Zentrale Größe ist die a-posteriori Verteilung P( θ T) : was sagen uns Daten T über die Wahrscheinlichkeit von Modellen? 6

7 Baessches Lernen Berechnung der a-posteriori Verteilung P( θ T) mit Hilfe der Baesschen Regel: Posterior Normierungskonstante, unabhängig von P( θ T) P( T θp( θ PT ( ) 1 P ( T θp ( θ Z Likelihood: Wahrscheinlichkeit der Daten, gegeben Modell A-priori Verteilung über Parameter Baes sches Lernen: Bestimmung der a-posteriori-verteilung und des wahrscheinlichsten Labels zur Vorhersage. 7

8 Überblick Baessche Lernproblemstellung. Einführendes Beispiel: Münzwurfexperimente. Baessche Lineare Regression. 8

9 Münzwurfexperimente Experiment: n-maliges Werfen einer Münze. Münzparameter θ gibt Wahrscheinlichkeit für Kopf an. Münzparameter unbekannt, aber Daten T beobachtet: n k Kopfwürfe, n z Zahlwürfe. Was sagen uns die Daten über den echten Münzparameter θ? Baesscher Ansatz: berechne a-posteriori Verteilung P( T ). Posterior über Parameter Likelihood: wie wahrscheinlich sind n k Kopfwürfe, n z Zahlwürfe bei Parameter? ( ) ( ) ( ) PT P P T P( T ) Prior über Münzparameter 9

10 Münzwurfexperimente: Likelihood Likelihood: wie wahrscheinlich sind n k Kopfwürfe und n z Zahlwürfe, gegeben Münzparameter θ? Wahrscheinlichkeit, dass bei insgesamt n = n k + n z Würfen genau n k Mal Kopf fällt: Binomialverteilung. n nk Bin( n, ) (1 ) k n nk Anzahl möglicher Ergebnisserien, in denen n k Münzen Kopf zeigen n n Wahrscheinlichkeit einer Ergebnisserie, in der n k Münzen Kopf zeigen k 10

11 Münzwurfexperimente: Prior Geigneter Prior: Beta-Verteilung. P( ) Beta( k k z k (1 k z z 1 1 ) kontinuierliche Fortsetzung der Fakultätsfunktion. z1 t z t e dt ( ) n : ( n) ( n 1)! 0 k und z sind Parameter der Beta-Verteilung. K z Beta( 5,5) 5, 5 1, 1 4, 2 Z K Z K 0.5 Z 11

12 Warum Beta-Prior? Warum gerade diese a-priori-verteilung? Strukturelle Ähnlichkeit mit Likelihood: k z k Prior P( ) : Beta( k z (1 n nk Likelihood P( T ) : Bin( nk n, ) (1 ) nk Einfach, Beobachtungen zu berücksichtigen: Produkt aus Likelihood und Prior hat wieder dieselbe Form wie Prior. 1 P( T ) P( T P( Z k z n z 1 1 z 12

13 A-posteriori-Verteilung Wenn wir den Beta-Prior in Baes Gleichung einsetzen, dann: P( T P( P( T) PT ( ) 1 Bin( nk n, ) Beta ( k z ) Z 1 n n k n z k z k (1 ) (1 Z nk k) ( z) 1 knk1 znz1 (1 Z '? Wie sieht der Normalisierer Z aus? 1 1 z 13

14 A-posteriori-Verteilung Wenn wir den Beta-Prior in Baes Gleichung einsetzen, dann: P( T) P( T P( PT ( ) 1 Bin( nk n, ) Beta ( k z ) Z 1 n n k n z k z k (1 ) (1 Z nk k) ( z) 1 knk1 znz1 (1 Z ' k nk z nz knk1 znz1 (1 n ) ( n ) k k Beta( n, n z k k z z z 1 1 Beta-Verteilung ist konjugierter Prior: Posterior ist wieder Beta-verteilt. z 14

15 Münzwurf: Beispiel Beispiel Schätzung von Münzparameter Prior P( ) Beta( 5 5 Posterior nach T={50x Kopf, 25x Zahl}: P( T ) Beta( n 50, n 25, 5, 5 k z k z 15

16 Münzwurf: Baessche Vorhersage Baessche Vorhersage: mit welcher Wahrscheinlichkeit fällt beim (n+1)-ten Wurf Kopf? Ansatz mit Baesian Model Averaging: p( X 1 T ) p( X 1 p( T ) d Zufallsvariable: (n+1)-ter Wurf. n1 n1 p( T ) d Erwartungswert einer nk k n n Beta n k z k z Zufallsvariable mit Verteilung (, n ) k k z z 16

17 Überblick Baessche Lernproblemstellung. Einführendes Beispiel: Münzwurfexperimente. Baessche Lineare Regression. 17

18 Lineare Regression Regressionsprobleme: Label. Modellraum: Lineare Modelle, gegeben durch Parametervektor θ f( x) f θ ( x ) m ix i1 x T θ Eindimensional i θ Gewichtsvektor Zusätzliches konstantes Attribut x 0 = 1. f ( x) Zweidimensional x x1 x2 18

19 Probabilistische Lineare Regression Lineare Regression als probabilistisches Modell: P f ( x) T 2 ( x, θ) ( x θ, ). x f ( x) P T 2 ( x, θ) ( x θ, ) 19

20 Probabilistische Lineare Regression Lineare Regression als probabilistisches Modell: P f ( x) T 2 ( x, θ) ( x θ, ). x f ( x) P T 2 ( x, θ) ( x θ, ) Label i generiert durch lineares Modell ( ) T * f θ * xi xi θ plus normalverteiltes Rauschen: x θ mit ~ ( 0, ). T * 2 i i i i 20

21 Ziel: Optimale Vorhersage Ziel: Optimale Vorhersage * P x T arg max (, ) Berechnung mit Baesian Model Averaging P( x, T ) P( x, θp( θ T ) dθ 1 P( θ T ) P( T θ) P( θ) Z Likelihood: Wahrscheinlichkeit der Daten, gegeben Modell θ A-priori Verteilung über Parameter θ 21

22 Baessche Regression: Likelihood Likelihood der Daten T : Merkmalsvektoren x i unabhängig von θ P( X, θ) P(,..., X, θ) Beispiele unabhängig i1 Multidimensionale Normalverteilung mit Kovarianzmatrix I 1 n P ( i xi, θ) n X T i1 X x θ... x n T 2 ( i xi θ, ) T θ, T 1 θ T n θ I f θ ( x ) x θ i T i Vektor der Vorhersagen 22

23 Baessche Regression: Prior A-Priori Verteilung über Gewichtsvektoren θ. Geeignete Prior-Verteilung: Normalverteilung. P( θ) ( θ 0, I) 2 p 2 p 1 1 exp θ 2 p m/ steuert Stärke des Priors Normalverteilung ist konjugiert zu sich selbst: normalverteilter Prior und normalverteilte Likelihood ergeben wieder normalverteilten Posterior. 2 P( θ)

24 Baessche Regression: Posterior Posterior-Verteilung über Modelle gegeben Daten 1 P( θ T ) P( T θ) P( θ) Baessche Regel Z 1 p Z mit θ T 2 ( X θ, I) ( θ 0, I) 1 ( θ θ, A ) A 1 X A p T 2 XX I Posterior ist wieder normalverteilt, mit neuem Mittelwert 1 θ und Kovarianzmatrix. A 24

25 Sequentielles Update des Posteriors Instanzen unabhängig Berechnung des Posterior als sequentielles Update: Aufmultiplizieren der Likelihood einzelner Instanzen P( θ T ) P( θ) P( X, θ) P( θ) n P( i xi, θ) i1 Sei P( θ) P( θ ) 0, P ( ) k θ der Posterior, wenn wir nur die ersten k Instanzen in T verwenden: P( θ T ) P( θ) P( x, θ) P( x, θ) P( x, θ)... P( x, θ) P ( θ) P ( θ) 2 P ( θ) 3 P ( θ) n 3 i Likelihood für einzeln an Prior multiplizieren n n 25

26 Beispiel: Sequentielles Update Posterior f ( x) 0 1x (eindimensionale Regression) Sequentielles Update: P( θ) P( θ) 0 P( θ) P( θ) Sample aus P0 ( θ) 26

27 Beispiel: Sequentielles Update Posterior 1 f ( x) x 0 1 Sequentielles Update: Likelihood P( x, θ) (eindimensionale Regression) P ( θ) P ( θ) P( x, θ) P( w) 1 Datenpunkt x1, 1 f ( x ) x x Sample aus P( w) 1 27

28 Beispiel: Sequentielles Update Posterior 1 f ( x) 0 1x (eindimensionale Regression) Sequentielles Update: Likelihood P( x, θ) P ( θ) P ( θ) P( x, θ) Posterior P1 ( θ) Sample aus P1 ( θ) 0 28

29 Beispiel: Sequentielles Update Posterior 1 f ( x) x 0 1 Sequentielles Update: P( x, θ) 2 2 (eindimensionale Regression) P ( θ) P ( θ) P( x, θ) P ( θ) Sample aus P 2 2( θ)

30 Beispiel: Sequentielles Update Posterior 1 f ( x) x 0 1 Sequentielles Update: P( x, θ) n n (eindimensionale Regression) P ( θ) P ( θ) P( x, θ) n n1 n n P ( ) n θ Sample aus Pn ( θ)

31 Baessche Regression: Vorhersage Ziel: Baessche Vorhersage, wahrscheinlichstes Label. * P x T arg max (, ) Erinnerung: Berechnung mit Baesian Model Averaging Integration über Raum aller Modelle: Baesian Model Averaging P( x, T ) P( x, θp( θ T ) dθ Gewichtung der Modelle mit ihrer a-posteriori Wahrscheinlichkeit 31

32 Baessche Regression: Vorhersageverteilung Vorhersageverteilung wieder normalverteilt: P( x, T ) P( x, θ) P( θ T) dθ mit θ A 1 X Optimale Vorhersage: Eingabevektor multipliziert: T 2 1 ( x θ, ) ( θ θ, ) A dθ T x θ, * x T θ x A 2 T 1 x A p T 2 XX I x wird mit θ 32

33 Baessche Regression: Konfidenzkorridor * x T θ Baessche Regression liefert nicht nur optimale Vorhersage * x T θ sondern Verteilung über und damit auch einen Konfidenzkorridor. T x θ, 2 T 1 x A x x z.b. 95% Konfidenz 33

34 Ausblick: Nichtlineare Regression Einschränkung der bisherigen Modelle: nur lineare Abhängigkeiten zwischen x und f(x). Lineare Daten Nicht-lineare Daten Oft wollen wir nicht-lineare Abhängigkeiten in Daten modellieren. 34

35 Ausblick: Duale Lineare Regression Optimale Vorhersage: Äquivalente duale Formulierung: θ A 2 1 X A XX p n 2 T 2 * * i i1 x x T i 2 * T 1 ( X ) 2 p I * x T θ Innere Produkte Trainingsbeispiele/Testbeispiel X I Matrix von paarweisen inneren Produkten zwischen Trainingsbeispielen 35

36 Ausblick: Kernelisierte Nichtlineare Regression Optimale Vorhersage: Äquivalente duale Formulierung: θ A 2 1 X A XX p 2 T 2 p I * x T θ * * n ik( xi, x) i1 nichtlineare Kernelfunktion 2 * 1 ( K ) 2 I Kernelmatrix: Matrix aller paarweisen Kernelevaluierungen 36

37 Beispiel Nichtlineare Regression Beispiel für nicht-lineare Regression Generiere nicht-lineare Datenpunkte durch sin(2 x) 2 ~ ( 0, ), x [0,1] Lernen eines nichtlinearen Regressionsmodells Wie sieht der Posterior und die Vorhersageverteilung P( x, T ) aus? 37

38 Beispiel: Vorhersageverteilung f( x) Datenpunkt n=1 n=4 sin(2 x) x x n=2 n=25 x x 38

39 Beispiel: Samples aus dem Posterior n=1 n=4 x x n=2 n=25 x x 39

Überblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression

Überblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Überblick Grundkonzepte des Baes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Baes sche Vorhersage Münzwürfe Lineare Regression 57 Erinnerung:

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayes sches Lernen. Niels Landwehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayes sches Lernen. Niels Landwehr Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Bayes sches Lernen Niels Landwehr Überblick Grundkonzepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe

Mehr

Überblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression

Überblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Überblic Grundonepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münwürfe Lineare Regression Logistische Regression Bayes sche Vorhersage Münwürfe Lineare Regression 14 Modell für Münwürfe

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Sprachtechnologie. Tobias Scheffer Thomas Vanck

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Sprachtechnologie. Tobias Scheffer Thomas Vanck Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer Thomas Vanck Statistik & Maschinelles Lernen Statistik: Deskriptive Statistik: Beschreibung (Tabellen,

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Niels Landwehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Niels Landwehr Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Niels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer Ansatz:

Mehr

Clusteranalyse: Gauß sche Mischmodelle

Clusteranalyse: Gauß sche Mischmodelle Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse: Gauß sche Mischmodelle iels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer

Mehr

Mathematische Grundlagen (Bayes sches Lernen)

Mathematische Grundlagen (Bayes sches Lernen) Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Mathematische Grundlagen (Bayes sches Lernen) Tobias Scheffer Michael Großhans Paul Prasse Uwe Dick Anwendungsbeispiel 1: Diagnostik

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Christoph Sawade/Niels Landwehr/Tobias Scheffer Überblick Problemstellung/Motivation Deterministischer i ti Ansatz:

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen Universität Potsdam Institut für Informatik Lehrstuhl Niels Landwehr, Silvia Makowski, Christoph Sawade, Tobias Scheffer Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Übung: Di 10:00-11:30

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer Christoph Sawade

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer Christoph Sawade Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Christoph Sawade Heute: Niels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz:

Mehr

Frequentisten und Bayesianer. Volker Tresp

Frequentisten und Bayesianer. Volker Tresp Frequentisten und Bayesianer Volker Tresp 1 Frequentisten 2 Die W-Verteilung eines Datenmusters Nehmen wir an, dass die wahre Abhängigkeit linear ist, wir jedoch nur verrauschte Daten zur Verfügung haben

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Hypothesenbewertung

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Hypothesenbewertung Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Hypothesenbewertung Christoph Sawade/Niels Landwehr Dominik Lahmann Tobias Scheffer Überblick Hypothesenbewertung, Risikoschätzung

Mehr

Statistische Sprachmodelle

Statistische Sprachmodelle Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Statistische Sprachmodelle Tobias Scheffer Thomas Vanck Statistische Sprachmodelle Welche Sätze sind Elemente einer Sprache (durch

Mehr

Lineare Klassifikatoren

Lineare Klassifikatoren Universität Potsdam Institut für Informatik Lehrstuhl Lineare Klassifikatoren Christoph Sawade, Blaine Nelson, Tobias Scheffer Inhalt Klassifikationsproblem Bayes sche Klassenentscheidung Lineare Klassifikator,

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Hypothesenbewertung. Christoph Sawade/Niels Landwehr Tobias Scheffer

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Hypothesenbewertung. Christoph Sawade/Niels Landwehr Tobias Scheffer Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Hypothesenbewertung Christoph Sawade/Niels Landwehr Tobias Scheffer Überblick Wiederholung: Konfidenzintervalle Statistische Tests

Mehr

1 Grundlagen der Wahrscheinlichkeitsrechnung Wahrscheinlichkeitsräume. Ein erster mathematischer Blick auf Zufallsexperimente...

1 Grundlagen der Wahrscheinlichkeitsrechnung Wahrscheinlichkeitsräume. Ein erster mathematischer Blick auf Zufallsexperimente... Inhaltsverzeichnis 1 Grundlagen der Wahrscheinlichkeitsrechnung 1 1.1 Wahrscheinlichkeitsräume Ein erster mathematischer Blick auf Zufallsexperimente.......... 1 1.1.1 Wahrscheinlichkeit, Ergebnisraum,

Mehr

Multivariate Verteilungen. Gerhard Tutz LMU München

Multivariate Verteilungen. Gerhard Tutz LMU München Multivariate Verteilungen Gerhard Tutz LMU München INHALTSVERZEICHNIS 1 Inhaltsverzeichnis 1 Multivariate Normalverteilung 3 Wishart Verteilung 7 3 Hotellings T Verteilung 11 4 Wilks Λ 14 INHALTSVERZEICHNIS

Mehr

Latente Dirichlet-Allokation

Latente Dirichlet-Allokation Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Latente Dirichlet-Allokation Tobias Scheffer Peter Haider Paul Prasse Themenmodellierung Themenmodellierung (Topic modeling) liefert

Mehr

3.4 Bayes-Verfahren Begrifflicher Hintergrund. Satz 3.22 (allgemeines Theorem von Bayes)

3.4 Bayes-Verfahren Begrifflicher Hintergrund. Satz 3.22 (allgemeines Theorem von Bayes) 3.4 Bayes-Verfahren 203 3.4.1 Begrifflicher Hintergrund Satz 3.22 (allgemeines Theorem von Bayes) Seien X und U zwei Zufallsvariablen mit gemeinsamer Wahrscheinlichkeitsfunktion f X,U ( ) bzw. Dichte f

Mehr

Vorlesung: Statistik II für Wirtschaftswissenschaft

Vorlesung: Statistik II für Wirtschaftswissenschaft Vorlesung: Statistik II für Wirtschaftswissenschaft Prof. Dr. Helmut Küchenhoff Institut für Statistik, LMU München Sommersemester 2017 6 Genzwertsätze Einführung 1 Wahrscheinlichkeit: Definition und Interpretation

Mehr

Klausur: Diskrete Strukturen I

Klausur: Diskrete Strukturen I Universität Kassel Fachbereich 0/ 5.03.0 Dr. Sebastian Petersen Klausur: Diskrete Strukturen I Aufgabe. (8 Punkte) a) Sei X = {0, }. Geben Sie die Potenzmenge P (X) (durch Auflisten ihrer Elemente) an.

Mehr

Sprechstunde zur Klausurvorbereitung

Sprechstunde zur Klausurvorbereitung htw saar 1 Sprechstunde zur Klausurvorbereitung Mittwoch, 15.02., 10 12 + 13.30 16.30 Uhr, Raum 2413 Bei Interesse in Liste eintragen: Max. 20 Minuten Einzeln oder Kleingruppen (z. B. bei gemeinsamer Klausurvorbereitung)

Mehr

P(B A j )P(A j ) n. P(A j ) =

P(B A j )P(A j ) n. P(A j ) = Universität Potsdam Institut für Physik und Astronomie VL: Udo Schwarz Ü: Udo Schwarz Scientific Computing, SS 2011 http://www.stat.physik.uni-potsdam.de/cp10 sc@physik.uni-potsdam.de Übungsblatt 8 Abgabe

Mehr

Dynamische Systeme und Zeitreihenanalyse // Multivariate Normalverteilung und ML Schätzung 11 p.2/38

Dynamische Systeme und Zeitreihenanalyse // Multivariate Normalverteilung und ML Schätzung 11 p.2/38 Dynamische Systeme und Zeitreihenanalyse Multivariate Normalverteilung und ML Schätzung Kapitel 11 Statistik und Mathematik WU Wien Michael Hauser Dynamische Systeme und Zeitreihenanalyse // Multivariate

Mehr

Probabilistische Graphische Modelle

Probabilistische Graphische Modelle Probabilistische Graphische Modelle 1 Probabilistische Graphische Modelle Sven Wachsmuth Universität Bielefeld, Technische Fakultät, AG Angewandte Informatik WS 2006/2007 Probabilistische Graphische Modelle

Mehr

UE Statistische Mustererkennung WS 2018 Angaben zur 2ten Aufgabengruppe

UE Statistische Mustererkennung WS 2018 Angaben zur 2ten Aufgabengruppe UE Statistische Mustererkennung WS 2018 Angaben zur 2ten Aufgabengruppe 1 Aufgabe UE-II.1 Generieren Sie je 1000 Stichproben (samples) mit Umfang 5/30/100/500 für die Normalverteilung N(µ, σ 2 ) = N(4,

Mehr

Numerische Methoden und Algorithmen in der Physik

Numerische Methoden und Algorithmen in der Physik Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann 15.01.2009 Numerische Methoden und Algorithmen in der Physik Christian Autermann 1/ 47 Methode der kleinsten Quadrate

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Modellevaluierung. Niels Landwehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Modellevaluierung. Niels Landwehr Universität Potsdam Institut für Informatik ehrstuhl Maschinelles ernen Modellevaluierung Niels andwehr ernen und Vorhersage Klassifikation, Regression: ernproblem Eingabe: Trainingsdaten Ausgabe: Modell

Mehr

Wahrscheinlichkeitstheorie 2

Wahrscheinlichkeitstheorie 2 Wahrscheinlichkeitstheorie 2 Caroline Sporleder Computational Linguistics Universität des Saarlandes Sommersemester 2011 19.05.2011 Caroline Sporleder Wahrscheinlichkeitstheorie 2 (1) Wiederholung (1):

Mehr

Die Maximum-Likelihood-Methode

Die Maximum-Likelihood-Methode Vorlesung: Computergestützte Datenauswertung Die Maximum-Likelihood-Methode Günter Quast Fakultät für Physik Institut für Experimentelle Kernphysik SS '17 KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft

Mehr

BAYES SCHE STATISTIK

BAYES SCHE STATISTIK BAES SCHE STATISTIK FELIX RUBIN EINFÜHRUNG IN DIE STATISTIK, A.D. BARBOUR, HS 2007 1. Einführung Die Bayes sche Statistik gibt eine weitere Methode, um einen unbekannten Parameter θ zu schätzen. Bisher

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle Christoph Sawade/iels Landwehr/Tobias Scheffer Graphische Modelle Modellierung einer Domäne mit verschiedenen

Mehr

Einleitung Wahl der a priori Verteilung Bezug zur Maximum Likelihood Methode. Bayessche Statistik. Christian Meisel

Einleitung Wahl der a priori Verteilung Bezug zur Maximum Likelihood Methode. Bayessche Statistik. Christian Meisel 19.07.2007 Gliederung 1 2 3 Wahrscheinlichkeitsbegriff In Bayesscher Statistik wird Wahrscheinlichkeit p im Sinne von unvollständigem Wissen über ein Ereignis verwendet. Bei gleichem Vorwissen über unterschiedliche

Mehr

Elementare Wahrscheinlichkeitslehre

Elementare Wahrscheinlichkeitslehre Elementare Wahrscheinlichkeitslehre Vorlesung Computerlinguistische Techniken Alexander Koller 13. November 2015 CL-Techniken: Ziele Ziel 1: Wie kann man die Struktur sprachlicher Ausdrücke berechnen?

Mehr

Statistik: Klassisch oder Bayes

Statistik: Klassisch oder Bayes Wolfgang Tschirk Statistik: Klassisch oder Bayes Zwei Wege im Vergleich 4Q Springer Spektrum Inhaltsverzeichnis 1 Einleitung 1 1.1 Beschreibende und schließende Statistik 1 1.2 Schließende Statistik: Klassik

Mehr

5 Allgemeine Verfahren zum Testen von Hypothesen

5 Allgemeine Verfahren zum Testen von Hypothesen 5 Allgemeine Verfahren zum Testen von Hypothesen 5.1 Likelihood Schätzung für multivariate Daten Statistisches Modell: Einfache Zufallsstichprobe X 1,..., X n (unabhängige Wiederholungen von X IR d ).

Mehr

Fortgeschrittene Ökonometrie: Maximum Likelihood

Fortgeschrittene Ökonometrie: Maximum Likelihood Universität Regensburg, Lehrstuhl für Ökonometrie Sommersemester 202 Fortgeschrittene Ökonometrie: Maximum Likelihood Poissonverteilung Man betrachte die poisson-verteilten Zufallsvariablen y t, t =, 2,...,

Mehr

10.5 Maximum-Likelihood Klassifikation (I)

10.5 Maximum-Likelihood Klassifikation (I) Klassifikation (I) Idee Für die Klassifikation sind wir interessiert an den bedingten Wahrscheinlichkeiten p(c i (x,y) D(x,y)). y Wenn man diese bedingten Wahrscheinlichkeiten kennt, dann ordnet man einem

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle iels Landwehr Überblick: Graphische Modelle Graphische Modelle: Werkzeug zur Modellierung einer Domäne mit verschiedenen

Mehr

Mathematische Grundlagen

Mathematische Grundlagen Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Mathematische Grundlagen Tobias Scheffer Peter Haider Paul Prasse Bayes sches Lernen: Anwendungsbeispiel Neuer Impfstoff wurde

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr Paul Prasse

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr Paul Prasse Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Hypothesenbewertung Christoph Sawade/Niels Landwehr Paul Prasse Tobias Scheffer Sawade/Landwehr/Prasse/Scheffer, Maschinelles Lernen

Mehr

Behandelte Themen. 0. Motivation : Lernen in Statistik und Biologie. 1. Überblick über statistische Datenmodellierungs-Verfahren

Behandelte Themen. 0. Motivation : Lernen in Statistik und Biologie. 1. Überblick über statistische Datenmodellierungs-Verfahren Behandelte Theen 0. otivation : Lernen in Statistik und Biologie. Überblick über statistische Datenodellierungs-Verfahren. Das lineare odell Regression 3. Perceptron und ultilagen-perceptron Funktionsapproiation

Mehr

7. Übung: Aufgabe 1. b), c), e) Aufgabe 2. a), c), e) Aufgabe 3. c), e) Aufgabe 4. Aufgabe 5. Aufgabe 6. Aufgabe 7. Aufgabe 8. Aufgabe 9.

7. Übung: Aufgabe 1. b), c), e) Aufgabe 2. a), c), e) Aufgabe 3. c), e) Aufgabe 4. Aufgabe 5. Aufgabe 6. Aufgabe 7. Aufgabe 8. Aufgabe 9. 7. Übung: Aufgabe 1 b), c), e) Aufgabe a), c), e) Aufgabe 3 c), e) Aufgabe 4 b) Aufgabe 5 a) Aufgabe 6 b) Aufgabe 7 e) Aufgabe 8 c) Aufgabe 9 a), c), e) Aufgabe 10 b), d) Aufgabe 11 a) Aufgabe 1 b) Aufgabe

Mehr

Varianzkomponentenschätzung

Varianzkomponentenschätzung Qualitas AG Varianzkomponentenschätzung Peter von Rohr Qualitas AG Peter von Rohr Folien ZL I+II LFW C11 October 29, 2015 2 / 23 Multiple Lineare Regression Annahmen Modell y = Xb + e Varianz der Fehler

Mehr

Verteilung von Summen

Verteilung von Summen Verteilung von Summen Beispiel: Würfelwurf Frage: Wie verhält sich die Verteilung der Augensumme von -Würfeln bei wachsendem? Zur Beantwortung führen wir ein Simulationseperiment durch. 6 Würfe mit 1 Würfel

Mehr

Statistics, Data Analysis, and Simulation SS 2017

Statistics, Data Analysis, and Simulation SS 2017 Statistics, Data Analysis, and Simulation SS 2017 08.128.730 Statistik, Datenanalyse und Simulation Dr. Michael O. Distler Mainz, May 29, 2017 Dr. Michael O. Distler

Mehr

Wahrscheinlichkeitstheorie und Statistik

Wahrscheinlichkeitstheorie und Statistik Wahrscheinlichkeitstheorie und Statistik Definitionen und Sätze Prof. Dr. Christoph Karg Studiengang Informatik Hochschule Aalen Sommersemester 2018 2.5.2018 Diskrete Wahrscheinlichkeitsräume Diskreter

Mehr

Statistische Sprachmodelle

Statistische Sprachmodelle Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Statistische Sprachmodelle obias Scheffer Paul Prasse Michael Großhans Uwe Dick Statistische Sprachmodelle Welche Sätze sind Elemente

Mehr

Fakultät Verkehrswissenschaften Friedrich List Professur für Ökonometrie und Statistik, insb. im Verkehrswesen. Statistik II. Prof. Dr.

Fakultät Verkehrswissenschaften Friedrich List Professur für Ökonometrie und Statistik, insb. im Verkehrswesen. Statistik II. Prof. Dr. Statistik II Fakultät Verkehrswissenschaften Friedrich List Professur für Ökonometrie und Statistik, insb. im Verkehrswesen Statistik II 2. Parameterschätzung: 2.1 Grundbegriffe; 2.2 Maximum-Likelihood-Methode;

Mehr

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016 Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online

Mehr

Vorlesung 12a. Schätzen von Parametern. Teil 2

Vorlesung 12a. Schätzen von Parametern. Teil 2 Vorlesung 12a Schätzen von Parametern Teil 2 1 Unser Logo der ersten Stunde: X P ϑ (X da) = ρ ϑ (da), ϑ Θ S 2 Ein Logo der Statistik: Θ ˆϑ t X S P ϑ (X da) = ρ ϑ (da), ϑ Θ Θ... Parameterraum S... Beobachtungsraum

Mehr

Hypothesenbewertungen: Übersicht

Hypothesenbewertungen: Übersicht Hypothesenbewertungen: Übersicht Wie kann man Fehler einer Hypothese abschätzen? Wie kann man einschätzen, ob ein Algorithmus besser ist als ein anderer? Trainingsfehler, wirklicher Fehler Kreuzvalidierung

Mehr

Konzepte der Statistik für die Messdatenanalyse

Konzepte der Statistik für die Messdatenanalyse Konzepte der Statistik für die Messdatenanalyse Modelle Beispiel: optische Abbildung im Fernfeld (Fraunhoferbeugung) indirekte Messgröße: Abstand der beiden Spalte D Modell inverses Problem direkte Messgrößen:

Mehr

Lineare Regression. Kapitel Regressionsgerade

Lineare Regression. Kapitel Regressionsgerade Kapitel 5 Lineare Regression 5 Regressionsgerade Eine reelle Zielgröße y hänge von einer reellen Einflussgröße x ab: y = yx) ; zb: Verkauf y eines Produkts in Stückzahl] hängt vom Preis in e] ab Das Modell

Mehr

Vorlesung Wissensentdeckung

Vorlesung Wissensentdeckung Vorlesung Wissensentdeckung Klassifikation und Regression: nächste Nachbarn Katharina Morik, Uwe Ligges 14.05.2013 1 von 24 Gliederung Funktionsapproximation 1 Funktionsapproximation Likelihood 2 Kreuzvalidierung

Mehr

13 Mehrdimensionale Zufallsvariablen Zufallsvektoren

13 Mehrdimensionale Zufallsvariablen Zufallsvektoren 3 Mehrdimensionale Zufallsvariablen Zufallsvektoren Bisher haben wir uns ausschließlich mit Zufallsexperimenten beschäftigt, bei denen die Beobachtung eines einzigen Merkmals im Vordergrund stand. In diesem

Mehr

Statistik und Wahrscheinlichkeitsrechnung

Statistik und Wahrscheinlichkeitsrechnung Statistik und Wahrscheinlichkeitsrechnung Dr. Jochen Köhler 1 Inhalt der heutigen Vorlesung Statistik und Wahrscheinlichkeitsrechnung Zusammenfassung der vorherigen Vorlesung Übersicht über Schätzung und

Mehr

Computer in der Wissenschaft

Computer in der Wissenschaft Dr. Michael O. Distler distler@uni-mainz.de Mainz, 8. Januar 2014 Methode der kleinsten Quadrate Geschichte: Von Legendre, Gauß und Laplace zu Beginn des 19. Jahrhunderts eingeführt. Die Methode der kleinsten

Mehr

SBWL Tourismusanalyse und Freizeitmarketing

SBWL Tourismusanalyse und Freizeitmarketing SBWL Tourismusanalyse und Freizeitmarketing Vertiefungskurs 4: Multivariate Verfahren 2 Teil 3: Mischmodelle / Modellgestützte Clusteranalyse Achim Zeileis & Thomas Rusch Institute for Statistics and Mathematics

Mehr

Statistik und Wahrscheinlichkeitsrechnung

Statistik und Wahrscheinlichkeitsrechnung Statistik und Wahrscheinlichkeitsrechnung 11. Vorlesung Jochen Köhler 10.05.011 1 Inhalt der heutigen Vorlesung Zusammenfassung Parameterschätzung Übersicht über Schätzung und Modellbildung Modellevaluation

Mehr

Bayesianische Modellwahl. Helga Wagner Bayes Statistik WS 2010/11 161

Bayesianische Modellwahl. Helga Wagner Bayes Statistik WS 2010/11 161 Bayesianische Modellwahl Helga Wagner Bayes Statistik WS 2010/11 161 Modellwahl Problem der Modellwahl: Welches von K möglichen Modellen M 1,...,M K ist für die Daten y am besten geeignet? Klassisch: LQ-Test

Mehr

Statistics, Data Analysis, and Simulation SS 2015

Statistics, Data Analysis, and Simulation SS 2015 Mainz, 2. Juli 2015 Statistics, Data Analysis, and Simulation SS 2015 08.128.730 Statistik, Datenanalyse und Simulation Dr. Michael O. Distler Konjugierte Prior Konjugierte Prior

Mehr

Vorlesung 3a. Der Erwartungswert. von diskreten reellwertigen Zufallsvariablen

Vorlesung 3a. Der Erwartungswert. von diskreten reellwertigen Zufallsvariablen Vorlesung 3a Der Erwartungswert von diskreten reellwertigen Zufallsvariablen 0. Diskrete reellwertige Zufallsvariable X sei eine Zufallsvariable, deren Zielbereich R (die Menge der reellen Zahlen) oder

Mehr

Überblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung

Überblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Grundlagen Überblick Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator

Mehr

Statistik für Ingenieure und Naturwissenschaftler

Statistik für Ingenieure und Naturwissenschaftler Sheldon M. Ross Statistik für Ingenieure und Naturwissenschaftler 3. Auflage Aus dem Amerikanischen übersetzt von Carsten Heinisch ELSEVIER SPEKTRUM AKADEMISCHER VERLAG Spektrum Inhalt Vorwort zur dritten

Mehr

Statistics, Data Analysis, and Simulation SS 2017

Statistics, Data Analysis, and Simulation SS 2017 Mainz, 26. Juni 2017 Statistics, Data Analysis, and Simulation SS 2017 08.128.730 Statistik, Datenanalyse und Simulation Dr. Michael O. Distler Dr. Michael O. Distler

Mehr

Vorlesung 13a. Schätzen von Parametern. Teil 2

Vorlesung 13a. Schätzen von Parametern. Teil 2 Vorlesung 13a Schätzen von Parametern Teil 2 Unser Logo der ersten Stunde: X P ϑ (X da) = ρ ϑ (da), ϑ Θ S Ein Logo der Statistik: X Θ S P ϑ (X da) = ρ ϑ (da), ϑ Θ Ein Logo der Statistik: X Θ t S P ϑ (X

Mehr

Klassifikation von Daten Einleitung

Klassifikation von Daten Einleitung Klassifikation von Daten Einleitung Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation von Daten Einleitung

Mehr

Statistik III. Walter Zucchini Fred Böker Andreas Stadie

Statistik III. Walter Zucchini Fred Böker Andreas Stadie Statistik III Walter Zucchini Fred Böker Andreas Stadie Inhaltsverzeichnis 1 Zufallsvariablen und ihre Verteilung 1 1.1 Diskrete Zufallsvariablen........................... 1 1.2 Stetige Zufallsvariablen............................

Mehr

Erwartungswert, Umgebungswahrscheinlichkeiten und die Normalverteilung

Erwartungswert, Umgebungswahrscheinlichkeiten und die Normalverteilung R. Brinkmann http://brinkmann-du.de Seite 5.05.0 Erwartungswert, Umgebungswahrscheinlichkeiten und die Normalverteilung Erwartungswert binomialverteilter Zufallsgrößen Wird ein Bernoulli- Versuch, bei

Mehr

Überblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator

Überblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator Überblick Grundlagen Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator

Mehr

Vorlesung 3. Der Erwartungswert. von diskreten reellwertigen Zufallsvariablen

Vorlesung 3. Der Erwartungswert. von diskreten reellwertigen Zufallsvariablen Vorlesung 3 Der Erwartungswert von diskreten reellwertigen Zufallsvariablen 0. Diskrete reellwertige Zufallsvariable X sei eine Zufallsvariable, deren Zielbereich R (die Menge der reellen Zahlen) oder

Mehr

Gibbs sampling. Sebastian Pado. October 30, Seien X die Trainingdaten, y ein Testdatenpunkt, π die Parameter des Modells

Gibbs sampling. Sebastian Pado. October 30, Seien X die Trainingdaten, y ein Testdatenpunkt, π die Parameter des Modells Gibbs sampling Sebastian Pado October 30, 2012 1 Bayessche Vorhersage Seien X die Trainingdaten, y ein Testdatenpunkt, π die Parameter des Modells Uns interessiert P (y X), wobei wir über das Modell marginalisieren

Mehr

Aufgabe 1 Probabilistische Inferenz

Aufgabe 1 Probabilistische Inferenz Seite 1 von 11 Aufgabe 1 Probabilistische Inferenz (28 Punkte) Es existieren zwei Krankheiten, die das gleiche Symptom hervorrufen. Folgende Erkenntnisse konnten in wissenschaftlichen Studien festgestellt

Mehr

Statistik - Fehlerrechnung - Auswertung von Messungen

Statistik - Fehlerrechnung - Auswertung von Messungen Statistik - Fehlerrechnung - Auswertung von Messungen TEIL II Vorbereitungskurs F-Praktikum B (Physik), RWTH Aachen Thomas Hebbeker Eindimensionaler Fall: Parameterbestimmung - Beispiele [Übung] Mehrdimensionaler

Mehr

Wichtige Definitionen und Aussagen

Wichtige Definitionen und Aussagen Wichtige Definitionen und Aussagen Zufallsexperiment, Ergebnis, Ereignis: Unter einem Zufallsexperiment verstehen wir einen Vorgang, dessen Ausgänge sich nicht vorhersagen lassen Die möglichen Ausgänge

Mehr

Vorlesung 9b. Bedingte Verteilung, bedingte Wahrscheinlichkeiten

Vorlesung 9b. Bedingte Verteilung, bedingte Wahrscheinlichkeiten Vorlesung 9b Bedingte Verteilung, bedingte Wahrscheinlichkeiten 1 1. Zerlegung der gemeinsamen Verteilung (Buch S. 111) 2 Bisher legten wir das Hauptaugenmerk auf den Aufbau der gemeinsamen Verteilung

Mehr

Lösung Übungsblatt 5

Lösung Übungsblatt 5 Lösung Übungsblatt 5 5. Januar 05 Aufgabe. Die sogenannte Halb-Normalverteilung spielt eine wichtige Rolle bei der statistischen Analyse von Ineffizienzen von Produktionseinheiten. In Abhängigkeit von

Mehr

Gauß-Prozess-Regression

Gauß-Prozess-Regression Bayessche Regression und Gaußprozesse Dr. rer. nat. Johannes Riesterer Motivation Kriging Der südafrikanische Bergbauingenieur Danie Krige versuchte 1951, eine optimale Interpolationsmethode für den Bergbau

Mehr

73 Hypothesentests Motivation Parametertest am Beispiel eines Münzexperiments

73 Hypothesentests Motivation Parametertest am Beispiel eines Münzexperiments 73 Hypothesentests 73.1 Motivation Bei Hypothesentests will man eine gewisse Annahme über eine Zufallsvariable darauf hin überprüfen, ob sie korrekt ist. Beispiele: ( Ist eine Münze fair p = 1 )? 2 Sind

Mehr

Inhaltsverzeichnis. 4 Statistik Einleitung Wahrscheinlichkeit Verteilungen Grundbegriffe 98

Inhaltsverzeichnis. 4 Statistik Einleitung Wahrscheinlichkeit Verteilungen Grundbegriffe 98 Inhaltsverzeichnis 1 Datenbehandlung und Programmierung 11 1.1 Information 11 1.2 Codierung 13 1.3 Informationsübertragung 17 1.4 Analogsignale - Abtasttheorem 18 1.5 Repräsentation numerischer Daten 20

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer, Tom Vanck, Paul Prasse

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer, Tom Vanck, Paul Prasse Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer, Tom Vanck, Paul Prasse Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Termin: Montags,

Mehr

Statistik und Wahrscheinlichkeitsrechnung

Statistik und Wahrscheinlichkeitsrechnung Statistik und Wahrscheinlichkeitsrechnung Übung 1 1 Inhalt der heutigen Übung Statistik und Wahrscheinlichkeitsrechnung Hausübung F.4 (Zuverlässigkeitsberechnung) Bayes sche Entscheidungsanalyse (Aufgabe

Mehr

Biostatistik, Sommer 2017

Biostatistik, Sommer 2017 1/52 Biostatistik, Sommer 2017 Prof. Dr. Achim Klenke http://www.aklenke.de 7. Vorlesung: 02.06.2017 2/52 Inhalt 1 Wahrscheinlichkeit Bayes sche Formel 2 Diskrete Stetige 3/52 Wahrscheinlichkeit Bayes

Mehr

Wirtschaftsmathematik

Wirtschaftsmathematik Einführung in einige Teilbereiche der Wintersemester 206 Prof. Dr. Stefan Etschberger HSA Unabhängigkeit von Ereignissen A, B unabhängig: Eintreten von A liefert keine Information über P(B). Formal: P(A

Mehr

Algorithmen für geographische Informationssysteme. 6. Vorlesung: 14. Mai 2014

Algorithmen für geographische Informationssysteme. 6. Vorlesung: 14. Mai 2014 Algorithmen für geographische Informationssysteme 6. Vorlesung: 14. Mai 2014 Ausgleichung bei linearem funktionalen Modell Beispiel 2: Ausgleichung von Höhendifferenzen P 2 Δh 2,3 = 7.0 m P 3 Δh 1,2 =

Mehr

Vorlesung: Lineare Modelle

Vorlesung: Lineare Modelle Vorlesung: Lineare Modelle Prof Dr Helmut Küchenhoff Institut für Statistik, LMU München SoSe 2014 5 Metrische Einflußgrößen: Polynomiale Regression, Trigonometrische Polynome, Regressionssplines, Transformationen

Mehr

Wahrscheinlichkeitsrechnung

Wahrscheinlichkeitsrechnung Statistik und Wahrscheinlichkeitsrechnung Prof. Dr. Michael Havbro Faber 8.04.009 Inhalt der heutigen Vorlesung Auswahl einer Verteilungsfunktion: Wahrscheinlichkeitspapier pp Schätzung und Modellentwicklung:

Mehr

Satz von der totalen Wahrscheinlichkeit

Satz von der totalen Wahrscheinlichkeit htw saar 1 Satz von der totalen Wahrscheinlichkeit Sei (Ω, P) ein Wahrscheinlichkeitsraum, und B 1,, B n seien paarweise disjunkte Ereignisse mit B i = Ω. Für jedes Ereignis A gilt dann: P(A) = P(A B 1

Mehr

1 Multivariate Zufallsvariablen

1 Multivariate Zufallsvariablen 1 Multivariate Zufallsvariablen 1.1 Multivariate Verteilungen Definition 1.1. Zufallsvariable, Zufallsvektor (ZV) Sei Ω die Ergebnismenge eines Zufallsexperiments. Eine (univariate oder eindimensionale)

Mehr

Signalentdeckungstheorie, Dichteschätzung

Signalentdeckungstheorie, Dichteschätzung Signalentdeckungstheorie, Dichteschätzung Mustererkennung und Klassifikation, Vorlesung No. 6 1 M. O. Franz 15.11.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001.

Mehr

Wahrscheinlichkeit und Statistik: Zusammenfassung

Wahrscheinlichkeit und Statistik: Zusammenfassung HSR Hochschule für Technik Rapperswil Wahrscheinlichkeit und Statistik: Zusammenfassung beinhaltet Teile des Skripts von Herrn Hardy von Lukas Wilhelm lwilhelm.net 12. Januar 2007 Inhaltsverzeichnis 1

Mehr

SBWL Tourismusanalyse und Freizeitmarketing

SBWL Tourismusanalyse und Freizeitmarketing SBWL Tourismusanalse und Freizeitmarketing Vertiefungskurs 4: Multivariate Verfahren 2 Teil 3: Mischmodelle / Modellgestützte Clusteranalse Achim Zeileis Department of Statistics and Mathematics FleMi

Mehr

Zeitreihenanalyse. Seminar Finanzmathematik. Andreas Dienst SS Einleitung - Begrüßung - Motivation - Inhaltsangabe. 2.

Zeitreihenanalyse. Seminar Finanzmathematik. Andreas Dienst SS Einleitung - Begrüßung - Motivation - Inhaltsangabe. 2. Seminar Finanzmathematik - Begrüßung - Motivation - Inhaltsangabe 3. Zusammen - fassung Zeitreihenanalyse Andreas Dienst SS 2006 Zeitreihen: Definition und Motivation - Begrüßung - Motivation - Inhaltsangabe

Mehr

12. Vorlesung. Statistische Sprachmodelle für Information Retrieval

12. Vorlesung. Statistische Sprachmodelle für Information Retrieval 12. Vorlesung Statistische Sprachmodelle für Information Retrieval Allgemeiner Ansatz Unigram Modell Beziehung zum Vektorraummodell mit TF-IDF Gewichten Statistische Spachmodelle zur Glättung Idee von

Mehr

Willkommen zur Vorlesung Statistik (Master)

Willkommen zur Vorlesung Statistik (Master) Willkommen zur Vorlesung Statistik (Master) Thema dieser Vorlesung: Verteilung diskreter Zufallsvariablen Prof. Dr. Wolfgang Ludwig-Mayerhofer Universität Siegen Philosophische Fakultät, Seminar für Sozialwissenschaften

Mehr