Überblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression
|
|
- Matilde Dunkle
- vor 5 Jahren
- Abrufe
Transkript
1 Überblick Grundkonzepte des Baes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Baes sche Vorhersage Münzwürfe Lineare Regression 57
2 Erinnerung: (Binäres) Klassifikationslernen Eingabe Lernproblem: rainingsdaten L {( x1, 1),,( xn, n)} Instanzen beschrieben durch Merkmalsvektor x, Label xi1 m x i... i { 1,1}, z.b. {, } x im rainingsdaten in Matrixform: x X x 11 1m n1 x x nm 1 n Ausgabe: Modell f : X { 1,1} 58
3 p(=1 x,) Logistische Regression Logistische Regression ist ein Klassifikationsmodell! Zunächst binäre Klassifikation, { 1,1}. Gesucht: Modell für p ( x, ) Modell definiert Wahrscheinlichkeit p ( 1 x, ). Gegenwahrscheinlichkeit p ( 1 x, ) 1 p( 1 x, ). Idee: ransformation eines linearen Modells i x. Sigmoidfunktion ( Squashing function ) bildet Interval auf [0,1] ab. [, ] x 59
4 Logistische Regression Modell logistische Regression m Gegeben durch Parametervektor. Definiert bedingte Wahrscheinlichkeit p ( x, ) durch p ( 1 x, ) ( x ) 1 1exp( x ) (z) z p ( 1 x, ) 1 p( 1 x, ) m Vorhersagefunktion f : {0,} 1 : f ( x) 1: 0 : sont s ( x )
5 Logistische Regression Kompakte Schreibweise Klassenwahrscheinlichkeiten: p 1 ( x, ) 1 exp( x ) 1 p ( 1 x, ) 1 exp( x 1 1 p ( 1 x, ) ) 1 1 exp( ) 1 ex x p ( x ) Nachrechnen 61
6 Logistische Regression: Lineares Modell Entscheidungsgrenze (Grenze zwischen den Klassen): Diejenigen x, für die p( 1 x, ) p( 1 x, ) exp( x ) 1 exp( x ) x 0 Logistische Regression definiert lineare Klassengrenzen x 0 p ( 1 x, ) 62
7 Logistische Regression: MAP-Modell Berechnung des MAP-Modells MAP arg max P( X, ) arg max P( X, p( Prior: Normalverteilung wie bei der linearen Regression p( ) ( 0, I 2 p ) 1 1 exp 2 p m/ 2 m 2 p 2 2 p( )
8 Logistische Regression: MAP-Modell Berechnung des MAP-Modells MAP arg max P( X, ) arg max P( X, p( Likelihood: p( X, ) p( x, ) n i1 n i1 i 1ex i 1 p( ixi ) 64
9 MAP Parameterschätzung MAP Modell: Minimum regularisierte Verlustfunktion. arg max P( X, p( MAP arg min log P( X, log p( n arg min log log exp m/2 m 2 i1 1exp( ixi ) 2 p 2 p n 1 2 arg min log 1 exp( ixi ) 2 i1 2 p Verlustfunktion Regularisierer Konvexes Optimierungsproblem, globales Minimum. Siehe auch Vorlesungsteil Lineare Modelle. 65
10 MAP Parameterschätzung Klassifikation mit mehreren Klassen: {1,..., k}. Verallgemeinerung der Sigmoidfunktion zur Softmax - Funktion p( j x, ) k exp( l 1 exp x j ) ( x l ) i Normalisierer: sorgt für k j 1 p( j x, ) 1. Klassenspezifische Parametervektoren,..., m 1 k, zusammengefasst zu einem (,..., ) km. 1 k Vorhersage: p j * arg max ( x ) arg max exp x j j j, ( ). 66
11 MAP Parameterschätzung Es ergeben sich wieder lineare Klassengrenzen: Maximum-a-posteriori Modell: Likelihood Prior Klassengrenzen (3 Klassen) logistische Regression. p n p( X, ) p( i x i, ). i1 m 2 ( ) ( j 0, I). j 1 Konvexes Optimierungsproblem, globales Optimum. 67
12 Überblick Grundkonzepte des Baes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Baes sche Vorhersage Münzwürfe Lineare Regression 68
13 Lernen und Vorhersage Bisher: Lernproblemstellung getrennt von Vorhersage Lernen: f Vorhersage: x x MAP f w w arg max p( f L) f MAP ( x) neue estinstanz Wahrscheinlichstes Modell gegeben die Daten Vorhersage des MAP Modells Wenn wir uns auf ein Modell festlegen müssen, ist MAP Modell sinnvoll Aber eigentliches Ziel ist Vorhersage einer Klasse! Besser, sich nicht auf ein Modell festlegen - direkt nach der optimalen Vorhersage suchen 69
14 Baessches Lernen und Vorhersage Problemstellung Vorhersage Gegeben: rainingsdaten L, neue estinstanz x. Gesucht: Verteilung über Labels für gegebenes x: Baessche Vorhersage: p( x, L) * arg max p( x, L) Heißt auch Baes-optimale Entscheidung oder Baes sche Vorhersage. 70
15 Baessches Lernen und Vorhersage Berechnung Baessche Vorhersage Summenregel Produktregel Baesian Model Averaging * arg max p( x, L) arg max p(, x, Ld arg max p(, x, Lp( x, L)d arg max p(, xp( L)d Vorhersage, gegeben Modell Modell Posterior des Modells Baessches Lernen: Mitteln der Vorhersage über alle Modelle. Gewichtung: wie gut passt Modell zu rainingsdaten. 71
16 Baessches Lernen und Vorhersage Baessche Vorhersage praktikabel? Baesian Model Averaging: Mitteln über i.a. unendlich viele Modelle Wie berechnen? Nur manchmal praktikabel, geschlossene Lösung. Kontrast zu Entscheidungsbaumlernen: * arg max p( x, L) arg max p( x, p( L)d Finde ein Modell, das gut zu den Daten passt. riff Vorhersagen für neue Instanzen basierend auf diesem Modell. rennt zwischen Lernen eines Modells und Vorhersage. 72
17 Münzwürfe: Wahrscheinlichkeit für Kopf bei neuem Wurf N Münzwürfe, beobachtete Ergebnisse Erinnerung: Prior p( ) Beta(, ) Resultierender Posterior k z L {,..., }. 1 n p( L) Beta( N, N ) k k z z wobei N k = Anzahl Kopfwürfe und N z = Anzahl Zahlwürfe. Echten Parameter kennen wir nicht. Posterior beschreibt Verteilung über mögliche gegeben Daten. 73
18 Münzwürfe: Wahrscheinlichkeit für Kopf bei neuem Wurf Wir werfen die Münze ein N 1-tes Mal. Was ist die Wahrscheinlichkeit dafür, dass Kopf fällt? p( 1 L) p( 1 ) p( L)d N1 N1 p( L)d Beta( N, N )d k Nk N N k k z z k k z z Baesian Model Averaging Erwartungswert der Beta-Verteilung: Für ~ Beta( a, b) gilt a [ ]. a b 74
19 Baes sche Vorhersage für lineare Regression Lernen eines probabilistischen linearen Regressionsmodells aus Daten L {( x, ),...,( x, )}. Erinnerung: 2 Prior: p( ( 0, I) Resultierender Posterior: mit 1 1 ) p X X 2 1 ( X I) 2 p n n p( ( und 1 L), A ) A XX p 2 I. Echten Parameter kennen wir nicht. Posterior beschreibt Verteilung über mögliche gegeben Daten. 75
20 Baessche Regression: Vorhersageverteilung Neues estbeispiel x. Was ist die Verteilung über Label des estbeispiels? Satz über Eigenschaften von Normalverteilungen. p( x, L) p( x, ) p( L) d 2 1 ( x, ) (, ) A d x, x A 2 1 x mit ( X X I) X p und A XX 2 p I Optimale Vorhersage: Eingabevektor wird mit multipliziert: * x x 76
21 Baessche Regression: Konfidenzkorridor Baessche Regression liefert nicht nur optimale Vorhersage * x, sondern Verteilung über und damit auch einen Konfidenzkorridor. x, 2 1 x A x * x x z.b. 95% Konfidenz 77
22 p(=1 x,) Baes sche Vorhersage Klassifkation? Erinnerung: Logistische Regression. Klassifikation, { 1,1}. i Gesucht: Modell für p ( x, ) Modell definiert Wahrscheinlichkeit p ( 1 x, ). Gegenwahrscheinlichkeit p ( 1 x, ) 1 p( 1 x, ). Idee: ransformation eines linearen Modells x. Sigmoidfunction ( Squashing function ) bildet Interval auf [0,1] ab. [, ] x 88
23 Baes sche Vorhersage Klassifikation? Baes sche Vorhersage mit Baesian Model Averaging: * arg max p( x, X, ) arg max p(, xp( X, )d Problem: anders als für die lineare Regression ist Integral nicht lösbar. Approximiere Integral durch maximalen Integranden: p( x, ) p( X, ) d p( x, MAP ) mit arg max p( X, ). MAP Gesamtes Gewicht auf Modell mit höchstem Gewicht Vorhersage mit dem MAP Modell. 89
24 Zusammenfassung: Baes sches Lernen und Baes sche Vorhersage Beste Lösung ist Baes sche Vorhersage * arg max p( x, L) Um Baessche Vorhersage zu berechnen, müssen wir Likelihood pl ( ) bestimmen (aus Modelldefinition) Prior p( ) definieren Posterior p( L) pl ( ) p( ) berechnen arg max p( x, p( L) d Integral lösen (im allgemeinen schwierig!). Zweitbeste Lösung: MAP Modell * Berechne arg max p( L) arg max p( L ) p( ) Vorhersage basierend auf *.
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayes sches Lernen. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Bayes sches Lernen Niels Landwehr Überblick Grundkonzepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe
MehrClusteranalyse: Gauß sche Mischmodelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse: Gauß sche Mischmodelle iels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 10: Naive Bayes (V. 1.0)
MehrVorlesung Wissensentdeckung
Vorlesung Wissensentdeckung Klassifikation und Regression: nächste Nachbarn Katharina Morik, Uwe Ligges 14.05.2013 1 von 24 Gliederung Funktionsapproximation 1 Funktionsapproximation Likelihood 2 Kreuzvalidierung
MehrLogistische Regression
Logistische Regression Markus Kalisch 30.09.2014 1 Big Picture: Statistisches Lernen Supervised Learning (X,Y) Unsupervised Learning X VL 7, 11, 12 Regression Y kontinuierlich VL 1, 2, 4, 5, 6 Klassifikation
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
MehrSeminar zur Energiewirtschaft:
Seminar zur Energiewirtschaft: Ermittlung der Zahlungsbereitschaft für erneuerbare Energien bzw. bessere Umwelt Vladimir Udalov 1 Modelle mit diskreten abhängigen Variablen 2 - Ausgangssituation Eine Dummy-Variable
MehrINTELLIGENTE DATENANALYSE IN MATLAB. Überwachtes Lernen: Entscheidungsbäume
INTELLIGENTE DATENANALYSE IN MATLAB Überwachtes Lernen: Entscheidungsbäume Literatur Stuart Russell und Peter Norvig: Artificial Intelligence. Andrew W. Moore: http://www.autonlab.org/tutorials. 2 Überblick
MehrKlassifikation von Daten Einleitung
Klassifikation von Daten Einleitung Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation von Daten Einleitung
MehrAufgabe 1 Probabilistische Inferenz
Seite 1 von 8 Aufgabe 1 Probabilistische Inferenz (28 Punkte) Die BVG will besser auf Ausfälle im S-Bahn-Verkehr eingestellt sein. Sie geht dabei von folgenden Annahmen aus: An 20% der Tage ist es besonders
MehrDie Maximum-Likelihood-Methode
Vorlesung: Computergestützte Datenauswertung Die Maximum-Likelihood-Methode Günter Quast Fakultät für Physik Institut für Experimentelle Kernphysik SS '17 KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft
MehrÜberblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator
Überblick Grundlagen Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator
Mehri Pr(X = i). Bsp: Sei X die Summe zweier Würfe eines Würfels. Dann gilt E[X] =
Erwartungswert Definition Erwartungswert Der Erwartungswert einer diskreten ZV ist definiert als E[X] = i i Pr(X = i). E[X] ist endlich, falls i i Pr(X = i) konvergiert, sonst unendlich. Bsp: Sei X die
MehrStatistik III. Walter Zucchini Fred Böker Andreas Stadie
Statistik III Walter Zucchini Fred Böker Andreas Stadie Inhaltsverzeichnis 1 Zufallsvariablen und ihre Verteilung 1 1.1 Diskrete Zufallsvariablen........................... 1 1.2 Stetige Zufallsvariablen............................
MehrBZQ II: Stochastikpraktikum
BZQ II: Stochastikpraktikum Block 5: Markov-Chain-Monte-Carlo-Verfahren Randolf Altmeyer February 1, 2017 Überblick 1 Monte-Carlo-Methoden, Zufallszahlen, statistische Tests 2 Nichtparametrische Methoden
MehrGibbs sampling. Sebastian Pado. October 30, Seien X die Trainingdaten, y ein Testdatenpunkt, π die Parameter des Modells
Gibbs sampling Sebastian Pado October 30, 2012 1 Bayessche Vorhersage Seien X die Trainingdaten, y ein Testdatenpunkt, π die Parameter des Modells Uns interessiert P (y X), wobei wir über das Modell marginalisieren
MehrStatistics, Data Analysis, and Simulation SS 2017
Statistics, Data Analysis, and Simulation SS 2017 08.128.730 Statistik, Datenanalyse und Simulation Dr. Michael O. Distler Mainz, May 29, 2017 Dr. Michael O. Distler
Mehr1. Grundbegri e der Stochastik
Wiederholung von Grundwissen der Stochastik. Grundbegri e der Stochastik Menge der Ereignisse. Die Elemente! der Menge heißen Elementarereignisse und sind unzerlegbare Ereignisse. Das Ereignis A tritt
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle iels Landwehr Überblick: Graphische Modelle Graphische Modelle: Werkzeug zur Modellierung einer Domäne mit verschiedenen
MehrRingvorlesung interdisziplinäre, angewandte Mathematik: Maschinelles Lernen
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Ringvorlesung interdisziplinäre, angewandte Mathematik: Maschinelles Lernen Niels Landwehr, Paul Prasse, Termine VL Dienstag 12:15-13:45,
MehrData Mining - Wiederholung
Data Mining - Wiederholung Norbert Fuhr 18. Januar 2006 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)
MehrVorlesung 3a. Der Erwartungswert. von diskreten reellwertigen Zufallsvariablen
Vorlesung 3a Der Erwartungswert von diskreten reellwertigen Zufallsvariablen X sei eine Zufallsvariable, deren Zielbereich R (die Menge der reellen Zahlen) (oder eine Teilmenge davon) ist. Es existiere
MehrSemester-Fahrplan 1 / 17
Semester-Fahrplan 1 / 17 Hydroinformatik I Einführung in die Hydrologische Modellierung Bayes sches Netz Olaf Kolditz *Helmholtz Centre for Environmental Research UFZ 1 Technische Universität Dresden TUDD
MehrMustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle
Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators
MehrMathematische Grundlagen
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Mathematische Grundlagen Tobias Scheffer Peter Haider Paul Prasse Bayes sches Lernen: Anwendungsbeispiel Neuer Impfstoff wurde
MehrFrequentistische Statistik und Bayessche Statistik. Volker Tresp
Frequentistische Statistik und Bayessche Statistik Volker Tresp 1 Frequentistische Statistik 2 Herangehensweise Die Naturwissenschaft versucht es, der Natur Gesetzmäßigkeiten zu entringen: F = ma Gesetze
MehrWahrscheinlichkeitstheorie 2
Wahrscheinlichkeitstheorie 2 Caroline Sporleder Computational Linguistics Universität des Saarlandes Sommersemester 2011 19.05.2011 Caroline Sporleder Wahrscheinlichkeitstheorie 2 (1) Wiederholung (1):
MehrLatente Dirichlet-Allokation
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Latente Dirichlet-Allokation Tobias Scheffer Peter Haider Paul Prasse Themenmodellierung Themenmodellierung (Topic modeling) liefert
MehrVorlesung: Lineare Modelle
Vorlesung: Lineare Modelle Prof Dr Helmut Küchenhoff Institut für Statistik, LMU München SoSe 2014 5 Metrische Einflußgrößen: Polynomiale Regression, Trigonometrische Polynome, Regressionssplines, Transformationen
MehrSchriftlicher Test Teilklausur 2
Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Wintersemester 2012 / 2013 Albayrak, Fricke (AOT) Opper, Ruttor (KI) Schriftlicher
MehrLösungen ausgewählter Übungsaufgaben zum Buch. Elementare Stochastik (Springer Spektrum, 2012) Teil 3: Aufgaben zu den Kapiteln 5 und 6
1 Lösungen ausgewählter Übungsaufgaben zum Buch Elementare Stochastik (Springer Spektrum, 2012) Teil 3: Aufgaben zu den Kapiteln 5 und 6 Aufgaben zu Kapitel 5 Zu Abschnitt 5.1 Ü5.1.1 Finden Sie eine maximum-likelihood-schätzung
MehrWahrscheinlichkeitsrechnung
Statistik und Wahrscheinlichkeitsrechnung Prof. Dr. Michael Havbro Faber 28.05.2009 1 Korrektur zur letzten Vorlesung Bsp. Fehlerfortpflanzung in einer Messung c B a 2 2 E c Var c a b A b 2 2 2 n h( x)
Mehr5 Binomial- und Poissonverteilung
45 5 Binomial- und Poissonverteilung In diesem Kapitel untersuchen wir zwei wichtige diskrete Verteilungen d.h. Verteilungen von diskreten Zufallsvariablen): die Binomial- und die Poissonverteilung. 5.1
MehrSchätzung von Parametern
Schätzung von Parametern Schätzung von Parametern Quantitative Wissenschaft: Messung von Parametern Gemessene Werte weichen durch (statistische und systematische) Messfehler vom wahren Wert des Parameters
MehrInhalt. 4.1 Motivation. 4.2 Evaluation. 4.3 Logistische Regression. 4.4 k-nächste Nachbarn. 4.5 Naïve Bayes. 4.6 Entscheidungsbäume
4. Klassifikation Inhalt 4.1 Motivation 4.2 Evaluation 4.3 Logistische Regression 4.4 k-nächste Nachbarn 4.5 Naïve Bayes 4.6 Entscheidungsbäume 4.7 Support Vector Machines 4.8 Neuronale Netze 4.9 Ensemble-Methoden
MehrZufallsvariablen. Diskret. Stetig. Verteilung der Stichprobenkennzahlen. Binomial Hypergeometrisch Poisson. Normal Lognormal Exponential
Zufallsvariablen Diskret Binomial Hypergeometrisch Poisson Stetig Normal Lognormal Exponential Verteilung der Stichprobenkennzahlen Zufallsvariable Erinnerung: Merkmal, Merkmalsausprägung Deskriptive Statistik:
MehrAufgabe 1 Probabilistische Inferenz
Seite 1 von 9 Aufgabe 1 Probabilistische Inferenz (30 Punkte) In einer medizinischen Studie wurden die Auswirkungen von Metastasen bildenden Karzinomen untersucht. Dabei wurde folgendes festgestellt: Bei
Mehr10. Vorlesung. Grundlagen in Statistik. Seite 291. Martin-Luther-Universität Halle/Wittenberg
. Vorlesung Grundlagen in Statistik Seite 29 Beispiel Gegeben: Termhäufigkeiten von Dokumenten Problemstellung der Sprachmodellierung Was sagen die Termhäufigkeiten über die Wahrscheinlichkeit eines Dokuments
MehrBeispiel 37. Wir werfen eine Münze so lange, bis zum ersten Mal
Beispiel 37 Wir werfen eine Münze so lange, bis zum ersten Mal Kopf erscheint. Dies geschehe in jedem Wurf unabhängig mit Wahrscheinlichkeit p. Wir definieren dazu die Zufallsvariable X := Anzahl der Würfe.
Mehr5. Spezielle stetige Verteilungen
5. Spezielle stetige Verteilungen 5.1 Stetige Gleichverteilung Eine Zufallsvariable X folgt einer stetigen Gleichverteilung mit den Parametern a und b, wenn für die Dichtefunktion von X gilt: f x = 1 für
MehrDynamische Systeme und Zeitreihenanalyse // Multivariate Normalverteilung und ML Schätzung 11 p.2/38
Dynamische Systeme und Zeitreihenanalyse Multivariate Normalverteilung und ML Schätzung Kapitel 11 Statistik und Mathematik WU Wien Michael Hauser Dynamische Systeme und Zeitreihenanalyse // Multivariate
MehrWahrscheinlichkeit und Statistik: Zusammenfassung
HSR Hochschule für Technik Rapperswil Wahrscheinlichkeit und Statistik: Zusammenfassung beinhaltet Teile des Skripts von Herrn Hardy von Lukas Wilhelm lwilhelm.net 12. Januar 2007 Inhaltsverzeichnis 1
MehrLogistische Regression I. Odds, Logits, Odds Ratios, Log Odds Ratios
Logistische Regression I. Odds, Logits, Odds Ratios, Log Odds Ratios PD Dr.Gabriele Doblhammer, Fortgescrittene Methoden, SS2004 Logistische Regression Tabelle 2 Alter und Symptome von Herz-/Kreislauferkrankung(CD)
Mehr73 Hypothesentests Motivation Parametertest am Beispiel eines Münzexperiments
73 Hypothesentests 73.1 Motivation Bei Hypothesentests will man eine gewisse Annahme über eine Zufallsvariable darauf hin überprüfen, ob sie korrekt ist. Beispiele: ( Ist eine Münze fair p = 1 )? 2 Sind
MehrKonzept diskreter Zufallsvariablen
Statistik 1 für SoziologInnen Konzept diskreter Zufallsvariablen Univ.Prof. Dr. Marcus Hudec Beispiel: Zufallsvariable 3 Münzen werden unabhängig voneinander geworfen. Jede Münze kann entweder Kopf oder
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online
MehrStochastik Praktikum Markov Chain Monte Carlo Methoden
Stochastik Praktikum Markov Chain Monte Carlo Methoden Humboldt-Universität zu Berlin 14.10.2010 Problemstellung Wie kann eine Zufallsstichprobe am Computer simuliert werden, deren Verteilung aus einem
MehrAnpassungsrechnungen mit kleinsten Quadraten und Maximum Likelihood
Anpassungsrechnungen mit kleinsten Quadraten und Maximum Likelihood KARLSRUHER INSTITUT FÜR TECHNOLOGIE (KIT) 0 KIT 06.01.2012 Universität des Fabian Landes Hoffmann Baden-Württemberg und nationales Forschungszentrum
MehrEinführung in das Maschinelle Lernen I
Einführung in das Maschinelle Lernen I Vorlesung Computerlinguistische Techniken Alexander Koller 26. Januar 2015 Maschinelles Lernen Maschinelles Lernen (Machine Learning): äußerst aktiver und für CL
Mehr2.4 Entscheidung bei Risiko
2.4 Entscheidung bei Risiko Entscheidung bei Risiko nimmt an, dass für jeden Zustand S j seine Eintrittswahrscheinlichkeit P(S j ) bekannt ist Eintrittswahrscheinlichkeiten bestimmbar als statistische
Mehr1. Was ist eine Wahrscheinlichkeit P(A)?
1. Was ist eine Wahrscheinlichkeit P(A)? Als Wahrscheinlichkeit verwenden wir ein Maß, welches die gleichen Eigenschaften wie die relative Häufigkeit h n () besitzt, aber nicht zufallsbehaftet ist. Jan
MehrTheorie Parameterschätzung Ausblick. Schätzung. Raimar Sandner. Studentenseminar "Statistische Methoden in der Physik"
Studentenseminar "Statistische Methoden in der Physik" Gliederung 1 2 3 Worum geht es hier? Gliederung 1 2 3 Stichproben Gegeben eine Beobachtungsreihe x = (x 1, x 2,..., x n ): Realisierung der n-dimensionalen
MehrMusterlösung. Modulklausur Multivariate Verfahren
Musterlösung Modulklausur 31821 Multivariate Verfahren 25. September 2015 Aufgabe 1 (15 Punkte) Kennzeichnen Sie die folgenden Aussagen zur Regressionsanalyse mit R für richtig oder F für falsch. F Wenn
MehrSimulationsmethoden in der Bayes-Statistik
Simulationsmethoden in der Bayes-Statistik Hansruedi Künsch Seminar für Statistik, ETH Zürich 6. Juni 2012 Inhalt Warum Simulation? Modellspezifikation Markovketten Monte Carlo Simulation im Raum der Sprungfunktionen
MehrMethoden der Statistik Markov Chain Monte Carlo Methoden
Methoden der Statistik Markov Chain Monte Carlo Methoden Humboldt-Universität zu Berlin 08.02.2013 Problemstellung Wie kann eine Zufallsstichprobe am Computer simuliert werden, deren Verteilung aus einem
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle Christoph Sawade/Niels Landwehr/Tobias Scheffer Graphische Modelle Werkzeug zur Modellierung einer Domäne mit
MehrStochastik I. Vorlesungsmitschrift
Stochastik I Vorlesungsmitschrift Ulrich Horst Institut für Mathematik Humboldt-Universität zu Berlin Inhaltsverzeichnis 1 Grundbegriffe 1 1.1 Wahrscheinlichkeitsräume..................................
MehrPareto optimale lineare Klassifikation
Seminar aus Maschinellem Lernen Pareto optimale lineare Klassifikation Vesselina Poulkova Betreuer: Eneldo Loza Mencía Gliederung 1. Einleitung 2. Pareto optimale lineare Klassifizierer 3. Generelle Voraussetzung
MehrZentralübung Diskrete Wahrscheinlichkeitstheorie
Zentralübung Diskrete Wahrscheinlichkeitstheorie Christian Ivicevic (christian.ivicevic@tum.de) Technische Universität München 14. Juni 2017 Agenda Disclaimer und wichtige Hinweise Übungsaufgaben Disclaimer
MehrUnterlagen zu Fisher s Exact Test, Vergleich von Anteilswerten und logistischer Regression. Robin Ristl. Wintersemester 2012/13
Unterlagen zu Fisher s Exact Test, Vergleich von Anteilswerten und logistischer Regression Robin Ristl Wintersemester 2012/13 1 Exakter Test nach Fisher Alternative zum Chi-Quadrat Unabhängigkeitstest
MehrAusgewählte spezielle Verteilungen
Ausgewählte spezielle Verteilungen In Anwendungen werden oft Zufallsvariablen betrachtet, deren Verteilung einem Standardmodell entspricht. Zu den wichtigsten dieser Modelle gehören: diskrete Verteilungen:
MehrModelle diskreter Zufallsvariablen
Statistik 2 für SoziologInnen Modelle diskreter Zufallsvariablen Univ.Prof. Dr. Marcus Hudec Zufallsvariable Eine Variable (Merkmal) X, deren numerische Werte als Ergebnisse eines Zufallsvorgangs aufgefasst
MehrDie Datenmatrix für Überwachtes Lernen
Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x
Mehr4.4 Punktschätzung. E(X 1 )+ +E(X n ) Var(ˆµ) = 1 n 2 ( Var(X1 )+ +Var(X n ) ) = 1 n 2nσ2 = σ2
4 4.4 Punktschätzung Wir betrachten eine endliche oder unendliche Grundgesamtheit, zum Beispiel alle Studierenden der Vorlesung Mathe II für Naturwissenschaften. Im endlichen Fall soll die Anzahl N ihrer
MehrBedingte nichtlineare Regression Worum geht es in diesem Modul? Beispiel: Das Verhältnismodell für geometrisch-optische Täuschungen III
Bedingte nichtlineare Regression 1 Worum geht es in diesem Modul? Beispiel: Das Verhältnismodell für geometrisch-optische Täuschungen III Bedingte lineare Quasi-Regression Eigenschaften des Residuums Parametrisierungen
MehrWichtige Begriffe und Sätze aus der Wahrscheinlichkeitsrechnung
Wichtige Begriffe und Sätze aus der Wahrscheinlichkeitsrechnung Version: 22. September 2015 Evelina Erlacher 1 Mengen Es sei Ω eine Menge (die Universalmenge ) und A, B seien Teilmengen von Ω. Dann schreiben
MehrBeispiel: Zufallsvariable
Beispiel: Zufallsvariable 3 Münzen werden unabhängig voneinander geworfen. Jede Münze kann entweder Kopf oder Zahl zeigen. Man ist nur an der Zahl der Köpfe interessiert. Anzahl Kopf Elementarereignis
MehrStochastische Lernalgorithmen
Stochastische Lernalgorithmen Gerhard Jäger 14. Mai 2003 Das Maximum-Entropy-Prinzip Der Entropiebegriff Entropie: Chaos, Unordung, Nicht-Vorhersagbarkeit,... Begriff kommt ursprünglich aus der Physik:
MehrEinfache lineare Modelle mit Statistik-Software R Beispiel (Ausgaben in Abhängigkeit vom Einkommen)
3 Einfache lineare Regression Einfache lineare Modelle mit R 36 Einfache lineare Modelle mit Statistik-Software R Beispiel (Ausgaben in Abhängigkeit vom Einkommen) > summary(lm(y~x)) Call: lm(formula =
Mehr4 Diskrete Wahrscheinlichkeitsverteilungen
4 Diskrete Wahrscheinlichkeitsverteilungen 4.1 Wahrscheinlichkeitsräume, Ereignisse und Unabhängigkeit Definition: Ein diskreter Wahrscheinlichkeitsraum ist ein Paar (Ω, Pr), wobei Ω eine endliche oder
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informati Lehrstuhl Maschinelles Lernen Clusteranalyse Christoph Sawade/iels Landwehr/Tobias Scheffer Überblic Problemstellung/Motivation Deterministischer Ansatz: K-Means
MehrBestimmte Zufallsvariablen sind von Natur aus normalverteilt. - naturwissenschaftliche Variablen: originär z.b. Intelligenz, Körpergröße, Messfehler
6.6 Normalverteilung Die Normalverteilung kann als das wichtigste Verteilungsmodell der Statistik angesehen werden. Sie wird nach ihrem Entdecker auch Gaußsche Glockenkurve genannt. Die herausragende Stellung
MehrBAYES SCHE STATISTIK
BAES SCHE STATISTIK FELIX RUBIN EINFÜHRUNG IN DIE STATISTIK, A.D. BARBOUR, HS 2007 1. Einführung Die Bayes sche Statistik gibt eine weitere Methode, um einen unbekannten Parameter θ zu schätzen. Bisher
MehrKategorielle Zielgrössen
Kategorielle Zielgrössen 27.11.2017 Motivation Bisher gesehen: Regressionsmodelle für diverse Arten von Zielgrössen Y. kontinuierliche Zielgrösse Lineare Regression Binäre/binomiale Zielgrösse Logistische
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester Lösungsblatt 3 Maschinelles Lernen und Klassifikation
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Lösungsblatt 3 Maschinelles Lernen und Klassifikation Aufgabe : Zufallsexperiment
MehrWillkommen zur Vorlesung Statistik (Master)
Willkommen zur Vorlesung Statistik (Master) Thema dieser Vorlesung: Verteilung diskreter Zufallsvariablen Prof. Dr. Wolfgang Ludwig-Mayerhofer Universität Siegen Philosophische Fakultät, Seminar für Sozialwissenschaften
MehrDas Bayes'sche Prinzip
Das Bayes'sche Prinzip Olivia Gradenwitz Patrik Kneubühler Seminar über Bayes Statistik FS8 26. Februar 28 1 Bayes'sches statistisches Modell 1.1 Statistische Probleme und statistische Modelle In diesem
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrMathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016
und Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016 5. Juni 2016 Definition 5.21 Ist a R, a > 0 und a 1, so bezeichnet man die Umkehrfunktion der Exponentialfunktion x a x als
MehrEinführung: Bayessches Lernen. Dipl.-Inform. Martin Lösch. martin.loesch@kit.edu (0721) 608 45944. Dipl.-Inform. Martin Lösch
Einführung: martin.loesch@kit.edu (0721) 608 45944 Übersicht Motivation & Hintergrund Naiver Bayes-Klassifikator Bayessche Netze EM-Algorithmus 2 Was ist eigentlich? MOTIVATION & HINTERGRUND 3 Warum Lernen
Mehr3. Kombinatorik und Wahrscheinlichkeit
3. Kombinatorik und Wahrscheinlichkeit Es geht hier um die Bestimmung der Kardinalität endlicher Mengen. Erinnerung: Seien A, B, A 1,..., A n endliche Mengen. Dann gilt A = B ϕ: A B bijektiv Summenregel:
MehrKonvexe Menge. Eine Menge D R n heißt konvex, wenn für zwei beliebige Punkte x, y D auch die Verbindungsstrecke dieser Punkte in D liegt, d.h.
Konvexe Menge Eine Menge D R n heißt konvex, wenn für zwei beliebige Punkte x, y D auch die Verbindungsstrecke dieser Punkte in D liegt, dh Kapitel Extrema konvex: h x + h y D für alle h [0, ], und x,
MehrMathematik 2 für Wirtschaftsinformatik
für Wirtschaftsinformatik Sommersemester 2012 Hochschule Augsburg Hinreichende Bedingung für lokale Extrema Voraussetzungen Satz D R n konvex und offen Funktion f : D R zweimal stetig partiell differenzierbar
MehrRechnernutzung in der Physik Teil 3 Statistische Methoden der Datenanalyse
Rechnernutzung in der Physik Teil 3 Statistische Methoden der Datenanalyse Karlsruher Institut für Technologie Ulrich Husemann Institut für Experimentelle Kernphysik, Karlsruher Institut für Technologie
MehrP (X = 2) = 1/36, P (X = 3) = 2/36,...
2.3 Zufallsvariablen 2.3 Zufallsvariablen Meist sind die Ereignisse eines Zufallseperiments bereits reelle Zahlen. Ist dies nicht der Fall, kann man Ereignissen eine reelle Zahl zuordnen. Zum Beispiel
MehrMusterlösung zur Klausur im Fach Fortgeschrittene Statistik am Gesamtpunktzahl: 60
WESTFÄLISCHE WILHELMS - UNIVERSITÄT MÜNSTER Wirtschaftswissenschaftliche Faktultät Prof. Dr. Bernd Wilfling Professur für VWL, insbesondere Empirische Wirtschaftsforschung Musterlösung zur Klausur im Fach
MehrEntscheidungsbäume aus großen Datenbanken: SLIQ
Entscheidungsbäume aus großen Datenbanken: SLIQ C4.5 iteriert häufig über die Trainingsmenge Wie häufig? Wenn die Trainingsmenge nicht in den Hauptspeicher passt, wird das Swapping unpraktikabel! SLIQ:
MehrMathematik 1 für Wirtschaftsinformatik
Mathematik 1 für Wirtschaftsinformatik Wintersemester 2012/13 Hochschule Augsburg : Gliederung 7 Folgen und Reihen 8 Finanzmathematik 9 Reelle Funktionen 10 Differenzieren 1 11 Differenzieren 2 12 Integration
MehrEinige Konzepte aus der Wahrscheinlichkeitstheorie (Wiederh.)
Einige Konzepte aus der Wahrscheinlichkeitstheorie (Wiederh.) 1 Zusammenfassung Bedingte Verteilung: P (y x) = P (x, y) P (x) mit P (x) > 0 Produktsatz P (x, y) = P (x y)p (y) = P (y x)p (x) Kettenregel
Mehr68 Abschätzungen für Abweichungen vom Erwartungswert
68 Abschätzungen für Abweichungen vom Erwartungswert 68.1 Motivation Mit der Varianz bzw. Standardabweichungen kennen wir bereits ein Maß für die Fluktuation einer Zufallsvariablen um ihren Erwartungswert.
MehrProgramm. Wiederholung. Gleichverteilung Diskrete Gleichverteilung Stetige Gleichverteilung. Binomialverteilung. Hypergeometrische Verteilung
Programm Wiederholung Gleichverteilung Diskrete Gleichverteilung Stetige Gleichverteilung Binomialverteilung Hypergeometrische Verteilung Wiederholung verschiedene Mittelwerte für verschiedene Skalenniveaus
MehrZweitklausur. b p b. q a. c 1. p a
Elementare Stochastik SoSe 27 Zweitklausur Lösungen. Berechnen Sie für die angegebenen Übergangswahrscheinlichkeiten (mit p a,p b >, q a := p a, q b := p b ) die erwartete Anzahl von Schritten bis zum
MehrMathematische und statistische Methoden II
Sprechstunde jederzeit nach Vereinbarung und nach der Vorlesung Wallstr. 3, 6. Stock, Raum 06-206 Mathematische und statistische Methoden II Dr. Malte Persike persike@uni-mainz.de lordsofthebortz.de lordsofthebortz.de/g+
MehrWillkommen zur Vorlesung Statistik (Master)
Willkommen zur Vorlesung Statistik (Master) Thema dieser Vorlesung: Verteilung diskreter Zufallsvariablen Prof. Dr. Wolfgang Ludwig-Mayerhofer Universität Siegen Philosophische Fakultät, Seminar für Sozialwissenschaften
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht
MehrLineare Regression. Volker Tresp
Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M
MehrWahrscheinlichkeitsrechnung und Statistik für Biologen Frequentistische und Bayessche Statistik
Wahrscheinlichkeitsrechnung und Statistik für Biologen Frequentistische und Bayessche Statistik Dirk Metzler & Martin Hutzenthaler http://evol.bio.lmu.de/_statgen 8. Juni 2009 1 Frequentistische Statistik
MehrÜbung Zeigen Sie, dass dies als Grenzwert der Wahrscheinlichkeitsfunktion der Binomialverteilung mit
Übung 2 24..23 Ü b u n g 2 Aufgabe Die Poissonverteilung P(λ) hat die Wahrscheinlichkeitsfunktion p(x) = λx e λ (x ) x! Zeigen Sie, dass dies als Grenzwert der Wahrscheinlichkeitsfunktion der Binomialverteilung
Mehr