1 Diskriminanzanalyse
|
|
- Frida Schuler
- vor 6 Jahren
- Abrufe
Transkript
1 Multivariate Lineare Modelle SS Diskriminanzanalyse 1. Entscheidungstheorie 2. DA für normalverteilte Merkmale 3. DA nach Fisher 1
2 Problemstellungen Jedes Subjekt kann einer von g Gruppen angehören für jedes Subjekt p Variablen gemessen x Diskriminanzanalyse (DA): Von allen Beobachtungseinheiten Gruppenzugehörigkeit bekannt. Suche Funktionen d k (x) um mittels x zwischen Gruppen möglichst gut zu unterscheiden (Diskriminanz) Klassifikation: Neue Beobachtungseinheiten, möchte anhand von x die Gruppenzugehörigkeit bestimmen Diskriminanzanalyse mit Lernstichprobe oft Basis für Klassifikation Variablenselektion weitere wichtige Aufgabe, aber hier nicht besprochen 2
3 1.1 Entscheidungstheorie Setting: Ω bestehend aus g 2 disjunkten Klassen Ω 1,..., Ω g p - dimensionaler Vektor x S, dem Stichprobenraum. Suche Funktion die anhand von x Objekte einer Klasse k {1,..., g} zuteilt Abstrakte Entscheidungsfunktion: e : S {1,..., g}, x ˆk = e(x) Falls ˆk = k dann richtige Entscheidung, sonst Misklassifikation Klassische Diskriminanzanalyse ist ein mögliches Verfahren Speziell für g = 2 auch logistische Regression, Machine Learning, etc. 3
4 Wahrscheinlichkeitstheoretisches Setting Seien x und k Zufallsvariablen k diskret... p(k) = P (ω Ω k ) > 0 x kann im Prinzip sowohl diskret als auch kontinuierlich, oder auch allgemeiner verteilt sein. Wir beschränken uns hier auf stetig Bedingte Dichte: f(x k), k {1,..., g} Unbedingte Dichte: f(x) = k p(k)f(x k)... Mischverteilung Satz von Bayes liefert posteriori - Wahrscheinlichkeit p(k x) = p(k)f(x k) f(x) p(k) und f(x k) normalerweise unbekannt Lernstichprobe 4
5 Entscheidungsregeln Fehlerklassifikationswahrscheinlichkeiten sollen minimiert werden Individuelle Fehlerrate: Bedingte Fehlerrate: ε kˆk(e) := P (e(x) = ˆk k). ε(e x) := P (e(x) k x). Gesamtfehlerrate: ε(e) = P (e(x) k) = S ε(e x)f(x)dx. Bayes-Regel: e(x) = ˆk mit p(ˆk x) p(l x), l = 1... g d.h. wähle jene Klasse, welche posteriori Wahrsch. maximiert ML-Regel: e(x) = ˆk mit f(x ˆk) f(x l), l = 1... g d.h. wähle jene Klasse, welche Likelihood maximiert ML-Regel ist Spezialfall von Bayes-Regel mit gleichverteiltem Prior 5
6 Optimalitätseigenschaften Bayes-Regel besitzt unter allen Regeln die kleinste bedingte Fehlerrate Beweis: Für beliebige Regel e(x) gilt: ε(e x) = P (e(x) k x) = 1 p(e(x) x) Per definitionem gilt aber für ˆk von Bayes-Regel : 1 p(ˆk x) 1 p(l x) QED Bayes-Regel b(x) für jedes x bedingt optimal ε(b) = ε(b x)f(x)dx ε(e x)f(x)dx = ε(e) S S 6
7 Kostenoptimale Regeln Kostenfunktion C(k, ˆk) falls Misklassifikationen nicht gleich teuer Korrekte Entscheidung: ˆk = k C(k, ˆk) = 0 Bedingte erwartete Kosten: C(ˆk x) = k C(k, ˆk)p(k x) Kostenoptimale Regel: Minimiere C(ˆk x)f(x)dx S Beispiele: Einfache symmetrische Kostenfunktion C e (k, ˆk) = C > 0 für ˆk k Bayes - Regel Indirekt proportionale Kostenfunktion C p (k, ˆk) = C/p(k) für ˆk k ML - Regel 7
8 Diskriminanzfunktion Formal basiert Entscheidung auf Maximum von g Funktionen Diskriminanzfunktionen d 1 (x),..., d g (x) Bayes-Regel: d k (x) = p(k x), ML-Regel: d k (x) = f(x k) Monotone Transformationen f(d k (x)) führen zu equivalenten Entscheidungsregeln Beispiel: ln(p(k x)) = ln(p(k)) + ln(f(x k)) Klassifikationsregel zerlegt S in g Klassengebiete D 0 k = {x S : d k (x) > d j (x), j k} Ränder dieser Gebiete werden speziell behandelt um eindeutige Zuordnung von ganz S in Klassen zu erhalten (Beachte, x R p und typischerweise p > 1) 8
9 Normalfall: Stichprobenerhebung p(k) und f(x k) nicht bekannt Lernstichprobe um Verteilungen zu schätzen Gesamtstichprobe: (x n, k n ), n = 1,..., N unabhängige Beobachtungen von der gemeinsamen Verteilung von x und k kann sowohl p(k) als auch f(x k) schätzen (e.g. ML) Geschichtet nach Klasse: N k unabhängige Beobachtungen aus Klasse k kann nur f(x k) schätzen (ML-Methode), p(k) muss als bekannt vorausgesetzt werden Geschichtet nach x: Für vorgegebene Werte x n wird Klasse k n erhoben (eher selten) 9
10 Parametrische Modelle Arten der geschätzten DA Verteilungsannahme an x (e.g. Normalverteilung) Verteilungsannahme an p(k x) (e.g. logistisches Modell) Verteilungsannahme an d k (x) Verteilungsfreie Verfahren nichtparametrische Schätzung von f(x k), Nearest neighbor Wir beschränken uns in dieser LVA auf die erste Kategorie von Modellen sowie auf Fishers Ansatz 10
11 Fehlerraten für geschätzte Regeln Hier für g = 2 theoretische Zerlegung D =< D 1, D 2 > aus Daten geschätzte Zerlegung ˆD =< ˆD 1, ˆD 2 > Theoretische Fehlerrate: ε(d, f) = p(1) f(x 1) dx + p(2) f(x 2) dx D 2 Tatsächliche Fehlerrate: ε( ˆD, f) = p(1) D 1 f(x 1) dx + p(2) f(x 2) dx ˆD 2 ˆD 1 Diese muss selbst geschätzt werden, da f ja nicht bekannt 11
12 Schätzen der Fehlerrate Plug in-schätzung: ε( ˆD, ˆf) = ˆp(1) ˆf(x 1) dx + ˆp(2) ˆf(x 2) dx ˆD 2 ˆD 1 nur in Spezialfällen explizit berechenbar Resubstitutionsfehlerrate: Anteil der Misklassifikationen der Lernstichprobe, kein guter Schätzer da klarerweise zu optimistisch (positiver Bias) Teststichprobe: Bilde Lernstichprobe und Teststichprobe (großer Datensatz!) Zyklische Verfahren, Cross validation: Bilde mehrfach Lernstichprobe und Teststichprobe Extremfall: Teststichprobe ein Element Jackknife 12
13 1.2 DA für normalverteilte Merkmale Annahme: x multivariat normalverteilt Theoretischer Fall: f(x k) N p (µ k, Σ k ), µ k, Σ k bekannt Bayes-Regel in logarithmierter Form: Maximiere ln(p(k x)) = ln(p(k)) + ln(f(x k)) Vernachlässige konstanten Term mit Dimension: d k (x) = (x µ k ) Σ 1 k (x µ k)/2 ln(det Σ k )/2 + ln(p(k)) ML-Regel: ln(p(k)) konstant kann ebenfalls ignoriert werden Im allgemeinen Fall d k quadratische Funktion in x Σ k unterschiedlich in verschidenen Gruppen bereits im eindimensionalen problematisch (zeichne Beispiel) 13
14 Lineare Diskriminanzanalyse (LDA) Annahme: Σ 1 = = Σ g = Σ ln(det Σ k )/2 konstant d k (x) = (x µ k ) Σ 1 (x µ k )/2 + ln(p(k)) Man nennt (x µ k ) Σ 1 (x µ k ) Mahalanobis-Distanz Quadratischer Term von d k (x) ebenfalls unabhängig von k Lineare Diskriminanzfunktion µ k Σ 1 x µ k Σ 1 µ k /2 + ln(p(k)), k = 1,..., g Klassengrenzen Abschnittsweise Hyperebenen: d k (x) = d j (x) Einfachster Spezialfall: Σ = σ 2 I Geometrische Interpretation straight forward (vgl. F.H. S.318) 14
15 LDA bei unbekannten Parametern Schätze aus Lernstichprobe ˆµ k und ˆΣ k wie üblich ˆµ k = x k, ˆΣk = S k, k = 1,..., g In vielen Programmpaketen LDA implementiert: Verwende gepoolte empirische Kovarianzmatrix S = 1 N g g (N k 1)S k k=1 unverzerrter Schätzer von Σ = Σ 1 = = Σ g Geschätzte Diskriminanzfunktion: ˆd k (x) = x ks 1 x 1 2 x ks 1 x k + ln(p(k)) wobei p(k) durch N k /N geschätzt werden kann (bei Gesamtstichprobe) 15
16 1.3 DA nach Fisher Braucht keine Annahme an die Verteilung von x 2 Klassen: Beobachtungen (x 11,..., x 1N1 ) und (x 21,..., x 2N1 ) Suche Linearkombination derart, dass Diskriminanz optimal y 11 = a x 11, y 12 = a x 12, etc., o.b.d.a. a = 1 Kriterium um optimales a zu wählen: Q(a) = (ȳ 1 ȳ 2 ) 2 s s2 2, mit ȳ 1 = a x 1., s 2 1 = N 1 n=1 (y 1n ȳ 1 ) Vergleiche mit Konzept von MANOVA. Es gilt: s s 2 2 = (N 1 + N 2 2)a Sa =: a W a W... Inner-Klasse SSP Matrix 16
17 Maximiere Allgemeine LDA nach Fisher Q(a) = a Ba a W a, B... Zwischen Klassen SSP Optimierung unter Annahme a W a = 1: W 1 Ba = λa Eigenwertproblem ganz analog zur kanonische Korrelation Für g = 2 zeigt man leicht B = N 1N 2 N 1 +N 2 ( x 1. x 2. )( x 1. x 2. ) und weiters a = KW 1 ( x 1. x 2. ) Daher für zwei Faktoren ML - LDA und Fisher äquivalent Für g > 2 unterschiedliche Konzepte 17
18 Beispiel LDA mit SAS Datensatz maus.sas7bdat und auch mausneu.sas7bdat SAS-Programm Bsp9.sas PROC CANDISC (Fisher) PROC DISCRIM (ML - LDA) 18
Einführung in die Maximum Likelihood Methodik
in die Maximum Likelihood Methodik Thushyanthan Baskaran thushyanthan.baskaran@awi.uni-heidelberg.de Alfred Weber Institut Ruprecht Karls Universität Heidelberg Gliederung 1 2 3 4 2 / 31 Maximum Likelihood
MehrÜberblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung
Grundlagen Überblick Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes- Entscheidungsfunktionen
MehrKonfidenzintervalle Grundlegendes Prinzip Erwartungswert Bekannte Varianz Unbekannte Varianz Anteilswert Differenzen von Erwartungswert Anteilswert
Konfidenzintervalle Grundlegendes Prinzip Erwartungswert Bekannte Varianz Unbekannte Varianz Anteilswert Differenzen von Erwartungswert Anteilswert Beispiel für Konfidenzintervall Im Prinzip haben wir
MehrEinführung in die statistische Testtheorie II
1 Seminar: Simulation und Bildanalyse mit Java Einführung in die statistische Testtheorie II Guntram Seitz Sommersemester 2004 1 WIEDERHOLUNG 2 1 Wiederholung Grundprinzip: Annahme: Beobachtungen bzw.
MehrÜ b u n g s b l a t t 13
Einführung in die Stochastik Sommersemester 06 Dr. Walter Oevel 5. 6. 006 Ü b u n g s b l a t t 3 Mit und gekennzeichnete Aufgaben können zum Sammeln von Bonuspunkten verwendet werden. Lösungen von -Aufgaben
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrStatistische Tests. Kapitel Grundbegriffe. Wir betrachten wieder ein parametrisches Modell {P θ : θ Θ} und eine zugehörige Zufallsstichprobe
Kapitel 4 Statistische Tests 4.1 Grundbegriffe Wir betrachten wieder ein parametrisches Modell {P θ : θ Θ} und eine zugehörige Zufallsstichprobe X 1,..., X n. Wir wollen nun die Beobachtung der X 1,...,
Mehr1.1.1 Ergebnismengen Wahrscheinlichkeiten Formale Definition der Wahrscheinlichkeit Laplace-Experimente...
Inhaltsverzeichnis 0 Einführung 1 1 Zufallsvorgänge und Wahrscheinlichkeiten 5 1.1 Zufallsvorgänge.......................... 5 1.1.1 Ergebnismengen..................... 6 1.1.2 Ereignisse und ihre Verknüpfung............
MehrWahrscheinlichkeitstheorie und Statistik vom
INSTITUT FÜR STOCHASTIK SS 2007 UNIVERSITÄT KARLSRUHE Priv.-Doz. Dr. D. Kadelka Dipl.-Math. oec. W. Lao Klausur (Maschineningenieure) Wahrscheinlichkeitstheorie und Statistik vom 2.9.2007 Musterlösungen
MehrNachhol-Klausur - Schätzen und Testen - Wintersemester 2013/14
Prof. Dr. Rainer Schwabe 08.07.2014 Otto-von-Guericke-Universität Magdeburg Institut für Mathematische Stochastik Nachhol-Klausur - Schätzen und Testen - Wintersemester 2013/14 Name:, Vorname: Matr.-Nr.
MehrDie Varianz (Streuung) Definition
Die (Streuung) Definition Diskrete Stetige Ang., die betrachteten e existieren. var(x) = E(X EX) 2 heißt der Zufallsvariable X. σ = Var(X) heißt Standardabweichung der X. Bez.: var(x), Var(X), varx, σ
Mehr3.3 Methoden zur Evaluierung von Schätzern
3.3 Methoden zur Evaluierung von Schätzern Bis jetzt haben wir nur glaubwürdige Techniken zur Konstruktion von Punktschätzern besprochen. Falls unterschiedliche Schätzer für einen Parameter resultieren,
Mehr1 Gemischte Lineare Modelle
1 Gemischte Lineare Modelle Wir betrachten zunächst einige allgemeine Aussagen für Gemischte Lineare Modelle, ohne zu tief in die mathematisch-statistische Theorie vorzustoßen. Danach betrachten wir zunächst
Mehr3.4 Asymptotische Evaluierung von Sch atzer Konsistenz Konsistenz Definition 3.4.1: konsistente Folge von Sch atzer
3.4 Asymptotische Evaluierung von Schätzer 3.4.1 Konsistenz Bis jetzt haben wir Kriterien basierend auf endlichen Stichproben betrachtet. Konsistenz ist ein asymptotisches Kriterium (n ) und bezieht sich
MehrSignalverarbeitung 2. Volker Stahl - 1 -
- 1 - Überblick Bessere Modelle, die nicht nur den Mittelwert von Referenzvektoren sondern auch deren Varianz berücksichtigen Weniger Fehlklassifikationen Mahalanobis Abstand Besseres Abstandsmaß basierend
Mehrdie wir als Realisationen von unabhängig und identisch verteilten Zufallsvariablen
Kapitel 8 Schätzung von Parametern 8.1 Schätzmethoden Gegeben seien Beobachtungen Ü Ü ¾ Ü Ò die wir als Realisationen von unabhängig und identisch verteilten Zufallsvariablen ¾ Ò auffassen. Die Verteilung
MehrLineare Klassifikationsmethoden
Universität Ulm Fakultät für Mathematik und Wirtschaftswissenschaften Lineare Klassifikationsmethoden Statistische Lerntheorie und ihre Anwendungen Seminararbeit in dem Institut für Stochastik Prüfer:
MehrStatistik Testverfahren. Heinz Holling Günther Gediga. Bachelorstudium Psychologie. hogrefe.de
rbu leh ch s plu psych Heinz Holling Günther Gediga hogrefe.de Bachelorstudium Psychologie Statistik Testverfahren 18 Kapitel 2 i.i.d.-annahme dem unabhängig. Es gilt also die i.i.d.-annahme (i.i.d = independent
MehrSchätzer und Konfidenzintervalle
Kapitel 2 Schätzer und Konfidenzintervalle Bisher haben wir eine mathematische Theorie entwickelt, die es uns erlaubt, gewisse zufällige Phänomene zu modellieren. Zum Beispiel modellieren wir die Anzahl
MehrKapitel 4: Binäre Regression
Kapitel 4: Binäre Regression Steffen Unkel (basierend auf Folien von Nora Fenske) Statistik III für Nebenfachstudierende WS 2013/2014 4.1 Motivation Ausgangssituation Gegeben sind Daten (y i, x i1,...,
MehrZufallsvariablen [random variable]
Zufallsvariablen [random variable] Eine Zufallsvariable (Zufallsgröße) X beschreibt (kodiert) die Versuchsausgänge ω Ω mit Hilfe von Zahlen, d.h. X ist eine Funktion X : Ω R ω X(ω) Zufallsvariablen werden
MehrKapitel 8. Einfache Regression. Anpassen des linearen Regressionsmodells, OLS. Eigenschaften der Schätzer für das Modell
Kapitel 8 Einfache Regression Josef Leydold c 2006 Mathematische Methoden VIII Einfache Regression 1 / 21 Lernziele Lineares Regressionsmodell Anpassen des linearen Regressionsmodells, OLS Eigenschaften
MehrFormelsammlung zu Multivariate Verfahren
Institut für Statistik Gerhard Tutz, Moritz, Wolfgang Pößnecker Sommersemester 204 Formelsammlung zu Multivariate Verfahren Inhaltsverzeichnis Version 0804204 Diese Formelsammlung darf in der Klausur verwendet
MehrETWR Teil B. Spezielle Wahrscheinlichkeitsverteilungen (stetig)
ETWR Teil B 2 Ziele Bisher (eindimensionale, mehrdimensionale) Zufallsvariablen besprochen Lageparameter von Zufallsvariablen besprochen Übertragung des gelernten auf diskrete Verteilungen Ziel des Kapitels
MehrEinführung in die (induktive) Statistik
Einführung in die (induktive) Statistik Typische Fragestellung der Statistik: Auf Grund einer Problemmodellierung sind wir interessiert an: Zufallsexperiment beschrieben durch ZV X. Problem: Verteilung
Mehr9 Diskriminanzanalyse
9 Diskriminanzanalyse 9.1 Problemstellung Ziel einer Diskriminanzanalyse: Bereits bekannte Objektgruppen (Klassen/Cluster) anhand ihrer Merkmale charakterisieren und unterscheiden sowie neue Objekte in
MehrKlausur Stochastik und Statistik 31. Juli 2012
Klausur Stochastik und Statistik 31. Juli 2012 Prof. Dr. Matthias Schmid Institut für Statistik, LMU München Wichtig: ˆ Überprüfen Sie, ob Ihr Klausurexemplar vollständig ist. Die Klausur besteht aus fünf
MehrSeminar im Wintersemester 2010/2011: Quantitative und implementierte Methoden der Marktrisikobewertung
M.Sc. Brice Hakwa hakwa@uni-wuppertal.de Seminar im Wintersemester 2010/2011: Quantitative und implementierte Methoden der Marktrisikobewertung - Zusammenfassung zum Thema: Berechnung von Value-at-Risk
MehrANALYSIS I FÜR TPH WS 2016/17 1. Übung Übersicht
. Übung Übersicht Aufgaben zu Kapitel und 2 Aufgabe : Drei klassische Ungleichungen Aufgabe 2: ) Beweis einer Summenformel Induktion) Aufgabe : ) Teleskopsummen Aufgabe 4: Noch etwas Formelmanipulation
MehrStochastische Eingangsprüfung, 17.05.2008
Stochastische Eingangsprüfung, 17.5.8 Wir gehen stets von einem Wahrscheinlichkeitsraum (Ω, A, P) aus. Aufgabe 1 ( Punkte) Sei X : Ω [, ) eine integrierbare Zufallsvariable mit XdP = 1. Sei Q : A R, Q(A)
Mehr3.2 Lineare Optimierung (Entscheidungen unter Sicherheit)
3. Lineare Optimierung (Entscheidungen unter Sicherheit) Betrachtet wird hier der Fall Θ = (bzw. die Situation u(a, ϑ) bzw. l(a,ϑ) konstant in ϑ Θ für alle a A). Da hier keine Unsicherheit über die Umweltzustände
MehrMathematik für Biologen
Mathematik für Biologen Prof. Dr. Rüdiger W. Braun Heinrich-Heine-Universität Düsseldorf 8. Dezember 2010 Teil V Schließende Statistik 1 Parameterschätzung Erwartungstreue und Konsistenz Maximum-Likelihood
MehrEinführung in die Induktive Statistik: Testen von Hypothesen
Einführung in die Induktive Statistik: Testen von Hypothesen Jan Gertheiss LMU München Sommersemester 2011 Vielen Dank an Christian Heumann für das Überlassen von TEX-Code! Testen: Einführung und Konzepte
MehrVarianz und Kovarianz
KAPITEL 9 Varianz und Kovarianz 9.1. Varianz Definition 9.1.1. Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und X : Ω eine Zufallsvariable. Wir benutzen die Notation (1) X L 1, falls E[ X ]
MehrMultiplizitätskorrektur bei Variablenselektion
Multiplizitätskorrektur bei Variablenselektion Seminar: Multiples Testen Dozent: Prof. Dr. T. Dickhaus Referent: Maximilian Mönch - 22.11.2010 - Überblick 1) Einleitung 2) Multiplizitätskorrektur 3) Median
MehrTests einzelner linearer Hypothesen I
4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5 Tests einzelner linearer Hypothesen I Neben Tests für einzelne Regressionsparameter sind auch Tests (und Konfidenzintervalle) für Linearkombinationen
Mehr2 Zufallsvariable, Verteilungen, Erwartungswert
2 Zufallsvariable, Verteilungen, Erwartungswert Bisher: Zufallsexperimente beschrieben durch W-Räume (Ω, A, P) Häufig interessiert nur eine zufällige Größe X = X(ω), die vom Ergebnis ω des Zufallsexperiments
MehrInformatik II Grundbegriffe der Wahrscheinlichkeitsrechnung
lausthal Informatik II rundbegriffe der Wahrscheinlichkeitsrechnung. Zachmann lausthal University, ermany zach@in.tu-clausthal.de Begriffe Definition: Unter einem Zufallsexperiment versteht man einen,
MehrLösungen ausgewählter Übungsaufgaben zum Buch. Elementare Stochastik (Springer Spektrum, 2012) Teil 3: Aufgaben zu den Kapiteln 5 und 6
1 Lösungen ausgewählter Übungsaufgaben zum Buch Elementare Stochastik (Springer Spektrum, 2012) Teil 3: Aufgaben zu den Kapiteln 5 und 6 Aufgaben zu Kapitel 5 Zu Abschnitt 5.1 Ü5.1.1 Finden Sie eine maximum-likelihood-schätzung
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
MehrComputer Vision: Kalman Filter
Computer Vision: Kalman Filter D. Schlesinger TUD/INF/KI/IS D. Schlesinger () Computer Vision: Kalman Filter 1 / 8 Bayesscher Filter Ein Objekt kann sich in einem Zustand x X befinden. Zum Zeitpunkt i
MehrGrundlagen der Mathematik, der Statistik und des Operations Research für Wirtschaftswissenschaftler
Grundlagen der Mathematik, der Statistik und des Operations Research für Wirtschaftswissenschaftler Von Professor Dr. Gert Heinrich 3., durchgesehene Auflage R.Oldenbourg Verlag München Wien T Inhaltsverzeichnis
MehrKapitel 2.1: Die stochastische Sicht auf Signale Georg Dorffner 67
Kapitel 2.1: Die stochastische Sicht auf Signale 215 Georg Dorffner 67 Stochastische Prozesse Stochastische Prozesse sind von Zufall geprägte Zeitreihen x n f x, n 1 xn2,... n vorhersagbarer Teil, Signal
Mehr6. Multivariate Verfahren Zufallszahlen
4. Zufallszahlen 6. Multivariate Verfahren Zufallszahlen - werden nach einem determinist. Algorithmus erzeugt Pseudozufallszahlen - wirken wie zufäll. Zahlen (sollen sie jedenfalls) Algorithmus: Startwert
Mehr6. Statistische Schätzung von ARIMA Modellen
6. Statistische Schätzung von ARIMA Modellen Vorschau: ARIMA Modelle Modellidentifikation verschiedene Schätzverfahren Modelldiagnostik Fallstudien Zeitreihenanalyse 1 6.1 ARIMA Modelle Bisher: ARMA(p,q)-Modelle:
MehrKapitel XII - Kennzahlen mehrdimensionaler Zufallsvariablen
Institut für Volkswirtschaftslehre (ECON) Lehrstuhl für Ökonometrie und Statistik Kapitel XII - Kennzahlen mehrdimensionaler Zufallsvariablen Wahrscheinlichkeitstheorie Prof. Dr. W.-D. Heller Hartwig Senska
MehrKapitel 5. Univariate Zufallsvariablen. 5.1 Diskrete Zufallsvariablen
Kapitel 5 Univariate Zufallsvariablen Im ersten Teil dieses Skriptes haben wir uns mit Daten beschäftigt und gezeigt, wie man die Verteilung eines Merkmals beschreiben kann. Ist man nur an der Population
Mehr10. Vorlesung. Grundlagen in Statistik. Seite 291. Martin-Luther-Universität Halle/Wittenberg
. Vorlesung Grundlagen in Statistik Seite 29 Beispiel Gegeben: Termhäufigkeiten von Dokumenten Problemstellung der Sprachmodellierung Was sagen die Termhäufigkeiten über die Wahrscheinlichkeit eines Dokuments
MehrKapitel 12 Stetige Zufallsvariablen Dichtefunktion und Verteilungsfunktion. stetig. Verteilungsfunktion
Kapitel 12 Stetige Zufallsvariablen 12.1. Dichtefunktion und Verteilungsfunktion stetig Verteilungsfunktion Trägermenge T, also die Menge der möglichen Realisationen, ist durch ein Intervall gegeben Häufig
MehrMultivariate Statistik
Hermann Singer Multivariate Statistik 1 Auflage 15 Oktober 2012 Seite: 12 KAPITEL 1 FALLSTUDIEN Abbildung 12: Logistische Regression: Geschätzte Wahrscheinlichkeit für schlechte und gute Kredite (rot/blau)
MehrEin- und Zweistichprobentests
(c) Projekt Neue Statistik 2003 - Lernmodul: Ein- Zweistichprobentests Ein- Zweistichprobentests Worum geht es in diesem Modul? Wiederholung: allgemeines Ablaufschema eines Tests Allgemeine Voraussetzungen
MehrSchätzverfahren ML vs. REML & Modellbeurteilung mittels Devianz, AIC und BIC. Referenten: Linda Gräfe & Konstantin Falk
Schätzverfahren ML vs. REML & Modellbeurteilung mittels Devianz, AIC und BIC Referenten: Linda Gräfe & Konstantin Falk 1 Agenda Schätzverfahren ML REML Beispiel in SPSS Modellbeurteilung Devianz AIC BIC
Mehr5.8 Anpassungstests. W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 389 / 419
5.8 8.1 Einführung empirische Verteilungsfunktion 8.2 EDF- Kolmogorov-Smirnov-Test Anderson-Darling-Test Cramer-von Mises-Test 8.3 Anpassungstest auf Normalverteilung - Shapiro-Wilk-Test 8.4. auf weitere
MehrLösungen zur Klausur GRUNDLAGEN DER WAHRSCHEINLICHKEITSTHEORIE UND STATISTIK
Institut für Stochastik Dr. Steffen Winter Lösungen zur Klausur GRUNDLAGEN DER WAHRSCHEINLICHKEITSTHEORIE UND STATISTIK für Studierende der INFORMATIK vom 17. Juli 01 (Dauer: 90 Minuten) Übersicht über
MehrEinführung in die Statistik Kapitel 6: Crash-Course in Statistik: Testtheorie
Einführung in die Statistik Kapitel 6: Crash-Course in Statistik: Testtheorie Jung Kyu Canci Universität Basel HS2015 1 / 15 Literatur Kapitel 6 Statistik in Cartoons : Kapitel 8 Krengel : 6 und 14 Storrer
Mehr4. Schließende Statistik (Inferenzstatistik, konfirmatorische Verfahren)
4. Schließende Statistik (Inferenzstatistik, konfirmatorische Verfahren) 4.1. Einführung Schätzen unbekannter Parameter im Modell, z.b. Wahrscheinlichkeiten p i (Anteile in der Gesamtmenge), Erwartungswerte
Mehr6. Bayes-Klassifikation. (Schukat-Talamazzini 2002)
6. Bayes-Klassifikation (Schukat-Talamazzini 2002) (Böhm 2003) (Klawonn 2004) Der Satz von Bayes: Beweis: Klassifikation mittels des Satzes von Bayes (Klawonn 2004) Allgemeine Definition: Davon zu unterscheiden
MehrEigenwerte und Diagonalisierung
Eigenwerte und Diagonalisierung Wir wissen von früher: Seien V und W K-Vektorräume mit dim V = n, dim W = m und sei F : V W linear. Werden Basen A bzw. B in V bzw. W gewählt, dann hat F eine darstellende
MehrKenngrößen von Zufallsvariablen
Kenngrößen von Zufallsvariablen Die Wahrscheinlichkeitsverteilung kann durch die sogenannten Kenngrößen beschrieben werden, sie charakterisieren sozusagen die Verteilung. Der Erwartungswert Der Erwartungswert
Mehrf f(x ɛξ) f(x) 0, d.h. f (x)ξ = 0 für alle ξ B 1 (0). Also f (x) = 0. In Koordinaten bedeutet dies gerade, dass in Extremstellen gilt: f(x) = 0.
Mehrdimensionale Dierenzialrechnung 9 Optimierung 9 Optimierung Definition Seien U R n oen, f : U R, x U x heiÿt lokales Maximum, falls eine Umgebung V U von x existiert mit y V : fx fy x heiÿt lokales
MehrSeminar zur Energiewirtschaft:
Seminar zur Energiewirtschaft: Ermittlung der Zahlungsbereitschaft für erneuerbare Energien bzw. bessere Umwelt Vladimir Udalov 1 Modelle mit diskreten abhängigen Variablen 2 - Ausgangssituation Eine Dummy-Variable
MehrÜbung zu Empirische Ökonomie für Fortgeschrittene SS 2009
Übung zu Empirische Ökonomie für Fortgeschrittene Steen Elstner, Klaus Wohlrabe, Steen Henzel SS 9 1 Wichtige Verteilungen Die Normalverteilung Eine stetige Zufallsvariable mit der Wahrscheinlichkeitsdichte
MehrGrundgesamtheit und Stichprobe
Grundgesamtheit und Stichprobe Definition 1 Die Menge der Untersuchungseinheiten {U 1,U 2,...,U N } heißt Grundgesamtheit. Die Anzahl N der Einheiten ist der Umfang der Grundgesamtheit. Jeder Einheit U
MehrGrundbegriffe der Wahrscheinlichkeitsrechnung
Algorithmen und Datenstrukturen 349 A Grundbegriffe der Wahrscheinlichkeitsrechnung Für Entwurf und Analyse randomisierter Algorithmen sind Hilfsmittel aus der Wahrscheinlichkeitsrechnung erforderlich.
MehrMathematik für Biologen
Mathematik für Biologen Prof. Dr. Rüdiger W. Braun Heinrich-Heine-Universität Düsseldorf 9. Dezember 2010 1 Konfidenzintervalle Idee Schätzung eines Konfidenzintervalls mit der 3-sigma-Regel Grundlagen
MehrStatistik. Sommersemester Prof. Dr. Stefan Etschberger Hochschule Augsburg. für Betriebswirtschaft und internationales Management
für Betriebswirtschaft und internationales Management Sommersemester 2015 Prof. Dr. Stefan Etschberger Hochschule Augsburg Preismesszahl: Misst Preisveränderung eines einzelnen Gutes: Preis zum Zeitpunkt
MehrVorlesung 8b. Bedingte Erwartung, bedingte Varianz, bedingte Verteilung, bedingte Wahrscheinlichkeiten
Vorlesung 8b Bedingte Erwartung, bedingte Varianz, bedingte Verteilung, bedingte Wahrscheinlichkeiten 1 Wie gehabt, denken wir uns ein zufälliges Paar X = (X 1,X 2 ) auf zweistufige Weise zustande gekommen:
MehrQuantitatives Risikomanagement
Quantitatives Risikomanagement Korrelation und Abhängigkeit im Risikomanagement: Eigenschaften und Irrtümer von Jan Hahne und Wolfgang Tischer -Korrelation und Abhängigkeit im Risikomanagement: Eigenschaften
MehrEingangsprüfung Stochastik,
Eigagsprüfug Stochastik, 5.5. Wir gehe stets vo eiem Wahrscheilichkeitsraum (Ω, A, P aus. Die Borel σ-algebra auf wird mit B bezeichet, das Lebesgue Maß auf wird mit λ bezeichet. Aufgabe ( Pukte Sei x
MehrDer Begriff der konvexen Menge ist bereits aus Definition 1.4, Teil I, bekannt.
Kapitel 3 Konvexität 3.1 Konvexe Mengen Der Begriff der konvexen Menge ist bereits aus Definition 1.4, Teil I, bekannt. Definition 3.1 Konvexer Kegel. Eine Menge Ω R n heißt konvexer Kegel, wenn mit x
MehrKlausur zur Vorlesung Statistik III für Studenten mit Wahlfach Statistik. 7. Februar 2008
L. Fahrmeir, G. Walter Department für Statistik Bitte für die Korrektur freilassen! Aufgabe 3 4 Punkte Klausur zur Vorlesung Statistik III für Studenten mit Wahlfach Statistik 7. Februar 8 Hinweise:. Überprüfen
MehrKapitel VIII - Tests zum Niveau α
Institut für Volkswirtschaftslehre (ECON) Lehrstuhl für Ökonometrie und Statistik Kapitel VIII - Tests zum Niveau α Induktive Statistik Prof. Dr. W.-D. Heller Hartwig Senska Carlo Siebenschuh Testsituationen
MehrVorlesung 8a. Kovarianz und Korrelation
Vorlesung 8a Kovarianz und Korrelation 1 Wir erinnern an die Definition der Kovarianz Für reellwertige Zufallsvariable X, Y mit E[X 2 ] < und E[Y 2 ] < ist Cov[X, Y ] := E [ (X EX)(Y EY ) ] Insbesondere
Mehr4. Woche Decodierung; Maximale, Perfekte und Optimale Codes. 4. Woche: Decodierung; Maximale, Perfekte und Optimale Codes 69/ 140
4 Woche Decodierung; Maximale, Perfekte und Optimale Codes 4 Woche: Decodierung; Maximale, Perfekte und Optimale Codes 69/ 140 Szenario für fehlerkorrigierende Codes Definition (n, M)-Code Sei C {0, 1}
MehrKapitel 2 Wahrscheinlichkeitsrechnung
Definition 2.77: Normalverteilung & Standardnormalverteilung Es sei µ R und 0 < σ 2 R. Besitzt eine stetige Zufallsvariable X die Dichte f(x) = 1 2 πσ 2 e 1 2 ( x µ σ ) 2, x R, so heißt X normalverteilt
MehrStatistische Tests für unbekannte Parameter
Konfidenzintervall Intervall, das den unbekannten Parameter der Verteilung mit vorgegebener Sicherheit überdeckt ('Genauigkeitsaussage' bzw. Zuverlässigkeit einer Punktschätzung) Statistischer Test Ja-Nein-Entscheidung
Mehr+ 2 F2 (u) X 1 F1 (u)) Der Koeffizient der unteren Tail-Abhängigkeit von (X 1,X 2 ) T wird folgendermaßen definiert:
Tail Abhängigkeit Definition 12 Sei (X 1,X 2 ) T ein Zufallsvektor mit Randverteilungen F 1 und F 2. Der Koeffizient der oberen Tail-Abhängigkeit von (X 1,X 2 ) T wird folgendermaßen definiert: λ U (X
Mehrε heteroskedastisch BINARY CHOICE MODELS Beispiele: Wahlentscheidung Kauf langlebiger Konsumgüter Arbeitslosigkeit Schätzung mit OLS?
BINARY CHOICE MODELS 1 mit Pr( Y = 1) = P Y = 0 mit Pr( Y = 0) = 1 P Beispiele: Wahlentscheidung Kauf langlebiger Konsumgüter Arbeitslosigkeit Schätzung mit OLS? Y i = X i β + ε i Probleme: Nonsense Predictions
MehrStatistik II für Betriebswirte Vorlesung 12
Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik Statistik II für Betriebswirte Vorlesung 12 11. Januar 2013 7.3. Multiple parameterlineare Regression Im Folgenden soll die
MehrKlausur zum Fach GRUNDLAGEN DER WAHRSCHEINLICHKEITSTHEORIE UND STATISTIK. für Studierende der INFORMATIK
Institut für Stochastik Prof. Dr. Daniel Hug Name: Vorname: Matr.-Nr.: Klausur zum Fach GRUNDLAGEN DER WAHRSCHEINLICHKEITSTHEORIE UND STATISTIK für Studierende der INFORMATIK Datum: 08. Februar 0 Dauer:
MehrMathematik II Frühlingsemester 2015 Kapitel 8: Lineare Algebra 8.5 Eigenwerte und Eigenvektoren
Mathematik II Frühlingsemester 215 Kapitel 8: Lineare Algebra 8.5 Eigenwerte und Eigenvektoren www.math.ethz.ch/education/bachelor/lectures/fs215/other/mathematik2 biol Prof. Dr. Erich Walter Farkas http://www.math.ethz.ch/
Mehr2. Spezielle anwendungsrelevante Funktionen
2. Spezielle anwendungsrelevante Funktionen (1) Affin-lineare Funktionen Eine Funktion f : R R heißt konstant, wenn ein c R mit f (x) = c für alle x R existiert linear, wenn es ein a R mit f (x) = ax für
MehrRückblick auf die letzte Vorlesung. Bemerkung
Bemerkung 1) Die Bedingung grad f (x 0 ) = 0 T definiert gewöhnlich ein nichtlineares Gleichungssystem zur Berechnung von x = x 0, wobei n Gleichungen für n Unbekannte gegeben sind. 2) Die Punkte x 0 D
MehrElementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung
Elementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung Kursfolien Karin Haenelt 1 Übersicht Wahrscheinlichkeitsfunktion P Wahrscheinlichkeit und bedingte Wahrscheinlichkeit Bayes-Formeln
MehrSTATISTIK Teil 2 Wahrscheinlichkeitsrechnung und schließende Statistik
Kapitel 15 Statistische Testverfahren 15.1. Arten statistischer Test Klassifikation von Stichproben-Tests Einstichproben-Test Zweistichproben-Test - nach der Anzahl der Stichproben - in Abhängigkeit von
MehrClusteranalyse: Gauß sche Mischmodelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse: Gauß sche Mischmodelle iels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrCopula Funktionen. Eine Einführung. Nils Friewald
Copula Funktionen Eine Einführung Nils Friewald Institut für Managementwissenschaften Abteilung Finanzwirtschaft und Controlling Favoritenstraße 9-11, 1040 Wien friewald@imw.tuwien.ac.at 13. Juni 2005
MehrAuswahl von Schätzfunktionen
Auswahl von Schätzfunktionen Worum geht es in diesem Modul? Überblick zur Punktschätzung Vorüberlegung zur Effizienz Vergleich unserer Schätzer für My unter Normalverteilung Relative Effizienz Einführung
MehrTextmining Klassifikation von Texten Teil 2: Im Vektorraummodell
Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil
MehrDatenanalyse. (PHY231) Herbstsemester Olaf Steinkamp
Datenanalyse (PHY31) Herbstsemester 015 Olaf Steinkamp 36-J- olafs@physik.uzh.ch 044 63 55763 Einführung, Messunsicherheiten, Darstellung von Messdaten Grundbegriffe der Wahrscheinlichkeitsrechnung und
Mehr4 Unabhängige Zufallsvariablen. Gemeinsame Verteilung
4 Unabhängige Zufallsvariablen. Gemeinsame Verteilung Häufig werden mehrere Zufallsvariablen gleichzeitig betrachtet, z.b. Beispiel 4.1. Ein Computersystem bestehe aus n Teilsystemen. X i sei der Ausfallzeitpunkt
MehrKapitel 1: Elemente der Statistik
1 Kapitel 1: Elemente der Statistik 1.1 Beispiel Ein Elektromarkt erhält eine Lieferung von N = 10000 Glühbirnen. Darunter ist eine unbekannte Anzahl h defekt, wobei h 0 1 = {0, 1,..., N}. Um Kenntnisse
MehrWahrscheinlichkeitsrechnung und Quantentheorie
Physikalische Chemie II: Atombau und chemische Bindung Winter 2013/14 Wahrscheinlichkeitsrechnung und Quantentheorie Messergebnisse können in der Quantenmechanik ganz prinzipiell nur noch mit einer bestimmten
MehrÜberblick über multivariate Verfahren in der Statistik/Datenanalyse
Überblick über multivariate Verfahren in der Statistik/Datenanalyse Die Klassifikation multivariater Verfahren ist nach verschiedenen Gesichtspunkten möglich: Klassifikation nach der Zahl der Art (Skalenniveau)
MehrLogistische Regression I. Odds, Logits, Odds Ratios, Log Odds Ratios
Logistische Regression I. Odds, Logits, Odds Ratios, Log Odds Ratios PD Dr.Gabriele Doblhammer, Fortgescrittene Methoden, SS2004 Logistische Regression Tabelle 2 Alter und Symptome von Herz-/Kreislauferkrankung(CD)
MehrStatistik II: Signifikanztests /1
Medien Institut : Signifikanztests /1 Dr. Andreas Vlašić Medien Institut (0621) 52 67 44 vlasic@medien-institut.de Gliederung 1. Noch einmal: Grundlagen des Signifikanztests 2. Der chi 2 -Test 3. Der t-test
MehrStatistik, Datenanalyse und Simulation
Dr. Michael O. Distler distler@kph.uni-mainz.de Mainz, 31. Mai 2011 4. Methode der kleinsten Quadrate Geschichte: Von Legendre, Gauß und Laplace zu Beginn des 19. Jahrhunderts eingeführt. Die Methode der
MehrKapitel 5. Bayes Klassifikator
Kapitel 5 Bayes Klassifikator Theoretische Grundlagen Bayes Entscheidungstheorie Allgemeiner Bayes Klassifikator Bayes Klassifikator bei Normalverteilung Parameterschätzung Nichtparametrische Klassifikatoren
Mehr3 Bedingte Wahrscheinlichkeit, Unabhängigkeit
3 Bedingte Wahrscheinlichkeit, Unabhängigkeit Bisher : (Ω, A, P) zur Beschreibung eines Zufallsexperiments Jetzt : Zusatzinformation über den Ausgang des Experiments, etwa (das Ereignis) B ist eingetreten.
MehrEine zweidimensionale Stichprobe
Eine zweidimensionale Stichprobe liegt vor, wenn zwei qualitative Merkmale gleichzeitig betrachtet werden. Eine Urliste besteht dann aus Wertepaaren (x i, y i ) R 2 und hat die Form (x 1, y 1 ), (x 2,
Mehr