Vorlesung 2. Maschinenlernen: Klassische Ansätze I
|
|
- Lisa Wolf
- vor 6 Jahren
- Abrufe
Transkript
1 Vorlesung 2 Maschinenlernen: Klassische Ansätze I Martin Giese Martin.giese@tuebingen.mpg.de
2 Übersicht! Statistische Formulierung des überwachten Lernproblems! Einfache Klassifikatoren! Regression
3 I. Statistiche Formulierung des überwachten Lernenproblems
4 Überwachtes Lernen aus Beispielen Inputs Lerner Outputs Beispiele: Datenpaare Input 1 Input 2 Input 3 Output 1 Output 2 Output 3
5 Überwachtes Lernen aus Beispielen Beispiel: Funktionenapproimation! Beispiele Trainingsdaten T {,,,,...,, } L L! Gesucht: Funktion f mit fˆ ˆ! Ziel: gute Vorhersage zukünftiger Testdaten G {,,,,...,, } M M
6 Überwachtes Lernen aus Beispielen Beispiel: Funktionenapproimation Trainingsdaten wahre Funktion f
7 Überwachtes Lernen aus Beispielen Beispiel: Funktionenapproimation ˆ Approimation der Funktion f Trainingsdaten wahre Funktion f
8 Überwachtes Lernen aus Beispielen Beispiel: Funktionenapproimation ˆ Approimation der Funktion f Neue Testdaten wahre Funktion f Generalisierung: Vorhersage der Funktion an Stellen ohne Trainingsdaten
9 Überwachtes Lernen aus Beispielen Beispiel: Funktionenapproimation ˆ Approimation der Funktion f Neue Testdaten wahre Funktion f Gute Generalisierung Generalisierung: Vorhersage der Funktion an Stellen ohne Trainingsdaten
10 Überwachtes Lernen aus Beispielen Beispiel: Funktionenapproimation ˆ Approimation der Funktion f Neue Testdaten wahre Funktion f Schlechte Generalisierung Generalisierung: Vorhersage der Funktion an Stellen ohne Trainingsdaten
11 Überwachtes Lernen aus Beispielen Regression: Ausgangsvariable kontinuierlich! Univariate: eindimensional! Multiple : mehrdimensional Klassifikation: Ausgangsvariable diskret! Einklassen binar! Multiklassen multiclass
12 Statistische Formulierung X und Y. Gemeinsame Verteilungsdichte über X Y: p, p p konstant aber unbekannt! Trainingsdatenpaare: T aus dieser Verteilung {,,,,...,, } L L
13 Statistische Formulierung Rifkin 2002
14 Statistische Formulierung Viele wichtige Lernprobleme können als Funktionenapproimation aufgefasst werden. Regression: und kontinuierlich ˆ fˆ Klassifikation: kontinuierlich, diskret gehört zur Klasse : 1 gehört nicht zur Klasse : -1
15 Statistische Formulierung Kostenfunktion loss function L ˆ, * L fˆ, * wahrer Wert von Definiert die Kosten wenn vorhergesagt wird und der wahre Wert * war. L ˆ Sinvoll: L minimal für f * ˆ ŷ * ŷ
16 Statistische Formulierung Populäre Kostenfunktionen Regression:! L 2 -Fehler L 2 loss L L ˆ, * ˆ *! L 1 -Fehler L 1 loss L ˆ, * ˆ *! ε-unempfindliche Fehlerfunktion ε-insensitive error L ˆ, * ma ˆ * ε,0 2 L L ε ε ˆ * ˆ * ˆ *
17 Statistische Formulierung Populäre Kostenfunktionen Klassifikation:! 0-1-Fehler 0-1 loss L L ˆ, * θ ˆ *! Scharnier -Fehler L 1 hinge loss ˆ * L ˆ, * ma1 ˆ *,0 L 1 ˆ *
18 Statistische Formulierung Wahres Risiko true risk! Entspricht dem Erwartungswert der Kostenfunktion für gegebene Approimationsfunktion f: R[ f ] V f, p, d, Funktional!! Prädiziert erwartete Kosten für neuen Datenpunkt! Problem: p, unbekannt! Dichteschätzung im allgemeinen Fall sehr aufwendig
19 Statistische Formulierung Klassische parametrische Statistik! Annahme dass die prinzipielle Form der Verteilung p, bekannt ist! Schätzung der freien Parameter aus den Daten Klassische nichtparametrische Statistik! Verwendung von Kenngrössen, die verteilungsunabängig sind, aber deren Verteilungsform bekannt ist
20 Statistische Formulierung Empirisches Risiko empirical risk! Gegeben: L Datenpaare l, l! Approimation des wahren Risikos: R 1 L emp [ f ] V f l, l L l 1! Idee: Minimierung des empirischen Risiko! Herleitung von Schranken für die Abweichung: R[ f ] Remp[ f ]
21 Statistische Formulierung Empirisches Risiko empirical risk! Gegeben: L Datenpaare l, l! Approimation des wahren Risikos: R 1 L emp [ f ] V f l, l L l 1
22 Statistische Formulierung Statistische Lerntheorie! Minimierung des empirischen Risiko! Herleitung von Schranken für die Abweichung: R[ f ] Remp[ f ]! Schranken nichtparametrisch, d.h. unabängig vonn der Form der Verteilung p,
23 II. Einfache Klassifikatoren
24 Aufbau eines tpischen Klassifikationssstems Bild Merkmalsetraktion : Merkmalsvektor Piel Kanten Frequenzkomponenten Klassifizierer f : Klassenlabel Stoiber
25 Merkmalsraum 2 Klasse 1 Klasse 2 Merkmalsvektor Merkmalsraum Klasse 3 1
26 Merkmale gut schlecht stark korreliert
27 Nächster-Nachbar-Klassifikator nearest neighbor classifer 2 Klasse 1 Klasse 2! Klassen definiert durch Trainingsbeispiele! Zuordnung zu nächstliegendem Klassenzentrum Klasse 3 Trainingsbeispiele 1
28 Problem 2 Klasse 1 Klasse 2! Klassen nicht immer um Lernbeispiele zentriert Trainingsbeispiele 1
29 Entscheidungsregionen 2! Klassifizieren entspricht Zuordung zu bestimmter Region im Merkmalsraum! Entscheidungsgrenzen decision boundaries 1 1 Entscheidungsgenze
30 Diskriminantenfunktionen f! Jede Klasse assoziiert mit einer Diskriminantenfunktion f k! Zuordnung des Mekmalsvekotors zu der Klasse K mit 2 1 K arg ma k g k
31 Diskriminantenfunktionen Tpische Diskriminantenfunktionen! Linear: f w T + b linearer Klassifikator! Polnominal polnominaler Klassifikator! Linearkombination von Basisfunktionen / Kernfunktionen Supportvektormaschine
32 Statistische Entscheidungstheorie! Ziel: Konstruktion einer Enscheidungsregel f, die Datenpunkt abbildet auf Klassenlabel {0, 1}. Einfaches Beispiel: Indikatorfunktion 0 f 1 falls nicht in Entscheidungsregion falls in Entscheidungsregion R! Kostenfunktion: Erwartung des Fehlers L f, * θ f 0.5 * f 0 0 ist R 0 ist *
33 Statistische Entscheidungstheorie! Generelles Schema aus Signaldetektionstheorie: 0 * 1 f 1 0 Falscher Alarm false alarm, false positive Korrekte Ablehnung correct rejection, negatitive Treffer hit, positive Aussetzer miss, false negative
34 Statistische Entscheidungstheorie! Risikofunktion! Annahme des klassischen Ansatzes: Wahrscheinlichkeitsdichten p bekannt, bzw. aus den Daten bestimmbar ,,, ] [ f P f P R P R P d p f L f R
35 Statistische Entscheidungstheorie! Optimale Entscheidungsfunktion ohne Daten : f const 0 falls P 0 > P 1 1 sonst! Nach Erhebung von Daten : f 0 falls P 0 > P 1 1 sonst
36 Statistische Entscheidungstheorie! Baes Theorem: p P p P p P p P p P p P
37 Baes Klassifikator Diskriminantenfunktionen! Optimale Entscheidungsregel: f 0 falls p 0 P 0 > p 1P 1 1 sonst! Wahrscheinlichkeitsverhältnis likelihood ratio: f p 0 P 0 falls > p 1 P 1 sonst 1 0
38 Baes Klassifikator! Oft Diskriminantenfunktionen geschrieben als log: g0 ln p 0 P 0 ln p 0 + ln P 0 g1 ln p 1P 1 ln p 1 + ln P 1 f 0 falls g0 > g1 1 sonst
39 Baes Klassifikator 1 f 0 * 0 1 C 10 C 11 C 00 C 01! Erweiterung für allgemeinere Kostenfunktion: R[ f ] C C P P f f C 0 + C P f 0 1 P f 1 1 f 0 falls 1 p p 0 C > 1 C sonst C C C10P 1 P 0
40 Baes Klassifikator! Erweiterung für Multiklassenfall: Kostenfunktion: L f k, l 0 falls fl 1 sonst l Diskriminantenfunktionen: g l p lp l oder log Entscheidungsregel: arg ma l f l
41 Baes Klassifikator Spezialfall: Gauss-Verteilungen! Diskriminantenfunktionen: g l ln 1 2σ p lp 2µ l + µ ln p T T T 2 l l l l µ + Quadratischer Term derselbe: g w T + b Linearer Klassifikator!
42 Hierarchische Klassifikatoren! Realisierung von Multiklassenklassifikation durch Kaskadieren von binären Klassifikatoren! Problem: Aussagen über Generalisierungsfehler Mensch Kein Mensch Mann Frau Baer Preiss
43 III. Regression
44 Ziel: Funktionenapproimation f ˆ Datenpunkte
45 Nicht eindeutig lösbar f ˆ Datenpunkte
46 Nicht korrekt gestelltes Problem ill-posed problem Korrekt getelltes Problem Hadarmard! Lösung eistiert! Lösung eindeutig! Lösung hängt stetig von den Daten ab
47 Hpothesenraum! Lösung wird eindeutig durch Einschränkung auf bestimmte Funktionenklasse H! Ausnutzung von A-priori-Information über das Problem freie Parameter! Lineare Funktionen: Beispiele f ˆ! Polnome p-ter Ordnung: fˆ! Linearkombination von Gaussfunktionen: f ˆ p n 0 w n p n 0 n n w e p n 0 m n w n n 2 / 2σ 2
48 Zielraum! Raum Z in dem die wahre Funktion f liegt! Tpischerweise wesentlich allgemeiner als der Hpothesenraum! Beispiele: " Funktionen mit d differenzierbaren Ableitungen " Quadratintegrable Funktionen " Funktionen mit integrierbarer Fouriertransformierter
49 Beispiel: Lineare Regression! Funktionenklasse H : lineare Funktionen f w T + b! Gegeben: Datenpaare { l, l }! Schätzung der Parameter w durch Minimiering des empirischen Risikos: R 1 L T 2 emp w l w l b L l 1! Interpretierbar als Minimierung des erwarteten Risikos falls p, eine Normalverteilung ist
50 Kleinste Quadrate Schätzung! Umschreiben in Matriform mit X [ 1, L ] und [ 1,, L ] T b kann in und w absorbiert werden! 1 R emp w 2 + L 2 T T T w X w XX w! Fehlerminimierung durch Ableiten nach w: R emp w 2 L T XX w 2X 0 wˆ XX T 1 X Normalgleichung
51 Linearkombination nichtlinearer Funktionen! Funktionenklasse H : nichtlineare Funktionen! Lösung: mit zusätzliche Parameter X XX w 1 ˆ T,...,,..., P L L L G G G G m m m m X,...,, 2 1 L T G G G f m m m w
52 Fehleraufteilung! Für den L 2 -Fehler is folgende Aufteilung möglich: d p f E d p E d p f E d p E d p f E d p E d p p f E E d p f f R } {,, { } { { 2 } {,, {, } { {,, ] [ Unabhängig von Unabhängig von f
53 Fehleraufteilung! Konsequenz: Die Regression E { } p d liefert die optimale Approimation für die Funktion f! In der Prais kann diese Funktion nur approimativ geschätzt werden, da nur endlich viele Daten verfügbar sind.
54 Fehlertpen! Schätzfehler: Fehler bei der Approimation der Funktion f ˆ innerhalb des Hpothesenraums H! Approimationsfehler: Abweichung zwischen der bestapproimierenden Funktion f* im Hpothesenraum und der wahren Funktion f! Generalisierungsfehler: Abweichung zwischen der Approimationsfunktion f ˆ und der wahren Funktion f
55 Fehlertpen Approimationsfehler f Zielraum f * Generalisierungssfehler Schätzfehler f ˆ Hpothesenraum Girosi 1997
56 Wichtige Punkte bitte behalten!! Definition des Lernproblems! Nächster-Nachbar-Klassifikator! Baes-Klassifikator! Regressionsproblem! Fehlertpen bei Lernproblemen
57 Literatur Bishop, C.M Neural Networks for Pattern Recognition. Oford Universit Press, UK. Cherkassk, V., Mulier, F Learnijng From Data. John-Wile & Sons Inc, New York. Duda, R.O., Hart, P.E., Stork, D.G Pattern Classification. John- Wile & Sons Inc, New York. Hastie, T., Tibshirani, R., Friedman, J The Elements of Statistical learning Theor. Springer, Berlin. MIT Course 9.520: Statistical Learning Theor and Applications T. Poggio, S. Mukherjee, R. Rifkin
Überblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung
Grundlagen Überblick Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes- Entscheidungsfunktionen
MehrVorlesung Wissensentdeckung
Gliederung Vorlesung Wissensentdeckung Additive Modelle Katharina Morik, Weihs 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung.6.015 1 von 33 von 33 Ausgangspunkt: Funktionsapproximation Aufteilen der
MehrDigitale Bildverarbeitung Einheit 11 Klassifikation
Digitale Bildverarbeitung Einheit 11 Klassifikation Lehrauftrag WS 06/07 Fachbereich M+I der FH-Offenburg Dr. Bernard Haasdonk Albert-Ludwigs-Universität Freiburg Ziele der Einheit Verstehen, dass basierend
Mehr6. Bayes-Klassifikation. (Schukat-Talamazzini 2002)
6. Bayes-Klassifikation (Schukat-Talamazzini 2002) (Böhm 2003) (Klawonn 2004) Der Satz von Bayes: Beweis: Klassifikation mittels des Satzes von Bayes (Klawonn 2004) Allgemeine Definition: Davon zu unterscheiden
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online
MehrMathematische und statistische Methoden II
Statistik & Methodenlehre e e Prof. Dr. G. Meinhardt 6. Stock, Wallstr. 3 (Raum 06-206) Sprechstunde jederzeit nach Vereinbarung und nach der Vorlesung. Mathematische und statistische Methoden II Dr. Malte
MehrProjekt 7. Machine Learning. (Matthias Bethge) 7.1 Overtüre
Projekt 7 Machine Learning Matthias Bethge) 7. Overtüre Alles messen, was messbar ist - und messbar machen, was noch nicht messbar ist. Galileo Galilei 564-642) Ziel der quantitativen Wissenschaft ist
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
MehrSeminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens
Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 19.12.2013 Allgemeine Problemstellung
MehrSeminar Data Mining and Learning from Data. Predictive Modeling. Thorsten Holz
Seminar Data Mining and Learning from Data Predictive Modeling Thorsten Holz Human Language Technology and Pattern Recognition Lehrstuhl für Informatik VI, Computer Science Department RWTH Aachen University
MehrKapitel 5. Bayes Klassifikator
Kapitel 5 Bayes Klassifikator Theoretische Grundlagen Bayes Entscheidungstheorie Allgemeiner Bayes Klassifikator Bayes Klassifikator bei Normalverteilung Parameterschätzung Nichtparametrische Klassifikatoren
MehrVorlesung Maschinelles Lernen
Vorlesung Maschinelles Lernen Additive Modelle Katharina Morik Informatik LS 8 Technische Universität Dortmund 7.1.2014 1 von 34 Gliederung 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung 2 von 34 Ausgangspunkt:
MehrETWR Teil B. Spezielle Wahrscheinlichkeitsverteilungen (stetig)
ETWR Teil B 2 Ziele Bisher (eindimensionale, mehrdimensionale) Zufallsvariablen besprochen Lageparameter von Zufallsvariablen besprochen Übertragung des gelernten auf diskrete Verteilungen Ziel des Kapitels
Mehr1.1.1 Ergebnismengen Wahrscheinlichkeiten Formale Definition der Wahrscheinlichkeit Laplace-Experimente...
Inhaltsverzeichnis 0 Einführung 1 1 Zufallsvorgänge und Wahrscheinlichkeiten 5 1.1 Zufallsvorgänge.......................... 5 1.1.1 Ergebnismengen..................... 6 1.1.2 Ereignisse und ihre Verknüpfung............
Mehr3.4 Asymptotische Evaluierung von Sch atzer Konsistenz Konsistenz Definition 3.4.1: konsistente Folge von Sch atzer
3.4 Asymptotische Evaluierung von Schätzer 3.4.1 Konsistenz Bis jetzt haben wir Kriterien basierend auf endlichen Stichproben betrachtet. Konsistenz ist ein asymptotisches Kriterium (n ) und bezieht sich
MehrÜbung zur Empirischen Wirtschaftsforschung V. Das Lineare Regressionsmodell
Universität Ulm 89069 Ulm Germany Dipl.-WiWi Christian Peukert Institut für Wirtschaftspolitik Fakultät für Mathematik und Wirtschaftswissenschaften Ludwig-Erhard-Stiftungsprofessur Sommersemester 2010
Mehr1 Gemischte Lineare Modelle
1 Gemischte Lineare Modelle Wir betrachten zunächst einige allgemeine Aussagen für Gemischte Lineare Modelle, ohne zu tief in die mathematisch-statistische Theorie vorzustoßen. Danach betrachten wir zunächst
MehrLineare Klassifikationsmethoden
Universität Ulm Fakultät für Mathematik und Wirtschaftswissenschaften Lineare Klassifikationsmethoden Statistische Lerntheorie und ihre Anwendungen Seminararbeit in dem Institut für Stochastik Prüfer:
MehrComputer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10
Computer Vision: AdaBoost D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Idee Gegeben sei eine Menge schwacher (einfacher, schlechter) Klassifikatoren Man bilde einen guten durch eine geschickte Kombination
MehrI. Deskriptive Statistik 1
I. Deskriptive Statistik 1 1. Einführung 3 1.1. Grundgesamtheit und Stichprobe.................. 5 1.2. Merkmale und Verteilungen..................... 6 1.3. Tabellen und Grafiken........................
MehrEine zweidimensionale Stichprobe
Eine zweidimensionale Stichprobe liegt vor, wenn zwei qualitative Merkmale gleichzeitig betrachtet werden. Eine Urliste besteht dann aus Wertepaaren (x i, y i ) R 2 und hat die Form (x 1, y 1 ), (x 2,
MehrSchätzverfahren ML vs. REML & Modellbeurteilung mittels Devianz, AIC und BIC. Referenten: Linda Gräfe & Konstantin Falk
Schätzverfahren ML vs. REML & Modellbeurteilung mittels Devianz, AIC und BIC Referenten: Linda Gräfe & Konstantin Falk 1 Agenda Schätzverfahren ML REML Beispiel in SPSS Modellbeurteilung Devianz AIC BIC
MehrPost Data Inferenz. Ein Überblick über Verfahren aus frequentistischer Sichtweise
1/23 Post Data Inferenz Ein Überblick über Verfahren aus frequentistischer Sichtweise Betreuung: Marco Cattaneo Referent: Paul Fink München, 14. Januar 2011 2/23 Gliederung 1 2 Relevante Teilmengenn Induzierte
MehrEin Vergleich von Methoden für Multi-klassen Support Vector Maschinen
Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Einführung Auf binären Klassifikatoren beruhende Methoden One-Against-All One-Against-One DAGSVM Methoden die alle Daten zugleich betrachten
MehrMaschinelles Lernen Entscheidungsbäume
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Entscheidungsbäume Paul Prasse Entscheidungsbäume Eine von vielen Anwendungen: Kreditrisiken Kredit - Sicherheiten
Mehr8. Konfidenzintervalle und Hypothesentests
8. Konfidenzintervalle und Hypothesentests Dr. Antje Kiesel Institut für Angewandte Mathematik WS 2011/2012 Beispiel. Sie wollen den durchschnittlichen Fruchtsaftgehalt eines bestimmten Orangennektars
MehrKlassifikation. Franz Pernkopf
Klassifikation Franz Pernkopf Institute of Communications and Wave Propagation University of Technology Graz Inffeldgasse 16c, 8010 Graz, Austria Tel: +43 316 873 4436 E-Mail: pernkopf@inw.tugraz.at 2004
MehrUnsupervised Kernel Regression
9. Mai 26 Inhalt Nichtlineare Dimensionsreduktion mittels UKR (Unüberwachte KernRegression, 25) Anknüpfungspunkte Datamining I: PCA + Hauptkurven Benötigte Zutaten Klassische Kernregression Kerndichteschätzung
Mehrε heteroskedastisch BINARY CHOICE MODELS Beispiele: Wahlentscheidung Kauf langlebiger Konsumgüter Arbeitslosigkeit Schätzung mit OLS?
BINARY CHOICE MODELS 1 mit Pr( Y = 1) = P Y = 0 mit Pr( Y = 0) = 1 P Beispiele: Wahlentscheidung Kauf langlebiger Konsumgüter Arbeitslosigkeit Schätzung mit OLS? Y i = X i β + ε i Probleme: Nonsense Predictions
MehrPrincipal Component Analysis (PCA)
Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen
MehrSeminar Textmining SS 2015 Grundlagen des Maschinellen Lernens
Seminar Textmining SS 2015 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 17.04.2015 Entscheidungsprobleme beim Textmining
MehrAnhang B. Regression
Anhang B Regression Dieser Anhang rekapituliert die in der Analysis und Statistik wohlbekannte Methode der kleinsten Quadrate, auch Regression genannt, zur Bestimmung von Ausgleichsgeraden Regressionsgeraden
MehrWahrscheinlichkeitsrechnung
Statistik und Wahrscheinlichkeitsrechnung Prof. Dr. Michael Havbro Faber 28.05.2009 1 Korrektur zur letzten Vorlesung Bsp. Fehlerfortpflanzung in einer Messung c B a 2 2 E c Var c a b A b 2 2 2 n h( x)
MehrDie Varianz (Streuung) Definition
Die (Streuung) Definition Diskrete Stetige Ang., die betrachteten e existieren. var(x) = E(X EX) 2 heißt der Zufallsvariable X. σ = Var(X) heißt Standardabweichung der X. Bez.: var(x), Var(X), varx, σ
MehrDatenanalyse. (PHY231) Herbstsemester Olaf Steinkamp
Datenanalyse (PHY31) Herbstsemester 015 Olaf Steinkamp 36-J- olafs@physik.uzh.ch 044 63 55763 Einführung, Messunsicherheiten, Darstellung von Messdaten Grundbegriffe der Wahrscheinlichkeitsrechnung und
Mehr0 Einführung: Was ist Statistik
0 Einführung: Was ist Statistik 1 Datenerhebung und Messung 2 Univariate deskriptive Statistik 3 Multivariate Statistik 4 Regression 5 Ergänzungen Explorative Datenanalyse EDA Auffinden von Strukturen
MehrBayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L
Bayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L Inhalt Grundlagen aus der Wahrscheinlichkeitsrechnung Hypothesenwahl Optimale Bayes Klassifikator Naiver Bayes Klassifikator
MehrStatistik II für Betriebswirte Vorlesung 12
Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik Statistik II für Betriebswirte Vorlesung 12 11. Januar 2013 7.3. Multiple parameterlineare Regression Im Folgenden soll die
Mehr2.4 Hypothesentests Grundprinzipien statistischer Hypothesentests. Hypothese:
2.4.1 Grundprinzipien statistischer Hypothesentests Hypothese: Behauptung einer Tatsache, deren Überprüfung noch aussteht (Leutner in: Endruweit, Trommsdorff: Wörterbuch der Soziologie, 1989). Statistischer
MehrGrundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung
Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung Jan Eichhorn jan.eichhorn@tuebingen.mpg.de Max-Planck-Institut für biologische Kybernetik 72076 Tübingen Danksagung Olivier
MehrKünstliche Neuronale Netze und Data Mining
Künstliche Neuronale Netze und Data Mining Catherine Janson, icasus GmbH Heidelberg Abstract Der Begriff "künstliche Neuronale Netze" fasst Methoden der Informationstechnik zusammen, deren Entwicklung
MehrBiostatistik Erne Einfuhrung fur Biowissenschaftler
Matthias Rudolf Wiltrud Kuhlisch Biostatistik Erne Einfuhrung fur Biowissenschaftler PEARSON Studium Inhaltsverzeichnis Vorwort xi Kapitel 1 Einfiihrung 1 1.1 Biostatistik als Bestandteil biowissenschafllicher
MehrMögliche Fehler beim Testen
Mögliche Fehler beim Testen Fehler. Art (Irrtumswahrscheinlichkeit α), Zusammenfassung: Die Nullhypothese wird verworfen, obwohl sie zutrifft. Wir haben uns blamiert, weil wir etwas Wahres abgelehnt haben.
Mehrdie wir als Realisationen von unabhängig und identisch verteilten Zufallsvariablen
Kapitel 8 Schätzung von Parametern 8.1 Schätzmethoden Gegeben seien Beobachtungen Ü Ü ¾ Ü Ò die wir als Realisationen von unabhängig und identisch verteilten Zufallsvariablen ¾ Ò auffassen. Die Verteilung
MehrDatenanalyse mit Excel und Gretl
Dozent: Christoph Hindermann christoph.hindermann@uni-erfurt.de Datenanalyse mit Excel und Gretl Teil Titel 2: Gretl 1 Teil 2: Gretl Datenanalyse mit Excel und Gretl Teil Titel 2: Gretl 2 Modellannahmen
MehrRating. { 0 = kein Ausfall des Kreditnehmers i
Jörg Lemm Vorlesung Finanzmathematik, WS 06/07 Universität Münster 25.1.2007, 1.2.2007, 8.2.2007 Rating Ratingverfahren versuchen, die Wahrscheinlichkeit dafür zu schätzen, dass ein Kreditnehmer seinen
Mehr3 Nichtlineare Gleichungssysteme
3 Nichtlineare Gleichungsssteme 3.1 Eine Gleichung in einer Unbekannten Problemstellung: Gegeben sei die stetige Funktion f(). Gesucht ist die Lösung der Gleichung f() = 0. f() f() a) f ( ) 0 b) f ( )
Mehr17 Nichtparametrische Schätzer
17 Nichtparametrische Schätzer In diesem Paragraphen werden kurz einige Möglichkeiten skizziert, auch in nichtparametrischen Modellenzu Schätzern fürinteressierende statistische Größenzugelangen. a Empirische
MehrVortrag zum Paper Results of the Active Learning Challenge von Guyon, et. al. Sören Schmidt Fachgebiet Knowledge Engineering
Vortrag zum Paper Results of the Active Learning Challenge von Guyon, et. al. Sören Schmidt Fachgebiet Knowledge Engineering 11.12.2012 Vortrag zum Paper Results of the Active Learning Challenge von Isabelle
MehrMethoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07
Regression Trees Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07 Ao.Univ.Prof. Dr. Marcus Hudec marcus.hudec@univie.ac.at Institut für Scientific Computing, Universität Wien 2
MehrKapitel 15* Bayes Klassifikator. Theoretische Grundlagen Bayes Entscheidungstheorie
Kapitel 15* Bayes Klassifikator p. 1/56 Bayes Klassifikator Theoretische Grundlagen Bayes Entscheidungstheorie Kapitel 15* Allgemeiner Bayes Klassifikator Parametrische Methoden Normalverteilungen Gaussian
MehrEinführung in die Fehlerrechnung und Messdatenauswertung
Grundpraktikum der Physik Einführung in die Fehlerrechnung und Messdatenauswertung Wolfgang Limmer Institut für Halbleiterphysik 1 Fehlerrechnung 1.1 Motivation Bei einem Experiment soll der Wert einer
MehrAutomatische Mustererkennung
Automatische Mustererkennung Eine Einführung Eine Präsentation von Valentin Kraft Im Modul Digitale Bildverarbeitung Prof. Vogel FH Düsseldorf WS 12/13 Gliederung Anwendungsgebiete / Definition Ziele Zentrales
MehrModerne Methoden der KI: Maschinelles Lernen
Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Entscheidungsbäume Darstellung durch Regeln ID3 / C4.5 Bevorzugung kleiner Hypothesen Overfitting Entscheidungsbäume
MehrKlausur zu Methoden der Statistik II (mit Kurzlösung) Sommersemester Aufgabe 1
Lehrstuhl für Statistik und Ökonometrie der Otto-Friedrich-Universität Bamberg Prof. Dr. Susanne Rässler Klausur zu Methoden der Statistik II (mit Kurzlösung) Sommersemester 2013 Aufgabe 1 In einer Urne
MehrBerechnung des LOG-RANK-Tests bei Überlebenskurven
Statistik 1 Berechnung des LOG-RANK-Tests bei Überlebenskurven Hans-Dieter Spies inventiv Health Germany GmbH Brandenburger Weg 3 60437 Frankfurt hd.spies@t-online.de Zusammenfassung Mit Hilfe von Überlebenskurven
MehrÜber statistische Probleme bei der Analyse von Daten aus dem Bereich der Kraftfahrzeugversicherung
Statistik Über statistische Probleme bei der Analyse von Daten aus dem Bereich der Kraftfahrzeugversicherung Andreas Christmann Universität Dortmund Fachbereich Statistik 44221 Dortmund christmann@statistik.uni-dortmund.de
MehrOptimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
MehrShape Gradient for Image and Video Segmentation
Shape Gradient for Image and Video Segmentation [1] S. Jehan-Besson, A. Herbulot, M. Barlaud und G. Aubert 23. Mai 2007 Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 1 Überblick Aktive Konturen
MehrMathematik Übungsblatt - Lösung. b) x=2
Hochschule Regensburg Fakultät Informatik/Mathematik Christoph Böhm Sommersemester 204 Technische Informatik Bachelor IT2 Vorlesung Mathematik 2 Mathematik 2 4. Übungsblatt - Lösung Differentialrechnung
MehrHydrologie und Flussgebietsmanagement
Hydrologie und Flussgebietsmanagement o.univ.prof. DI Dr. H.P. Nachtnebel Institut für Wasserwirtschaft, Hydrologie und konstruktiver Wasserbau Gliederung der Vorlesung Statistische Grundlagen Etremwertstatistik
MehrAufgabenblock 4. Da Körpergröße normalverteilt ist, erhalten wir aus der Tabelle der t-verteilung bei df = 19 und α = 0.05 den Wert t 19,97.
Aufgabenblock 4 Aufgabe ) Da s = 8. cm nur eine Schätzung für die Streuung der Population ist, müssen wir den geschätzten Standardfehler verwenden. Dieser berechnet sich als n s s 8. ˆ = = =.88. ( n )
MehrGrundprinzipien der Bayes-Statistik
Grundprinzipien der Bayes-Statistik Karl-Rudolf Koch Zusammenfassung: In drei wesentlichen Punkten unterscheidet sich die Bayes-Statistik von der traditionellen Statistik. Zunächst beruht die Bayes-Statistik
MehrMathematik für Biologen
Mathematik für Biologen Prof. Dr. Rüdiger W. Braun Heinrich-Heine-Universität Düsseldorf 9. Dezember 2010 1 Konfidenzintervalle Idee Schätzung eines Konfidenzintervalls mit der 3-sigma-Regel Grundlagen
MehrSTATISTIK II. Hans-Otfried Müller Institut für Mathematische Stochastik.
STATISTIK II Hans-Otfried Müller Institut für Mathematische Stochastik http://www.math.tu-dresden.de/sto/mueller 1 Ausgewählte Verfahren der multivariaten Datenanalyse und Statistik Werden bei einer Analyse
MehrUntersuchungen zum Thema Tracking Error
Untersuchungen zum Thema Tracking Error J. Fulmek 24. August 2003 1 Einleitung Im Folgenden werden folgende Punkte untersucht: 1. verschiedene in der Literatur übliche Definitionen des Tracking Errors
MehrScheinklausur Stochastik 1 für Studierende des Lehramts und der Diplom-Pädagogik
Universität Karlsruhe (TH) Institut für Stochastik Dr. Bernhard Klar Dipl.-Math. oec. Volker Baumstark Name Vorname Matr.-Nr.: Scheinklausur Stochastik für Studierende des Lehramts und der Diplom-Pädagogik
MehrKATA LOGO Mathematik Statistik Roadmap: Von der Hypothese zum p-wert
KATA LOGO Mathematik Statistik Roadmap: Von der Hypothese zum p-wert 0. Das eigentliche Forschungsziel ist: Beweis der eigenen Hypothese H 1 Dafür muss Nullhypothese H 0 falsifiziert werden können Achtung!
MehrKern Fisher Diskriminanten
Kern Fisher Diskriminanten Sebastian Mika idalab GmbH & Fraunhofer FIRST Mohrenstraße 63 10117 Berlin email: mika@{first.fraunhofer.de, idalab.com} 1 Einleitung Diese Zusammenfassung meiner Doktorarbeit
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
MehrData Mining und Knowledge Discovery in Databases
Data Mining und Knowledge Discovery in Databases Begriffsabgrenzungen... Phasen der KDD...3 3 Datenvorverarbeitung...4 3. Datenproblematik...4 3. Möglichkeiten der Datenvorverarbeitung...4 4 Data Mining
MehrKapitel 4: Binäre Regression
Kapitel 4: Binäre Regression Steffen Unkel (basierend auf Folien von Nora Fenske) Statistik III für Nebenfachstudierende WS 2013/2014 4.1 Motivation Ausgangssituation Gegeben sind Daten (y i, x i1,...,
MehrTextmining Klassifikation von Texten Teil 1: Naive Bayes
Textmining Klassifikation von Texten Teil 1: Naive Bayes Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten 1: Naive
MehrUnivariates Datenmaterial
Univariates Datenmaterial 1.6.1 Deskriptive Statistik Zufallstichprobe: Umfang n, d.h. Stichprobe von n Zufallsvariablen o Merkmal/Zufallsvariablen: Y = {Y 1, Y 2,..., Y n } o Realisationen/Daten: x =
MehrStatistische Methoden der Datenanalyse
Statistische Methoden der Datenanalyse Vorlesung im Sommersemester 2002 H. Kolanoski Humboldt-Universität zu Berlin Inhaltsverzeichnis Literaturverzeichnis iii 1 Grundlagen der Statistik 3 1.1 Wahrscheinlichkeit..................................
MehrSeminar Text- und Datamining Datamining-Grundlagen
Seminar Text- und Datamining Datamining-Grundlagen Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 23.05.2013 Gliederung 1 Klassifikationsprobleme 2 Evaluation
MehrPersonalisierung. Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung. Data Mining.
Personalisierung Personalisierung Thomas Mandl Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung Klassifikation Die Nutzer werden in vorab bestimmte Klassen/Nutzerprofilen
MehrKapitel 12 Stetige Zufallsvariablen Dichtefunktion und Verteilungsfunktion. stetig. Verteilungsfunktion
Kapitel 12 Stetige Zufallsvariablen 12.1. Dichtefunktion und Verteilungsfunktion stetig Verteilungsfunktion Trägermenge T, also die Menge der möglichen Realisationen, ist durch ein Intervall gegeben Häufig
MehrPrüfungstutorat: Angewandte Methoden der Politikwissenschaft. Polito Seminar Carl Schweinitz 10.12.2014
Prüfungstutorat: Angewandte Methoden der Politikwissenschaft Polito Seminar Carl Schweinitz 10.12.2014 Übersicht 1. Einheiten und Variablen 2. Skalen und ihre Transformation 3. Deskriptive Statistik 4.
MehrTEIL 13: DIE EINFACHE LINEARE REGRESSION
TEIL 13: DIE EINFACHE LINEARE REGRESSION Die einfache lineare Regression Grundlagen Die einfache lineare Regression ist ebenfalls den bivariaten Verfahren für metrische Daten zuzuordnen 1 Sie hat einen
MehrTheoretical Analysis of Protein-Protein Interactions. Proseminar SS 2004
Theoretical Analysis of Protein-Protein Interactions Proseminar Virtual Screening: Predicting Pairs from Sequence Übersicht Einleitung 1.Modell: Vorhersage von Protein-Interfaces aus Sequenzprofilen und
MehrEinführung in die Bayes-Statistik. Helga Wagner. Ludwig-Maximilians-Universität München WS 2010/11. Helga Wagner Bayes Statistik WS 2010/11 1
Einführung in die Bayes-Statistik Helga Wagner Ludwig-Maximilians-Universität München WS 2010/11 Helga Wagner Bayes Statistik WS 2010/11 1 Organisatorisches Termine: Montag: 16.00-18.00 AU115 Dienstag:
MehrVorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke
Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,
Mehr7.2.1 Zweite partielle Ableitungen
72 72 Höhere Ableitungen 72 Höhere Ableitungen Vektorwertige Funktionen sind genau dann differenzierbar, wenn ihre Koordinatenfunktionen differenzierbar sind Es ist also keine wesentliche Einschränkung,
MehrRegression ein kleiner Rückblick. Methodenseminar Dozent: Uwe Altmann Alexandra Kuhn, Melanie Spate
Regression ein kleiner Rückblick Methodenseminar Dozent: Uwe Altmann Alexandra Kuhn, Melanie Spate 05.11.2009 Gliederung 1. Stochastische Abhängigkeit 2. Definition Zufallsvariable 3. Kennwerte 3.1 für
MehrBivariate lineare Regression. Statistik für SozialwissenschaftlerInnen II p.154
Bivariate lineare Regression Statistik für SozialwissenschaftlerInnen II p.154 Grundidee und Typen der Regression Die Regressionsanalyse dient zur Quantifizierung des Zusammenhangs und der statistisch
MehrLernen von Entscheidungsbäumen. Volker Tresp Summer 2014
Lernen von Entscheidungsbäumen Volker Tresp Summer 2014 1 Anforderungen an Methoden zum Datamining Schnelle Verarbeitung großer Datenmengen Leichter Umgang mit hochdimensionalen Daten Das Lernergebnis
MehrAnleitung: Standardabweichung
Anleitung: Standardabweichung So kann man mit dem V200 Erwartungswert und Varianz bzw. Standardabweichung bei Binomialverteilungen für bestimmte Werte von n, aber für allgemeines p nach der allgemeinen
Mehr4. Schließende Statistik (Inferenzstatistik, konfirmatorische Verfahren)
4. Schließende Statistik (Inferenzstatistik, konfirmatorische Verfahren) 4.1. Einführung Schätzen unbekannter Parameter im Modell, z.b. Wahrscheinlichkeiten p i (Anteile in der Gesamtmenge), Erwartungswerte
MehrNewton-Verfahren zur gleichungsbeschränkten Optimierung. 1 Gleichungsbeschränkte Optimierungsprobleme
Newton-Verfahren zur gleichungsbeschränkten Optimierung Armin Farmani Anosheh (afarmani@mail.uni-mannheim.de) 3.Mai 2016 1 Gleichungsbeschränkte Optimierungsprobleme Einleitung In diesem Vortrag geht es
Mehr1 Zahlen... 1 1.1 Anzahlen... 1 1.2 Reelle Zahlen... 10 1.3 Dokumentation von Messwerten... 12 1.4 Ausgewählte Übungsaufgaben...
Inhaltsverzeichnis 1 Zahlen... 1 1.1 Anzahlen... 1 1.2 Reelle Zahlen... 10 1.3 Dokumentation von Messwerten... 12 1.4 Ausgewählte Übungsaufgaben... 14 2 Beschreibende Statistik... 15 2.1 Merkmale und ihre
MehrProf. Dr. Christoph Kleinn Institut für Waldinventur und Waldwachstum Arbeitsbereich Waldinventur und Fernerkundung
Systematische Stichprobe Rel. große Gruppe von Stichprobenverfahren. Allgemeines Merkmal: es existiert ein festes, systematisches Muster bei der Auswahl. Wie passt das zur allgemeinen Forderung nach Randomisierung
MehrGMDS-Tagung 2006 Bioinformatik 1. Assessing the stability of unsupervised learning results in small-sample-size problems
GMDS-Tagung 2006 Bioinformatik 1 Assessing the stability of unsupervised learning results in small-sample-size problems Ulrich Möller Email: Ulrich.Moeller@hki-jena.de Leibniz Institute for Natural Product
MehrRegression I. Statistik I. Sommersemester Lineare Regression Zusammenhang und Modell Ein Beispiel: Armut und Gewaltverbrechen Zusammenfassung
Sommersemester 2009 Ein Beispiel: Armut und Gewaltverbrechen Rechtswahl 15 10 5 0 5 10 Arbeitslosigkeit Zum Nachlesen Agresti: 9.1-9.4 Gehring/Weins: 8 Schumann: 8.1-8.2 Was ist ein Zusammenhang? Gemeinsame
MehrModulklausur Multivariate Verfahren
Name, Vorname Matrikelnummer Modulklausur 31821 Multivariate Verfahren Datum Punkte Note Termin: 28. März 2014, 9.00-11.00 Uhr Erstprüfer: Univ.-Prof. Dr. H. Singer Hinweise zur Bearbeitung der Modulklausur
MehrML-Werkzeuge und ihre Anwendung
Kleine Einführung: und ihre Anwendung martin.loesch@kit.edu (0721) 608 45944 Motivation Einsatz von maschinellem Lernen erfordert durchdachtes Vorgehen Programmieren grundlegender Verfahren aufwändig fehlerträchtig
MehrZufallsgröße. Würfelwurf mit fairem Würfel. Wahrscheinlichkeitsverteilung einer diskreten
Zufallsgrößen Ergebnisse von Zufallsexperimenten werden als Zahlen dargestellt 0 Einführung Wahrscheinlichkeitsrechnung 2 Zufallsvariablen und ihre Verteilung 3 Statistische Inferenz 4 Hypothesentests
MehrKapitel ML:IV (Fortsetzung)
Kapitel ML:IV (Fortsetzung) IV. Statistische Lernverfahren Wahrscheinlichkeitsrechnung Bayes-Klassifikation Maximum-a-Posteriori-Hypothesen ML:IV-18 Statistical Learning c STEIN 2005-2011 Satz 3 (Bayes)
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Entscheidungsbäume
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Entscheidungsbäume Christoph Sawade/Niels Landwehr Jules Rasetaharison, Tobias Scheffer Entscheidungsbäume Eine von vielen Anwendungen:
MehrKostenmodell. Daniel Graf, Tobias Pröger. 22. September 2016 (aktualisierte Fassung 5 vom 9. Oktober 2016)
Kostenmodell Daniel Graf, Tobias Pröger 22. September 2016 (aktualisierte Fassung 5 vom 9. Oktober 2016) Erklärung: Diese Mitschrift ist als Ergänzung zur Vorlesung gedacht. Wir erheben keinen Anspruch
Mehr