Latente Dirichlet-Allokation
|
|
- Imke Fritzi Bäcker
- vor 7 Jahren
- Abrufe
Transkript
1 Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Latente Dirichlet-Allokation Tobias Scheffer Peter Haider Paul Prasse
2 Themenmodellierung Themenmodellierung (Topic modeling) liefert Methoden, große elektronische Archive automatisch zu organisieren, verstehen, durchsuchen und zusammenzufassen 1. Versteckte Themenmuster finden, die in der Dokumentensammlung reflektiert sind 2. Dokumente anhand der gefundenen Themen annotieren 3. Annotationen verwenden, um Dokumente zu organisieren und durchsuchen 2
3 Beispielthemen eines Textkorpus 3
4 Entwicklung von Themen über die Zeit 4
5 Zusammenhänge zwischen Themen 5
6 Annotation von Bildern 6
7 Probabilistische Modellierung 1. Behandlung der Daten als Beobachtungen, die aus einem generativen probabilistischen Prozess mit versteckten Variablen entstehen Bei Dokumenten reflektieren die versteckten Variablen die thematische Struktur der Textsammlung 2. Versteckte Struktur finden mit Posterior-Inferenz Was sind die Themen, die diese Sammlung beschreiben? 3. Neue Daten in das geschätzte Modell einsortieren Wie passt das neue Dokument in die Themenstruktur? 7
8 Latente Dirichlet-Allokation Generatives Modell für Texte (als bag-of-words) Jeder Text kann mehrere Themen enthalten Jedem Wort ist genau ein Thema zugeordnet 8
9 LDA intuitiv 9
10 Generatives Modell Themen Dokumente Themenanteile und Zuweisungen Jedes Dokument hat eine Mischung aus (korpus-globalen) Themen Themen sind Verteilungen über die Wörter des Vokabulars Jedes Wort ist aus einem der Themen gezogen 10
11 Inferenzproblem Themen Dokumente Themenanteile und Zuweisungen In Wirklichkeit sind nur die Dokumente beobachtet Das Ziel ist, die zugrundeliegende Themenstruktur zu inferieren 11
12 Graphische Modelle Knoten sind Zufallsvariablen Kanten beschreiben mögliche Abhängigkeiten Beobachtete Variablen sind schattiert Tafeln (plates) beschreiben replizierte Struktur 12
13 Graphische Modelle Struktur des Graphen definiert bedingte Unabhängigkeiten zwischen den Zufallsvariablen Obiger Graph bedeutet: 13
14 Latente Dirichlet-Allokation Dirichlet- Hyperparameter Themenanteile pro Dokument Themenzuweisung pro Wort Beobachtetes Wort Themen Themen- Hyperparameter 14
15 Latente Dirichlet-Allokation Modell spezifiziert bedingte Unabhängigkeiten: Hyperparameter α und η sind fest 15
16 Latente Dirichlet-Allokation Modellierung der einzelnen Verteilungen: Jedes Thema β k ist eine Verteilung über Wörter des Vokabulars (Multinomialverteilung) Verteilung über Themen ist Verteilung über Parameter der Multinomialverteilung Wahl bei LDA: Dirichlet-Verteilung 16
17 Wiederholung: Dirichlet-Verteilung Verteilung über nichtnegative Vektoren, deren Summe 1 ergibt Verallgemeinerung der Beta-Verteilung auf mehr als 2 Dimensionen Parametrisiert durch positiven Vektor Dichtefunktion: 17
18 Wiederholung: Dirichlet-Verteilung 18
19 Wiederholung: Dirichlet-Verteilung Je größer die Summe der Alphas, desto spitzer ist die Verteilung Zieht man aus einer spitzen Verteilung, erhält man Vektoren, die schwach variieren Je kleiner die Summe der Alphas, desto mehr Wahrscheinlichkeitsmasse konzentriert sich auf die Ränder und Ecken Zieht man daraus, erhält man sparse Vektoren (meiste Komponenten 0) 19
20 Wiederholung: Dirichlet-Verteilung Dirichlet-Verteilung ist der konjugierte Prior der Multinomialverteilung Posterior hat selbe Form wie der Prior Bei LDA: normalerweise austauschbarer Dirichletprior alle Komponenten des Parametervektors identisch effektiv nur ein Parameter 20
21 Latente Dirichlet-Allokation Modellierung der einzelnen Verteilungen: andere Schreibweise für wichtig hier: α < 1, um sparse θ zu erzeugen Jedes Wort wird aus dem entsprechenden Thema gezogen 21
22 LDA: Teilprobleme Aus gegebener Dokumentensammlung, inferiere Themenzuweisungen für jedes Wort z d,n Themenanteile für jedes Dokument θ d Verteilung über Vokabular für jedes Thema β k jeweils die Posterior-Verteilungen davon Benutze Posterior-Erwartungswerte für verschiedene Anwendungen, z.b. Information Retrieval, Dokumentähnlichkeit, usw. 22
23 Posterior-Inferenz Berechnung der Posterior-Verteilung zu schwierig: Daher: Approximative Posterior-Inferenz Mehrere Möglichkeiten: Mean-field-variational-Methoden Expectation propagation Collapsed variational inference Gibbs sampling einfachstes Verfahren 23
24 Gibbs-Sampling Echte Posteriorverteilung zu schwierig Gibbs-Sampling produziert Samples aus der echten Verteilung Idee: Posterior für einzelne Zufallsvariablen ist leicht zu berechnen, z.b. D.h. man kann nacheinander jede einzelne Zufallsvariable neu aus ihrem Posterior gegeben alle anderen Variablen ziehen 24
25 Gibbs-Sampling Neu ziehen von einzelnen Variablen entspricht Zustandsübergang Zustand = komplette Belegung von allen Variablen Iteratives neu ziehen ist Random Walk auf dem Zustandsgraphen 25
26 Gibbs-Sampling Häufigkeiten des Besuchs von Zuständen entspricht Verteilung über die Belegungen der Zufallsvariablen Theorem: Wenn man sich lange genug auf dem Zustandsgraphen bewegt, und die Zustandsübergänge aus den Einzel-Posteriors zieht, konvergieren die Besuchshäufigkeiten zur Gesamt-Posterior-Verteilung 26
27 Gibbs-Sampling Theorem: Wenn man sich lange genug auf dem Zustandsgraphen bewegt, und die Zustandsübergänge aus den Einzel-Posteriors zieht, konvergieren die Besuchshäufigkeiten zur Gesamt-Posterior-Verteilung egal wo man anfängt 27
28 Gibbs-Sampling Um Samples aus dem Gesamtposterior zu erhalten, mit beliebigem Startwert beginnen, und samplen, bis die Verteilung konvergiert zwischen dem Entnehmen einzelner Samples viele Sampleschritte durchführen, damit die Samples voneinander unabhängig sind 28
29 Gibbs-Sampling: Algorithmus Für i von 1 bis z.b. Für j von 1 bis 1000 Für alle Themen k: Ziehe Für alle Dokumente d: Ziehe Für alle Wörter n in Dokument d: Ziehe Gib Posterior-Sample aus 29
30 Gibbs-Sampling Anwendung der Posterior-Samples: Vorhersagen mitteln Z.B. Berechnung der Ähnlichkeit zweier Dokumente als inneres Produkt der Themenverteilungen Bayesian Model Averaging Ersetzen des Integrals über die Posterior-Verteilung durch Summe über Samples aus dem Posterior 30
31 Collapsed Gibbs-Sampling Bei normalem Gibbs-Sampling: sehr viele Iterationen notwendig Verbesserung: nur Z samplen, θ und β rausintegrieren Idee dahinter: kleinerer Zustandsgraph, da Zustand nur noch aus Z besteht Statt : 31
32 Collapsed Gibbs-Sampling 32
33 Collapsed Gibbs-Sampling 1. Term ( Likelihood ): Zähler, wie oft Wort w Thema z zugewiesen ist (ohne w d,n ) Größe des Vokabulars Zähler, wie viele Wörter Thema z zugewiesen sind (ohne w d,n ) 33
34 Collapsed Gibbs-Sampling 2. Term ( Prior ): Zähler, wie viele Wörter in d Thema z zugewiesen sind (ohne w d,n ) Anzahl der Themen Anzahl der Wörter in d (ohne w d,n ) 34
35 Collapsed Gibbs-Sampling Effizient implementierbar Man muss sich immer nur die 4 verschiedenen Typen von Zählern merken Bei Bedarf lassen sich zusätzlich Samples für θ und β generieren Einfach aus dem Posterior ziehen Braucht weniger Iterationen als normales Gibbs- Sampling, da kleinerer Zustandsgraph schnelleres Einpendeln auf richtige Verteilung 35
36 Beispielinferenz Daten: Sammlung von Artikeln in Science von Dokumente 11 Mio. Wörter verschiedene Vokabeln (ohne Stopwörter und seltene Wörter) Modell: LDA mit 100 Themen 36
37 Beispielinferenz Wahrscheinlichkeit Themen 37
38 Beispielinferenz 38
39 Beispielinferenz 39
40 Beispielinferenz 40
41 Verwendung, um Dokumentensammlungen zu durchforsten 41
42 Fragen? 42
43 Acknowledgements Folien basieren teilweise auf Tutorial von David Blei, Machine Learning Summer School
Topicmodelle. Gerhard Heyer, Patrick Jähnichen Universität Leipzig. tik.uni-leipzig.de
Topicmodelle Universität Leipzig heyer@informa tik.uni-leipzig.de jaehnichen@informatik.uni-leipzig.de Institut für Informatik Topicmodelle Problem: je mehr Informationen verfügbar sind, desto schwieriger
MehrLDA-based Document Model for Adhoc-Retrieval
Martin Luther Universität Halle-Wittenberg 30. März 2007 Inhaltsverzeichnis 1 2 plsi Clusterbasiertes Retrieval 3 Latent Dirichlet Allocation LDA-basiertes Retrieval Komplexität 4 Feineinstellung Parameter
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer Christoph Sawade
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Christoph Sawade Heute: Niels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz:
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Sprachtechnologie. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer Thomas Vanck Statistik & Maschinelles Lernen Statistik: Deskriptive Statistik: Beschreibung (Tabellen,
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrStatistische Sprachmodelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Statistische Sprachmodelle Tobias Scheffer Thomas Vanck Statistische Sprachmodelle Welche Sätze sind Elemente einer Sprache (durch
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Christoph Sawade/Niels Landwehr/Tobias Scheffer Überblick Problemstellung/Motivation Deterministischer i ti Ansatz:
MehrClusteranalyse: Gauß sche Mischmodelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse: Gauß sche Mischmodelle iels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrBayessche Lineare Regression
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Baessche Lineare Regression Niels Landwehr Überblick Baessche Lernproblemstellung. Einführendes Beispiel: Münzwurfexperimente.
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Niels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer Ansatz:
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen
Universität Potsdam Institut für Informatik Lehrstuhl Niels Landwehr, Silvia Makowski, Christoph Sawade, Tobias Scheffer Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Übung: Di 10:00-11:30
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle iels Landwehr Überblick: Graphische Modelle Graphische Modelle: Werkzeug zur Modellierung einer Domäne mit verschiedenen
MehrInstitut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle Christoph Sawade/iels Landwehr/Tobias Scheffer Graphische Modelle: Inferenz Wir haben eine Domäne durch gemeinsame
MehrDokumenten- und Topicmodelle. Institut für Informatik
Dokumenten- und Topicmodelle Institut für Informatik Aufbau von Textkorpora Korpus C enthält Menge von D Dokumenten jedes Dokument enthält Menge von N i Wörtern gesamter Korpus enthält Vokabular von V
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle iels Landwehr Überblick Graphische Modelle: Synta und Semantik Graphische Modelle im Maschinellen Lernen Eakte
MehrTheoretische Informatik 1
Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle iels Landwehr Überblick Graphische Modelle: Synta und Semantik Graphische Modelle im Maschinellen Lernen Eakte
MehrGibbs sampling. Sebastian Pado. October 30, Seien X die Trainingdaten, y ein Testdatenpunkt, π die Parameter des Modells
Gibbs sampling Sebastian Pado October 30, 2012 1 Bayessche Vorhersage Seien X die Trainingdaten, y ein Testdatenpunkt, π die Parameter des Modells Uns interessiert P (y X), wobei wir über das Modell marginalisieren
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informati Lehrstuhl Maschinelles Lernen Clusteranalyse Christoph Sawade/iels Landwehr/Tobias Scheffer Überblic Problemstellung/Motivation Deterministischer Ansatz: K-Means
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Niels Landwehr, Jules Rasetaharison, Christoph Sawade, Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Niels Landwehr, Jules Rasetaharison, Christoph Sawade, Tobias Scheffer Organisation Vorlesung/Übung, praktische
MehrHidden-Markov-Modelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Hidden-Markov-Modelle Tobias Scheffer Thomas Vanck Hidden-Markov-Modelle: Wozu? Spracherkennung: Akustisches Modell. Geschriebene
MehrSimulationsmethoden in der Bayes-Statistik
Simulationsmethoden in der Bayes-Statistik Hansruedi Künsch Seminar für Statistik, ETH Zürich 6. Juni 2012 Inhalt Warum Simulation? Modellspezifikation Markovketten Monte Carlo Simulation im Raum der Sprungfunktionen
MehrBayes-Netze (1) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Bayes-Netze (1) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl KI) Bayes-Netze (1) 1 / 22 Gliederung 1 Unsicheres Wissen 2 Schließen
MehrStatistische Sprachmodelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Statistische Sprachmodelle obias Scheffer Paul Prasse Michael Großhans Uwe Dick Statistische Sprachmodelle Welche Sätze sind Elemente
MehrMeasuring Distributional Semantics in Context
Motivation Modell Design Ergebnisse Zusammenfassung G. Dinu, M. Lapata (2010) Measuring Distributional Semantics in Context Melanie Tosik 6. Dezember 2013 M. Tosik Measuring Distributional Semantics in
MehrBayesianische Netzwerke - Lernen und Inferenz
Bayesianische Netzwerke - Lernen und Inferenz Manuela Hummel 9. Mai 2003 Gliederung 1. Allgemeines 2. Bayesianische Netzwerke zur Auswertung von Genexpressionsdaten 3. Automatische Modellselektion 4. Beispiel
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle Christoph Sawade/Niels Landwehr/Tobias Scheffer Graphische Modelle Werkzeug zur Modellierung einer Domäne mit
MehrMathematische Grundlagen (Bayes sches Lernen)
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Mathematische Grundlagen (Bayes sches Lernen) Tobias Scheffer Michael Großhans Paul Prasse Uwe Dick Anwendungsbeispiel 1: Diagnostik
MehrVorlesung Maschinelles Lernen
Vorlesung Maschinelles Lernen Strukturelle Modelle Conditional Random Fields Katharina Morik LS 8 Informatik Technische Universität Dortmund 17.12. 2013 1 von 27 Gliederung 1 Einführung 2 HMM 3 CRF Strukturen
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayes sches Lernen. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Bayes sches Lernen Niels Landwehr Überblick Grundkonzepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe
MehrDer Metropolis-Hastings Algorithmus
Der Algorithmus Michael Höhle Department of Statistics University of Munich Numerical Methods for Bayesian Inference WiSe2006/07 Course 30 October 2006 Markov-Chain Monte-Carlo Verfahren Übersicht 1 Einführung
MehrÜbersicht. 1 Einführung in Markov-Chain Monte-Carlo Verfahren. 2 Kurze Wiederholung von Markov-Ketten
Markov-Chain Monte-Carlo Verfahren Der Algorithmus Michael Höhle Department of Statistics University of Munich Numerical Methods for Bayesian Inference WiSe2006/07 Course 30 October 2006 Übersicht 1 Einführung
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Belief Propagation, Strukturlernen Nico Piatkowski und Uwe Ligges 29.06.2017 1 von 13 Überblick Was bisher geschah... Modellklassen Verlustfunktionen Numerische Optimierung
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Probabilistische Nico Piatkowski und Uwe Ligges 22.06.2017 1 von 32 Überblick Was bisher geschah... Modellklassen Verlustfunktionen Numerische Optimierung Regularisierung
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle Christoph Sawade/iels Landwehr/Tobias Scheffer Graphische Modelle Modellierung einer Domäne mit verschiedenen
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen. Tobias Scheffer Michael Brückner
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Tobias Scheffer Michael Brückner Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Übung: Mo 10:00-11:30
MehrSemester-Fahrplan 1 / 17
Semester-Fahrplan 1 / 17 Hydroinformatik I Einführung in die Hydrologische Modellierung Bayes sches Netz Olaf Kolditz *Helmholtz Centre for Environmental Research UFZ 1 Technische Universität Dresden TUDD
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer, Tom Vanck, Paul Prasse
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer, Tom Vanck, Paul Prasse Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Termin: Montags,
MehrÜberblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression
Überblic Grundonepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münwürfe Lineare Regression Logistische Regression Bayes sche Vorhersage Münwürfe Lineare Regression 14 Modell für Münwürfe
MehrInformation Retrieval,
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Information Retrieval, Vektorraummodell Tobias Scheffer Uwe Dick Peter Haider Paul Prasse Information Retrieval Konstruktion von
MehrBayes-Netze (2) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Bayes-Netze (2) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl KI) Bayes-Netze (2) 1 / 23 Gliederung 1 Zusammenhang zwischen Graphenstruktur
MehrDisMod-Repetitorium Tag 3
DisMod-Repetitorium Tag 3 Markov-Ketten 21. März 2018 1 Markov-Ketten Was ist eine Markov-Kette? Was gehört alles dazu? Darstellung als Graph und als Matrix Stationäre Verteilung und Grenzverteilung Ergodizität
Mehrdie Relevanz von Webseiten bestimmt Alexander Pohl
Wie die Relevanz von Webseiten bestimmt Alexander Pohl Gliederung 1. Einleitung 2. Das Web als Graph 3. Das Random Surfer Modell 4. Gleichgewicht im Random Surfer Modell (?) 5. Vervollständigung des Modells:
MehrFolien zu Data Mining von I. H. Witten und E. Frank. übersetzt von N. Fuhr
Folien zu Data Mining von I. H. Witten und E. Frank übersetzt von N. Fuhr Von Naivem Bayes zu Bayes'schen Netzwerken Naiver Bayes Annahme: Attribute bedingt unabhängig bei gegebener Klasse Stimmt in der
MehrÜberblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression
Überblick Grundkonzepte des Baes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Baes sche Vorhersage Münzwürfe Lineare Regression 57 Erinnerung:
MehrBayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L
Bayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L Inhalt Grundlagen aus der Wahrscheinlichkeitsrechnung Hypothesenwahl Optimale Bayes Klassifikator Naiver Bayes Klassifikator
MehrTU DORTMUND Sommersemester 2018
Fakultät Statistik. April 08 Blatt Aufgabe.: Wir betrachten das Zufallsexperiment gleichzeitiges Werfen zweier nicht unterscheidbarer Würfel. Sei A das Ereignis, dass die Augensumme beider Würfel ungerade
MehrMathematische Grundlagen
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Mathematische Grundlagen Tobias Scheffer Peter Haider Paul Prasse Bayes sches Lernen: Anwendungsbeispiel Neuer Impfstoff wurde
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Sprachtechnologie. Tobias Scheffer Paul Prasse Michael Großhans
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer Paul Prasse Michael Großhans Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. 6 Leistungspunkte
MehrLineare Klassifikatoren
Universität Potsdam Institut für Informatik Lehrstuhl Lineare Klassifikatoren Christoph Sawade, Blaine Nelson, Tobias Scheffer Inhalt Klassifikationsproblem Bayes sche Klassenentscheidung Lineare Klassifikator,
MehrWahrscheinlichkeitsrechnung und Statistik
8. Vorlesung Pseudozufallszahlen sind, wie der Name schon sagt, keine echten Zufallszahlen, sondern werden durch Generatoren erzeugt. Als Pseudozufallszahlen bezeichnet man Zahlenfolgen die durch einen
MehrStrukturelle SVM zum Graph-labelling
23. Juni 2009 1 Was wir gerne hätten...... und der Weg dorthin Erinnerung: strukturelle SVM 2 Junction Tree Algorithmus Loopy Belief Propagation Gibbs Sampling 3 Umfang Qualität der Algorithmen Schlussfolgerungen
MehrDatenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität
Datenstrukturen und Algorithmen Christian Sohler FG Algorithmen & Komplexität 1 Clustering: Partitioniere Objektmenge in Gruppen(Cluster), so dass sich Objekte in einer Gruppe ähnlich sind und Objekte
MehrStatistik II. Version A. 1. Klausur Sommersemester 2011 Hamburg, BITTE LESERLICH IN DRUCKBUCHSTABEN AUSFÜLLEN!
Statistik II Version A 1. Klausur Sommersemester 2011 Hamburg, 27.07.2011 BITTE LESERLICH IN DRUCKBUCHSTABEN AUSFÜLLEN! Nachname:............................................................................
Mehr12. Vorlesung. Statistische Sprachmodelle für Information Retrieval
12. Vorlesung Statistische Sprachmodelle für Information Retrieval Allgemeiner Ansatz Unigram Modell Beziehung zum Vektorraummodell mit TF-IDF Gewichten Statistische Spachmodelle zur Glättung Idee von
MehrFortgeschrittene Ökonometrie: Maximum Likelihood
Universität Regensburg, Lehrstuhl für Ökonometrie Sommersemester 202 Fortgeschrittene Ökonometrie: Maximum Likelihood Poissonverteilung Man betrachte die poisson-verteilten Zufallsvariablen y t, t =, 2,...,
MehrUE Statistische Mustererkennung WS 2018 Angaben zur 2ten Aufgabengruppe
UE Statistische Mustererkennung WS 2018 Angaben zur 2ten Aufgabengruppe 1 Aufgabe UE-II.1 Generieren Sie je 1000 Stichproben (samples) mit Umfang 5/30/100/500 für die Normalverteilung N(µ, σ 2 ) = N(4,
MehrActive Hidden Markov Models for Information Extraction
HMMs in der IE p.1/28 Active Hidden Markov Models for Information Extraction Seminar Informationsextraktion im WiSe 2002/2003 Madeleine Theile HMMs in der IE p.2/28 Inhaltsübersicht Ziel formalere Aufgabenbeschreibung
MehrVorlesung Wissensentdeckung
Vorlesung Wissensentdeckung Klassifikation und Regression: nächste Nachbarn Katharina Morik, Uwe Ligges 14.05.2013 1 von 24 Gliederung Funktionsapproximation 1 Funktionsapproximation Likelihood 2 Kreuzvalidierung
MehrProbabilistische Graphische Modelle
Probabilistische Graphische Modelle 1 Probabilistische Graphische Modelle Sven Wachsmuth Universität Bielefeld, Technische Fakultät, AG Angewandte Informatik WS 2006/2007 Probabilistische Graphische Modelle
MehrArbeit: Page, Brin, Motwani, Winograd (1998). Ziel: Maß für absolute
3.4 PageRank Arbeit: Page, Brin, Motwani, Winograd (1998). Ziel: Maß für absolute Wichtigkeit von Webseiten; nicht Relevanz bezüglich Benutzeranfrage. Anfrageunabhängiges Ranking. Ausgangspunkt: Eingangsgrad.
MehrSeminar: Data Mining. Referat: Andere Möglichkeiten des Data Mining in verteilten Systemen. Ein Vortrag von Mathias Rohde. 11.
Referat: Andere Möglichkeiten des Data Mining in verteilten Systemen 11. Juni 2009 Gliederung 1 Problemstellung 2 Vektorprodukt Approximationen Samplesammlung 3 Schritte Lokalität und Nachrichtenkomplexität
MehrAufgaben. d) Seien X und Y Poissonverteilt mit Parameter µ, X, Y P(µ). 2. Dann ist die Summe auch Poissonverteilt mit (X + Y ) P(2µ).
Aufgaben 1. Bei den folgenden 10 Fragen ist jeweils genau eine Antwort richtig. Es gibt pro richtig beantwortete Frage 1 Punkt und pro falsche Antwort 1/2 Punkt Abzug. Minimal erhält man für die gesamte
MehrKern- und Schulcurriculum
ern- und chulcurriculum Mathemathik 9/10 lasse 9 Themen / Arbeitsbereiche Ähnlichkeit und trahlensätze Inhalte / trukturen ompetenzen / Zentrische treckung trahlensätze Leitidee Raum und Form Figuren zentrisch
MehrStatistik III. Walter Zucchini Fred Böker Andreas Stadie
Statistik III Walter Zucchini Fred Böker Andreas Stadie Inhaltsverzeichnis 1 Zufallsvariablen und ihre Verteilung 1 1.1 Diskrete Zufallsvariablen........................... 1 1.2 Stetige Zufallsvariablen............................
MehrNachholklausur zur Vorlesung Schätzen und Testen I. 04. April Bitte ausfüllen und unterschreiben!!!
Nachholklausur zur Vorlesung Schätzen und Testen I 04. April 2013 Volker Schmid, Ludwig Bothmann, Julia Sommer Aufgabe 1 2 3 4 5 6 Punkte Note Bitte ausfüllen und unterschreiben!!! Name, Vorname: Matrikelnummer:
MehrStochastik-Praktikum
Stochastik-Praktikum Markov Chain Monte Carlo Peter Frentrup Humboldt-Universität zu Berlin 16. Januar 2018 (Humboldt-Universität zu Berlin) Markov Chain Monte Carlo 16. Januar 2018 1 / 17 Übersicht 1
MehrProbabilistische Graphische Modelle
Probabilistische Graphische Modelle 1 Probabilistische Graphische Modelle Sven Wachsmuth Universität Bielefeld, Technische Fakultät, AG Angewandte Informatik WS 2006/2007 Übersicht über die Vorlesung Probabilistische
MehrStochastik (BSc D-MAVT / BSc D-MATH / BSc D-MATL)
Prof. Dr. P. Embrechts ETH Zürich Winter 2012 Stochastik (BSc D-MAVT / BSc D-MATH / BSc D-MATL) Schreiben Sie für Aufgabe 2-4 stets alle Zwischenschritte und -rechnungen sowie Begründungen auf. Aufgabe
MehrSCHNITTERHALTUNG (SPEKTRALE APPROXIMATION)
Vorlesung 12 AUSDÜNNUNG VON GRAPHEN SCHNITTERHALTUNG (SPEKTRALE APPROXIMATION) 387 Wiederholung: Approximative Schnitterhaltung Ziel: Approximationsalgorithmus: A(S(G)) Ziele bei Eingabe eines dichten
MehrStatistik Klausur Sommersemester 2013 Hamburg, BITTE LESERLICH IN DRUCKBUCHSTABEN AUSFÜLLEN!
Statistik 2 1. Klausur Sommersemester 2013 Hamburg, 26.07.2013 A BITTE LESERLICH IN DRUCKBUCHSTABEN AUSFÜLLEN! Nachname:............................................................................ Vorname:.............................................................................
MehrLineare Klassifikationsmethoden
Verena Krieg Fakultät für Mathematik und Wirtschaftswissenschaften 08. Mai 2007 Inhaltsverzeichnis 1. Einführung 2. Lineare Regression 3. Lineare Diskriminanzanalyse 4. Logistische Regression 4.1 Berechnung
MehrInformation Retrieval, Vektorraummodell
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Information Retrieval, Vektorraummodell Tobias Scheffer Paul Prasse Michael Großhans Uwe Dick Information Retrieval Konstruktion
MehrSchriftlicher Test Teilklausur 2
Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Wintersemester 2012 / 2013 Albayrak, Fricke (AOT) Opper, Ruttor (KI) Schriftlicher
Mehr13 Mehrdimensionale Zufallsvariablen Zufallsvektoren
3 Mehrdimensionale Zufallsvariablen Zufallsvektoren Bisher haben wir uns ausschließlich mit Zufallsexperimenten beschäftigt, bei denen die Beobachtung eines einzigen Merkmals im Vordergrund stand. In diesem
MehrFrequentisten und Bayesianer. Volker Tresp
Frequentisten und Bayesianer Volker Tresp 1 Frequentisten 2 Die W-Verteilung eines Datenmusters Nehmen wir an, dass die wahre Abhängigkeit linear ist, wir jedoch nur verrauschte Daten zur Verfügung haben
MehrModellanpassung und Parameterschätzung. A: Übungsaufgaben
7 Modellanpassung und Parameterschätzung 1 Kapitel 7: Modellanpassung und Parameterschätzung A: Übungsaufgaben [ 1 ] Bei n unabhängigen Wiederholungen eines Bernoulli-Experiments sei π die Wahrscheinlichkeit
MehrFACHCURRICULUM KL. 9. Raum und Form Figuren zentrisch strecken Üben und Festigen. Strahlensätze. Rechtwinklige Dreiecke.
MATHEMATIK Schönbuch-Gymnasium Holzgerlingen Seite 1/5 Ähnliche Figuren - Strahlensätze Figuren zentrisch strecken Eigenschaften der zentrischen Streckung kennen und Zentrische Streckung anwenden Strahlensätze
Mehr5 Suchmaschinen Page Rank. Page Rank. Information Retrieval und Text Mining FH Bonn-Rhein-Sieg, SS Suchmaschinen Page Rank
Page Rank Google versucht die Bedeutung von Seiten durch den sogenannten Page Rank zu ermitteln. A C Page Rank basiert auf der Verweisstruktur des Webs. Das Web wird als großer gerichteter Graph betrachtet.
Mehr5 Allgemeine Verfahren zum Testen von Hypothesen
5 Allgemeine Verfahren zum Testen von Hypothesen 5.1 Likelihood Schätzung für multivariate Daten Statistisches Modell: Einfache Zufallsstichprobe X 1,..., X n (unabhängige Wiederholungen von X IR d ).
MehrBayes sche Netze: Konstruktion, Inferenz, Lernen und Kausalität. Volker Tresp
Bayes sche Netze: Konstruktion, Inferenz, Lernen und Kausalität Volker Tresp 1 Einführung Bisher haben wir uns fast ausschließich mit überwachtem Lernen beschäftigt: Ziel war es, eine (oder mehr als eine)
MehrStatistik und Wahrscheinlichkeitsrechnung
Statistik und Wahrscheinlichkeitsrechnung 11. Vorlesung Jochen Köhler 10.05.011 1 Inhalt der heutigen Vorlesung Zusammenfassung Parameterschätzung Übersicht über Schätzung und Modellbildung Modellevaluation
MehrSeminar in Statistik - FS Nonparametric Bayes. Handout verfasst von. Ivo Francioni und Philippe Muller
Seminar in Statistik - FS 2008 Nonparametric Bayes Handout verfasst von Ivo Francioni und Philippe Muller Zürich, 17. März 2008 1 EINLEITUNG 1 1 Einleitung Bis jetzt haben wir in der Bayes schen Statistik
MehrVorhersage von Protein-Funktionen. Patrick Pfeffer
Vorhersage von Protein-Funktionen Patrick Pfeffer Überblick Motivation Einleitung Methode Markov Random Fields Der Gibbs Sampler Parameter-Schätzung Bayes sche Analyse Resultate Pfeffer 2 Motivation Es
Mehr1.3 Wiederholung der Konvergenzkonzepte
1.3 Wiederholung der Konvergenzkonzepte Wir erlauben nun, dass der Stichprobenumfang n unendlich groß wird und untersuchen das Verhalten von Stichprobengrößen für diesen Fall. Dies liefert uns nützliche
MehrMustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle
Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Hypothesenbewertung. Christoph Sawade/Niels Landwehr Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Hypothesenbewertung Christoph Sawade/Niels Landwehr Tobias Scheffer Überblick Wiederholung: Konfidenzintervalle Statistische Tests
Mehr1. Eigenschaften einer Zufallsstichprobe
1. Eigenschaften einer Zufallsstichprobe 1.1 Grundkonzepte Definition 1.1.1: Man nennt die Zufallsvariablen X 1,..., X n zufällige Stichprobe oder Zufallsstichprobe vom Umfang n aus der Population (Grundgesamtheit)
MehrStatistik und Wahrscheinlichkeitsrechnung
Statistik und Wahrscheinlichkeitsrechnung Dr. Jochen Köhler 1 Inhalt der heutigen Vorlesung Statistik und Wahrscheinlichkeitsrechnung Zusammenfassung der vorherigen Vorlesung Übersicht über Schätzung und
MehrAllgemeine lineare Modelle
262 Merkpunkte Allgemeine lineare Modelle Multiple lineare Regression mit nicht-normalen Zufallsabweichungen bilden eine harmlose" Verallgemeinerung der multiplen lin. Regr. Beispiele: Gumbel-Regression,
MehrSyntaktische und Statistische Mustererkennung. Bernhard Jung
Syntaktische und Statistische Mustererkennung VO 1.0 840.040 (UE 1.0 840.041) Bernhard Jung bernhard@jung.name http://bernhard.jung.name/vussme/ 1 Rückblick Nicht lineare Entscheidungsfunktionen SVM, Kernel
MehrElementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung
Elementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung Kursfolien Karin Haenelt 1 Übersicht Wahrscheinlichkeitsfunktion P Wahrscheinlichkeit und bedingte Wahrscheinlichkeit Bayes-Formeln
MehrWahrscheinlichkeitsrechnung und Statistik
6. Vorlesung - 2018 Diskrete ZG eine diskrete ZG X wird vollständig durch ihre Wahrscheinlichkeitsverteilung beschrieben ( ) x1 x X 2... x i... = p 1 p 2... p i... P(X (a, b]) = und die Verteilungsfunktion
MehrReranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart
Institut für maschinelle Sprachverarbeitung Universität Stuttgart schmid@ims.uni-stuttgart.de Die Folien basieren teilweise auf Folien von Mark Johnson. Koordinationen Problem: PCFGs können nicht alle
MehrBibSpider Eine neue Recherchemethode für Schlagwort- und Titelsuche
know-how innovation BibSpider Eine neue Recherchemethode für Schlagwort- und Titelsuche 05.09.2018, Adriano Meyer Broyn solution Zielsetzungen Zusammenspiel von Titeln und Inhaltserschliessung besser verstehen.
MehrAufgabe Gegeben sind die folgenden aussagenlogischen Formeln F, G, H über den Variablen u, w, y, z:
Aufgabe 1.1 8 (a) Zeichnen Sie einen einfachen Graphen mit der Gradsequenz (1, 2, 2, 2, 3, 4). (b) Ist jeder einfache Graph mit der Gradsequenz (1, 2, 2, 2, 3, 4) zusammenhängend? (c) Hat jeder einfache
MehrAufgabe Gegeben sind die folgenden aussagenlogischen Formeln F, G, H über den Variablen s, u, w, y:
Aufgabe 3.1 8 (a) Zeichnen Sie einen einfachen Graphen mit der Gradsequenz (2, 3, 3, 3, 3, 4). (b) Ist jeder einfache Graph mit der Gradsequenz (2, 3, 3, 3, 3, 4) zusammenhängend? (c) Hat jeder einfache
Mehr