Topicmodelle Universität Leipzig heyer@informa tik.uni-leipzig.de jaehnichen@informatik.uni-leipzig.de Institut für Informatik
Topicmodelle Problem: je mehr Informationen verfügbar sind, desto schwieriger ist der Zugriff darauf Drei Schritte beim modellieren: Vorliegende Daten werden als Beobachtung gesehen, die durch einen generativen probabilistischen Prozess mit latenten Variablen entstehen Bei Dokumenten sind latente Variablen die versteckte Themenstruktur, d.h. Topics Inferenz der Struktur mittels a posteriori Approximation Neue Daten in das geschätzte Modell einbringen und einordnen Vorteil gegenüber räumlicher Repräsentation: Jedes Topic einzeln interpretierbar Bietet Wahrscheinlichkeitsverteilung über Wörter, damit kohärente Cluster von semantisch ähnlichen Wörtern
Grundlagen Institut für Informatik
Bayes sche Wahrscheinlichkeit Andere Interpretation des Wahrscheinlichkeitsbegriffs Erweiterung des Logikbegriffes Wahr und Falsch sind unsicher Wahrscheinlichkeit einer Hypothese wird evaluiert anhand einer a priori Wahrscheinlichkeit der Hypothese Diese wird aktualisiert anhand der Daten Wahrscheinlichkeit ist Gradmesser der Plausibilität einer Hypothese anstatt Hypothese zu testen, ohne ihr eine Wahrscheinlichkeit zuzuordnen (Wkt der Hypothese ist hier 0 oder 1) Nutzung bei Experimenten die nicht wiederholt werden können z.b. Wahrscheinlichkeit, das Komet die Erde trifft, Wettwahrscheinlichkeiten
Bayes sche Wahrscheinlichkeit Beispiel H - Hypothese D - Daten w - Parameter der Hypothese In Worten:
Einschub: Likelihoodverteilung Likelihoodverteilung: P(D w) Also Wahrscheinlichkeit, dass die vorliegenden Daten mit Hilfe der Parameter w entstanden sind bzw. erklärt werden können Am Beispiel plsi (eigentlich Log-Likelihood): Hier: Summe über alle Dokumente und Wörter des Produkts aus Frequenz eines Wortes und dessen Wahrscheinlichkeit Modellparameter sind hier in Berechnung P(w,d) eingebunden Iterativer Algorithmus zur asymptotischen Annäherung an Maximum: Expectation-Maximization (Hofmann, 1999)
Konjugierte Verteilungen Konjugierte Verteilungen sind in Bayes scher Statistik wichtig für einfache Inferenz Ist a posteriori Verteilung in gleicher Familie wie a priori Verteilung so heißen beide konjugierte Verteilungen A priori Verteilung heißt dann konjugierter Prior der likelihood Verteilung Beispiel: likelihood Verteilung ist multinomial (eigentlich kategorial) Konjugierte zur Multinomialverteilung ist die Dirichlet-Verteilung Zur Erinnerung: Parameter der Multinomialverteilung ist Vektor p
Dirichlet-Verteilung Multinomiale Verteilung gibt Wahrscheinlichkeiten für das Auftreten von K verschiedenen, sich einander ausschließenden Ereignissen an Dirichlet-Verteilung als Konjugierte a priori Verteilung gibt an, wie wahrscheinlich eine solche Multinomialverteilung ist Beispiel Würfel: Multinomialverteilung gibt an wie wahrscheinlich 1, 2 etc. auftritt A priori Verteilung sollte hohe Wahrscheinlichkeit auf diejenige Multinomialverteilung geben, die allen Augenzahlen gleiche Wahrscheinlichkeit zuweist Steuerung über sog. Hyperparameter α z.b. Dir(1000,1000,1000,1000,1000,1000), α symmetrisch und groß (>1) α klein (<1) gewählt würde Verteilungen für Würfel ergeben, bei denen nur wenige Augenzahlen eine hohe Wahrscheinlichkeit erhalten (welche ist ungewiss, da α weiterhin symmetrisch)
Beispiel: Asymmetrische Dirichletverteilung
Dirichlet-Verteilung, alpha = 1
Dirichlet-Verteilung, alpha = 10
Dirichlet-Verteilung, alpha = 100
Dirichlet-Verteilung, alpha = 0.5
Dirichlet-Verteilung, alpha = 0.1
Modelle mit latenten Variablen Wdh: latente Variable nicht direkt messbar, nur über Observablen ableitbar Wie? Definiere multivariate Verteilung über latente Variable und Observablen Kann mithilfe der observablen Variablen, Bayes schem Gesetz und Marginalisierung berechnet werden
Generative Modelle Basieren auf einfachen Samplingregeln Beschreiben, wie Dokumente auf Basis eines latenten Parameters generiert werden können Ziel beim Anpassen des Modells: besten Satz von latenten Parametern finden, der gefundene Daten erklärt
Latent Dirichlet Allocation Institut für Informatik
Motivation Einfach: Dokumente beinhalten mehrere Themen/Topics
Generativer Prozess
LDA (Blei et. al.) Ausgehend von Bag-of-Words Ansatz Ein Dokument ist eine Mischung von Topics (latent) Ein Topic ist eine Mischung von Wörtern (observabel) Notation P(w z) ist eine Verteilung über Wörter für ein Topic z P(z i = j) ist die Wkt. das dem i-tem Wort Topic j zugeordnet wird P(w i z i = j) ist die Wkt. von Wort w i im Topic j Damit ergibt sich Verteilung über alle Wörter im Dokument
Einschub: Graphische Modelle (Plate-Notation) Knoten sind Zufallsvariablen Kanten symbolisieren mögliche Abhängigkeit Observablen sind gegraut Teller (Plates) stehen für Replikation
Einschub: Graphische Modelle Struktur des Graphen bestimmt bedingte Abhängigkeiten zwischen den Zufallsvariablen Dieser Graph beschreibt:
LDA - Generativer Prozess Für jedes Dokument d: Wählen der Topicverteilung θ ~ Dir(α) Wählen der Wortverteilung φ ~ Dir(β) Für jedes Wort w n der N d Wörter im Dokument d Wählen von topic z n ~ Multinomial(θ d ) Wählen von w n aus P(w n φ zn )
LDA - Hyperparameter Da bisher keine Beobachtung, alle Topics gleich wahrscheinlich, also symmetrisches α α < 1, da wir Dokumente wollen, die nur wenigen Topics hohe Wahrscheinlichkeit einräumen
LDA - statistische Inferenz Problem: A posteriori Verteilung für einzelnes Dokument: Dies ist nicht zu berechnen Formal eine multiple hypergeometrische Funktion (Dickey, 1983) Entspricht N K (berechenbaren) Dirichletintegralen
LDA - statistische Inferenz Iterativ mittels Markov Chain Monte Carlo Methode Abschätzen der a posteriori Verteilung über Topiczuordnung z Speziell Gibbs-Sampling Für jedes Wort wird Topiczuordnung berechnet, abhängig von allen anderen Zuordnungen Hochdimensionale Verteilung wird durch wiederholtes Ziehen von niedrigdimensionalen Variablen simuliert Von Verteilung z ausgehend werden φ und θ approximiert Nur zwei Matrizen benötigt
LDA - statistische Inferenz Approximierung Beispiel Setze φ MONEY = φ LOAN = φ BANK = 1/3 für Topic 1 Setze φ RIVER = φ STREAM = φ BANK = 1/3 für Topic 2
LDA - Beispiel Generierte Dokumente
LDA - Beispiel Inferierte Topiczuordnung nach 64 Iterationen
LDA - Beispiel Approximierung von φ durch bekannte Formel Ergebnis: Topic 1: φ MONEY = 0.32, φ LOAN = 0.29, φ BANK = 0.39 Topic 2: φ RIVER = 0.25, φ STREAM = 0.4, φ BANK = 0.35 Bei dieser Anzahl von Dokumenten und Iteration gute Ergebnisse
LDA - Anwendungen Disambiguierung von Polysemien
LDA - Anwendungen Dokumentenclustering Semantisches Clustern von Begriffen (passiert automatisch) Auffinden von Synonymen TDT - Topic Detection and Tracking
LDA - Probleme Hauptprobleme sind korrektes Festlegen von K (Dimension der Topics) sowie der Hyperparameter Hierarchischer Dirichletprozess Dynamisches Abschätzen der Anzahl von Topics In jeder Iteration kann neues Topic hinzukommen oder wegfallen Stellt sicher, dass immer aus derselben (unbekannten) Menge von Topics gezogen wird Sampling der Hyperparameter in jeder (oder jeder n-ten) Iteration des Gibbs-Samplers Hyperparameter werden an die Daten angepasst
LDA - Weiterentwicklungen Author-Topic Model Zusätzlich werden Metainformation zu Autoren einbezogen Inferenz einer autorspezifischen Topicverteilung Möglichkeit, Themenprofile für Autoren zu erstellen Zusammenhang Autorenprofile und Abstand in sozialen Netzwerken Autorennetzwerk durch Hyperlinkstruktur gegeben Geringerer Abstand geht einher mit größerer Ähnlichkeit der Themenprofile
Quellen Griffiths, Steyvers: Probabilistic Topic Models, In: Landauer, McNamara, Kintsch: Latent Semantic Analysis: A Road to Meaning, 2005 Blei, Ng, Jordan: Latent Dirichlet Allocation, The Journal of Machine Learning Research, 2003 Dickey: Multiple hypergeometric functions: Probabilistic interpretations and statistical uses, Journal of the American Statistical Association, 1983 Teh, Jordan: Hierarchical Bayesian nonparametric models with applications, Bayesian Nonparametrics, 2009 Wikipedia: Dirichlet-Verteilung