Theoretische Informatik 1

Transkript

1 Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014

2 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs Sampling Gibbs Sampling Anwendung Einige Anwendungen Literatur

3 Probabilistische Algorithmen für NP-Vollständige Probleme Direkte Berechnung der Lösung nicht möglich Lösungsraum wird als Wahrscheinlichkeitsverteilung dargestellt Algorithmus macht Random Walk durch den Lösungsraum Lösungszustand sollte möglichst wahrscheinlich sein Möglichst allgemeine Formulierung Boltzmann Maschine

4 Ausflug: Thermodynamik Boltzmann Verteilung Ursprünglich: Verteilung der Teilchenzustände x in einem idealen Gas p(x) = exp ( E(x)) exp ( E(x)) x Wobei E(x) die Energie von x ist. Ludwig Eduard Boltzmann ( ) 1 1 Aus Wikipedia - die freie Enzyklopädie

5 Neuronale Netzwerke Netzwerk von Knoten ( Neuronen ) mit Zustand x i und gewichteten Kanten ( Synapsen ) w ij. x i w ij x i =? x i = 0 x i = 1 Aktivität eines Neurons wird über seine Aktivierungsfunktion durch die Aktivität seiner Nachbarn bestimmt.

6 Neuronale Netzwerke Probabilistische Beschreibung: Potential eines Neurons: u i = j x jw ij + b i x i x i = 0 p(x i = 1 x \i ) = f (u i ), w ij x i =? x i = 1 wobei f ( ) die Aktivierungsfunktion ist. Sigmoide Funktion f (u) = 1 1+e u

7 Boltzmann Maschine Boltzmann Maschine (BM) Eine BM ist ein neuronales Netzwerk mit binären Neuronen (Knoten) x = (x i ) Gewichten w ij und b i. Die Energie eines Zustandes x ist gegeben durch E(x) = i,j x i x j w ij i x i b i Und damit ist die Wahrscheinlichkeit eines bestimmten Zustandes p(x) = exp ( E(x)) exp ( Ex) x Geoffrey Hinton 1 1 Aus Wikipedia - die freie Enzyklopädie

8 Boltzmann Maschine x i = 0 x x i = 1 Jeder Zustand x der BM bildet auf einen Punkt in einer Wahrscheinlichkeitslandschaft ab. Direktes Berechnen des wahrscheinlichsten Zustands ist nicht effizient durchführbar.

9 Boltzmann Maschine zum Lösen von NP-Vollständigen Problemen Die stochastische Dynamik der Boltzmann Maschine wird verwendet um den Lösungsraum möglichst effizient zu durchsuchen. Die Energiefunktion E(x) wird so gewählt, dass gute Lösungen geringer Energie entsprechen. Dies kann durch geeignete Wahl der Gewichte w ij und b i erreicht werden. Lösung eines Suchproblems durch Angabe der Gewichte der BM.

10 Finden einer Lösung Wahrscheinlichste Lösung x lässt sich nicht direkt berechnen Die Wahrscheinlichkeit über den Zustand eines einzelnen Neurons p(x i x \i ) lässt sich aber einfach berechnen Auswerten von p(x) durch Random Walk auf Markov-Kette Gibbs Sampling

11 Gibbs Sampling Starte mit einer beliebigen Belegung x 0 In jedem Schritt n: wähle ein zufälliges Neuron i Ändere den Zustand des Neurons zufällig anhand der Wahrscheinlichkeit p(x i x n 1,\i ) und erzeuge so ein neues Sample x n Die Samples x 0, x 1,... x n folgen der Verteilung p(x)

12 Boltzmann Maschine Gibbs Sampling Anwendung Literatur Gibbs Sampling x xi = 0 xi = 0 xi = 1 xi = 1 x

13 Anwendungen Lösen von CLIQUE Lernalgorithmen existieren für Boltzmann Maschinen Assoziativer Speicher Vorsesung: Neural Networks A

14 Literatur Geoffrey Hinton, Terry Sejnowski, Learning and Relearning in Boltzmann Machines, Geoffrey Hinton, et. al., The wake-sleep algorithm for unsupervised neural networks, Vassilis Zissimopoulos, Vangelis Paschos, Ferhan Pekergin, On the approximation of NP-complete problems by using the Boltzmann Machine method: the cases of some covering and packing problems, 1991.