Slow feature analysis

Transkript

1 Slow feature analysis Welf Walter Zusammenfassung Die sogenannte Slow Feature Analysis ist eine neue Idee, aus zeitabhängigen Daten die wichtigen Komponenten herauszufinden und die redundanten Informationen zu vernachlässigen. Der Grundgedanke dabei ist, dass die Welt sich langsam verändert, während Sensoren ständig wechselnde Daten liefern. Inhaltsverzeichnis 1 Motivation 2 2 Definition des Problems 4 3 Lösung durch slow feature analysis 5 4 Neuronale Implementierung 7 5 Beispiel 1: Komplexzellen des visuellen Systems 8 6 Beispiel 2: Ein hierarchisches SFA-Netzwerk 10 7 Ergebnisse 12 8 Fazit 13 Literatur 14 address: welf.walter@informatik.uni-ulm.de (Welf Walter). 27. Juni 2005

2 1 Motivation Was für uns Menschen wie eine simple Aufgabe erscheint, ist für Computer oft ein hartes Problem. Dies trifft vor allem bei vielen Aufgaben der Mustererkennung, wie zum Beispiel der visuellen Objekterkennung, zu. Betrachten wir folgendes Beispiel, in dem vor einer photosensiblen Fläche mehrere Buchstaben bewegt werden. Abbildung 1. Beispiel einer einfachen(?) Mustererkennungsaufgabe Es werden nacheinander die Buchstaben,,S,,,F und,,a auf dem in Abbildung 1 erkennbaren Weg durch das visuelle Feld bewegt. An den Stellen x 1, x 2 und x 3 werden exemplarisch die direkten visuellen Stimuli betrachtet. Ob es sich hierbei um direkte Abbildung der Grauwerte oder die Ableitung dieser handelt, ist nicht sehr entscheidend. Hier wurde die Grauwertabbildung gewählt. Diese ergeben ein primäres visuelles Signal, wie in Abbildung 2 beispielhaft dargestellt ist. Offensichtlich kann man aus den erhaltenen Daten nicht viel erkennen. Es ist weder ersichtlich, welcher Buchstabe die Reizung hervorruft, noch, wie er sich bewegt. Es ist lediglich erkennbar, dass sich an der Stelle x i irgendetwas tut. Auch zu erkennen ist, dass sich der Wert der Funktionen sehr schnell ändert, obwohl sich die Buchstaben an und für sich nur langsam fortbewegen. Was nun ein wünschenswertes Ziel ist - und wie auch ein unverbildeter Mensch 2

3 Abbildung 2. Das direkt vom Rezeptor abgefangene Signal den Vorgang beschreiben würde - wären zwei zeitabhängige Variablen. Die erste gibt an, welcher Buchstabe zu sehen ist, und die zweite (vektorwertig) an welcher Position der Buchstabe ist. Somit wünschen wir uns ein Ergebnis in etwa wie in Abbildung 3 erkennbar. Diese Funktionen ändern sich auch vergleichsweise wenig im Lauf der Zeit, was auch der langsamen Bewegung der Buchstaben entspricht. Abbildung 3. So wünschen wir uns das Ergebnis Wir suchen also eine Funktion g : R n n R 3 die als Eingabe die Stimuli der Photorezeptoren (n n Stück) bekommt und uns als Ausgabe Art und Lage der Buchstaben liefert. Dass es nötig ist, nicht nur lokale Informationen zu verarbeiten, ist verständlich, da selbst wir als Menschen aus den Diagrammen von x i nicht viel herauslesen können. Es muss daher schon das große Ganze 3

4 betrachtet werden. Nun gibt es offenbar sehr viele Funktionen die den hochdimensionalen Eingaberaum auf wenige Dimensionen projezieren, aber nur wenige, die dabei langsam sind. Diese gilt es nun herauszufinden. So gesehen ist die Wo-Information und die Was-Information gar nicht so unvergleichbar, da beide das entscheidende Merkmal der Langsamkeit besitzen. 2 Definition des Problems In diesem Abschnitt soll das Problem eine mathematische Grundlage erhalten: Gegeben: Ein Eingabesignal x : R R I x(t) = [x 1 (t), x 2 (t),..., x I (t)] mit der Zeit t [t 0, t 1 ] Gesucht: Eine Eingabe-Ausgabe-Funktion g : R I R J g(x) = [g 1 (x), g 2 (x),..., g J (x)] derart, dass für das Ausgabesignal y(t) = [y 1 (t), y 2 (t),..., y J (t)] mit y j (t) := g j (x(t)) gilt: j := (y j ) := ẏ 2 j min (1) Dabei sind folgende Nebenbedingungen zu beachten: y j = 0 (Mittelwertfreiheit) (2) y 2 j = 1 (Standardabweichung) (3) j < j : y j y j = 0 (Dekorrelation) (4) Wobei die spitzen Klammern für zeitliche Mittelung stehen, das heißt: f := 1 t 1 f(t)dt t 1 t 0 t 0 Alle diese Formeln haben eine sehr anschauliche Bedeutung und sind daher leicht verständlich: Gleichung 1 bedeutet, dass die Ableitung, also die Veränderung der Funktionswerte, (quadratisch) über die Zeit gemittelt, minimal sein soll, was ja eben der erwünschten Langsamkeit entspricht. Die Formeln 2 und 3 sollen die Triviallösung y j (t) = const verhindern. 1 Die Formel 4 garantiert, 1 Gleichung 2 ist nur vorhanden, um,,schöne und eindeutige Ergebnisse zu erhalten. Ohne diese würde Gleichung 3 lauten: (y j y j ) 2 = 1 4

5 dass verschiedene Ausgabesignale auch verschiedene Information tragen. Außerdem führt es eine Ordnung auf den Ausgabesignalen ein, so dass y 1 ein besseres, also langsameres Ergebnis ist als y 2, da dieses weitere Nebenbedingungen zu erfüllen hat. Dieses Problem ist ein Optimierungsproblem der Variationsrechnung und somit im Allgemeinen schwer zu lösen. Es gibt zwei Arten, das Problem zu vereinfachen: (1) In [Wiskott 2003] wird die Abhängigkeit von der Eingabefunktion vernachlässigt und somit eine obere Schranke des Resultates definiert. (2) Wenn wir die Menge der zugelassenen Funktionen g j auf Linearkombinationen einer endlichen Menge von nichtlinearen Funktionen beschränken, wird das Problem erheblich vereinfacht. Einen Algorithmus für die Lösung dieses eingeschränkten Optimierungsproblems (2) liefert das folgende Kapitel. 3 Lösung durch slow feature analysis Gegeben ist das I-dimensionale Eingabesignal x(t), gesucht diejenigen Funktionen g j (x) = K k=1 w jk h k (x), also die Linearkombination von K nichtlinearen Funktionen h k (x), die im Sinne von Abschnitt 2 optimal sind. Für K gilt meist K > max(i, J). Wir führen eine Funktion z : R I R K, z(t) := [h 1 (x(t)), h 2 (x(t)),..., h K (x(t))] ein, so dass wir nach dieser nichtlinearen Expansion das Problem als linear in den Komponenten von z betrachten können. Dies ist eine gebräuchliche Technik, die z.b. auch bei Support-Vektor-Maschinen verwendet wird, um jegliche Daten linear behandeln zu können (vgl. Abbildung 4). Überlicherweise verwendet man hierfür lediglich die Monome vom Grad eins, also h(x) = x für die lineare SFA, auch als SFA 1 bezeichnet, oder die Monome vom Grad 1 und 2 und die gemischten Terme wie x 1 x 2 für die quadratische SFA oder SFA 2. In diesem Fall ist h(x) := [x 1, x 2,..., x I, x 2 1, x 2 2,..., x 2 I, x 1 x 2, x 1 x 3,..., x 1 x I, x 2 x 3, x 2 x 4,... x I 1 x I ] 5

6 Abbildung 4. Nichtlineare Daten werden expandiert [Schölkopf, S. 17] Somit ist K = I + I + I (5) 2 Nun kann das Ausgabesignal y j als y j (t) = w T j z(t) dargestellt werden und es müssen nur noch die Gewichtsvektoren w j gelernt werden. Somit ändert sich die Minimierungsaufgabe (Gleichung 1) zu: (y j ) = y 2 j = wj T żż T w j min (6) O.B.d.A. können wir davon ausgehen, dass die Funktionen h k derart gewählt sind, dass z(t) mittelwertfrei und unkorreliert sind. Dies kann durch Subtraktion des Mittelwertes und anschließende Hauptachsentransformation (PCA) erreicht werden. Die Berechnung des Mittelwertes und die Hauptachsentransformation werden jedoch lediglich für die Trainingsdaten berechnet, daher sind die Testdaten nicht wirklich standardisiert, aber doch wenigstens ein Stück in die richtige Richtung gebracht. Dann ist die Nebenbedingungen der Mittelwertfreiheit von alleine erfüllt und da die Gleichungen yj 2 = wj T zz T w j = wj T w j = 1 }{{} =I j < j : y j y j = wj T zzt w j = wj T }{{} w j = 0 =I 6

7 genau dann erfüllt sind, wenn die Gewichtsvektoren w j eine Orthonormalbasis bilden, wird ein solcher Satz an Vektoren gesucht. Somit suchen wir denjenigen Eigenvektor der Länge eins der Matrix żż T, der zum kleinsten Eigenwert gehört. Der Eigenvektor zum nächsthöheren Eigenwert liefert g 2 (t)... 4 Neuronale Implementierung Was wäre ein Lernalgorithmus, der sich nicht durch Neuronale Netze implementieren ließe? Auch wenn die Slow Feature Analysis normalerweise in einem One- Shot-Verfahren lernt, kann man sie dennoch auch durch ein Neuronales Netz implementieren. (vgl. Abbildung 5). Abbildung 5. Die SFA als Neuronales Netz Die Eingabesignale x(t) werden durch nichtlineare Neurone h auf der ersten Schicht transformiert und gelangen über trainierbare Gewichte w zu den linearen Neuronen g. Somit ist g j (x) = w j0 + w T j h(x) + J 1 k=1 v kj g k (x) 7

8 Die Neurone g sind untereinander verschaltet, um über Anti-Hebb sches Lernen die Ausgabe zu dekorrelieren. Dieses Lernen geht nach der Oja schen Lernregel: v kj v kj ηg j g k Jedes dieser Netzwerke ist eine funktionstüchtige Einheit der Slow Feature Analysis. Diese werden wir später kombinieren, dann heißt jede dieser Einheiten SFA Modul. 5 Beispiel 1: Komplexzellen des visuellen Systems Die Performanz des Algorithmus soll nun an einem Beispiel überprüft werden. Hierzu versuchen wir die Komplexzellen des visuellen Systems zu simulieren. Das visuelle System des Menschen besteht in vorderster Front aus Simpel- und Komplexzellen, wobei die Simpelzellen eine Garborfilterung des retinalen Bildes durchführen und die Komplexzellen das Ergebnis mehrerer Simpelzellen beider Polaritäten (Sinus und Cosinus), die in einer Umgebung liegen, kombinieren und somit die Energie berechnen. Dies wird vereinfacht dargestellt in Abbildung 6. Abbildung 6. Komplexzellen kombinieren zusammengehörige Simpelzellen [CV-II Skript, Kap. 2, Seite 42] Die Simpelzellen sind wie in Abbildung 7 angeordnet und sind so zu verstehen: x 1 ist ein Störsignal, weil es mit den beiden anderen nichts zu tun hat und sollte von der Slow Feature Analysis ignoriert werden. x 2 und x 3 liefern durch eine Phasenverschiebung um 45 die Möglichkeit, die Energie an dieser Stelle zu berechnen. Eine Verschiebung um 90 wäre rechentechnisch vorteilhafter, aber wir wollen es der Slow Feature Analysis ja nicht zu leicht machen. 8

9 Abbildung 7. Rezeptive Felder der Simpelzellen Die Ausgabesignale der Simpelzellen in diesem Experiment werden durch folgende Formeln simuliert: x 1 (t) := (4 + a 0 (t))sin(t + 4φ 0 (t)) (7) x 2 (t) := (4 + a 1 (t))sin(t + 4φ 1 (t)) (8) x 3 (t) := (4 + a 1 (t))sin(t + 4φ 1 (t) + π 4 ) (9) Die Funktionen a 0, a 1, φ 0 und φ 1 sind tiefpassgefiltertes weißes Rauschen zwischen -1 und 1, das hier einfach als gegebenes Eingabesignal angesehen wird. Die Amplituden sind konstant erhöht, um sicherzustellen, dass sie sich im positiven Bereich befinden. Die Phaseninformation wird zusätzlich mit 4 multipliziert, um sicherzustellen, dass sie sich schneller ändert als die Amplitude. Abbildung 8. Die Ausgaben der Simpelzellen Die Ausgabesignale im Experiment sind in Abbildung 8 ersichtlich. Im x 1 -x 2 - Plot ist kein Zusammenhang ersichtlich, was aus den Formeln auch klar ist. Der x 2 -x 3 -Plot dagegen liefert einen elliptischen Zusammenhang der beiden Signale, der aus der 45 -Verschiebung hervorgeht. Das einzige,,langsame Feature, das mehrfach vorkommt, ist offensichtlich a 1, denn a 0 kommt nur einfach vor und φ 0 und φ 1 oszillieren schnell. Ob dieses 9

10 von der Slow Feature Analysis auch extrahiert wird, soll nun überprüft werden: Abbildung 9. Das Ergebnis der Slow Feature Analysis Wie in Abbildung 9 ersichtlich, sind die gegebene Funktion a 1 und die von der Slow Feature Analysis extrahierte Funktion y 1 schon auf den ersten Blick sehr ähnlich, ein a 1 -y 1 -Plot liefert Gewissheit: Die Korrelation zwischen den beiden Funktionen beträgt 99%. Somit kann man das Experiment als erfolgreich bezeichnen. In weiteren ähnlichen Beispielen wurde gezeigt, dass neben der Amplitude auch die Disparität, φ1 (t) und jede Kombinationen davon extrahiert werden können. Die Disparität ist der horizontale Versatz zwischen den retinalen Bildern der beide Augen und liefert Hinweise auf die Tiefe der gesehenen Objekte. Sie ist somit für das Stereosehen unabkömmlich. φ1 (t) ist die Ableitung der Phase und damit stark verknüpft mit der Geschwindigkeit der Simulusbewegung. 6 Beispiel 2: Ein hierarchisches SFA-Netzwerk Mit der bisherigen Methode können nur Merkmale extrahiert werden, die einen linearen oder quadratischen Zusammenhang haben. Natürlich könnte man auch eine SFA 3, eine SFA 4,... verwenden, jedoch wächst nach Gleichung 5 die Anzahl der benötigten nichtlinearen Funktionen h k exponentiell. Daher bietet es sich an, mehrere SFA-Module hintereinanderzuschalten und nur die ersten (und somit langsamsten) Ausgaben an die nächste Ebene weiterzuleiten. Dadurch kann man den Aufwand geringer halten, da nicht soviele unnötige Berechnungen durchzuführen sind. 10

11 In diesem Beispiel wird eine pyramidenartige Hierarchiestruktur von SFA- Modulen erstellt, Abbildung 10 verdeutlicht dies. Abbildung 10. Hierarchischer Netzwerkaufbau von SFA-Modulen Das Eingabefeld besteht aus 65 Eingabemodulen, die das (eindimensionale) visuelle Feld darstellen. Jeder Layer ist in zwei separate Module geteilt, um einerseits den Rechenaufwand gering zu halten und andererseits eine klare Funktionstrennung zu verdeutlichen. Die a-schichten (linear) kombinieren lediglich die Ergebnisse der tieferen Schichten, die b-schichten (quadratisch) verarbeiten dann diese vorverarbeiteten Ergebnisse. Als Zwischenschritt müssen die Werte jedoch in einem festen Bereich gehalten werden, da sonst ein extrem schlechtes Ergebnis das Gesamtergebnis verderben kann. Dieses Netzwerk lernt vollständig unüberwacht und ohne Backpropagation! Die Eingaben sind bewegte Muster, das wiederum tiefpassgefiltertes weißes Rauschen ist. Diese werden langsam über das visuelle Feld bewegt. Die Er- Abbildung 11. Das Ergebnis als Animation (durch Klicken starten) gebnisse kann man sich auch auf der Website der Slow Feature Analysis [Wiskotthomepage] als MPEG-Dateien anschauen. Die Translationsinvarianz wird ziemlich gut erreicht. Die drei gezeigten,,objekte werden gut unterschieden: Unten ist die Eingabe sichtbar: Drei verschiedene Objekte laufen von links nach rechts. Am Rand ist farblich markiert (rot-gelb-blau), welches Objekt 11

12 gerade sichtbar ist. In der oberen Zeile sind die Ausgaben der Slow Feature Analysis zu sehen. Die meisten davon sind einigermaßen invariant gegenüber der Position des Objektes, nicht jedoch gegenüber dem Objekt selbst. Als Ergebnisse dieses Experimentes sieht man, dass sowohl die Objekterkennung (Ausgaben 3 und 5) als auch die Erkennung der Position (Ausgabe 2), vom Objekt unabhängig, möglich sind. Warum diese beiden Informationen auch von der Slow Feature Analysis so getrennt behandelt werden, ist nicht ganz klar, passt aber gut zur Strukturierung des menschlichen Gehirns, das einen where- und einen what-pfad besitzt (siehe Abbildung 12). Abbildung 12. Auch das Gehirn trennt Objekterkennung(grün) und Positionserkennung(rot) [CV-II Skript, Kapitel II, S. 49] 7 Ergebnisse Im Folgenden sollen stichpunktartig noch weitere Ergebnisse über die Slow Feature Analysis erwähnt werden: Es werden nicht nur sich langsam ändernde, sondern auch sich selten ändernde Features extrahiert. Die Slow Feature Analysis ist ziemlich robust gegenüber Rauschen. Die Objekterkennung wird zwar über bewegte Muster erlernt, wenn der Lernprozess jedoch vorbei ist, werden die Objekte auch ohne Bewegung erkannt. Die Testergebnisse sind nicht erheblich schlechter als die Trainingsergebnisse. Es findet also kein Overfitting wie bei herkömmlichen Künstlichen Neuronalen Netzen statt. 12

13 Neben der Translationsinvarianz(3) sind auch die Rotationsinvarianz(4), die Skalierungsinvarianz(1), die Kontrastinvarianz(2) und die Beleuchtungswinkelinvarianz(5) möglich, wobei kleinere Zahlen in Klammern bessere Qualität bedeuten. Wenn mehrere Invarianzen gleichzeitig gelernt werden sollen, sinkt die Performanz deutlich. Im Gegensatz zu vielen ähnlichen Ansätzen, zum Beispiel von Földiáks Ansatz über die klassische Konditionierung [Foeldiák], wird bei der Slow Feature Analysis nicht nur eine eindimensionale Ausgabe erzeugt, sondern ein geordneter Vektor von Funktionen. Bei hochdimensionalen Eingaberäumen ist die Gefahr von numerischen Instabilitäten gegeben, die sich jedoch durch ein hierarchisches Netzwerk vermeiden lässt. Offene Fragen: Ist gleichzeitiges Lernen mehrerer Invarianzen ein inhärentes Problem oder kann man es durch komlexere Netzwerke oder mehr Training ermöglichen? Oft geben mehrere Ausgaben erst zusammen ein Feature wieder. Offensichtlich reicht Gleichung 4 nicht zur Dekorrelation der Ergebnisse aus. Hilft hier eine Hauptachsentransformation, um wirklich unabhängige Ergebnisse zu liefern? Ist die Methode überhaupt für Real-World-Anwendungen einsetzbar, z.b. in der Computer Vision? 8 Fazit Die Slow Feature Analysis ist ein unüberwachtes one-shot-lernverfahren und findet dadurch sie garantiert die optimale Lösung - im Gegensatz zu online-lernverfahren, die oft nur suboptimale lokale Fehlerminima liefern. Durch hierarchische Anordnung kann die algorithmische Komplexität auch bei hochdimensionalen Eingaberäumen gering gehalten werden, so dass vielfältige Anwendungsmöglichkeiten denkbar sind. Sicherlich ist klar, dass die Slow Feature Analysis nur eine Komponente in einem komplexen selbstorganisierendem Modell sein kann, um hochkomplexe Aufgaben lösen zu können. 13

14 Literatur [Wiskott 2002] Laurenz Wiskott, Terrence J. Sejnowski:,,Slow Feature Analysis, Neural Computation 14, (2002) [Wiskotthomepage] Laurenz Wiskott: wiskott/projects/learninginvariances.html, Stand [Wiskott 2003] Laurenz Wiskott:,,Slow Feature Analysis: A Theoretical Analysis of Optimal Free Responses, Neural Computation 15, , (2003) [Schölkopf] Bernhard Schölkopf:,,SVM and Kernel Methods, (2001) [CV-II Skript] Heiko Neumann:,,Computer Vision II Skript, (2004/05) [Foeldiák] P. Földiák:,,Learning invariance from transformation sequences, Neural Computation, 3, , (1991) 14