Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Transkript

1 Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22

2 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron) 2 Berechnen logischer Funktionen mit MCCULLOCH-PITTS-Neuronen 3 Was berechnen MCCULLOCH-PITTS-Neuronen? 4 Beispiel für ein Neuronen-Netzwerk (Lehrstuhl Informatik 8) Perzeptronen 2 / 22

3 MCCULLOCH-PITTS-Neuronen MCCULLOCH-PITTS-Neuronen simulieren biologische Neuronen exakter als Perzeptronen, weil aktivierende und hemmende Eingänge unterschieden werden. Spezialisierung der allgemeinen Definition von Perzeptronen: x 1 x 2 g f f(g(x 1, x 2,..., x n )) x 3 y 1 y 2 Binäre Gewichte : w i {0, 1} (1 i n) (Lehrstuhl Informatik 8) Perzeptronen 3 / 22

4 MCCULLOCH-PITTS-Neuronen x 1, x 2,..., x n heißen aktivierende Eingänge. y 1, y 2,..., y m heißen hemmende Eingänge. Wenn m 1 und mindestens ein y i (1 i m) den Wert 1 hat, gilt: f(x 1,..., x n, y 1,..., y m ) = 0. Wenn kein hemmender Eingang auf 1 steht, dann gilt: 1, falls x i > θ. f(x 1,..., x n, y 1,..., y m ) = 1 i n 0, sonst Aktivierende Eingänge wurden als Komponenten eines Vektors interpretiert; was ist mit den hemmenden Eingängen? Hemmende Eingänge werden als Komponenten mit negativem Vorzeichen dargestellt; sie senken die Aktivierung des Neurons. (Lehrstuhl Informatik 8) Perzeptronen 4 / 22

5 Absolute und relative Hemmung Absolute Hemmung: der Schwellwert interessiert nicht. Relative Hemmung: der Schwellwert wird nur verringert; d.h. das Neuron feuert eventuell trotzdem. Absolute Hemmung ist mit Hilfe relativer Hemmung darstellbar: Simulation absoluter Hemmung durch geeignete Schwellwerte Angenommen, es gibt n aktivierende Eingänge und das Neuron hat den Schwellwert m. Ist m > n, kann das Neuron nicht feuern und hemmende Kanten sind deshalb uninteressant. Sonst besteht der Spielraum n m, den Schwellwert zu erreichen oder zu übersteigen. Eine absolut hemmende Kante kann dann durch eine relative hemmende mit dem Gewicht (n m + 1) simuliert werden. Denn die maximale Aktivierung ist dann n n + m 1 < m. (Lehrstuhl Informatik 8) Perzeptronen 5 / 22

6 Absolute und relative Hemmung Relative Hemmung lässt sich mit zwei weiteren Neuronen durch absolute Hemmung simulieren. Skizze der Konstruktion: x x y 1 y 1 x+y+z z 1 1 z : Neuron feuert : unteres Neuron feuert, auch wenn das obere blockt (z = 1!) (Lehrstuhl Informatik 8) Perzeptronen 6 / 22

7 MCCULLOCH-PITTS-Neuronen und Perzeptronen Aus Perzeptronen kann man ungewichtete Neuronen bauen: Konstruktion ungewichteter Neuronen aus Perzeptronen 1 Alle Schwellwerte werden mit dem Hauptnenner multipliziert. Damit gibt es nur noch ganzzahlige Gewichte. 2 Ein Gewicht von n wird durch n ungewichtete Leitungen ersetzt. 3 Kommen relativ hemmende Leitungen mit Gewicht w j vor, ist der Schwellwert im neuen Neuron statt auf m + 1 auf m + w j zu setzen. Daraus ergibt sich folgende Äquivalenzaussage Gewichtete Netze mit relativ hemmenden Verbindungen können in äquivalente ungewichtete McCulloch-Pitts-Netze transformiert werden und umgekehrt. (Lehrstuhl Informatik 8) Perzeptronen 7 / 22

8 AND-Gatter Die logische Funktion AND kann mit einem Neuron und zwei Eingängen realisiert werden: w 1 = 1, w 2 = 1, θ = 2 Die Graphik zeigt, dass gerade (1, 1) noch über der Schwelle liegt: (Lehrstuhl Informatik 8) Perzeptronen 8 / 22

9 OR-Gatter Die logische Funktion OR kann mit einem Neuron und zwei Eingängen realisiert werden: w 1 = 1, w 2 = 1, θ = 1 Die Graphik zeigt, dass gerade (0, 0) unterhalb der Schwelle liegt: (Lehrstuhl Informatik 8) Perzeptronen 9 / 22

10 Das XOR-Problem XOR Ein Beispiel für eine Funktion, die ein Perzeptronen-Neuron nicht berechnen kann: Für die XOR-Funktion in den zwei Variablen x 1 und x 2 gilt folgendes System von Ungleichungen: für x 1 = 0, x 2 = 0: w 1 x 1 + w 2 x 2 = 0 < θ für x1 = 1, x 2 = 0: w 1 x 1 + w 2 x 2 θ für x1 = 0, x 2 = 1: w 1 x 1 + w 2 x 2 θ für x 1 = 1, x 2 = 1: w 1 x 1 + w 2 x 2 = 0 < θ Nun ist aber w1 x 1 + w 2 x 2 = w 1 für x 1 = 1, x 2 = 0 und w1 x 1 + w 2 x 2 = w 2 für x 1 = 0, x 2 = 1 Es soll also gelten: 0 > θ, w 1 θ, w 2 θ, w 1 + w 2 < θ. (Lehrstuhl Informatik 8) Perzeptronen 10 / 22

11 Das XOR-Problem Daraus resultiert die folgende Darstellung: Das Gleichungssystem ist nicht lösbar, denn es müsste w 1 + w 2 < θ und zugleich w 1 + w 2 2θ gelten. (Lehrstuhl Informatik 8) Perzeptronen 11 / 22

12 Das XOR-Problem Es gibt auch keine Lösung für die Berechnung von XOR, die sich durch eine einzige Separierung des R 2 erreichen läßt: Die XOR-Funktion ist das einfachste Beispiel einer Funktion, die nicht mit einem MCCULLOCH-PITTS-Neuron berechnet werden kann. Diese Tatsache wirft die Frage auf, wie die Klasse der mit MCCULLOCH-PITTS-Neuronen berechenbaren Funktionen charakterisiert werden kann. (Lehrstuhl Informatik 8) Perzeptronen 12 / 22

13 Ohne hemmende Eingänge Satz Definition: Eine logische Funktion f mit n Argumenten heißt monoton, wenn 1 x = (x 1,..., x n ) hat mehr Positionen x i mit 1 belegt als y = (y 1,..., y n ) und 2 f(x) f(y). MCCULLOCH-PITTS-Neuronen ohne hemmende Eingänge berechnen monotone logische Funktionen. Beweis per Widerspruch: Sei x = (1, 1,..., 1) und f(x) = 0. Dann gibt es keinen größeren Vektor. Damit die Monotoniebedingung nicht verletzt wird, müssen alle anderen Funktionswerte auch 0 sein. Also: x y f(x) f(y). (Lehrstuhl Informatik 8) Perzeptronen 13 / 22

14 Ohne hemmende Eingänge Der Widerspruch zielt darauf ab, dass es keine Aktivierungsfunktion eines MCCULLOCH-PITT-Neurons ohne hemmende Eingänge geben kann mit: x > y f(x) < f(y) Das ist richtig, denn f(x) f(y) = Da x > y, ist 1 i n 1 i n (x i = 1) = n x > Also gilt: (x i y i ) = 1 i n 1 i n Dies widerlegt nun die Annahme. 1 i n x i 1 i n (x i y i ). (y i = 1) = n y y i = n x n y > 0 (Lehrstuhl Informatik 8) Perzeptronen 14 / 22

15 Mit hemmenden Eingängen Hemmende Eingänge ermöglichen nicht-montone Funktionen: 0 x 1 f(x 1 ) f ist nicht monoton: (1) > (0), aber f(1) < f(0). (Lehrstuhl Informatik 8) Perzeptronen 15 / 22

16 Mit hemmenden Eingängen Verallgemeinerung der Beobachtung auf n Eingänge: Es gibt 2 2n Abbildungen {0, 1} n {0, 1}. Denn 1 Es gibt 2 n Vektoren (x 1, x 2,..., x n ) {0, 1} n. 2 Es gibt 2 mögliche Werte für jeden Vektor. {, } bilden eine logische Basis. Dafür gibt es MCCULLOCH-PITTS-Neuronen. Wie lassen sich andere Funktionen aus der Basis bilden? Konstruktive Methode: MCCULLOCH-PITTS-Neuronen für komplexe logische Funktionen 1 Stelle die boolsche Funktion als Wertetabelle auf! 2 Baue decoder für jeden input x mit f(x) = 1! 3 Bilde OR-Schaltung aus den decodern! (Lehrstuhl Informatik 8) Perzeptronen 16 / 22

17 Mit hemmenden Eingängen Details zu Schritt 2 Zu jedem x = (x 1,..., x i,..., x n ) gibt es n Eingänge: 1 x i = 0: Setze einen hemmenden Eingang in das Neuron ein! 2 x i = 1: Setzt einen aktivierenden Eingang ein! Schwellwert: θ 1 i n (x i = 1). Fazit: Satz Mit einem MCCULLOCH-PITTS-Netzwerk aus zwei Ebenen kann jede logische Funktion {0, 1} n {0, 1} berechnet werden. (Lehrstuhl Informatik 8) Perzeptronen 17 / 22

18 Beispiel: XOR Schritt 1: Wertetabelle Schritt 2: Decoder bauen x = 1, y = 0 x x y x xor y x x = 0, y = y y (Lehrstuhl Informatik 8) Perzeptronen 18 / 22

19 Beispiel: XOR Schritt 3: OR-Schaltung aus den Decodern bauen x y (Lehrstuhl Informatik 8) Perzeptronen 19 / 22

20 XOR mit Perzeptronen Anwenden der Umbauanleitung Anzahl an aktivierenden Eingängen: 1 Schwellwert: 1 Daraus ergibt sich: Gewicht der relativ hemmenden Kante: ( ) = 1 Maximale Aktivierung: = 0 Resultierendes Perzeptron x x y Aktivierung = = = = 0 y Das Neuron feuert tatsächlich nur für die Eingabe (x, y) = (1, 0). (Lehrstuhl Informatik 8) Perzeptronen 20 / 22

21 Wie arbeitet das XOR-Netz? Die erste Schicht verarbeitet Eingabevektoren x {0, 1} 2 : x 1 x 2 Neuron 1 Neuron Die zweite Schicht klassifiziert die Ausgaben von Neuron 1 und Neuron 2: Neuron 1 Neuron 2 Neuron (Lehrstuhl Informatik 8) Perzeptronen 21 / 22

22 Wie arbeitet das XOR-Netz? Neuron 1 und Neuron 2 berechnen einen Merkmalsvektor für alle möglichen Eingaben. Es gibt 3 Klassen: 1 Beide Eingabesymbole sind gleich. 2 Nur das erste Eingabesymbol ist eine 1. 3 Nur das zweite Eingabesymbol ist eine 1. Das dritte Neuron berechnet die beide Klassen: 1 Beide Eingabesymbole sind gleich. 2 Die Eingabesymbole sind unterschiedlich. Insgesamt wird so XOR berechnet: (x 1 x 2 ) ( x 1 x 2 ) Neuron 1 Neuron 3 Neuron 2 Die Idee der Schichtung von Berechnungen werden wir verallgemeinern, um mehr Funktionen als nur logische zu berechnen zu können. (Lehrstuhl Informatik 8) Perzeptronen 22 / 22