Das Modell von McCulloch und Pitts

Transkript

1 Humboldt Universität Berlin Institut für Informatik Dr. Kock Seminar Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Alexandra Rostin

2 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 2 Inhalt. Das Modell von McCulloch und Pitts ein abstraktes vorwärtsgerichtetes Neuronenmodell 2. einfache logischen Funktionen 3. beliebige logische Funktionen 4. Äquivalenz von McCulloch Pitts Netzen 5. Rekursive Netze 6. Erste Klassifizierung neuronaler Netze 7. Zusammenfassung 8. Literaturquellen

3 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 3. Das Modell von McCulloch und Pitts ein abstraktes vorwärtsgerichtetes Neuronenmodell Warren Sturgis McCulloch Neurophysiologe und Kybernetiker Walter Pitts 924 (?) Logiker, Mathematiker Aufsatz (943): A logical calculus of the ideas immanent in nervous activity Ziel: einfaches mathmatisches Modell entwickeln, das Verhalten der Neuronen im Gehirn erklären sollte Fragestellung: Kann das Gehirn alle Turing berechenbaren Funktionen berechen? Erkenntnis, daß Neuronen wie logische Einheiten funktionieren

4 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 4 Betrachtung des Neuron als BlackBox x y 2 y x 2 F x n y m n dimensionaler Eingabevektor F : R n R m m dimensionaler Ausgabevektor Berechnungsrichtung durch Vernetzung bestimmt

5 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 5 zwei mögliche Berechnungsflüsse: vorwärtsgerichtetes Netz rekursives Netz x g g(x) f f(g(x)) x t f f(x t,f(x t,f(x t 2,...))) ohne Zyklen ohne Zeitverlust nach Eingabe liegt Ergebnis gleich am Ausgang Berechnungsprozesse eindeutig durch Vernetzung festgelegt mit Zyklen Betrachtung der zeitlichen Dimension notwendig Berechnung verbraucht z.b. eine Zeiteinheit Eingabe an Zeitpunkt t führt zur Ausgabe zum Zeitpunkt t + Berechnungsprozesse nicht mehr eindeutig durch Vernetzung

6 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 6 Aufbau des McCulloch Pitts Neurons () x 2 x f(g(x,x 2,...,x n )) g f x n Integrationsteil: Ausgabeteil: berechnet Ausgabe des Neurons Integrationsfunktion reduziert n Argumente auf Argument Zusammenfassung der Eingabe hier Addition der Eingabesignale Neuronen bzw. Berechungseinheiten bzw. Zellen: Bestehend aus: Kanten (Verbindungen) : gerichtete Verbindungskanäle Knoten : Funktionsauswertung zur Vereinfachung: im Knoten wird nur ein Argument durch eine primitive Funktion berechnet in der Regel innerhalb eines Netz Berechnung der gleichen primitiven Funktion Neuron besteht aus zwei Teilen: Integrationsteil Ausgabeteill Verarbeitung von binären Signalen : /

7 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 7 Aufbau des McCulloch Pitts Neurons (2) x y m x n hemmende Leitungen y erregende Leitung Ausgangsleitung kann sich verzweigen, Signal bleibt eindeutig Schwellenwert beliebige reelle Zahl zwei Arten von Verbindungsleitungen : erregende hemmende verändert Verhalten des Neurons: Hemmung bei '' n erregende Leitungen x i m hemmende Leitungen y i Arbeitsweise: bei m : wenn mind. ein y i = Neuron gehemmt, Ausgabe = wenn alle y i = Berechnung der Erregung des Neurons dh. Berechung der Summe der Eingabesignale x i und Vergleich mit Schwellenwert : Erregung : Ausgabe = sonst : Ausgabe =

8 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 8 Verhalten des McCulloch Pitts Neurons: ohne hemmendes Signal wie Mehrheitsgatter beachte: Inaktivierung schon bei einem einzigen hemmenden Signal Defintion McCulloch Pitts Netz gerichteter Graph bestehend aus: Knotenmenge (McCulloch Pitts Zellen) gerichteten Kanten mit zwei Klassen: hemmende Leitung erregende Leitung zyklenloser Graph heißt vorwärtsgerichtet Graph mit Zyklen heißt rekursiv

9 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 9 Ausgabefunktion einer Zelle Treppenfunktion bei Erreichung des Wertes von : Funktion steigt abrupt von auf bei = : Ausgang = für x i = bei > x i : Ausgang = hier: ohne Zeitverzögerung (da vorwärtsgerichtetes Netz)

10 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 2. einfache logischen Funktionen 2. Monotone Funktionen: Konjunktion und Disjunktion 2.2 Nichtmonotone Funktionen : Negation 2.3 Geometrische Interpretation

11 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 2. monotone Funktionen: Konjunktion und Disjunktion logische/boolische Funktionen über Trägermenge {,}: {,} n {,} ohne hemmende Leitungen einfache Wahrheitsfunktion mit McCulloch Pitts Zellen : AND OR x 2 x x 2 x 2 Schwellenwert : xi?

12 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie nichtmonotone Funktionen: Negation ohne hemmende Leitung nur monotone Funktionen berechenbar d.h. nicht alle logische Funktionen darstellbar deshalb Einführung logischer Negation: NOT NOR x AND x 2 x x x 2 x x 2 Schwellenwert : xi? ermöglicht Darstellung komplexer Netze

13 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Geometrische Interpretation an Beispiel der OR Funktion x 3 x 2 h Trennebene = x Einheitswürfel besitzt 2 n Ecken x x 2 x 3 y logische Funktion : numerische Belegung (''oder '') der Ecken McCulloch Pitts Zelle teilt Raum in zwei (und mehr) Regionen Trennebene Gleichung: x + x 2 + x 3 = x y Raumschnitte nur parallel ( nichtparallele Schnitte bei gewichteten Kanten) x 2 x 3

14 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 4 3. Netze für beliebige logische Funktionen 3.. Konstruktive Methode 3.2. Verknüpfungsbasen

15 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 5 3. Konstruktive Methode jede logische Funktion von n Variablen als Darstellung in tabellarische Form Netz für Berechnung dieser logischen Funktion besitzt n Eingabe und Ausgabeleitung Decodierer für Vektor (x,x 2,x 3 ) = (,,) x x 2 x 3 2 Eingabevektor : Tupel von n Eingabe Werten Netz muß Eingabevektoren mit richtigen Funktionswert assozieren bei ungegrenzt vielen McCulloch Pitts Zellen kann beliebige logische Funktion berechnet werden beliebiger Vektor kann mit nur einer McCulloch Pitts Zelle erkannt werden, diese Zelle wird dann Decodierer dieses Vektors genannt

16 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 6 3. Konstruktive Methode : Aufbau eines Netzes für beliebige logische Funktionen Eingabevektoren F (,,) (,,) restl. Vektoren x x 2 x 3 Decodier Zellen OR Zellen es werden soviele Decodierer Zellen verwendet, wie Funktion in Tabelle Einsen besitzt Satz 2.. Jede logische Funktion F : {,} n {,} kann mit einem zweischichtigen McCulloch Pitts Netz berechnet werden

17 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 7 3. Verknüpfungsbasen Frage : Welche sind die Minimalkomponenten, mit denen noch alle bel. boolische Funktionen gebildet werden können? Beispiel von letzter Folie bestand aus zwei Decodierer und einer OR Zelle Decodierer bestehen aus NOT und AND Zellen hemmende Verbindungen können negiert werden und in normale Leitungen übergehen eine Decodierzelle würde dann so aussehen für Vektor (,,): x x 2 3 x 3

18 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 8 3. Verknüpfungsbasen (Fortsetzung) Satz 2.2. Jede logische Funktion von n binären Variablen kann mit einem Netz berechnet werden, das nur die Knoten AND, OR und NOT als Komponenten benutzt. die Knoten AND, OR und NOT bilden eine Verknüpfungsbasis d.h. mit diesen drei können alle logischen Funktionen konstruiert werden Korollar 2.. Die zwei Knoten AND und NOT bilden eine Verknüpfungsbasis für logische Funktionen Korollar 2.3. Die zwei Knoten OR und NOT bilden eine Verknüpfungsbasis für logische Funktionen

19 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 9 4. Äquivalente Netze 4. Gewichtete und ungewichtete Netze 4.2 Absolute und relative Hemmung 4.3 Zwei Zustände und vielen Zuständen

20 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 2 4. Gewichtete und ungewichtete Netze Äquivalenz von ungewichteten McCulloch Pitts Netze zu gewichteten Vervielfachung einer Eingabeleitung Veränderung der Netz Topologie x,2 x x 2,4,3,7 äquivalent zu x 2 7 x 3 x 3 gewichtetes Netz ungewichtetes Netz,2x +,4x 2 +,3x 3,7 2x + 4x 2 + 3x 3 7

21 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie absolute und relative Hemmung () absolute Hemmung: Neuron wird inaktiv, wenn hemmende Leitung führt McCulloch Pitts Neuron relative Hemmung: Schwellenwert wird um erhöht entspricht erregenden Leitung mit Gewicht Satz 2.3. Gewichtete Netze mit relativ hemmenden Verbindungen können in äquivalente ungewichtete McCulloch Pitts Netze transformiert werden und umgekehrt. Implementation komplizierte Modelle möglich wenn Äquivalenz zwischen gewicheten und ungewichteten Netzen gezeigt wurde (nächste Folie), ist es einfacher, mit ungewichteten zu arbeiten

22 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie absolute und relative Hemmung (2) Äquivalenz von Netzen mit relativ hemmende Leitungen zu solchen mit absoluter Hemmung n erregende Eingabeleitungen Neuron mit Schwellenwert m mit relativ hemmende Leitung wird zur absoluten hemmenden bei n m + Verzweigungen wenn alle n erregende und m hemmende Leitungen geschaltet dann wird folgende Bedingung überprüft: n ( n m + ) m wird nie erfüllt und Neuron kann keine erzeugen

23 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Binäre Information Frage: Sind Netze mit zwei Zuständen genauso effektiv wie solche mit mehreren? b : Anzahl der Zustände pro Kanal bzw. Leitung c : Anzahl der Kanäle K: Kosten : Proportionalitätskonstante : Konstante b c : Anzahl unterschiedliche Zahlen, die mit c Kanälen mit jeweills b Zuständen dargestellt werden kann K = bc c = K/ b = /b Gesucht: Basis b, die die Funktion b /b für konstante Kosten maximiert

24 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Binäre Information (Fortsetzung) Optimum Anzahl der Zustände b : Eulerkonstante e d.h. eigentlich drei Zustände am effektivsten allerdings verursacht Decodierung ebenfalls Kosten, deshalb Entscheidung für zwei Zustände b : Anzahl der Zustände pro Kanal bzw. Leitung c : Anzahl der Kanäle K: Kosten : Proportionalitätskonstante : Konstante b c : Anzahl unterschiedliche Zahlen, die mit c Kanälen mit jeweills b Zuständen dargestellt werden kann K = bc c = K/ b = /b

25 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Rekursive Netze 5. Netze mit Erinnerung 5.2 Endliche Automaten 5.3 Äquivalenz endlicher Automaten und neuronaler Netze

26 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung vorwärtsgerichtete Netze können bel. Funktion mit fester Eingabevektorlänge berechnen gibt auch Klassen von Funktionen mit unbekannt langen Eingaben z.b. Addition zweier binärer Zahlen d.h. bitweise Eingabe über zwei Eingabeleitungen und bitweise Ausgabe auf anderer Seite des Netzes vorwärtsgerichtetes Netz kann Aufgabe nicht lösen wegen Übertrag Problem Lösung mit Hilfe rekusiver Netze

27 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung rekursives Netz : Rückführung der Resulate ins Netz dh.signale können für bestimmte Zeit festgehalten werden, um sie wieder zu verwenden Benutzung von McCulloch Pitts Zellen mit Zeitverzögerung Berechnung der Ausgabeinheit konsumiert eine Kosteneinheit Eingabe zur Zeit t produziert Ausgabe zur Zeit t+ produziert

28 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = 2 Ausgabe

29 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = Achtung Konsumierung einer Zeiteinheit, also Ergebnis von Eingabe bei t = 2 Ausgabe Achtung heißt nicht Negation, sondern Hemmung bei!

30 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 3 5. Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = 2 2 Ausgabe

31 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie 3 5. Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = 3 2 Ausgabe Hemmung der Neuronen in der nächsten Zeiteinheit

32 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = 4 2 Ausgabe Hemmung der Neuronen

33 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = 5 2 Ausgabe

34 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = 6 2 Ausgabe Erneute Hemmung der Neuronen

35 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind Eingabe t = 7 2 Ausgabe

36 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Netze mit Erinnerung Beispiel Netz verarbeitet eine Kette ankommender Bits verwandelt zwei Einsen in eine Eins wird dabei zu es werden nur Paaren von Einsen erkannt, die mind. durch eine Null getrennt sind t = 8 Eingabe 2 Ausgabe

37 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Endliche Automaten Automat System, das seinen Zustand ändert Zustandsänderung je nach externer Eingabe Ausgabe entsprechend Zustandsänderung Endlicher Automat endliche Anzahl von Zuständen endliche Anzahl von Eingabesignalen Zustandsübergangstabelle Ausgabetabelle einfache Zeitverzögerung: Eingabe zur Zeit t Ausgabe zur Zeit t +

38 V SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Endliche Automaten (Fortsetzung) Eingabe Beispiel zwei Zustände : Q,Q zwei Eingabewerte :, Ausgabe Q V Zustandsübergangstabelle Ausgabetabelle Q Q Q Q Q Q Q Q V Q V ohne Eingabe Endlosschleife oder fester Zustand nicht alle berechenbaren Funktionen berechenbar wegen endlicher Eingabe z.b. Multiplikation mit zwei beliebig langer binären Zahlen

39 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Äquivalenz endlicher Automaten und neuronaler Netze endliche Automaten und rekursive McCulloch Pitts Netze sind äquivalent konstruktiver Beweis (nur eine Richtung) Satz 2.4. Jeder endliche Automat kann mit einem Netz von McCulloch Pitts Zellen simuliert werden

40 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Äquivalenz endlicher Automaten und neuronaler Netze (Fortsetzung) Beweisidee: decodierte Eingabe über Leitungen I i nur eine Leitung aktiv d.h. erhält Rest inaktiv d.h. erhält Netz befindet sich in einen wohldefinierten Zustand Q i d.h. nur eine Leitung der Q i aktiv AND Zelle kann nur feuern, wenn Zustandsbit und Eingabeleitung aktiv sind zu jedem Zeitpunkt t+ nur eine AND Zelle aktiv einfache Zeitverzögerung (da rekursives Netz)

41 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Äquivalenz endlicher Automaten und neuronaler Netze (Fortsetzung) Zustandsübergang wird hier von Verschaltungen bestimmt Beispiel für Verschaltung: (I,Q ) Q 2 OR Zellen Ausgabefunktion bestimmt Verschaltung Eingabeleitungen AND Zellen

42 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Äquivalenz endlicher Automaten und neuronaler Netze (Fortsetzung) endliche Automaten und rekursive McCulloch Pitts Netze sind äquivalent konstruktiver Beweis (nur eine Richtung) Satz 2.4. Jeder endliche Automat kann mit einem Netz von McCulloch Pitts Zellen simuliert werden Nachteil / Problem: jede Funktion braucht andere Verschaltung nicht alle berechenbaren Funktionen möglich Besser wäre... universelles Netz d.h. kein spezielles Netz für eine Funktion mehr notwendige Netzparameter soll Netz selber bestimmen (Lernen) deshalb: Perzeptronen Modell (nächster Vortrag)

43 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Erste Klassifizierung von neuronalen Netzen gewichtete Netze Lernen durch Verändern der Gewichte ungewichtete Netze Lernen d.h. anpassen an neuer Funktion durch Ändern der Schwellenwerte und Verbindungsleitungen Änderung der Netztopologie synchronen Modelle Ausgabe aller Zellen gleichzeitig berechnet (vorwärtsgerichtete Netze) asynchrone Modelle Aktivierung eines jeden Neurons wird zu unterschiedlichen Zeitpunkten (unabhängig voneinander) berechnet (Netze mit Zyklen) Berechnungsmodelle ohne gespeicherten Zustand McCulloch Pitts Zelle ohne inneren Zustand Berechnungmodelle mit gespeicherten Zustand Neuron mit inneren Zustand alle unterschiedlichen Netze/Modelle sind äquivalent

44 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Zusammenfassung Walter Pitts und Warren McCulloch (943): A logical calculus of the ideas immanent in nervous activity y m y McCulloch Pitts Neuron als gerichteter Graph Knoten bzw. Zellen berechnen primitive Funktion (hier Addition) Zwei Klassen von Kanten/Leitungen : hemmende und erregende zur Vereinfachung nur eine Ausgabeleitung Verarbeitung von binären Signalen x x n Neuron feuert, wenn Summe aller erregende Leitungen größer oder gleich dem Schwellenwert ist absolute Hemmung: Inaktivierung des Neurons bei einem einzigen hemmende Signals Unterscheidung zwischen vorwärtsgerichteten (zyklenlosen) und rekursiven (mit Zyklen) Netzen einfache Zeitverzögerung nur bei rekursiven Netzen mit den minimalen Verknüpfungsbasen (AND und NOT) oder (OR und NOT) lassen sich alle logischen Funktionen berechnen

45 SE Künstliche Neuronale Netze Das Modell von McCulloch und Pitts Folie Literaturquellen: Raul Rojas Theorie der neuronalen Netze Eine systematische Einführung klu.ac.at/bam_fuss.htm Folien als PDF und in Webformat unter: berlin.de/~rostin