Operations Research (OR) II

Transkript

1 Operations Research (OR) II Fortgeschrittene Methoden der Wirtschaftsinformatik Künstliche Intelligenz (KI/AI), Künstliche Neuronale Netze (KNN/ANN) und effiziente Neurosimulation 13. Mai 2009 Michael H. Breitner # 1 Primäre Literatur zur Vorlesung (KNN) Umfassende Darstellung des überwachten Lernens mit Künstlichen Neuronalen Netzen (KNN) überwiegend aus mathematischer Sicht Einführung in Neurosimulator FAUN (= Fast approximation with universal neural networks), vgl. Vorführung in der Vorlesung Darstellung der FAUN-Hochleistungsrechnerversionen # 2 1

2 Primäre Literatur zur Vorlesung (KNN) # 3 Künstliche Neuronale Netze Der wichtigste Teilbereich der KI ist Künstliche Neuronale Netze (= KNN, engl. artificial neural networks = ANN). Betrachtet werden Verarbeitungsmodelle, die sich durch Lernfähigkeit, Darstellung und Verarbeitung von Unschärfe, hochgradig parallele Aktionen und Fehlertoleranz auszeichnen. Das Wissen ist in der Topologie und in den Gewichten der Kanten des Netzes gespeichert. Veraltet ist heute die Ansicht, dass KNN zur Simulation gehirnähnlicher Strukturen verwendet werden können. In der Zukunft scheint dies jedoch realistischer ( Gehirn Scanner ) # 4 2

3 Künstliche Neuronale Netze KNN sind oft in Schichten organisiert (Perzeptrons). Zweilagige Perzeptrons haben nur Input- und Outputschicht. Drei- und mehrlagige Perzeptrons haben zusätzliche ät li h Zwischenschichten. Z i h hi ht In I diesen di Schichten S hi ht sind i d miteinander verknüpfte Neuronen angebracht. Ein Neuron kann mehrere In- und Outputs haben, die an den Synapsen anliegen. Es summiert seine Inputs, ermittelt abhängig von innerem Zustand und Aktivierungsfunktion einen Output und leitet diesen weiter. weiter Für die Berechnung des Outputs ordnet man den Knoten und Verbindungen Werte zu, d. h. das Aktivierungspotential des Neurons und die Gewichte der Verbindungen werden einkalkuliert # 5 Künstliche Neuronale Netze/OCR Ausgabe Zeichen aus Zeichensatz (Klassifikation) Eingabe 5x7 Pixel-Feld Zwischenschicht # 6 3

4 Künstliche Neuronale Netze in der Praxis Diverse Arten von Mustererkennung; Diverse Arten von Bild- und Sprachverarbeitung; Erkennung von Druck- und Handschriften (OCR, vgl. OCR-Schriften); Kreditprüfung und Kreditwürdigkeitsprüfung; Abschätzung der Insolvenzwahrscheinlichkeit von Unternehmen; Aufdeckung von Kreditkartenbetrug; Klassifikation der Risikobereitschaft von Anlegern; Kapitalmarkt-, Wechselkurs- und Aktienkursprognosen, usw.; Immobilienanalyse; Qualitätskontrolle von Produkten (optisch, mit Messwerten, usw.); Marktsegmentierung und Bewertung von Marketingstrategien; Prognosen in Versorgungsunternehmen g und im Bauspargeschäft; ; Absatzvorhersage in Supermärkten; Entdeckung von Ölvorkommen (Auswertung seismischer Wellen); Kontrolle und Optimierung von Produktionsprozessen; Produktionsplanung in einem industriellen Leitstand-System und Maximierung des Durchsatzes in Warenlagern u. v. a. m.! # 7 Einordnung der KNN A. Zell, Sim mulation neuronaler Netze, 3. Auflage, # 8 4

5 Vergleich Rechner <-> Gehirn (* = etwas veraltet ) * * * * * A. Zell, Simulation neuronaler Netze, 3. Auflage, # 9 Kognitionswissenschaft Kognitionswissenschaft (engl. Cognitive science) ist eine in den 70er Jahren zunächst im angelsächsischen Bereich entstandene Disziplin, die sich der Erforschung der menschlichen h Geistestätigkeit täti it widmet. Mit kognitiv k wird eine allgemeine Abgrenzung der Bereiche des Wahrnehmens, Denkens und Vorstellens von anderen mentalen Bereichen vorgenommen, etwa des Fühlens, der Affekte oder des Wollens. Ein wesentliches Merkmal der Kognitionswissenschaft i ist ihr interdisziplinärer i Charakter, der durch die Mutterwissenschaften Philosophie, Psychologie, Sprachwissenschaft, Neurowissenschaft (Neuronale Netze) und Informatik bestimmt wird # 10 5

6 Kognitionswissenschaft Kognitive Theorien betonen die Bedeutung der nicht ausschließlich auf rein physiologische dem behavioristischen Reiz-Reaktions-Schema entsprechende Mechanismen zurückführbaren sprachlich-symbolischen Vermittlung beim Erkennen und Verstehen einer Situation und bei der Bildung der auf sie gerichteten Intentionen, d. h. Erwartungen und Zwecksetzungen. Bereiche der kognitiven Modellierung und Untersuchungsgegenstand der Kognitionswissenschaft sind Prozesse der visuellen und akustischen Wahrnehmung, des Lernens, der Gedächtnisorganisation und des Wissens, des Sprachverstehens und des Problemlösens und Schließens # 11 Konzepte des Konnektionismus für KNN Zellen eines KNN sind stark idealisierte Neuronen. Sie bestehen in Anlehnung an das biologische Vorbild aus drei Komponenten: Einem Zellkörper, den Dendriten, welche die Eingabe des Netzes in die Zelle aufsummieren, und einem Axon, welches die Ausgabe einer Zelle nach außen weiterleitet, sich verzweigt und mit den Dendriten nachfolgender Neuronen über Synapsen in Kontakt tritt. Die Synapsenverstärkung wird meist durch einen numerischen Wert (oft beschränkt in [-a,a]), das sogenannte Verbindungsgewicht, dargestellt # 12 6

7 Grundlagen des Neurosimulators FAUN Links: Faun mit Nymphe (franz. Holzschnitt, um 1670). Der sagenhafte König Faunus von Latium wird nach seinem Tod bereits im alten römischen Reich als Feld- und Waldgott und als Fruchtbarkeitsgott verehrt. Der Sage nach ist er Sohn des Kriegsgottes Mars und Enkel des Naturgottes Saturn. Später wird Faun mit dem altgriechischen Naturgott Pan gleichgesetzt, der Beschützer der Hirten und Jäger ist. Von den Griechen übernommen wird die Darstellung als Mann mit den Ohren, Hörnern, Beinen und dem Schwanz einer Ziege. Rechts: Die FAUN AG (Fahrzeugwerke Ansbach und Nürnberg AG) baut Spezialfahrzeuge, z. B. Autokräne, Abfallsammelfahrzeuge und Panzertieflader, vgl. und # 13 WWW-Adressen KI und Neuroinformatik M. H. Breitner, Habilitationsschrift, # 14 7

8 4-(bzw. 2- oder 3-)lagiges Perzeptron M. H. 000 Breitner, Habilitationsschrift, # 15 Bezeichnungen FAUN 1.0 n t = Anzahl der Trainingsmuster n v = Anzahl der Validierungsmuster n e = Anzahl der Neuronen in Schicht 1 (Eingabeschicht), ohne Biasneuron n 2 = Anzahl der Neuronen in Schicht 2 (verdeckte Schicht), ggf. ohne Biasneuron n 3 = ggf. Anzahl der Neuronen in Schicht 3 (2. verdeckte Schicht), ggf. ohne Biasneuron n a = Anzahl der Neuronen in Schicht 3 bzw. 4 (Ausgabeschicht) x := (x 1, x 2, x 3, x ne ) T = Eingabevektor für Muster y := (y 1, y 2, y 3, y na ) T = KNN-Ausgabevektor für Muster # 16 8

9 Highlights Neurosimulator FAUN 1.0 Der FORTRAN 90/95-Kern gewährleistet ausgezeichnete Effizienz und auch sehr gute Portabilität, da Compiler für alle gängigen Plattformen und Betriebssysteme, teils auch kostenlos (i. d. R. Shareware, teils Freeware, teils FORTRAN -> C Konverter), verfügbar sind. Durch dynamische Allokation in FORTRAN 90/95 wird die Hauptspeicher(= RAM)belegung so klein wie möglich, um viele schnelle Speicherzugriffe auf den Level- 1- und Level-2-Cache zu ermöglichen und extrem langsame Swap-Speicherzugriffe zu vermeiden. Komfortable Oberflächen (diverse MS Windows Versionen) bzw. Web-Frontends (IWI Compute-Server und Wiwi-CIP Computer-Cluster) ermöglichen ein einfaches und schnelles Training von KNNs und deren online und a posteriori Analyse und Bewertung # 17 Highlights Neurosimulator FAUN 1.0 Für verschiedene Hoch- und Höchstleistungsrechnertypen (Parallel-, Vektor- und Spezialrechner) ist eine gute Ausnutzung der Rechenleistung automatisch möglich. Insbesondere das Rechnen auf inhomogenen, dezentralen UNIX/LINUX-Clustern wird automatisch unterstützt, da derartige Rechnernetze mit geringem Auslastungsgrad weit verbreitet sind. Die Ein-/Ausgabezusammenhänge (= Muster) im Trainingsdatensatz D t, Validierungsdatensatz D v und Generalisierungsdatensatz D g können automatisch linear oder logarithmisch skaliert werden # 18 9

10 Highlights Neurosimulator FAUN 1.0 M. H. Breitner, Habilitationsschrift, # 19 Highlights Neurosimulator FAUN 1.0 M. H. Breitner, Habilitationsschrift, # 20 10

11 Dreilagiges Perzeptron ohne Direktverbindungen: Musterdatensätze M. H. Breitner, Habilitationsschrift, # 21 Dreilagiges Perzeptron ohne Direktverbindungen: Neuronenaktivierungen M. H. Breitner, Habilitationsschrift, # 22 11

12 Dreilagiges Perzeptron ohne Direktverbindungen: Wählbare Parameter M. H. Breitner, Habilitationsschrift, # 23 Dreilagiges Perzeptron ohne Direktverbindungen: 1. Gewichtsmatrix M. H. Breitner, Habilitationsschrift i if, # 24 12

13 Dreilagiges Perzeptron ohne Direktverbindungen: 2. Gewichtsmatrix M. H. Breitner, Habilitationsschrift i if, # 25 Dreilagiges Perzeptron ohne Direktverbindungen: Eingabematrix KNN-Eingabematrix für alle Trainingsmuster M. H. Breitner, Habilitationsschrift, # 26 13

14 Dreilagiges Perzeptron ohne Direktverbindungen: 2. Aktivierungsmatrix M. H. Breitner, Habilitationsschrift, 2000 tanh M wird elementweise auf die Matrixelemente angewendet W 12 *A t,1 ist eine Standard-Matrix-Matrix-Multiplikation # 27 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Ausgabematrix KNN-Ist-Ausgabematrix für alle Trainingsmuster # 28 M. H. Breitner, Habilitationsschrift,

15 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehler KNN-Soll-Ausgabematrix für alle Trainingsmuster elementweise Matrix-Matrix-Multiplikation eitner, Habilitationsschrift, 2000 M. H. Bre # 29 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehler M. H. Breitner, Habilitationsschrift, # 30 15

16 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehler # 31 M. H. Breitner, Habilitationsschrift, 2000 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehler Standardfehler in FAUN 1.0 M. H. Breitner, Habilitationsschrift, # 32 16

17 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehler(gradient) muss der modifizierte Trainingsfehler minimiert werden. Eine sinnvolle Minimierung mit modernen Verfahren der nichtlinearen Optimierung erfordert die Berechnung des Gradienten dieses Fehlers (und evtl. zusätzlich der Hesse-Matrix dieses Fehlers) # 33 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehlergradient Kettenregel mehrmals anwenden! M. H. Breitner, Habilitationsschrift, # 34 17

18 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehlergradient M. H. Breitner, Habilitationsschrift, # 35 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehlergradient M. H. Breitner, Habilitationsschrift, # 36 18

19 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehlergradient M. H. Breitner, Habilitationsschrift, # 37 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehlergradient Standard-Matrix-Matrix-Multiplikation itner, Habilitationsschrift, 2000 M. H. Bre # 38 19

20 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehlergradient M. H. Breitner, Habilitationsschrift, # 39 Highlights Neurosimulator FAUN 1.0 Für dreilagige Perzeptrons mit Direktverbindungen und vierlagige Perzeptrons ohne und mit Direktverbindungen können völlig analog ebenfalls Matrixalgorithmen hergeleitet werden, vgl. o. g. Habilitationsschrift. Die elementaren und Standard-Matrixoperationen können für Vektor- und Parallelrechner sehr effizient in Vektoroperationen, z. B. Skalarprodukte oder SIMD-Operationen, aufgespaltet werden. Rechner- und betriebssystemopti- mierte BLAS(= Basic linear algebra subprograms)-bibliotheken ermöglichen eine vollautomatische Vektorisierung und Parallelisierung # 40 20

21 Parallelisierung Neurosimulator FAUN 1.0 Grobgranular für UNIX/LINUX-Cluster: M. H. Breitner, 2000 r, Habilitationsschrift (Anhang), # 41 Parallelisierung Neurosimulator FAUN 1.0 Grobgranular für UNIX/LINUX-Cluster: M. H. Breitner, 2000 r, Habilitationsschrift (Anhang), # 42 21

22 Parallelisierung Neurosimulator FAUN 1.0 Grobgranular für UNIX/LINUX-Cluster: M. H. Breitner, 2000 r, Habilitationsschrift (Anhang), # 43 Parallelisierung Neurosimulator FAUN 1.0 Grobgranular für UNIX/LINUX-Cluster: M. H. Breitner, 2000 Habilitationsschrift (Anhang), # 44 22

23 Parallelisierung Neurosimulator FAUN 1.0 Grobgranular für UNIX/LINUX-Cluster: M. H. Breitner, 2000 r, Habilitationsschrift (Anhang), # 45 Parallelisierung Neurosimulator FAUN 1.0 Grobgranular für UNIX/LINUX-Cluster: M. H. Breitner, 2000 r, Habilitationsschrift (Anhang), # 46 23

24 Parallelisierung Neurosimulator FAUN 1.0 Grobgranular für UNIX/LINUX-Cluster: M. H. Breitner, 2000 r, Habilitationsschrift (Anhang), # 47 Schwellenwerte und Bias-Neuron(en) In den meisten KNN haben Neuronen einen Schwellenwert (engl. Bias), der die Schwelle angibt, ab der ein Neuron (stark) aktiv ist. Mathematisch ist der Bias die Stelle der größten Steigung monoton wachsender Aktivierungsfunktionen. Im biologischen Äquivalent entspricht er der Reizschwelle, ab der das Neuron Signale weiterleitet. Dieser Schwellenwert kann unterschiedlich realisiert werden, entweder als Parameter in den Neuronen, der in die Aktivierungsfunktion eingeht (umständlich!), oder mit Gewichten und einem Bias-Neuron (immer maximal erregt und in der Eingabeschicht gelegen, besser!) # 48 24

25 Dreilagiges Perzeptron ohne Direktverbindungen: Wählbare Parameter M. H. Breitner, Habilitationsschrift, # 49 Dreilagiges Perzeptron ohne Direktverbindungen: KNN-Fehler(gradient) muss der modifizierte Trainingsfehler minimiert i i werden. Eine sinnvolle Minimierung mit modernen Verfahren der nichtlinearen Optimierung erfordert die Berechnung des Gradienten dieses Fehlers (und evtl. zusätzlich der Hesse-Matrix dieses Fehlers) # 50 25

26 3-(bzw. 2-)lagiges Perzeptron M. H. Breitner, Habilitationsschrift, 200 M # 51 KNN: Begriffe Ein KNN kann als gerichteter, gewichteter Graph angesehen werden, wobei die Kanten die gewichteten Verbindungen zwischen den Neuronen darstellen. Die Matrix der Verbindungen aller Zellen (Gewichtsmatrix) wird üblicherweise mit W bezeichnet. Eine Lernregel ist ein Algorithmus, gemäß dem das neuronale Netz lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe zu produzieren. Lernen erfolgt in neuronalen Netzen meist durch Modifikation der Gewichte als Ergebnis der wiederholten Präsentation von Trainingsmustern. Oft wird dabei versucht, den Fehler zwischen erwarteter Ausgabe und tatsächlicher Ausgabe für alle Trainingsmuster zu minimieren (überwachtes Lernen). Lernverfahren sind der wissenschaftlich interessanteste Gegenstand der KNN # 52 26

27 Lernregeln für KNN Eine Lernregel erlaubt, dass ein Netz eine gegebene Aufgabe (weitgehend) selbständig aus Beispielen lernt. Theoretisch mögliche Arten des Lernens sind: 1. Generierung neuer Verbindungen; 2. Löschen existierender Verbindungen; 3. Modifikation des Gewichts (der Stärke) w ij der Verbindungen (häufig!); 4. Modifikation des Schwellenwertes θ i von Neuronen (vgl. Bias Neuron, häufig!); 5. Modifikation der Aktivierungs-, Propagierungs- oder bzw. und Ausgabefunktion (sehr selten!); 6. Generierung neuer innerer Neuronen (Zellen); 7. Löschen innerer Neuronen (Zellen) # 53 Lernregeln für KNN Von diesen Alternativen, die einzeln oder kombiniert angewendet werden können, ist Alternative 3 die mit Abstand am häufigsten verwendete Art des Lernens. Alternativen 1 und 2 können durch die Modifikation von Gewichten realisiert werden. Die Entwicklung einer neuen Verbindung von Neuron i zu Neuron j wird dadurch realisiert, dass das Verbindungsgewicht w ij von Null auf einen Wert ungleich Null gesetzt wird. Das Löschen einer Verbindung kann durch Zuweisung von Null für das Verbindungsgewicht g geschehen (fixieren!). Die Modifikation des Schwellenwertes von Neuronen (Alternative 4) wird prinzipiell gleich wie die Modifikation von Gewichten behandelt und ist daher problemlos, vgl. Bias-Neuron # 54 27

28 Lernregeln für KNN Die Modifikation der Aktivierungs-, Propagierungs- oder Ausgabefunktion (Alternative 5) ist z. Z. noch nicht sehr verbreitet und biologisch auch nicht gut motiviert. In letzter Zeit haben Verfahren, welche die Entwicklung neuer Zellen oder das Absterben nicht intensiv genutzter Zellen als Bestandteil haben (Alternativen 6 und 7) an Interesse gewonnen, speziell im Hinblick auf das Ziel, möglichst optimale Netze für gegebene Aufgaben-stellungen zu trainieren. i Diese Verfahren, die neben einer Einstellung der Gewichte gleichzeitig eine (möglichst) gute Topologie des Netzes liefern, werden vermutlich in Zukunft noch an Bedeutung gewinnen # 55 Zusammenfassung der Lernarten für KNN Überwachtes Lernen (engl. supervised learning): Ein externer Lehrer gibt zu jedem Eingabemuster der Trainingsmenge das korrekte bzw. beste Ausgabemuster an. Dies bedeutet, t dass dem KNN immer gleichzeitig iti ein vollständig spezifiziertes Eingabemuster und das korrekte bzw. optimale vollständig spezifizierte Ausgabemuster für diese Eingabe vorliegen müssen. Aufgabe des Lernverfahrens ist es, das KNN so zu ändern, dass das Netz nach wiederholter Präsentation ti der Paare von Eingabe- und Ausgabemustern diese Assoziation selbständig vornehmen kann und dies auch für unbekannte, ähnliche Eingabemuster tun kann (Generalisierung) # 56 28

29 Zusammenfassung der Lernarten für KNN Diese Art des Lernens ist üblicherweise die schnellste Methode, ein KNN für eine Aufgabe zu trainieren. Dieser Ansatz ist in der Praxis sehr erfolgreich, aber biologisch nicht plausibel, da die erwünschten Aktivierungen aller Ausgabeneuronen vorgegeben werden müssen (Großer Nachteil!) # 57 Zusammenfassung der Lernarten für KNN Probleme und Fragen des überwachten Lernens: Woher kommt die Lerneingabe in biologischen Systemen, etwa beim Menschen,, und in welcher Form ist sie verfügbar? Wie modifiziert man die Gewichte, so dass das Lernen möglichst rasch und sicher funktioniert? Welche sinnvollen Gütemaße für Lernverfahren gibt es? Welche dieser Lernverfahren sind die besten, wenn es allgemein akzeptierte Gütemaße gibt? # 58 29

30 Zusammenfassung der Lernarten für KNN Ist garantiert, dass ein verwendetes Lernverfahren terminiert? Wie lange dauert das Training eines gegebenen Netzes bei gegebener Zahl von Trainingsmustern i voraussichtlich (a priori und auch a posteriori Analyse)? Welche Art der internen Repräsentation bildet sich durch das Lernen? Wie nahe liegt das KNN-Lernen am menschlichen Lernen?? Wie verhindert man, dass das Lernen neuer Muster die gelernten alten Assoziationen zerstört ( Stabilitäts- Plastizitäts-Dilemma )? # 59 Zusammenfassung der Lernarten für KNN Bestärkendes Lernen (engl. reinforcement learning): Der Lehrer gibt zu jedem Eingabemuster nur an, ob es richtig oder falsch klassifiziert wurde, nicht jedoch die korrekte (beste) Ausgabe. Das KNN Muss die korrekte Ausgabe selbstständig herausfinden. Diese Lernverfahren sind neurobiologisch bzw. evolutionär plausibel weil man einfache Rückkopplungsmechanismen der Umwelt (Bestrafung bei falschen Entscheidungen, Belohnung bei richtigen Entscheidungen) bei niederen und höheren Lebewesen beobachtet # 60 30

31 Zusammenfassung der Lernarten für KNN Dagegen haben diese Lernverfahren den großen Nachteil, dass sie für Aufgaben, bei denen man die gewünschte Ausgabe kennt, viel länger zum Lernen brauchen als überwachte Lernverfahren, weil sie weniger Informationen zur sinnvollen Modifikation der Gewichte benutzen # 61 Zusammenfassung der Lernarten für KNN Unüberwachtes Lernen (engl. unsupervised learning, self-organized learning): Die Trainingsmenge besteht nur aus Eingabemustern, d. h. es existieren keine gewünschten Ausgaben oder Angaben, ob das Netz die Trainingsmuster richtig oder falsch klassifiziert. Lernen geschieht durch Selbstorganisation. Durch das Lernverfahren versucht das KNN, ähnliche Eingabemuster in ähnliche Kategorien zu klassifizieren, d. h. sie durch die Aktivierung i der gleichen oder räumlich benachbarter Neuronen als ähnlich zu identifizieren. Sehr bekannt sind selbstorgani-sierende Karten (engl. self-organizing maps, = SOM, = Kohonen-Karten) # 62 31

32 Zusammenfassung der Lernarten für KNN Die Lernverfahren sind biologisch am plausibelsten, da topologieerhaltende Karten bereits im visuellen Kortex von Säugetieren nachgewiesen sind. In anderen Teilen des Gehirns sind topologieerhaltende Abbildung realisieren, die aus einer genetisch vorgegebenen, aber unvollständig spezifizierten Grundtopologie von Nervenzellen gebildet werden. Mathematisch werden einige wichtige statistische Eigenschaften der Eingabemustermenge automatisch extrahiert (z. B. Cluster) # 63 32