Einsatz Neuronale Netze

Transkript

1 1 Einsatz Neuronale Netze Funktionsweise und Anwendungen Mainz, 14. Oktober 2005

2 2 Überblick: Künstliche Intelligenz, Problemlösungsverfahren Rechnerneuron Vorwärstgerichtete Netze Modellbildung, Datenvorbereitung Anwendungsbeispiele Selbstorganisierende Karten (Kohonen-Netze)

3 3 (Künstliche) Intelligenz: Individuelle Intelligenz Intelligenz einer Gruppe (Schwarmintelligenz) emotionale Intelligenz Künstliche Intelligenz: Alan Turing 1950: Turing Test: Eine Maschine hat künstliche Intelligenz, wenn ein Beobachter nicht unterscheiden kann, ob er es mit einem Menschen oder einer Maschine zu tun hat. Forschungsziel: Intelligente Leistungen analysieren und berechenbar machen.

4 4 Problemlösungsprozeß: Algorithmisch: Aufgabenstellung intuitiv lösen In numerische Algorithmen umsetzen Als Programm realisieren Voraussetzungen streng einhalten Expertensystem: Aufgabenstellung intuitiv lösen Regeln aufstellen Regeln anwenden auf ähnliche Probleme anwendbar Neuronale Netze: Aufgabenstellung intuitiv lösen Vorgabe von Beispieldaten auf Basis der Lerndaten verallgemeinern auf ähnliche Probleme anwendbar

5 5 Physikalisches Wirkverhalten:

6 6 Physikalisches Wirkverhalten eines Motors: Abstraktion: o = f(e) : Der Ausgang o hängt funktional vom Eingang e ab, dieser Zusammenhang wird durch eine Funktion f beschrieben: o = f(e).

7 7 Optimieren: herkömmlich: mit neuronal. Netz:

8 8 Überblick: Künstliche Intelligenz, Problemlösungsverfahren Rechnerneuron Vorwärstgerichtete Netze Modellbildung, Datenvorbereitung Anwendungebeispiele Selbstorganisierende Karten (Kohonen-Netze)

9 9 Vergleich Gehirn - Rechner: Gehirn: hohe Parallelität Fehlertoleranz Mustererkennung Verallgemeinern Selbstorganisation ca Neuronen Jedes Neuron ist im Schnitt mit 10 4 anderen verbunden Rechner: Präzision Fehlerloses Speichern Schnelles Ausführen eines Algorithmus von Neumann Architektur kaum vernetzt

10 10 Das biologische Neuron: (Berns, Kolb)

11 11 Das Rechnerneuron: Eingabe: e = (e 1,..., e n ) Gewichte: w = (w 1,..., w n ) Nettowert: net := <e, w> - Θ = e i w i - Θ Aktivität: a = a(<e, w> - Θ)

12 12 Die sigmoide Aktivierungsfunktion: Funktion: a(x) = 1 1+e -gx Ableitung: a'(x) = g (1-a(x)) a(x) Steigung in x=0: a'(0) = g/4 Alternativ: - artanh: R -> (-1, 1), - Parabelstücke,...

13 13 Schwellenwertelement: Aktivierungsfunktion: Schwellenwertfunktion Funktion: a(x) = (x 0) Nettowert: net := <e, w> - Θ 0 Schwellenwertelement trennt Eingabedaten linear, logisch verknüpfte Schwellenwertelemente legen konvexen Simplex fest.

14 14 Lineare Trennung: Verdeckte Neuronen trennen linear: Ausgabeneuron fast Ergebnisse durch ODER zusammen: Die äußeren Punkte führen zu einer positiven Antwort.

15 15 Überblick: Künstliche Intelligenz, Problemlösungsverfahren Rechnerneuron Vorwärstgerichtete Netze: Topologie, Lernverfahren, Bewertung Modellbildung, Datenvorbereitung Anwendungsbeispiele Selbstorganisierende Karten (Kohonen-Netze)

16 16 Neuronale Netze - Schichtenmodell:

17 17 Schichtenmodell: Ein- und Ausgabe Eingabeschicht: analoge Eingabe: Lineare Transformation auf das Intervall [-1; 1] diskrete Eingabe: Für jeden Wert ein Neuron, Eingabe aus {-1, 1} Ausgabeschicht: Zielaktivitäten der Ausgabeschicht sollen gleichverteilt im Intervall [0.2; 0.8] sein! Umkehrung der Ausgabefunktion kann sein: f(x) = ((x-m)/x-m)) s : [m; M] Y[0.2; 0.8]; s>0.

18 18 Topologie des Schichtenmodells: Kolmogoroff 1957: Jede vektorwertige Funktion f: [0; 1] n R m kann durch ein dreischichtiges neuronales Netz abgebildet werden. Hierzu werden n Eingabeneuronen, 2n+1 verdeckte Neuronen und m Ausgabeneuronen benötigt. Die Aktivierungsfunktionen hängen von f und n ab. Bemerkungen: Der Beweis ist ein nicht-konstruktiver Existenzbeweis. Er enthält keine Angaben über die Aktivierungsfunktion. Der Satz hat keine praktische Bedeutung.

19 19 Lernen im vorwärtsgerichteten Netz: Gewichte so ändern, dass die Abweichungen in den Lerndaten klein werden: Fehler E w = 1 2 n i = 1 z i o i w 2 minimal: grad E w = E w w 1, E w w 2,, E w w r = 0 weiter: Gradient berechnen, Null setzen??

20 20 Fehlerrückverfolgung (Back Propagation): Nettofehler: Fehler in den Nettowerten jedes Neurons. Verfahren: Aus den Fehlern in der Ausgabeschicht die Nettofehler Schicht für Schicht in Richtung Eingabeschicht berechnen.

21 21 Fehlerrückverfolgung (Back Propagation):

22 22 Fehlerrückverfolgung: Delta-Regel: w t = grad E w w t 1 Geradensuche: Entlang des Gradienten wird das Minimum auf der durch 3 Punkte festgelegten Fehlerparabel bestimmt. Konjugiertenmethode: Nach der Delta-Regel wird eine Richtung orthogonal zum Gradienten gesucht, die den Fehler weiter verkleinert.

23 23 Lernverfahren Levenberg-Marquardt: (Newton-Raphson mit Näherung für 2. Ableitung) gekoppelt mit Gradientenabstieg:! LGS muss gelöst werden!

24 24 Beurteilung des Gelernten: Fehler in den Lerndaten: - maximaler Fehler - durchschnittlicher Fehler - Standardabweichung Fehler in Kontrolldaten: - 20% der Lerndaten - max., durchschn. Fehler - Standardabweichung Systemspezialist: - Beurteilung von Trendaussagen Autokorrelation:

25 25 Modellstatistik: - s-statistik über Anzahl Neuronen - Korrelationen über Anzahl Neuronen - Vergleich Lernund Testdaten

26 26 Beispiel: Simulation am Rechner

27 27 Überblick: Künstliche Intelligenz, Problemlösungsverfahren Rechnerneuron Vorwärstgerichtete Netze Modellbildung, Datenvorbereitung: Parameterauswahl, -reduktion, transformation Anwendungsbeispiele Selbstorganisierende Karten (Kohonen-Netze)

28 28 Modellbildung: Einflussparameter des Systems bestimmen Merkmale extrahieren: - Mittelwerte, geglättete Werte - Differenzen, Korrelationen zwischen Parametern - Zeitreihen: Fourier-, Hadamardkoeffizzienten,... Parameterreduktion durch Dimensionsanalyse: - dimensionslose Ein- und Ausgabeparameter (Ähnlichkeitsmechanik)

29 29 Datenvorbereitung: Eingabe: - auf Standardverteilung transformieren - Transformation auf [-1, 1] (sensibles Intervall) - Hauptachsenreduktion Ausgabe: - auf [0.2, 0.8] transformieren - gleichverteilen in [0.2, 0.8]

30 30 Überblick: Künstliche Intelligenz, Problemlösungsverfahren Rechnerneuron Vorwärstgerichtete Netze Modellbildung, Datenvorbereitung Anwendungsbeispiele Selbstorganisierende Karten (Kohonen-Netze)

31 31 Sensorkorrektur: Dipl-Ing. Th. Froese, Atlan-tec KG MessTec 4/1996 (vereinfacht) Neuronales Netz: Eingabe: S(O 2,T,rL), T, rl Sensor liefert O 2 -Gehalt in Abhängigkeit von Temperatur (T) relativer Luftfeuchtigkeit (rl) Ausgabe: O 2 (wahrer Wert) Lerndaten: mehrere hundert Datensätze

32 32 Prüfstandunterstützung: Dr. Ing. R. Stricker, BMW AG VDI-Berichte 1283, 1996 Ziel: Reduzierung der Prüfstandläufe typische Aufgaben: Ermittlung der optimierten stationären Kennfelder aus den Roh-Kennfeldern vorhandener Motoren Betriebsverhalten des Motors im Kaltbetrieb Problem-KnowHow-Basis: 9 Schichtennetze Lerndatensätze Daten von 20 Motoren Task-KnowHow-Basis: Abweichung zu P-KH-Basis Schichtennetze Experimente und Training bis Fehler klein

33 33 Mustererkennung: Fahrzeug-, Robotersteuerung: Neuronales Netz steuert Fahrzeug oder Roboter korrekt. Es lernt durch "Probefahren". Potentielle Kündiger: Auf der Grundlage von Verbrauchs- und Kundendaten werden potentielle Kündiger ermittelt und mit Sonderkonditionen gehalten. Insolvenzerkennung: Auf der Grundlage von Jahresbilanzen werden Muster ermittelt, die auf Insolvenzverdacht schließen lassen. Aktienvorhersage: Vorhersage auf der Grundlage des bisherigen Kursverlaufs und betriebswirtschaftlicher Daten.

34 34 Anwendungen in der (Bio)chemie: Herkunft Olivenöl: Die Konzentrationen von neun Säuren bestimmen die Herkunft (Region) italienischer Olivenölsorten. Olfaktometer: Mikroquarzanlage mit 6 verschiedenen piezoelektrischen Sensoren. Ein neuronales Netz lernt, Duftstoffe zu erkennen. Reaktionsfähigkeit: Aus quantitativen Eigenschaften einer Bindung wird auf ihre Reaktionsfähigkeit geschlossen. Proteinstruktur: Aus der Primärstruktur der Proteine (Aminosäurenfolge) wird auf ihre (räumlich geometrische) Sekundärstruktur geschlossen.

35 35 Erkennen des Offsets bei Frontal-Crash Diplomarbeit Bremer - 40% Überdeckung - 4 Sensoren: SS, A-S - Offset: mm Offset-Bestimmung: - 3, 5 ms Intervalle: 60, 100 Datenpunkte - a, v, d: Mittelwert Betrag d - ca. 250 Datensätze - versch. Lernregeln - untersch. Topologien

36 36 Überblick: Künstliche Intelligenz, Problemlösungsverfahren Rechnerneuron Vorwärstgerichtete Netze Modellbildung, Datenvorbereitung Anwendungsbeispiele Selbstorganisierende Karten (Kohonen-Netze): Optimaler Weg, Klassifizierung

37 37 Optimaler Bohrerverfahrweg: Anfang

38 38 Optimaler Bohrerverfahrweg: 1.Schritt

39 39 Optimaler Bohrerverfahrweg: guter Weg

40 40 Neuronale Netze klassifizieren (erkennen Muster) lernen Systemverhalten optimieren steuern Autos

41 41 Neuronale Netze klassifizieren (erkennen Muster) lernen Systemverhalten optimieren steuern Autos Was macht der Mensch noch selbst?

42 42 Literatur: Kinnebrock, W.: Neuronale Netze. Oldenbourg, München, Braun, H., J. Feulner und R. Malaka: Praktikum Neuronale Netze. Springer, Rojas, R.: Neuronal Networks. A Systematic Introduction. Springer, New York, Theorie neuronaler Netze: eine systematische Einführung. Springer, Mainzer, K.: Künstliche Intelligenz. Wiss. Buchges., Darmstadt, URL: pdf: