Künstliche Neuronale Netze

Transkript

1 Künstliche Neuronale Netze Artificial Neural Networks - - Einführung und Überblick FHTW Berlin, FB 1 G. Junghanns junghans@fhtw-berlin.de 10/01 1 Überblick Einführung oder Welche Begriffe und Prinzipien sind relevant? Welche Techniken sind verwandt? Anwendungsfälle oder Was wurde schon mit gemacht? Lebenszyklus einer -Entwicklung oder Was muß man tun, um eine -Anwendung zu entwickeln? Produkte oder Was ist verfügbar? Was kann man vermarkten? 2 Was kann man mit machen? stellen eine Alternative zur Lösung folgender Problemklassen dar Klassifikation Approximation 3 FHTW Berlin, G. Junghanns 1

2 Alternativen zur Lösung des gleichen Problems diese Black Box könnte ersetzt werden durch... Expertensystem Mensch mathem. Formeln statistische Methoden Heuristiken : 4 Methoden überlappen sich teilweise je nach Problemlage können andere Methoden günstiger sein bei der Entwicklung neuronaler Netze wurden teilweise Erkenntnisse aus anderen Fachgebieten (z.b. Statistik) wiederentdeckt Quelle des Bildes: NeuroBook II, SPSS GmbH 5 Techniken, die zu verwandt sind Expertensysteme >> Sollten bevorzugt werden, wenn Wissen über Problem (Regeln, etc.) explizit vorhanden ist. Statistische Methoden >> Eng mit verwandt. Alle Erkenntnisse zur Statistik gelten auch für. Beide Methoden können auch kombiniert werden. Fuzzy Logik >> Nützlich um unscharfes Wissen über ein Problem auszunutzen. Einige lassen sich in Fuzzy Logik überführen Genetische Algorithmen >> relativ neue Möglichkeit zur Lösung von Optimierungsproblemen 6 FHTW Berlin, G. Junghanns 2

3 Expertensysteme erfordern Knowledge Engineering ermöglichen das Erfassen und Verwalten von Regelwissen Wissenserfassung (Knowledge Engineering) oft schwierig Quelle des Bildes: NeuroBook II, SPSS GmbH 7 Vorschau: Neuronale Netze erfordern Training ermöglichen das Erfassen von Informationen aus Beispieldaten Datensammlung und -aufbereitung teilweise kompliziert Quelle des Bildes: NeuroBook II, SPSS GmbH 8 Lösungsmöglichkeiten für Klassifizierungsprobleme Neuronale Netze sind nicht die einzige Möglichkeit zur Lösung von Klassifizierungsproblemen mathematischen Methoden können u.u. schneller oder bessere Ergebnisse liefern und haben den Vorteil, dass die Ergebnisse nachvollziehbar sind Quelle der Bilder: NeuroBook II, SPSS GmbH 9 FHTW Berlin, G. Junghanns 3

4 Traditionelle DV vs. Traditionelle Datenverarbeitung benötigt Algorithmus wird programmiert benötigt Beispieldaten wird trainiert Bilder aus: Freeman, J.A.: Simulation Neural Networks with Mathematica. Addison Wesley, Interner Aufbau von input output weights layer Knoten Verarbeitungselement, meist Summierung der Eingangssignale gefolgt von nicht-linearer Funktion Gewicht veränderbare Größe, die mit den Verbindungen zwischen den Knoten abgebildet wird Schicht Anzahl von Knoten, die mit gemeinsamen Quellen und/oder Senken verbunden sind node 11 Möglichkeiten zum Training von supervised learning (Lernen mit Lehrer) Eingangs- und Ausgangssignale sind bekannt unsupervised learning (Lernen ohne Lehrer) Eingangssignale sind bekannt, Expertenwissen über Cluster in den Eingangsdaten ist vorhanden reinforcement learning Eingangssignale sind bekannt, qualitative Bewertung von Ausgangssignalen ist möglich 12 FHTW Berlin, G. Junghanns 4

5 Vor- und Nachteile Beziehungen zwischen Eingangs- und Ausgangsdaten werden selbständig gefunden Daten müssen nur gesammelt, nicht erklärt werden können generalisieren können nichtlineare Zusammenhänge abbilden bestehen aus einfachen Elementen, die parallel arbeiten können Erfolg hängt von Anzahl und Qualität der Daten ab Entwicklung basiert auf heuristischen Methoden Verhalten nicht erklärbar (keine Ursache-Wirkung- Beziehung) Training oft langsam und aufwendig 13 Einige Anwendungsgebiete Mustererkennung (Sprache, Text, Bilder) Vorhersagen Prozessreglung Diagnose Signalverarbeitung (Rauschverminderung, Komprimierung) 14 Mustererkennung Phonetische Schreibmaschine Überwachungssysteme OCR CAD-Systeme Zielverfolgung Softwarewartung Betrugserkennung Problem:Telecommunikationssoftware enthält große Teile sehr ähnlichen, aber nicht identischen Codes. Deshalb ist es schwer, ähnliche Module zu finden um Fehler zu beseitigen. Ziel: Lösung mittels Lösung: Berechnung charakt. Daten für Module Nutzung eines zum Clustern Daten ähnliche Module 15 FHTW Berlin, G. Junghanns 5

6 Vorhersage Simulation von Märkten Zeitreihenvorhersagen Kreditwürdigkeitsbeurteilung Platzvergabe bei Reservierungssystemen Kundenauswahl Produktionsprozesse Problem:Produkte sollen optimal vermarktet werden. Daten zum Verhalten von Konsumenten liegen vor Ziel: Nutzung der Daten um Direktmarketing zu verbessern Lösung: Auswahl relevanter Daten lernt Relation Kundenprofil <> Produkt Profile Kundenwünsche 16 Prozeßsteuerung Modellierung von Produktionsprozessen Qualitätskontrolle Chem. Prozeßkontrolle Haushaltsgeräte Walzprozesse Problem:Modell eines fuzzygeregelten Gerätes vorhanden Zusätzliche Daten sollen zur Optimierung des Regelverhaltens einbezogen werden Ziel: Verbesserung der vorhandenen Reglung Lösung: Parallelschaltung eines Daten Fuzzy Steuersignal Quelle: Asakawa, K.; Tagaki, H.: Neual Networls in Japan. Communications of the ACM, Vol. 37, No.3, March 1994, p Zusatzdaten 17 Diagnose Eisenbahnschienen- Inspektion Untersuchung von Flugzeugturbinen med. Diagnosen Untersuchung von Elektromotoren Untersuchung von Leiterplatten Problem:Leiterplatten wurden mit ATE getestet, Testdaten,Fehlerursache und Reparaturmaßnahme bekannt Ziel: Fehlervorhersage bei Ausfall Lösung: Training eines Meßwerte aus ATE Reparaturmaßnahme 18 FHTW Berlin, G. Junghanns 6

7 Signalverarbeitung Rauschreduzierung Echounterdrückung Signalverbesserung Signalerkennung Datenkompression Problem:Daten (Bilder, Sprache) sehr redundant, konventionelle Kompressionsalg. nicht anwendbar Ziel: Datenkodierung zur Redundanzverminderung Lösung: Arbeit mit autoassoziativem Netz, das einen Flaschenhals zwischen Eingang und Ausgang hat 19 Entwicklungszyklus eines Neuronale Netze -Einführung u. Überblick- Datensammlung Application Identification Feasibility Assessment Development and Validation of Prototype user / developer dev eloper Conversion of Prototype into Deliverable System developer M aintenance user / developer 20 Anforderungen an Trainingsdaten repräsentativ Daten müssen Population gleichmäßig repräsentieren Daten müssen Population des Anwendungsgebietes repräsentieren ausreichend Anzahl der Daten muß mit der Anzahl und Verteilung der Ein- und Ausgabedaten korrelieren vollständig alle Daten müssen nach gleichem Verfahren erhoben worden sein 21 FHTW Berlin, G. Junghanns 7

8 Wie viele Trainingsdaten sind notwendig? keine allgemeine Regel bekannt, nur einige Heuristiken allgemein gilt, je größer ein Netz, um so mehr Daten werden benötigt Vor- und Nachverarbeitung kann helfen, Bedarf zu reduzieren Daumenregeln Interface: (# Eingabeneur. + # Ausgabeneur.) Layout: (# interne Verbindungen) 22 Bedeutung der Datenvor- und Datennachverarbeitung Erfahrungswissen des Anwenders kann meist Leistungsfähigkeit eines verbessern gute Möglichkeit, um Expertenwissen in - Anwendung zu integrieren 23 Produktübersicht Hardware ICs, Leiterkarten,, Spezialprozessoren [? DM,.., 200 TDM] Software zur Unterstützung von Hardwareentwicklungen Bibliotheken und Toolboxen Toolboxen für Standardsoftware,.., Quellcode [200DM.. 10TDM] Simulatoren Ein Netzwerktyp eine Plattform,.., Universalsimulator plattformenabhängig Paketlösungen OCR, Data mining, Betrugsüberwachung Unternehmensberatung 24 FHTW Berlin, G. Junghanns 8

9 Wie kann man in Produkte integrieren? Hardware Spezial-ICs, DSP-ICs, Beschleuniger-Boards für Standardcomputer, Spezialcomputer Software Anwenderprogramm, angepaßte Quellcodes, Bibliotheken, vollständige Simulationssoftware Alle o.g. Komponenten sind als Fertigprodukte erhältlich oder können bei Spezialanbietern bestellt werden. Eigene Entwicklungen können oft auf Anpassungsarbeiten beschränkt werden. 25 Wie kann man ein in einem Produkt vermarkten? Trainiertes Netz Wert für den Kunden Produkt enthält Expertenwissen, das ihm sonst nicht zur Verfügung steht Benutzung Nutzer stellt Daten zur Verfügung und erhält Ergebnis in Abhängigkeit vom Interface Nutzer bemerkt normalerweise nicht, daß er mit einem arbeitet Untrainiertes Netz Wert für den Kunden Produkt bietet die Möglichkeit sich an Umgebung anzupassen Benutzung Nutzer erhält -Shell die an Arbeitsumgebung angepasst werden kann Nutzer kann, muß aber nicht bemerken, daß er mit einem arbeitet 26 FHTW Berlin, G. Junghanns 9