Robert Stahlbock. Evolutionäre Entwicklung künstlicher neuronaler Netze zur Lösung betriebswirtschaftlicher Klassiflkationsprobleme

Transkript

1 Robert Stahlbock Evolutionäre Entwicklung künstlicher neuronaler Netze zur Lösung betriebswirtschaftlicher Klassiflkationsprobleme

2 Abbildungsverzeichnis Tabellenverzeichnis Abkürzungen, Akronyme Symbole xiii xv xvii xxi 1 Gegenstand und Ziel dieser Arbeit 1 2 Musterklassifikation und ihre statistischen Grundlagen Klassifikationsprobleme Klassifikation Muster Klassifikationsverfahren Grundlagen der statistischen Entscheidlingstheorie Statistische Verfahren Wahrscheinlichkeit Diskrete und stetige ZufaJlsgrößen Wahrscheinlichkeiten bei der Klassifikation und BAYESsches Theorem Musterklassifikation Kosteinnatrix und Risikovektor Drfault-Regel Kostenminiinieruiig nach BAYES Ansätze zur Musterklnssifikation Struktur eines Musterklassitikators Bewertung von Klassifikationslösungen Klassifikationsergebnis Algorithinuskomplexität 27 3 Künstliche neuronale Netze Künstliche, neuronale Netze als Bcrcchnungsinodell Künstliche Intelligenz Symbolik und Subsymbolik Überblick über die Entwicklungsgeschichte 30

3 3.2 Struktur künstlicher neuronaler Netze Konnektionismus und Maschinelles Lernen Neuronen. Neuronenverbindungen und Verbindungsgewichte Netztopologie Neurorienschichten Verarbeitungsfunktionen Eingabefunktion Aktivierungsfunktion Ausgabefunktion G Zusammenfassung Typisierung künstlicher neuronaler Netze Typisierungskriterien Anzahl der Neuronenschichten und Stufen Richtung der Verbindung zwischen Neuronen Richtung der Signalausbreitung im Netz Form der Verbindung zwischen zwei Neuronenschichten Linearität G Lernstrategien Lernziele Lernmethoden und Lernregeln Klassifikationsprinzip Problemtyp und Anwendungsgebiet Aktivierungsdynanük Typisierung nach Kriterien Eigenschaften künstlicher neuronaler Netze Vorteilhafte Eigenschaften Modellfreiheit Verteilte Wissensrepräsentation Generalisierungsfähigkeit Lernfähigkeit Parallelverarbeitung Fehlertoleranz Anpassungsfähigkeit Approximationsfähigkeit Nichtlinearität Problembereiche beim Einsatz neuronaler Netze Überlernen und Unterlernen Datenbedarf Ergebnisinterpretation Konvergenzverhalten und Lerngeschwindigkeit Mangel an Vorteilen gegenüber anderen Verfahren Netzauswahl und Netzentwurf Stabilitäts-Plastizitäts-Dilemma 77

4 Erwartungshaltung Entwicklungsprozeß für künstliche neuronale Netze Vorgehensmodell nach BAILEY Vorgehensmodell nach MILLER Entwicklungsinethodologie nach BAUN Vorgeheuhmodell nach ANDERS Entwicklungsinethodologie nach SCHERER Vorgehensmodell nach ALEX Ein allgemeines Vorgchcnsniodell Vorbereitungsphase Aufbau und Pflege der Datenbasis Datensannnlung und -aufbereitung Datenaktualisierung Modellerstellung ' Modellabuahine und Wartung Dauer des Entwicklungsprozesses Generalisiening oder Spezialisierung Einsatz mehrerer Netze in einem Netzgreinium Offene Fragen zur Entwicklung neuionaler Netze Künstliche neuronale Netze zur Klassifikation Grundaniiahmen und Ahnliclikeitsmaße Probabilistisches Neuronales Netz (PNN) Diehtrsehatzung mit GAUSSscheu Exponentialfunktionen Implementierung als neuronales Netz Architektur Eingabeschicht, Musteihchieht Suinmationsschicbt Ausgabeschicht Lern- und Testverfahren Beurteilung des Verfahrens Vorteile Nachteile Ergänzungen des PNN-Veifahrens Mehrschicht-Perzcptrou als BAYES-Klassifikator Otfene Fragen zur Entwicklung und Anwendung eines PNN

5 4.3 Lernende Vektorquantisierung nach KOHONEN (LVQ) Architektur eines LVQ-Netzes Datenvorverarbeitung Besondere Eigenschaften Klassische LVQ-Lernverfahren LVQl-Algorithmus OLVQl-Algorithmus LVQ2-Algorithmus LVQ2.1-Algorithmus LVQ3-Algorithmus Initialisierungsverfahren Interpretation der Klassifikationsergebnisse LVQ-Varianten LVQ mit..gewissen" Learning Vector Classification (LVC) Dynamisches LVQ (DLVQ) LVQ-Lernen im Restricted Coulomb Energy-Net Distinction Sensitive LVQ (DSLVQ) Generalisierter LVQ (GLVQ) und LVQ mit gcwichtctcr Ziclfunktion LVQ mit Prnning durch Mittelwcrtanalysc nach KERLING et al Erweiterter LVQ mit Parzen Windows Offene Fragen zur Entwicklung eines LVQ-Netzes Zusammenfassender Vergleich zwischen PNN und LVQ-Netzen Auswahl von Eingabe- und Zielgroßen Initialisierung und Parametrisierung Datenaufbereitung Lernen und Validierung Ergebnisinterpretation 172 Evolutionäre Algorithmen zur Entwicklung neuronaler Netze Geschichtlicher Überblick zur biologischen Evolutionstheorie Evolutionäre Algorithmen Grundlagen Genetische Algorithmen Grundlagen, Begriffe und Basisalgorithmus Codierung Genetische Operatoren Selektion Crossover Mutation und 1-Elter-Sequenzoperatoren Fitneßfunktion 190

6 5.2.3 Throshold Accepting Destabilisicningsverfahrcn nach ABLAY Zusammenfassung Beispiele zur Kombination Genetischer Algorithmen mit LVQ-Nctzen Genetic Learning Vector Quantization (G-LVQ) nach MERELO et al Genetische Modellierung eines LVQ-Modclls (LVQ-GA) nach DE- RIGS et al Evolutionäre Entwicklung von LVQ-Netzen und PNN Codierung von LVQ-Netzen Bmärcodierung von Eingabeneuronen Dcziiiialcodierung von Eingabeneuronen zur Auswahl von Eingabemerkmalen mit Hilfe einer gewichteten Euklidischen Distanz Codierung von PNN Prüfung von Generalisierung und Fitneßfunktion Threshold Accepting zur Entwicklung von LVQ-Netzen (TA-LVQ) Genetische Operatoren Destabilisierung und Verfahrensparameter Selektionskriterien Möglichkeiten der Implementierung des Verfahrens Sequentielles Entwicklungsvei fahren Paralleles Entwicklungsverfahren Auswahl und Anwendung von LVQ-Netzen Genetische Algorithmen zur Entwicklung von LVQ-Netzen (GA-LVQ) Verfahrensprinzip Crossover-/Mutations-Operator und Selektionslnechanismen Destabilisierung Parallel-Implementierung des Verfahrens Genetische Algorithmen zur Entwicklung von PNN (GA-PNN) Verfahrensprinzip Genabschnitte. genetische Operatoren und a-variation Fitneßfunktion und Selektionsmeehanismen Parallel-Implementierung des Verfalucns Programmierung von TA-LVQ. GA-LVQ und GA-PNN 218

7 6 Anwendungsbeispiel für ein betriebswirtschaftliches Klassifikationsproblem: Umsatzprognose zur Bewertung und Auswahl von Filialstandorten eines Einzelhandelsunternehmens Betriebliche Standortplanung Methoden der Standortwahl Die Bedeutung des Umsatzes und der Umsatzprognose Abgrenzung von Absatzgebieten Empirische Bestimmung des Absatzgebiets Raumgebietsmodelle Distanzmodelle Standortbewertungsmethoden - Umsatzprognose Analogmethode Regressionsanalyse Checklisten- und Scoring-Verfahren PortfolioAnsatz Standortplanung als Klassifikationsproblem Umsatzbezogene Standortklassifikation mit Hilfe künstlicher neuronaler Netze Datenbasis und Datenaufbereitung Vorverarbeitung der Eingangsdaten Merkmalsreduktion durch Korrelationsanaly.se Klassen- und Mengeneinteilung Variablenskalierung Versuchs- und Ergebnisdarstellung einzelner Verfahren LVQ (manuelle Entwicklung) TA-LVQ GA-LVQ GA-PNN Bewertung der Verfahren und Ergebnisse Gewichtsanalyse am Beispiel eines LVQ-Netzes Vertriebswegstruktur und Filialeigenschaften Staudorteigenschaften Entwicklungspotential Erweiterungsinöglichkeiten und Beantwortung offener Fragen Zusammenfassung und Ausblick 263

8 Anhang 267 A Herleitung der Delta-Regel 271 B Ergebnisse Standortklassifikation 273 B.l Ergebnisdiagrannne 273 B.2 Ergcbnistabellen 293 Literaturverzeichnis 305