Probablistic Neural Network

Transkript

1 Hochschule Wismar University of Applied Sciences Technology, Business and Design Fakultät für Ingenieurwissenschaften, Bereich EuI Probablistic Neural Network Betreuer: Prof. Dr.-Ing. Uwe Lämmel Abgabetermin: Bearbeiter: Studiengang: Toni Liesche, Karsten Brodkorb, Tom Wendel Multimedia Engineering (Master) SS 2013

2 Inhalt Inhalt 1 Einleitung Probablistic Neural Network Grundlagen Allgemeiner Aufbau Input Layer Pattern Layer Summation Layer Output Layer Mathematische Grundlagen Allgemeine Berechnungen Der Glättungsparameter σ Der Jackknifing-Algorithmus Implementierung in Knime Der Dynamic Decay Algorithmus Grundlagen Eigenschaften des Algorithmus Die Parameter ϴ+ und ϴ Funktionsweise des Algorithmus Klassifizierung Der Workflow-Aufbau Testdaten Datensätze Klassifizierung von Schwertlilien Gehalt-Daten Kreditscoring Daten des Data-Mining Cup Vorverarbeitung Auswertung I. Abkürzungsverzeichnis II. Literaturverzeichnis III. Abbildungsverzeichnis IV. Tabellenverzeichnis V. Selbstständigkeitserklärung... Fehler! Textmarke nicht definiert.

3 Einleitung 1 Einleitung Künstliche neuronale Netze sind Modelle, die versuchen biologische Strukturen wie das Nervensystem des Menschen, reduziert abzubilden. Ein neuronales Netz besteht dabei aus Neuronen, die den Nervenzellen nachempfunden sind. Zusätzlich sind diese Neuronen über gewichtete Kanäle ähnlich den Synapsen miteinander verknüpft, um so Informationen empfangen oder senden zu können. Die Neuronen verfügen über sogenannte Aktivierungsfunktionen, die auf Grundlage der gewichteten Eingabe bzw. Eingaben exakt eine Ausgabe erzeugen. Grundsätzlich unterscheiden sich Neuronale Netze durch ihre Netztopologie und ihre Verbindungsarten. Beispielsweise gibt es einschichtige oder mehrschichtige Feedforward- oder Feedback-Netze. In dieser Dokumentation werden der Aufbau, die Funktionsweise und die Einsatzgebiete des Probabilistischen neuronalen Netzes, bei dem es sich um ein mehrschichtiges Feedforward Netzwerk handelt, dargestellt und bewertet. 3

4 Probablistic Neural Network 2 Probablistic Neural Network 2.1 Grundlagen Propablistische Neuronale Netze (probablistic neural networks), kurz PNN, sind sogenannte Multi Layered Feedforward Neural Networks 1, die aus vier Schichten bestehen. Sie wurden Ende der 80er Jahre von Donald F. Specht [1] vorgestellt und nutzen als Grundlage den sogenannten Bayes-Klassifikator, welcher wiederum aus dem Bayes sches Theorem abgeleitet wurde. Dabei ordnen die Bayes schen Klassifikatoren jedes Objekt der Klasse zu, bei welcher die errechnete Wahrscheinlichkeit am höchsten ist oder bei welcher durch die Einordnung die geringsten Kosten entstehen. Trotz der theoretischen Grundlage des Bayes- Klassifikator unterscheidet sich das PNN doch erheblich im praktischen Aufbau und im Entscheidungsprozess. 2.2 Allgemeiner Aufbau Da ein PNN ein Multi Layered Feedforward Neural Network ist, besteht es, wie der Name schon sagt aus mehreren Schichten. Im Gegensatz zu anderen Typen von Multi Layer Netzen wie z.b. das Multi Layer Perceptron hat das PNN eine immer gleichbleibende Grundstruktur. Diese Struktur beinhaltet 4 Schichten die nachfolgend erläutert werden Input Layer Der Input Layer (Eingabe Schicht) repräsentiert die angelegten Testdaten. Dabei entspricht jedes Neuron dieser Schicht genau einem Datensatz der klassifiziert werden soll. Um die Daten klassifizieren zu können müssen alle Attribute des Datensatzes als nummerische Werte vorliegen (Bild 1) Pattern Layer Der Pattern Layer (Muster-Schicht) oder auch Hidden Layer ist die Schicht, die auf Grundlage der Trainingsdaten aufgebaut wird. Dabei entspricht ein Neuron genau einem Datensatz aus der Trainingsmenge. Bei einer Vorhersage berechnet ein Neuron standardmäßig den euklidischen Abstand der Testdaten zum abgespeicherten Trainingsdatenwert. Als Grundlage für diese Berechnung dient eine sogenannte Radial Basis Function (RBF) inklusive evtl. benötigter Parameter ihr Wert hängt bei konstanten Parametern nur vom euklidischen Abstand ab und ist radialsymmetrisch. 1 Mehrschichtiges vorwärtsgerichtetes neuronales Netzwerk 4

5 Probablistic Neural Network Der Pattern Layer ist in sogenannte Populationen unterteilt, welche jeweils eine vorherzusagende Klasse repräsentieren. Als Besonderheit darin ist aufzuführen, dass die einzelnen Neuronen der Populationen nicht mehr mit allen nachfolgenden Neuronen des Summation-Layers verbunden sind, sondern nur noch Verbindung zu einem dieser Population zugeordneten Neuron der nachfolgenden Schicht besitzen (Bild 1) Summation Layer Der Summation Layer (Summations-Schicht) hält für jede mögliche vorhersagbare Klasse genau ein Neuron das die gewichteten Werte der Muster-Schicht zusammenrechnet und somit einen Wert pro Datensatz ermittelt. Dieser Wert ist somit ein abstandsmaß für die vorhergesagte Klassenzugehörigkeit und wird an die letzte Schicht zur endgültigen Entscheidung übergeben (Bild 1) Output Layer Der Output-Layer vergleicht die gewichteten Werte der Summations-Schicht und ordnet sie der Klasse zu die den größten vorhergesagten Wert erreicht hat (Bild 1). Mathematisch gesehen handelt es sich um eine max-funktion die praktische Umsetzung unterscheidet sich entgegen der Darstellung von der Implementierung als einzelnes Neuron. Bild 1: Aufbau eines PNNs 5

6 Probablistic Neural Network 2.3 Mathematische Grundlagen Allgemeine Berechnungen Wie im Abschnitt 2.2 bereits dargestellt wurde, besteht die Abstandsbestimmung in Probabilistischen Neuronalen Netzen grundsätzlich aus 2 Schritten: Dem Berechnen der Einzelabstände und dem Bilden des Klassenabstands. Im ersten Schritt erfolgt für ein zu klassifizierendes Objekt die Berechnung der Einzelabstände zu jedem Objekt der Trainingsmenge (dargestellt durch die Neuronen im Pattern Layer). gg kk (xx) = 1 σσ WW xx xx kk σσ (2.1) Obwohl grundsätzlich auch andere Wahrscheinlichkeitsdichtefunktionen zum Einsatz kommen können, hat sich die von Specht empfohlene Gauß-Funktion als Standard im Bereich der PNNs durchgesetzt. Aus der Zusammenführung mit Formel 2.1 ergibt sich: gg kk (xx) = 1 kk )2 (2.2) σσ ee (xx xx 2σσ 2 Da es sich häufig um mehrdimensionale Eingangsvektoren handelt, erfolgt die Abstandsberechnung in Form der euklidischen Norm über der Differenz der beiden Vektoren. Schließlich wird das Ganze noch aufsummiert und durch die Anzahl der Elemente innerhalb einer Population dividiert. Zusammenfassend für beide Schritte ergibt sich folgende Formel: gg (xx ) = 1 nn (2ππ) pp/2 σσ pp nn kk=1 ee xx xx 2 kk 2σσ 2 (2.3) Tabelle 1: Symbole Formeln PNN X xk, xik p ni σ zu klassifizierender Datensatz Trainingsdatensätze Länge der Merkmalsvektoren Anzahl der Trainingsdaten in Klasse i Glättungsparameter 6

7 Probablistic Neural Network Der Glättungsparameter σ Der Glättungsparameter σ ist identisch mit der Standardabweichung einer Gauß- Normalverteilung. Je höher dieser Wert gewählt wird, desto breiter wird die Kurve der Dichtefunktion. Bild 2: Niedriger Wert für σ In der Implementierung eines Probabilistischen Neuronalen Netzes bestimmt der Parameter den Grad der Interpolation zwischen Punkten im Merkmalsraum. Dies bedeutet, dass bei höheren Werten für σ Eingabegrößen zur Klassifikation ähnliche Wahrscheinlichkeiten aufweisen, wie das Trainingsbeispiel selbst. Bild 3: Hoher Wert für σ Je größer der Wert ist, desto mehr nähert sich die Dichtefunktion an die Gauß-Verteilung an unabhängig, welche Daten der realen Verteilung zugrunde liegen. Bild 4: Noch höherer Wert für σ Der Jackknifing-Algorithmus Ein möglicher heuristischer Ansatz zur Bestimmung des optimalen Wertes von σ im Zusammenhang eines bestimmten Klassifizierungsproblems ist die sogenannte Jackknifing -Methode. Die Bestimmung der Qualität eines bestimmten Wertes von σ für das gegebene Problem erfolgt iterativ über die gesamte Trainingsmenge: Jeder einzelne der n Trainingsdatensätze wird nach und nach aus der Trainingsmenge für einen Durchlauf ausgegliedert und durch die verbliebenen n-1 Datensätze klassifiziert. Hierbei werden die korrekten Klassifikationen als Maß für die Qualität von σ gezählt. Diese Prozedur wird systematisch über verschiedene Werte für σ wiederholt. Als optimaler Wert wird derjenige angenommen, der die höchste Korrektklassifizierungsrate der untersuchten Werte aufweist. Bild 5: Jackknifing 7

8 Implementierung in Knime 3 Implementierung in Knime Der Dynamic Decay Algorithmus Im Jahr 1998 wurde durch Berthold und Diamond [2] ein neues Verfahren zur automatischen Generierung eines Probabilistischen Neuronalen Netzes aus einer gegebenen Menge an Testdaten vorgestellt Grundlagen Ein großer Vorteil besteht in der Tatsache, dass sowohl die Netztopologie als auch die zum Einsatz kommenden Parameter während vollständig automatisiert bestimmt werden. Darüber hinaus wird für jeden lokalen Gauß 2 der Einflussbereich berechnet. Hierdurch wird die Erkennungsgenauigkeit in Konfliktbereichen 3 verbessert. KNIME generiert Regeln basierend auf den numerischen Eingangsdaten. Jede Regel wird als höherdimensionale Gaußfunktion definiert. Jede Gaußfunktion besteht dabei aus einem zentralen Vektor und einer Standardabweichung Eigenschaften des Algorithmus Berthold und Diamond beschreiben die fünf Haupteigenschaften des Algorithmus in ihrem Paper 4 wie folgt: Constructive Training: Die Anzahl der Notwendigen Neuronen wird ebenso wie die Eigenschaften der individuellen Gaußparameter während des Trainings bestimmt. Das Netzwerk wird von Grund auf neu konstruiert und neue Neuronen werden nur bei Bedarf eingeführt. Fast Training: Aufgrund der Natur des Algorithmus wird das Training normalerweise in weniger als fünf Durchläufen beendet sein. Guaranteed Convergence: Es kann nachgewiesen werden, dass der Algorithmus unter Verwendung einer endlichen Zahl an Trainingsdaten terminiert. 2 Jeder Datensatz in der Trainingsebene besitzt eine eigene Aktivierungsfunktion 3 Bereiche, in denen Datensätze verschiedener Klassen ähnlich hohe Wahrscheinlichkeiten aufweisen 4 Berthold, Diamond: Constructive Training of PNNs, S

9 Implementierung in Knime Two Uncritical Manual Parameters: Es werden nur zwei manuell zu wählende Parameter benötigt, deren Einfluss auf Realwelt-Daten in den meisten Fällen nicht kritisch ist. Distinct Classification Zones: - Class Inclusion: Korrekte Klassifikationen liegen oberhalb des Schwellwertes ϴ+ - Class Exclusion: Falsche Klassifikationen liegen unterhalb des Schwellwertes ϴ- - Uncertainty: Muster, die nur in Konfliktbereichen liegen, haben niedrige Klassenwahrscheinlichkeiten zusätzliche don t know - Antwort möglich Die Parameter ϴ+ und ϴ- Die beiden manuell zu bestimmenden Parameter geben die Schwellwerte der Aktivierungsfunktionen vor. Zielsetzung des Algorithmus ist, dass es für jedes Beispiel des ursprünglichen Trainingsdatensatzes einen Prototypen 5 derselben Klasse gibt, für den die errechnete Wahrscheinlichkeit größer als ϴ+ ist und zugleich die Wahrscheinlichkeiten für alle Prototypen konkurrierender Klassen maximal ϴ- beträgt. Bild 6: ϴ+ und ϴ- Berthold und Diamond zeigen in ihrer Ausarbeitung den Zusammenhang zwischen den Parametern und der Netzstruktur 6. Generell gilt es zwei Aussagen festzuhalten: Ein großer Abstand von ϴ+ und ϴ- kann zu einer deutlichen Vergrößerung der Anzahl an benötigten Neuronen im Pattern Layer führen, ein niedriger Abstand der beiden Parameter führt dagegen zu einem größeren Einfluss auf das Endergebnis, in welcher Reihenfolge die Trainingsdaten eingeführt werden. Als Ausgangswerte werden ϴ+=0,4 und ϴ-=0,2 empfohlen. 5 Ein Neuron im Pattern Layer des PNNs 6 Berthold, Diamond: Constructive Training of PNNs, S

10 Implementierung in Knime Funktionsweise des Algorithmus Im folgenden Ablauf steht pp kk für einen Prototypen k aus der Klasse i mit der zugehörigen Gewichtung AA kk, dem zentralen Vektor µ kk und der Standardabweichung σσ kk. 7 Tabelle 2: Der Dynamic Decay Adjustment Algorithmus - Setze die Gewichtungen AA kk aller Prototypen zurück auf 0. (3.1) - Alle Trainingsmuster werden dem Netzwerk zugeführt. (3.2) - Falls ein Muster korrekt klassifiziert wird, (3.3) - wird die Gewichtung des größten Prototypens um 1 erhöht (3.4). - Ansonsten wird ein neuer Prototyp eingeführt (3.5) - mit dem neuen Muster als Zentrum (3.6) - und einer Gewichtung von 1. (3.7) - Die Standardabweichung σ für die lokale Gaußkurve wird so groß wie möglich gewählt, ohne einen bereits bestehenden Prototypen einer anderen Klasse falsch zu klassifizieren. (3.8) - Im letzten Schritt wird σ für alle Prototypen konkurrierender Klassen reduziert, falls ihre Aktivierung für dieses Muster zu hoch ist. (3.9) // Gewichtungen zurücksetzen FORALL Prototypen pp kk DO (3.1) AA kk = 0 ENDFOR // Kompletter Durchlauf FORALL Trainingsmuster (xx, ) DO: (3.2) IF pp kk pp kk (xx ) θθ + THEN (3.3) AA kk += 1 (3.4) ELSE // neuen Prototypen einführen (3.5) nn += 1 μμ nn = xx (3.6) AA nn σσ nn = 1 (3.7) (3.8) μμ ll jj µ nn 2 = min jj llllθθ 1 ll nn jj ENDIF // in Konflikt stehende Prototypen // anpassen FORALL jj ; 1 ll nn jj DO σσ jj ll = min σσ jj ll, xx μμ jj 2 ll llllθθ ENDFOR (3.9) 7 Berthold, Diamond: Constructive Training of PNNs, S. 174f. 10

11 Implementierung in Knime Klassifizierung Aufgrund der Einführung lokaler Parameter für jeden Datensatz im Pattern Layer ist auch eine Anpassung der in vorgestellten Formel notwendig. Die Berechnung des Abstandes jedes einzelnen Elementes der Trainingsmenge erfolgt nun über die folgende Formel: gg kk (xx ) = xx xx kk ² 1 (2ππ) pp/2 σ kk pp 2 σ 2 ee kk (3.10) Zur Bestimmung der relativen Gewichtung eines Prototypens innerhalb seiner Klasse ist es notwendig, die im DDA-Algorithmus berechneten absoluten Gewichtungen ins Verhältnis zu setzen. Dabei gilt, dass die Summe über allen Gewichtungen einer Klasse gleich 1 ergibt. ππ kk = AA kk nn AA jj=1 jj nn ; kk=1 ππ kk = 1 (3.11) Fügt man nun das Ergebnis der Formeln 3.10 und 3.11 zusammen, so ergibt sich für einen zu klassifizierenden neuen Datensatz x folgende Gleichung: nn gg (xx ) = kk=1 ππ kk gg kk (xx ) (3.12) 3.2 Der Workflow-Aufbau In KNIME werden die einzelnen Arbeitsschritte in Knoten realisiert. Der Versuchsaufbau dieses Projektes bestand aus 5 verschiedenen Knoten. Der File Reader war dafür zuständig, die Daten aus der Eingabedatei in den Workflow einzulesen. Dabei kann er so konfiguriert werden, dass er die Daten in vielen verschiedenen Formaten (z. B. ASCII-Datei, CSV-Datei) und aus verschiedenen Quellen (z.b. URL oder lokale Dateien) beziehen kann. So gelangen die Daten in den Arbeitsbereich. Vom File Reader aus gelangen die Daten in den Partitioner, welcher dafür zuständig war, die Eingangsdaten in Trainings- und Testdaten aufzuteilen. Dabei wurden die Klassenverteilungen beibehalten (Stratified Sampling). Die Gewichtung lag auf 60% Trainings- und 40% Testdaten. Der Partitioner verzweigte auf den PNN Learner sowie auf den PNN Predictor. Mit dem PNN Learner wurde das Netz anhand der Trainingsdaten trainiert. Dieser arbeitete mit dem DDA-Algorithmus. Außerdem bestand die Möglichkeit, Faktoren wie ϴ(-) und ϴ(+) zu verfeinern und so optimal anzupassen. Der PNN Predictor diente als Klassifikator. Mit den Trainingsdaten aus dem PNN Learner und den Testdaten aus 11

12 Implementierung in Knime dem Partitioner sagte der Predictor die Daten vorher. Anschließend wurden die Resultate sowie die Regeln zur weiteren Analyse über einen Writer im CSV-Format ausgegeben. Bild 7: KNIME Workflow 12

13 Testdaten 4 Testdaten 4.1 Datensätze Bei der Auswahl der Testdatensätze wurde von Beginn an darauf geachtet, dass diese lückenlos waren und zum Hauptteil aus numerischen Datensätzen bestanden. Die Bezugsquellen der Testdaten waren: - Schwertlilien Demonstrationsdaten der Weka 8 -Software - Gehaltsdaten des Dartmouth Hitchcock Medical Center, USA - Kreditscoringdaten des Instituts für Statistik, Universität München - Data-Mining Cup Daten 4.2 Klassifizierung von Schwertlilien Wie eingangs in Abschnitt 4.1 kurz beschrieben handelt es sich bei diesen Datensätze um Weka Demonstrationsdaten. Die vier vorhandenen Attribute setzten sich aus spezifischen Abmaßen von Schwertlilienblüten zusammen. Diese sollen genutzt werden um drei unterschiedliche Schwertlilienarten vorherzusagen. Diese Daten waren für eine PNN-Klassifikation sehr gut geeignet, da es sich bei den vier vorhandenen Attributen um rein numerische Eigenschaften handelt. Ebenfalls war der Datenumfang von 150 Datensätzen optimal 10, da bei Benutzung umfangreicher Daten mit einem PNN doch erheblicher Zeit- und Speicherbedarf vorhanden sein sollte. Diese Daten enthielten keine expliziten Datensätze zum Lernen, somit mussten selbst repräsentative Trainingsdaten bestimmt werden. Durch den Einsatz von KNIME wurde diese Datenauswahl durch den Knoten PNN Learner (DDA) übernommen. 4.3 Gehalt-Daten Die Gehalt-Datenerfassung wurden in einer Umfrage des Dartmouth Hitchcock Medical Center im Jahr 1985 durchgeführt. Dazu wurden 534 zufällig ausgewählte Personen befragt. Dabei wurden 11 Attribute die sich auf die Person beziehen, wie zum Beispiel Geschlecht, Familienstand, Tätigkeit und ethnische Herkunft, abgefragt. Diese Attribute sollen dann zur Vorhersage der Gehaltsgruppe genutzt werden. Auch in diesem Datensatz standen keine expliziten Trainingsdaten zur Verfügung, somit wurde wie bei der Schwertlilienklassifikation verfahren. 8 Software-Tool und KNIME-Erweiterung für Techniken aus dem Bereich maschinelles Lernen und Data Mining 9 jährlicher Data-Mining Wettkampf, veranstaltet von der Prudsys AG 10 Höherdimensionale Daten benötigen allerdings deutlich mehr Datensätze zum Training des Netzes 13

14 Testdaten 4.4 Kreditscoring Die Daten zur Klassifizierung von Kreditnehmern wurden stichprobenartig von einer süddeutschen Großbank zur Verfügung gestellt. Dabei enthalten die Daten hauptsächlich ordinale und nominale Merkmale der einzelnen Kreditnehmer. Die Daten setzten sich aus persönlichen, wirtschaftlichen und rechtlichen Merkmalen zusammen. Insgesamt bestehen die Daten aus 600 Trainingsdaten und 400 Klassifikationsdaten, die sich jeweils weiter in 21 Attributen unterteilen. Die Daten sind lückenlos und sollen zur Vorhersage der Kreditwürdigkeit oder Kreditunwürdigkeit genutzt werden. 4.5 Daten des Data-Mining Cup 2007 Bei den Daten des Data-Mining Cup 2007 handelt es sich um Coupon Rabattdaten. Ein Satz der Datenmenge besteht aus 20 Attributen, die alle binär codiert sind. Die Gesamtdatenmenge besteht aus zwei unterschiedlichen Dateiensätzen, die sich in Daten zur Vorhersage und Trainingsdaten aufteilen. Ziel der Klassifikation ist es, für jede Person den optimalen Coupon vorherzusagen. Auf Grund des großen Datenumfangs wurden zuerst Tests mit den drei Datensätzen aus 4.2, 4.3 und 4.4 durchgeführt um die die Konfigurationsmöglichkeiten der PNN Knoten in KNIME zu testen, damit der zeitliche Aufwand für die doch nicht unerhebliche Datenmenge so gering wie möglich gehalten wurde. 4.6 Vorverarbeitung Anfangs sollte geprüft werden, dass alle Datensätze die richtigen Daten enthalten. So sollten fehlende Werte aufgefüllt werden. Um Datensätze mit dem PNN-Verfahren auswerten zu können sind ausschließlich numerische Werte nötig. So war der nächste Schritt der Vorverarbeitung alle nicht-numerischen Werte in den numerischen Wertebereich zu transformieren. Anschließend wurden alle Werte auf das Intervall 0 1 normalisiert (Gleichgewichtung). Eine Individuelle Gewichtung ist ebenfalls möglich. Nachdem alle Daten normalisiert wurden ist die Vorverarbeitung abgeschlossen. Nun konnten die Datensätze im PNN-Verfahren verwendet werden. Die Vorverarbeitung erfolgte mit Microsoft Excel die Daten selbst wurden in ein CSV-Format überführt und an KNIME übergeben. 14

15 Auswertung 5 Auswertung Nachdem die Vorverarbeitung aller Daten der einzelnen Datensätze abgeschlossen waren, wurden die Daten klassifiziert. Dazu wurden mehrere Verfahren verwendet um alle wichtigen Algorithmen mit PNN vergleichen zu können. Dazu zählen der C4.5-Entscheidungsbaum, das Multi Layer Perceptron (MLP), sowie das k Nearest Neighbour (knn) Verfahren. Tabelle 3: Auswertung der Testdaten Die Tabelle zeigt die einzelnen Datensätze, die Anzahl der Trainings- und Testdaten, die Fehlerraten der einzelnen Verfahren in Prozent, die gewählten Werte für ϴ-/ϴ+ im DDA-Lernalgorithmus, die Anzahl der Regeln, sowie die Reduzierung der Netzgröße von PNN(DDA) im Vergleich zu klassischen PNNs. Die fett gedruckten Fehlerraten sind die für diesen Datensatz kleinsten. Auffällig dabei ist, das PNN und MLP ähnlich gute Ergebnisse liefern. In der Regel haben ϴ-/ϴ+, einen geringeren Einfluss auf die Klassifizierung, dafür jedoch einen großer Einfluss auf die Netzgröße. Eine Ausnahme hierbei war das Kreditscoring. Hier hatten die Parameter ϴ-/ϴ+ einen sehr großen Einfluss auf die Klassifizierung so konnte die Fehlerrate von gut 20 Prozent auf unter 1 Prozent reduziert werden. Abschließend bleibt anzumerken, dass es für keinen Datensatz ein spezielles Verfahren gibt. Zum Vergleich sollten immer mehrerer Verfahren getestet werden. 15

16 Abkürzungsverzeichnis I. Abkürzungsverzeichnis DDA Dynamic Decay Algorithmus KNIME Konstanz Information Miner knn k Nearest Neighbour MLP Multi Layer Perceptron PNN Probablistic Neural Network RBF Radial Basis function WEKA Waikato Environment for Knowledge Analysis 16

17 Literaturverzeichnis II. Literaturverzeichnis [1] D. F. Specht, Probabilistic Neural Networks, Neural Networks, Vol. 3, pp , [2] M. R. D. J. Berthold, Constructive Training of Probabilistic Neural Networks, Karlsruhe,

18 Abbildungsverzeichnis III. Abbildungsverzeichnis Bild 1: Aufbau eines PNNs... 5 Bild 2: Niedriger Wert für σ... 7 Bild 3: Hoher Wert für σ... 7 Bild 4: Noch höherer Wert für σ... 7 Bild 5: Jackknifing... 7 Bild 6: ϴ+ und ϴ Bild 7: KNIME Workflow

19 Tabellenverzeichnis IV. Tabellenverzeichnis Tabelle 1: Symbole Formeln PNN... 6 Tabelle 2: Der Dynamic Decay Adjustment Algorithmus Tabelle 3: Auswertung der Testdaten