Neuronale Netze. 11.Januar.2002

Transkript

1 Neuronale Netze Stefan Otto Matrikelnummer: Studiengang: Informatik ProSeminar WS 2001/2002 Institut für Informatik Technische Universität Clausthal 11.Januar

2 INHALTSVERZEICHNIS 2 Inhaltsverzeichnis 1 Einleitung 3 2 Biologisches Vorbild Arbeitsweise von Nervenzellen künstliche Neuronen 6 4 Netztopologien Feedforward-Netze Recurrente Netze Dimensionierung Neuronaler Netze Lernverfahren Lernparadigmen Hebb'sche Lernregel Netztypen Perzeptron Assoziative Netze Backpropagation-Netze Hopeld-Modell Einsatzgebiete Neuronaler Netze Ein Beispiel aus dem medizinischen Bereich

3 1 EINLEITUNG 3 1 Einleitung Die Idee, die hinter der Erschaung künstlicher neuronaler Netze steht, ist dem Computer das Lernen beizubringen. Als Ansatz, um dieses Ziel zu erreichen, ahmt man biologische neuronale Netze nach. Man verspricht sich von dieser Vorgehensweise einige Vorteile: Übertragbarkeit von Lösungsansätzen aus der Natur Parallelisierbarkeit hohe Rechenleistung Redundanz Fehlertoleranz Lernfähigkeit geringer Programmieraufwand Um ein künstliches neuronales Netz herstellen zu können, muÿ man sich erst einmal mit dem Aufbau der biologischen neuronalen Netze auseinandersetzen, wobei man sich über folgende Punkte klar werden muÿ: Wie funktionieren die Neuronen (Nervenzellen)? Wie sind Sie Verbunden (Netzstruktur)? Wie lernen Neuronale Netze? Diese Punkte sollen in den nächsten 4 Abschnitten behandelt werden. Im Anschluÿ werde ich einige Netztypen vorstellen, um dann zum Abschluÿ auf einige Anwendungen neuronaler Netze einzugehen.

4 2 BIOLOGISCHES VORBILD 4 2 Biologisches Vorbild Zunächst einmal möchte ich den Aufbau eines Neurons (Nervenzelle) vorstellen: Ein Neuron besteht aus folgenden Grundkomponenten: - Zellkörper (soma) - Zellkern (Nucleus) - Dendriten - Nervenfaser (Axon) - Synapsen Der Zellkörper enthält neben dem Zellkern diverse andere funktionelle Einheiten (Organellen) die für das Überleben der Zelle wichtig sind, die wir aber in unserer Betrachtung vernachlässigen können, da Sie mit den Funktionen, die uns interessieren, nichts zu tun haben. Der Zellkern hat die Aufgabe, die Eingangssignale zu verarbeiten und unter gewissen Randbedingungen die Weiterleitung von Ausgangssignalen anzustoÿen.

5 2 BIOLOGISCHES VORBILD 5 Die Dendriten sind dünne, röhrenförmige und meist stark verästelte Fortsätze der Zelle, mit denen die Zelle die Eingangssignale aufnimmt. Die Nervenfaser übernimmt die Weiterleitung der Signale. Sie kann sich verästeln um Ausgaben an mehrere Neuronen weiterzuleiten. Die Nervenfasern enden in den Synapsen. Die Synapsen, die Enden der Nervenfaser, bilden über den synaptischen Spalt die Kontaktschwelle zwischen den Enden der Nervenfaser und den Dendriten von weiteren Neuronen. Synapsen können in zwei Arten unterteilt werden, hemmende und erregende Synapsen. 2.1 Arbeitsweise von Nervenzellen Die Arbeitsweise von Neuronen beruht auf relativ komplexen elektro-chemischen Prozessen, auf die ich hier nicht näher eingehen möchte. Interessierten sei [2] empfohlen. Ich möchte hier kurz die Zusammenhänge erläutern die wir zur Simulation neuronaler Netze benötigen. Der Datenuÿ in einem Neuron beginnt in den Dendriten. Über diese kommen die Signale von anderen Neuronen an. Im Zellkern werden diese Signale dann verarbeitet. Die Ausgabe erfolgt über das Axon. Die Verarbeitung besteht aus einer einfachen Schwellwertfunktion. Die ankommenden Signale weden aufsummiert. Sobald diese Summe einen bestimmten Wert (Schwellwert) überschreitet sendet das Neuron ein Signal über sein Axon (das Neuro feuert). Eine Variation der Stärke des Signals ist dabei nicht direkt möglich, kann aber auf zwei Arten erreicht werden: 1. über die Frequenz der Ausgangssignale. 2. an den Synapsen. An den Synapsen kann die Stärke des Signals verändert werden, sowie auch das Signal invertiert werden. Diese invertierten Signale hemmen die folgenden Neuronen, da bei der Summierung dieses invertierte Signal die Summe verkleinert.

6 3 KÜNSTLICHE NEURONEN 6 3 künstliche Neuronen Künstliche Neuronen sind stark idealisiert. Sie bestehen aus: Dem Eingabevektor x ˆ= Den Dendriten Dem Verbindungsgewicht w } ˆ= Den Synapsen Der Aktivierungsfunktion f a ˆ= Dem Zellkörper Der Ausgabefunktion f o Dem Ausgabewert o ˆ= Dem Axon Die Funktion dieser künstlichen Neuronen orientiert sich stark an der Funktion echter Neuronen. Über den Eingabevektor x kommen die Signale der anderen Neuronen an. Diese werden durch das Verbindungsgewicht w, welches den Synapsen entspricht, mit einem Faktor verändert, beziehungsweise invertiert. Die so entstandenen gewichteten Eingangswerte treen nun auf die Aktivierungsfunktion, welche meist eine einfache Summenfunktion der Form: n f a ( x, w) = x i w i. i=1 Das Ergebnis dieser Formel wird wiederum als Eingabe in die Ausgabefunktion gesteckt, die oft eine Schwellwertfunktion ist. n f o (f a ( x, w)) = F o ( x i w i ) = i=1 { 1: falls ni=1 x i w i S 0: sonst. Andere Funktionen die für die Ausgabefunktion f o verwendet weden sind die sogenannten sigmoiden (s-förmige) Funktionen.Einige Beispiele sind: linear bis Sättigung. sin(x) bis Sättigung logistische Funktion f(x) = 1 1+e x. tangens hyperbolicus tanh(x).

7 3 KÜNSTLICHE NEURONEN 7 Die Formale Darstellung eines Neurons ist ein Tupel ( x, w, f a, f o, o) mit: x = Eingangsvektor w = Gewichtsvektor f a ( x, w) = Aktivierungsfunktion f o (f a ( x, w)) = Ausgabefunktion o = Ausgabewert Graphisch lässt sich das folgendermaÿen darstellen:

8 4 NETZTOPOLOGIEN 8 4 Netztopologien Verbindet man mehrere Neuronen, so erhält man ein Neuronales Netz. Ein Neuronales Netz ist deniert als Tupel (N, V ) mit einer Menge von Neuronen N und einer Menge V von Verbindungen. Es besitzt die Struktur eines gerichteten Graphen, mit folgenden Eigenschaften: i. Die Knoten der Graphen sind Neuronen. ii. Die Kanten heiÿen Verbindungen. iii. Jedes Neuron kann beliebig viele Verbindungen empfangen. iv. Jedes Neuron kann eine Ausgabe über beliebig viele Verbindungen aussenden. v. Das neuronale Netz hat Verbindungen die von Auÿen kommen und Verbindungen die nach auÿen gehen. Darstellung eines H-schichtigen künstlichen Neuronalen Netzes mit einer Einund einer Ausgabe-Schicht, sowie H-2 verborgenen Schichten.

9 4 NETZTOPOLOGIEN 9 Die Topologie lässt sich auf zwei Arten recht anschaulich darstellen: 1. graphisch, als kantenbewerteten gerichteten Graph: 2. als Matrix: , 5 0 0, , 2 0 0, 2 0, , , , , , wobei die Zeilen und die Spalten mit den Neuronen identiziert werden. An die Kreuzungspunkte schreibt man die Gewichte der Verbindungen, wobei gilt: w ij = 0 : Keine Verbindung von Neuron i zu Neuron j. w ij < 0 : hemmende Verbindung der Stärke w ij. w ij > 0 : anregende Verbindung der Stärke w ij.

10 4 NETZTOPOLOGIEN Feedforward-Netze Feedforward-Netze sind Netze ohne Rückkopplungen. Bei dieser Netztopologie gibt es nur vorwärtsgerichtete Kanten (von der Eingabe- zur Ausgabe- Schicht), was bedeutet das es ein zyklenfreier Graph ist. Es gibt zwei Arten von Feedforward-Netzen: Schichtenweise verbundene Feedforward-Netze. Bei dieser Topologie werden die einzelnen Neuronen in Schichten eingeteilt, und es existieren nur Verbindungen von einer Schicht zur Nächsten. Allgemeine Feedforward-Netze (mit shortcut connections) sind ebenfalls in Schichten eingeteilt, hier dürfen aber Verbindungen über mehrere Schichten hinweg existieren. 4.2 Recurrente Netze Recurrente Netze sind wiederum Netze mit Rückkopplungen wobei es auch hier mehrere unterscheidbare Arten gibt. 1. direkte Rückkopplungen (direct feedback) Neuronen mit direct feedback nehmen oft Grenzzustände an, da sie sich selbst verstärken oder hemmen. 2. indirekte Rückkopplungen (indirect feedback) Mit diesen Netzen ist eine Aufmerksamkeitssteuerung möglich, da sie Verbindungen haben die mehrere Schichten zurückgehen können. 3. Rückkopplungen in einer Schicht (lateral feedback) werden eingesetzt wenn nur ein Neuron pro Schicht aktiv werden soll. (winner-takes-all Netzwerk) 4. vollständig verbundene Netze Es gibt Verbindungen zwischen allen Neuronen. Ein Beispiel hierfür sind Hopeld-Netze, auf die ich später noch eingehen werde. Rückkopplungen werden eingesetzt um Zeitabhängigkeiten bei Daten, wie z.b. bei Schwingungen, modellieren zu können. Über Die Rückkopplungen erhält man in Bereichen des Neuronalen Netzes nicht nur die neuen Daten, sondern auch wieder die (bereits verarbeiteten) alten Daten.

11 4 NETZTOPOLOGIEN Dimensionierung Neuronaler Netze Beim entwurf Neuronaler Netze stellt sich irgendwann die Frage: Wieviele Neuronen brauche ich? und Wie viele Zwischenschichten benötige ich?. Es wurden vielfach Vorschläge zur Berechnung der Gröÿe der Zwischenschichten gemacht, diese widersprechen sich aber zum Teil und sind praktisch von geringer Bedeutung. Die Entwicklung eines neuronalen Netzes besteht zum groÿen Teil aus experimenteller Arbeit. Häug startet man mit einer bestimmten Anzahl von Neuronen in einer Zwischenschicht und variiert diese solange, bis das Netz die gewünschten Eigenschaften hat. Dazu erzeugt man sich geeignete Mengen von Trainings- und Testdaten, trainiert das Netz und testet die Verallgemeinerungsfähigkeiten mit den Testdaten. Je nach Ergebnis kann man dann die Zahl der Neuronen variieren. Folgende heuristischen Regeln haben sich bewährt: 1. Wenn der Fehler im Trainingszyklus klein ist, der Fehler beim Testen dagegen groÿ, verallgemeinert das Netz nicht. In der Regel bedeutet das, daÿ die Zahl der Gewichte und damit die Zahl der Neuronen in der Zwischenschicht zu groÿ ist. 2. Wenn der Fehler im Trainingszyklus groÿ ist, hat das Netz eventuell zu wenig Neuronen in der Zwischenschicht. 3. Wenn alle Gewichte von etwa der gleichen Gröÿenordnung sind, dann hat das Netz meist zu wenig Neuronen. 4. Man kann immer Neuronen hinzufügen, die Fehler können aber auch andere Ursachen haben! Beispielsweise kann man nicht erwarten, daÿ ein Netz mit einem geringen Fehler vorhersagt, wenn die Rohdaten selbst mit einem höheren statistischen oder systematischen Fehler behaftet sind.

12 5 LERNVERFAHREN 12 5 Lernverfahren Das Lernen innerhalb eines Neuronalen Netzes erfolgt durch Selbstmodikation gemäÿ einer fest vorgegebenen Vorschrift (Lernregel). Prinzipiell kann der Lernprozeÿ bestehen aus Entwicklung neuer Verbindungen Löschen existierender Verbindungen Veränderung der Gewichte der Verbindungen Ändern des Schwellwertes Modikation der Aktivierungs- bzw. Ausgabefunktion Entwickeln neuer Neuronen Entfernen bestehender Neuronen Die derzeit am häugsten verwendete Methode ist die Veränderung der Gewichte, wobei in letzter Zeit auch Verfahren, die eine Veränderung der Topologie beinhalten zunehmend an Bedeutung gewinnen. Desweiteren gibt es verschiedene Zeitpunkten zu denen diese Modikationen ausgeführt werden können: Erfolgt die Anpassung der Gewichte nach jeder Präsentation eines Datensatzes spricht man von online-training. Erfolgt die Anpassung hingegen nach der Präsentation mehrerer Beispiele so spricht man von oine- oder batch-training. Das Training geschieht meist in Zyklen. Unter einem Trainingszyklus (Epoche, sweep) versteht man die vollständige Präsentation eines Trainingsdatensatzes. Beim Training von künstlichen Neuronalen Netzen in mehreren Zyklen ist zu beachten, dass man die Trainingsbeispiele in unterschiedlicher Reihenfolge präsentiert, da das Netz sonst unter Umständen die Reihenfolge lernt (vergleichbar mit dem Eekt der beim Vokabellernen auftritt).

13 5 LERNVERFAHREN Lernparadigmen Weiterhin kann man die Lernparadigmen unterscheiden. Hier lassen sich folgende drei Arten unterscheiden: 1. Überwachtes Lernen (supervised learning) Beim überwachten Lernen gibt ein externer Lehrer dem Netz zu jeder Eingabe die korrekte Ausgabe oder die Dierenz der tatsächlichen Ausgabe zur korrekten Ausgabe an. Anhand dieser Differenz wird dann über die Lernregel das Netz modiziert. Diese Technik setzt Trainingsdaten, deren korrekte Lösung bekannt ist, voraus. Beispiele: Hebb'sche Lernregel δ-regel erweiterte δ-regel 2. Bestärkendes Lernen (reinforcement learning) Der unterschied zum Überwachten Lernen besteht darin, dass dem Netz nur Gesagt ob die Ausgabe korrekt war oder nicht und nicht die Abweichung vom exakten Wert. 3. Unüberwachtes Lernen (unsupervised learning) Bei diesem Lernparadigma (auch self-organized Learning genannt) gibt es keinen Lehrer. Das Netz versucht die Daten selbstständig in Ähnlichkeitsklassen aufzuteilen. Beispiel: Hopeld-Netze

14 5 LERNVERFAHREN Hebb'sche Lernregel Dies war die erste Lernregel. Sie wurde 1949 von dem Psychologen Donald Hebb formuliert, der damit die Lernfähigkeit des Hirns zu erklären versuchte. Der Algorithmus lautete: Wenn ein Axon der Zelle A nahe genug ist, um eine Zelle B zu erregen und wiederholt oder dauerhaft sich am Feuern beteiligt, geschieht ein Wachstumsprozeÿ oder metabolische Änderung in einer oder beiden Zellen dergestalt, dass A's Ezienz, als eine der auf B feuernden Zellen anwächst. In ein mathematisches Modell übertragen heiÿt das: Wenn Neuron j eine Eingabe von Neuron i erhält und beide gleichzeitig stark aktiv sind, dann erhöht sich das Gewicht w ij oder als Formel: mit wobei w t+1 ij = w t ij + w ij w ij = η o i a j w ij : Änderung des Gewichts w ij η : Lernrate o i : Ausgabe der Vorgängerzelle i : Aktivität der Nachfolgerzelle j a j

15 6 NETZTYPEN 15 6 Netztypen 6.1 Perzeptron Das erste eektive künstliche Neuronale Netz wurde 1958 von dem Psychologen F. Rosenblatt entwickelt. Das ursprüngliche Perzeptron bestand aus einer Eingabeschicht und einer einelementigen Ausgabeschicht (Ausgabeneuron). Dieses Prinzip lässt sich ohne Probleme zu einem mehrschichtigen Perzeptron erweitern. Die Mächtigkeit dieser Zweischichtigen, einstugen Perzeptrone ist jedoch begrenzt, so ist es zum Beispiel nicht möglich mit einem solchen Perzeptron, dass XOR Problem zu lösen. Ein einstuges Neuronales Netz kann nur linear separierbare Funktionen darstellen. 6.2 Assoziative Netze Assoziative Netze sind dreischichtige Netze, die neben der Ein- und Ausgabeschicht noch eine Arbeitsschicht haben. Sie haben die Aufgabe Vektorpaare aufeinander abzubilden, wobei auch verrauschten Eingaben x k + ɛ die richtigen Ausgaben y k + δ zugeordnet werden soll 6.3 Backpropagation-Netze Das Backpropagation-Verfahren wurde in den 70er Jahren von mehreren Autoren, unabhängig voneinander vorgeschlagen. Anschlieÿend geriet es 10 Jahre in Vergessenheit, bis es - wiederum unabhängig voneinander von meherern Autoren wiederentdeckt wurde. Wie bei den meisten anderen Arten von Neuronalen Netzen gibt es nicht das Backpropagation- Netz. Backpropagation-Netze sind eine Klasse von Neuronalen Netzen, die die im folgenden beschriebenen Eigenschaften haben. Die Basis für Backpropagation-Netze bildet ein mehrschichtiges Feedforward- Netz, bestehend aus einer Eingabeschicht, einer Ausgabeschicht und mindestens einer Verborgenen Schicht. Die Backpropagation-Netze haben auÿerdem noch folgende Gemeinsamkeiten: Die Neuronen sind in H 3 Schichten angeordnet(i bezeichnet die i-te Schicht).

16 6 NETZTYPEN 16 Die nullte Schicht U 0 (Eingabeschicht) besteht aus n Verteilerneuronen(die ihre jeweilige Eingabe unverändert an die nächste Schicht weitergeben). Diese Neuronen besitzen keine Eingangsgewichte. Die nun folgenden H 2 Schichten sind verborgene Schichten. Die (H 1).-Schicht U H 1 ist die Ausgabeschicht. Das Besondere bei den Backpropagation-Netzen ist aber das Lernverfahren. Dieses erfolgt bei Backpropagation-Netzen mit dem Backpropagation- Algorithmus. Dieser Algorithmus besteht aus drei Abschnitten, arbeitet nach dem Prinzip des Überwachten Lernens und benutzt als Lernregel eine erweiterte δ-regel. 1. Forward-Pass Dem Netz wird ein Eingabevektor aus der Trainingsmenge präsentiert (eingegeben), dieser passiert das Netz und ergibt an der Ausgabeschicht den Ausgabevektor o. 2. Bestimmung des Fehlers Die von Netz gelieferte Ausgabe o wird mit der korrekten Lösung o verglichen. Liegt der Fehler unterhalb einer vorgegebenen Güteschwelle, so wird das Training abgebrochen und gegebenenfalls eine Testphase eingeleitet, andernfalls folgt eine Selbstmodikation nach Schritt Backward-Pass Der Backward-Pass erfolgt in umgekehrter Richtung wie der Forward- Pass. In ihm werden die Gewichte der Verbindungen von der Ausgabeschicht U H 1 beginnend Schichtenweise nach einer Vorgegebenen Lernregel verändert. Dabei wird für die Veränderung der Gewichte in der Ausgabeschicht (U H 1 ) die Dierenz o o verwendet. In der Schicht U H 2 dienen die Gewichte der H 1. Schicht, bzw. deren Änderung als Grundlage für die Änderung der Gewichte.

17 6 NETZTYPEN Hopeld-Modell Hopeld-Netze sind vollständig vernetzte Neuronale Netze. Sie müssen allerdings noch zwei zusätzliche Bedingungen bezüglich der Vernetzung erfüllen. Erstens müssen sie symmetrisch sein und zweitens dürfen sie keine direkten Rückkopplungen haben. Diese Voraussetzungen müssen gemacht werden, damit das Netz gegen einen stabilen Zustand konvergiert. Die Arbeit mit Hopeld-Netzen unterscheidet sich im Ansatz von anderen Neuronalen Netzen, da es hier keine Eingabe- bzw. Ausgabeschicht gibt. Hier wird alles über die Zustände der Neuronen bestimmt. Man gibt die Eingabe als Zustände in die Neuronen, dann lässt man das Netz die Zustände der Neuronen so lange neu berechnen bis sich nichts mehr ändert. Die Neuronenzustände zu diesem Zeitpunkt repräsentieren das Ergebnis. Diese Netze haben keine vorgeschaltete Lernphase, sondern sie unterteilen die Eingaben in Äquivalenzklassen. Bei Hopeld-Netzen gibt es zwei Arbeitsweisen: 1. Asynchrone Aktivierung Es wird immer zufällig ein Neuron ausgewählt und dessen Zustand neu berechnet. Bei dieser Methode konvergiert das Netz immer gegen einen Endzustand. 2. Synchrone Aktivierung Bei dieser Aktivierungsmethode werden die Zustände aller Neuronen gleichzeitig neu berechnet. Hierbei kann es zu Schwingungen zwischen mehreren Endzuständen kommen, die ein identisches Energieniveau haben. Diese bilden eine Aquivalenzklasse, die das Ergebnis beschreiben. Bei der Asynchronen Aktivierung kommt eines der zu dieser Äquivalenzklasse gehörenden Ergebnisse heraus. Welches hängt von der Reihenfolge der Zustandsänderungen ab. Hopeld-Netze werden benutzt um Näherungslösungen für aufwendige Probleme zu bekommen, oder zur Untersuchung physikalischer Modelle.

18 7 EINSATZGEBIETE NEURONALER NETZE 18 7 Einsatzgebiete Neuronaler Netze Neuronale Netze werden dort eingesetzt, wo die Zusammenhänge zwischen Ein- und Ausgabedaten nicht erkennbar sind. Wobei aber zu beachten ist, dass ein solcher Zusammenhang trotzdem existieren muÿ. Zum Beispiel ist es nicht möglich, ein Neuronales Netz mit den Lottozahlen der vergangenen Monate zu trainieren und zu erwarten, dass das Neuronale Netz einem dannach die Lottozahlen der nächsten Woche verraten kann. Hingegen ist es schon möglich, ein Neurales Netz mit den Wetterdaten der letzten Monate zu trainieren und es das Wetter von Morgen vorherbestimmen zu lassen. Einige Bereiche, in denen neuronale Netze verwendet werden, sind: Mustererkennung Sprachanalyse Spracherzeugung Bildverarbeitung realisierung von Assoziativspeichern Näherungslösungen von aufwendigen Problemen Bei der Arbeit mit Neuronalen Netzen ist aber zu beachten, dass man das Netz für einen vernünftigen Einsatz richtig trainieren muÿ. Man benötigt groÿe Trainingsdatensätze und Testdatensätze, die ungleich den Trainingsdatensätzen sind, um eine Fehlerabschätzung der Ausgaben vornehmen zu können.

19 7 EINSATZGEBIETE NEURONALER NETZE Ein Beispiel aus dem medizinischen Bereich Dieses Beispiel soll einen kleinen Einblick in die Arbeit mit Neuralen Netzen vermitteln. Es ist in [1] zu nden. 1. Beschreibung des Projekts Im Rahmen einer medizinischen Studie zur aktiv-spezischen Immuntherapie (ASI) für Krebs werden Patienten mit dieser Therapie behandelt und gleichzeitig werden von diesen Patienten eine Reihe von klinischen Daten und Immundaten bestimmt. Im Rahmen der Therapie erhält ein Patient bis zu drei Impfungen. Vor und nach jeder Impfung wird ein Immunstatus des Patienten erstellt. Es ist sehr schwer, aus diesen Daten Schlüsse zu ziehen, da die Bedeutung der einzelnen Immundaten für die Therapie nicht klar ist. Daher soll mit Hilfe eines neuronalen Netzes versucht werden, den Therapiefortschritt in Abhängigkeit von den klinischen Daten und den Immundaten zu erhalten. Langfristig besteht das Ziel, aus den Patientendaten einen Index zu berechnen, der angibt, welchen Erfolg man von einer Immuntherapie für einen einzelnen Patienten erwarten kann. Dieser Index kann aus den klinischen Daten und dem anfänglichen Immunstatus oder eventuell aus der Reaktion auf die erste Impfung ermittelt werden. 2. Vorarbeiten Bevor die Entwicklung eines neuronalen Netzes möglich ist, ist es notwendig, den gesuchten Index zu denieren. Diese Denition benötigt man, da das neuronale Netz mit vollständigen Datensätzen trainiert werden muÿ. Die Patienten sind über einen unterschiedlich langen Zeitraum beobachtet worden. Das Hauptproblem besteht darin, daÿ der Fortschritt der Therapie natürlich vom Beobachtungszeittraum abhängt. Man muÿ deshalb für eine unterschiedliche Gewichtung der einzelnen Datensätze beim Training des Netzes und beim Test sorgen, wobei sich die Gewichtung nach dem Beobachtungszeitraum richtet. Natürlich werden auch alle Eingabedaten kodiert, denn Sie müssen für die Verarbeitung geeignet normiert werden.

20 7 EINSATZGEBIETE NEURONALER NETZE Implementierung eines neuronalen Netzes Zu Beginn des Projekts standen von etwa 200 Patienten Daten zur Verfügung. Da diese Daten nicht immer systematisch aufgenommen worden waren, waren nicht alle Datensätze vollständig. Ein Dilemma bestand also darin, daÿ die Rechnung zum Beispiel mit einem reduzierten Datensatz und mehr Patienten, oder mit einem vollständigen Datensatz und weniger Patienten durchgeführt werden konnte. Da a priori nicht klar ist, welche Daten besonders relevant sind, wurden zunächst Rechungen mit vollständigen Datensätzen durchgeführt. Da die Zahl der Patienten aber sehr klein war, waren die statistischen Fehler relativ groÿ. Es deutete sich aber an, daÿ von den Immundaten und den klinischen Daten nicht alle wichtig sind, so daÿ anschlieÿend mit kleineren Datensätzen von mehr Patienten weitergerechnet werden konnte. Das Ergebnis dieser Rechnungen war, daÿ ein Mehr-Schicht Perceptron mit einer Zwischenschicht in der Lage ist, die Daten zu lernen und mit einem gewissen Fehler auch Vorhersagen zu machen. Der Fehler lag bei diesen Rechnungen allerdings noch zu hoch. Der Grund dafür waren zu groÿe statistische Fehler bei den Eingabedaten. Um die Fehler bei den Eingabedaten zu minimieren, wurde die Bestimmung der Immunstaten automatisiert und standardisiert. Seit einiger Zeit läuft eine neue Studie zur ASI, an der 600 Patienten teilnehmen sollen. Die statistischen Fehler der Immundaten sind für diese Patienten geringer, die Zahl der Patienten ist zudem gröÿer, so daÿ man erwarten kann, daÿ mit diesen neuen Daten ein neuronales Netz erfolgreich trainiert werden kann. Dabei sind die bisher gewonnenen Erfahrung natürlich von groÿem Nutzen. 4. Ausblick Die Dauer der Studie ist auf mehrere Jahre angelegt. Auch wird man erst nach mehreren Jahren den Erfolg der Therapie an den an der neuen Studie teilnehmenden Patienten wirklich beurteilen können. Erste Voruntersuchungen mit einem Teil der neuen Patientendaten sollten aber in naher Zukunft schon möglich sein.

21 LITERATUR 21 Literatur [1] Homepage zu Neuralen Netzen [2] Skript zur Einführung in neuronale Netze Uni Münster SS [3] Alois Heinz, Neuronale Netze für Kombinatorische Optimierung Uni Freiburg heinz/nnko/ [4] DUDEN Informatik Brockhaus AG Mannheim 2001 [5] Hendrik Lübben, Träumende Netze TU Berlin compuman/nn/ [6] Anderas Zell Neuronale Netze auf MasPar, Paragon & Neurocomputer Uni Stuttgart