Feedback-Netze Rekurrentes Netze. Jordan- und Elman-Netze, Bidirektionaler assoziativer Speicher, Hopfield-Netz und Boltzmann-Maschine.

Transkript

1 Feedback-Netze Rekurrentes Netze Jordan- und Elman-Netze, Bidirektionaler assoziativer Speicher, Hopfield-Netz und Boltzmann-Maschine. Übung 2 zur Vorlesung Neuronale Netze Institut für Informatik, TU Clausthal Wintersemester 2004/2005

2 Einleitung Menge von Verarbeitungseinheiten Konnektivitätsmuster Regel zur Propagierung von Signalen Regel zum Kombinieren der Eingangssignale Regel zum Berechnen des Ausgangssignals Lernregel zur Anpassung der Gewichte Eingabeschicht Input Units Verborgene Schicht Hidden Units Ausgabeschicht Ouput Units Schichtenweise Verarbeitung Institut für Informatik TU Clausthal, Wintersemester 2004/2005 2

3 Anwendungen Bildverarbeitung Erkennen von Handschriften Erkennen von Personen Erkennen von Fehlstellen in Materialien Krankheitsdiagnose Klassifikation / Prognose Krankheitsverlaufsprognose Kreditwürdigkeitsprognose Vorhersage von Moleküleigenschaften Zeitreihenverarbeitung Börsenkurse Wetter Spracherkennung, -erzeugung Steuerung Roboter Bewegungssteuerung Regelung Datenaufbereitung Clustering Dimensionsreduktion Data Mining Physik-Beispiele Teilchenphysik Rekonstruktion von Spuren Triggeralgorithmen, Hardware Mustererkennung: RICH, Zerfälle Festkörperphysik Modellierung von Kristallwachstum Spinpropagation in Festkörpern Biophysik Membranverformung Rezeptoranalyse Institut für Informatik TU Clausthal, Wintersemester 2004/2005 3

4 Beispiel: Prognose der Temperaturentwicklung ingabewerte: Jahreszeit aktuelle Uhrzeit aktuelle Lufttemperatur Veränderung der Lufttemperatur gegenüber 24 Stunden Minimale Lufttemperatur der letzten 24 Stunden Maximale Lufttemperatur der letzten 24 Stunden aktuelle Bewölkung Sonnenscheindauer der letzten 24 Stunden Niederschlagsmenge in letzten 24 Stunden Luftdruck Luftdruckveränderung in letzten 24 Stunden etc. Ausgabewerte: Lufttemperatur in 3 Stunden Lufttemperatur in 6 Stunden Lufttemperatur in 2 Stunden Lufttemperatur in 24 Stunden Minimale Lufttemperatur der nächsten 24 Stunden Maximale Lufttemperatur der nächsten 24 Stunden Bewölkung in 24 Stunden Niederschlagsmenge in den nächsten 24 Stunden Die Output-Werte des ersten Datensatzes können zur Vorbesetzung der Kontextzellen verwendet werden. Der zweite Datensatz wird dann zum ersten Trainingsdatensatz. Institut für Informatik TU Clausthal, Wintersemester 2004/2005 4

5 Taxonomy of Jain et al. (996) Institut für Informatik TU Clausthal, Wintersemester 2004/2005 5

6 Probleme? Institut für Informatik TU Clausthal, Wintersemester 2004/2005 6

7 Hebb (949) (D.Hebb: The organization of behavior. John Wiley, New York 949) Im Gehirn erfolgt Lernen durch Änderung der Synapsenstärken Der Psychologe Donald Hebb (949) stellte die Hypothese auf, dass sich die Gewichtung der Synapse verstärkt, wenn Neuronen vor oder nach der Synapse gleichzeitig aktiv sind Hebb'sche Regel Bei starker gleichzeitiger Aktivität der Neuronen wird deren Verbindungsgewicht erhöht. w ij = σ X i Y j wobei w ij das Gewicht von Input X i σ > 0 eine Konstante zum Output Y j Institut für Informatik TU Clausthal, Wintersemester 2004/2005 7

8 Auto-assoziative Netze Die Neuronen dienen sowohl zur Eingabe und Ausgabe. Durch Rückkopplungen versetzt eine Eingabe das Netz in Aktivität, die in einen stabilen Endzustand einschwingen soll. Die stabilen Zustände sind die gelernten (gespeicherten, entstörten) Eingabemuster. Institut für Informatik TU Clausthal, Wintersemester 2004/2005 8

9 Feedforward-Netze Die Lernverfahren für Feedforward-Netze können im wesentlichen unverändert übernommen werden, da die Kantengewichte zu den Kontextzellen fest vorgegeben sind. Alle veränderbaren Kantengewichte werden mit dem BPG oder einem äquivalenten Verfahren trainiert: Nach jedem Modifikationsschritt der Kantengewichte erhalten die Kontextzellen ihre neuen Zuweisungen. Ein anderer Netztyp, der zur Analyse zeitabhängiger Prozesse verwendet wird, z.b. der Spracherkennung, ist das Time- Delay-Netz (TDNN). Das TDNN ist allerdings ein reines Feedforward-Netz (s. ZELL). Institut für Informatik TU Clausthal, Wintersemester 2004/2005 9

10 Rekurrente Netze Grundsätzlich kann man jedes Feedback-Netz (rekurrentes Netz), welches über eine endliche Folge von Zeitschritten betrachtet wird, durch ein äquivalentes Feedforward-Netz ersetzen. Diese Technik wird als zeitliches Entfalten (unfolding in time) bezeichnet: Einfaches Feedback-Netz Zeitlich entfaltetes Feedback-Netz Institut für Informatik TU Clausthal, Wintersemester 2004/2005 0

11 Rekurrente Netze Als Lernverfahren ist im Prinzip jedes Lernverfahren für ein Feedforward-Netz anwendbar, allerdings muss dafür gesorgt werden, dass die Gewichte der Kanten, die zu einer Kante des Feedback-Netzes gehören, gleich bleiben: Man summiere alle Änderungen für eine Feedback-Kante auf und führe erst dann die Veränderung durch! Institut für Informatik TU Clausthal, Wintersemester 2004/2005

12 Jordan- und Elman-Netze Speichermechanismus in Netzen für zeitabhängige Prozesse Jordan-Netze: Netztopologie der Feedforward-Netze + Kontextzellen Kontextzellen: Speicherung der Ausgabewerte Architektur eines Jordan-Netzwerkes Institut für Informatik TU Clausthal, Wintersemester 2004/2005 2

13 Jordan Netze (M.I.Jordan : Attractor Dynamics and parallelism in a connectionist sequential machine Proc. 8th Ann. Conf. of the Cognitive Science Soc., Hillsdale NJ, 986, pp ) schwach rückgekoppeltes 2-schichtiges Netzwerk Verwendung für Zeitreihen Überwachtes Lernen über eine Variation der Delta-Regel Auswertung über eine Rückkopplung des vorigen Outputs die nicht mit adaptiert wird Institut für Informatik TU Clausthal, Wintersemester 2004/2005 3

14 Elman-Netze rweiterung der Kontextzellen auf die verborgenen Schicht: Architektur eines Elman-Netzwerkes Beim Start eines Jordan- oder Elman-Netzes ( t=0 ) müssen die Kontextzellen auf sinnvolle Weise vorbesetzt werden. Institut für Informatik TU Clausthal, Wintersemester 2004/2005 4

15 Bi-Directional associative memories (BAM) IEEE Transactions on Systems, Man, and Cybernetics 8, 49-60, 987) BAM (bidirectional associative memory): Zweischichtiges Netz mit Rückkopplungen zwischen den Schichten Verwendung als Assoziativspeicher Training nach der Hebb-Regel Auswerten durch Relaxation X X 2 X 3 S -Schicht J= J=2 J=n W ij =W ji S 2 -Schicht i= i=2 i=m Y Y 2 Y 3 Institut für Informatik TU Clausthal, Wintersemester 2004/2005 5

16 BAM Beschreibung Das BAM-Modell (bidirektionaler assoziativer Speicher) wurde Mitte der 80er Jahre von B. Kosko) entwickelt. Das BAM-Netzwerk besteht aus zwei Schichten, der S-Schicht (Eingabeschicht) und der S2-Schicht (Ausgabeschicht). Die binären Elemente der Schichten können Aktivitäten und 0 annehmen. Die Transferfunktion der Elemente ist: X i (t+) =, wenn W ij. X j (t)>0. X i (t+) = 0, wenn W ij. X j (t)<0. X i (t+) = X i (t), wenn W ij. X j (t)=0. Die beiden Schichten sind in beiden Richtungen vollständig miteinander verbunden. Die Gewichte sind symmetrisch: w ij = w ji Institut für Informatik TU Clausthal, Wintersemester 2004/2005 6

17 Hopfield-Netze (J.J.Hopfield : Neural Networks and Physical Systems with Emergent Computational Abilities Proc.Nat.Acad.Sci. USA, 79 (982), ) Hopfield-Netze sind Beispiele für Autoassoziativspeicher. Ursprünglich als physikalische Modelle zur Beschreibung des Magnetismus von Hopfield eingeführt und eng mit dem Ising-Modell verwandt. Eine einzige Schicht von n Neuronen. Die n Neuronen sind untereinander total vernetzt: Jedes Neuron besitzt eine Verbindung zu jedem anderen Neuron. Keine direkten Rückkopplungen: Kein Neuron ist direkt mit sich selbst verbunden. Rückkopplungen kommen über andere Neuronen zustande. Institut für Informatik TU Clausthal, Wintersemester 2004/2005 7

18 Hopfield-Netze Das Netz ist symmetrisch gewichtet: Das Gewicht w ij der Verbindung zwischen Neuron i und Neuron j ist gleich dem Gewicht w ji der Verbindung zwischen Neuron j und Neuron i. i j: θ i w ij w ji = w ij θ θ w ij j i θ j i = j: W ii = 0 (keine direkte Rückkopplungen, keine Schleifen ) Institut für Informatik TU Clausthal, Wintersemester 2004/2005 8

19 Hopfield-Netze Arbeitsweise Daten werden als bipolare Vektoren kodiert Eingabe net i für Neuron i ist die übliche gewichtete Summe aller Eingangsverbindungen: net i (t+) = Σ j i W ji X j (t) Ausgabe des Neurons i : falls neti > θi X i (t+) = falls neti < θi X i(t) falls neti = θi Es erfolgt also keine Zustandsänderung des Neurons i, falls die Netzeingabe net i exakt dem Schwellenwert θ i entspricht. Institut für Informatik TU Clausthal, Wintersemester 2004/2005 9

20 Hopfield-Netze Asynchrone Arbeitsweise Zu jedem Zeitpunkt wird nur ein Neuron ausgewählt und sein Zustand berechnet. Synchrone Arbeitsweise Alle Neuronen ändern ihre Zustände gleichzeitig. Stabiler Zustand Keine Zustandsänderung der Neuronen: X. W = X. (W Gewichtsmatrix, X {-, } n ). Bei Eingabe X = (-, ) oszilliert das Hopfield-Netz 0 0 mit der synchroner Arbeitweise zwischen den Zuständen (-, ) und (, -): Ein stabiler Zustand wird nicht erreicht! Institut für Informatik TU Clausthal, Wintersemester 2004/

21 Hopfield-Netze Mit Symmetrie (w ij = w ji ) und ohne Schleifen (w ii = 0) wird mit asynchroner Arbeitweise immer ein stabiler Zustand erreicht. Satz Ein Hopfield-Netz erreicht bei asynchroner Arbeitsweise aus einem beliebigen Zustand stets einen stabilen Zustand. Beweis Ähnlich wie beim BAM, mit der Energiefunktion: E(X) = ½ X. W. X T + θx T wobei θ=(θ,..., θ n ) der Schwellenwert-Vektor ist, zeigt man, dass bei Zustandsänderungen der Wert der Energiefunktion nicht größer wird. Da es nur endlich viele Zustände gibt, erreicht das Netz nach endlich vielen Schritten einen stabilen Zustand. Institut für Informatik TU Clausthal, Wintersemester 2004/2005 2

22 Lernen in Hopfield-Netzen Bei Autoassoziativspeichern möchte man m Muster X,..., X m, X i {-,} n, m < n,,,auswendig lernen : X i. W= X i, i =,..., m (m stabile Zustände) Dazu wird die Hebb-Regel einmal angewendet: W = (X T. X I) (X m T. X m I), wobei I die Identitätsmatrix ist. W ist symmetrisch und w ii = 0 für alle i Hopfield-Netz (mit θ =0) Wie bei Assoziativspeichern/BAM wird bei m= das Muster exakt wieder erkannt. Bei m > Mustern keine Garantie: X p. W = X p.2 X p m. X p I+3 k p (X p. (X k ) T ). X k = (n m). X p + Störfaktor Institut für Informatik TU Clausthal, Wintersemester 2004/

23 Institut für Informatik TU Clausthal, Wintersemester 2004/ Lernen in Hopfield-Netzen = (n m). X p + Störfaktor Ist der Störfaktor 0, so ist sign(x p W) = X p, und das p. Muster wird richtig erkannt. Beispiel Das Muster X = (, -, -, ) soll gespeichert werden (z.b. als Kodierung des Bildes in 4 Pixel; ein Neuron pro Pixel) W:=X T.X I= X p. W = X p.2 X p m. X p I+3 k p (X p. (X k ) T ). X k =

24 Lernen in Hopfield-Netzen Beispiel Das Muster X = (, -, -, ) soll gespeichert werden (z.b. als Kodierung des Bildes in 4 Pixel; ein Neuron pro Pixel) x 2 W:= X T. X I = Wiedererkennung: x x 4 - X. W = (3, -3, -3, 3) sign (X. W) = X Ein ähnliches Muster Z = (, -, -, -) soll an gespeichertem Muster X erinnern: Z. W = (, -, -, ) = X (in der Regel wird der stabile Zustand erst durch mehrere Durchläufe gefunden) - x 3 Institut für Informatik TU Clausthal, Wintersemester 2004/

25 Anwendung von Hopfield-Netzen Typisches Beispiel: Travelling Salesman Problem (TSP) Problem Hopfield-Netze stabilisieren sich häufig in einem Zustand X, für welchen E(X) ein lokales Minimum, jedoch kein globales Minimum ist. Grund Die Energiefunktion steigt nie und das Netz kann das eingenommene lokale Energie-Minimum nicht wieder verlassen. Lösung mit Boltzmann-Maschinen! Institut für Informatik TU Clausthal, Wintersemester 2004/

26 Boltzmann-Maschine Die Struktur einer Boltzmann-Maschine ist wie die eines Hopfield-Netzes. Insbesondere: w ij = w ji für alle i j und w ii = 0 für alle i Wir betrachten aber 0/-Zustände (anstelle /-Zustände bei Hopfield- Netzen) Während die Zustände der Neuronen des Hopfield-Netzes durch die sgn-funktion deterministisch aktualisiert werden, wird in Boltzmann- Maschinen eine stochastische Aktivierung verwendet. Sei net i = Σ j i W ji X j die Netzeingabe für Neuron i. Dann wird X i wie folgt aktualisiert: X i = mit Wkt. p i 0 mit Wkt. - p i Institut für Informatik TU Clausthal, Wintersemester 2004/

27 Boltzmann-Maschine wobei p i = + e (net θ ) / T i i, T > 0 Temperaturkonstante. Dies kann etwa wie folgt realisiert werden: Wähle ein Neuron i zufällig aus Berechne p i Erzeuge eine (gleichverteilte) Zufallszahl Z in [0, ] Falls Z p i, setze X i :=, sonst X i := 0 Für sehr kleines T 0 verhält sich die Boltzmann-Maschine wie ein Hopfield-Netz (mit 0/-Zuaständen): Ist net i > θ i, so ist p i und es ist sehr wahrscheinlich X i =. Ist net i < θ i, so ist p i 0 und es ist sehr wahrscheinlich X i = 0. Institut für Informatik TU Clausthal, Wintersemester 2004/

28 Boltzmann-Maschine Bemerkung Die Sigmoidfunktion ist nicht die Aktualisierungsfunktion. Diese beeinflusst nur die Wahrscheinlichkeit der Zustandsänderung. Die Temperatur T beeinflusst wiederum die Steilheit der Sigmoidfunktion. Ist T groß, so ist die Wkt. dafür, dass das Netz von einem beliebigen Zustand in einen anderen beliebigen Zustand übergeht, deutlich größer als Null. Bei Zustandsänderungen kann aber der Wert der Energiefunktion (definiert wie bei Hopfield-Netzen) erhöht werden. Dies ist gewünscht: Damit ist die Möglichkeit für das Netz gegeben, sich aus lokalen Minima der Energiefunktion zu befreien. Institut für Informatik TU Clausthal, Wintersemester 2004/

29 Boltzmann-Maschine Bei fallendem T (also,,abkühlung ) werden Übergänge, die die Energie verringern, wahrscheinlicher als solche, die die Energie erhöhen. Arbeitsprinzip Beginne mit großer Temperatur T. Dann können alle Zustände angenommen werden. Das Netz bleibt nicht immer in einem lokalen Minimum.,,Simuliertes Abkühlen (Simulated Annealing): Lass T mit der Zeit langsam kleiner werden. Dann nimmt die Wahrscheinlichkeit ab, dass das Netz von einem niedrigen Energiezustand zu einem höheren springt. Man bleibt dann (hoffentlich) in einem globalen Minimum! Institut für Informatik TU Clausthal, Wintersemester 2004/

30 Boltzmann-Maschine E E E E Z Z Z Z Allgemein gilt: Das Verfahren des simulierten Abkühlens konvergiert mit großer Wahrscheinlichkeit gegen einen Zustand X, für welchen E(X) ein absolutes Minimum ist. Institut für Informatik TU Clausthal, Wintersemester 2004/

31 Aufgaben

32 Aufgabe Gegeben sind 2 Muster: Wie lautet die Gewichtsmatrix, falls diese Muster auf sich selbst abgebildet werden, und ein schwarzer Punkt für ein Ausgangssignal von +, ein weißer Punkt für - steht? Gib die Anzahl der Iterationsschritte an, nach denen sich die beiden Muster auf sich selbst abgebildet haben? Die beiden Muster werden schon nach einem Iterationsschritt auf sich selbst abgebildet. Institut für Informatik TU Clausthal, Wintersemester 2004/

33 Gestörte Muster Quadrat Kreuz Weiterhin kann auch der Fall vorkommen, dass das Netz gegen einen Zustand konvergiert, der keinem vorgegebenem Muster entspricht. Applet Institut für Informatik TU Clausthal, Wintersemester 2004/

34 Aufgabe 2 Gegeben sind folgende Parameter: Zahl der Neuronen: n Zahl der Lernmuster: M Schwellenwert Θ=2 Statische Kennlinie: Zweipunkt Z 2 -Kennlinie Lerndatei. Mustervektor X = (+,-,-,+,-,-,+,+,+) 2. Mustervektor X 2 = (-,-,+,-,+,-,+,-,-) Gezeigt wird die Funktionsweise des Hopfield-Netzes: Institut für Informatik TU Clausthal, Wintersemester 2004/

35 Lösung 2 Schritt. Lernen: W =0 für i=j W 2 =(+)(-)+(-)(-)=0 W 3 =(+)(-)+(-)(+)=-2 W 4 =(+)(+)+(-)(-)=+2 W 5 =(+)(-)+(-)(+)=-2 W 6 =(+)(-)+(-)(-)=0 Gewichtsmatrix für 2 gelernte Muster: W,2= Institut für Informatik TU Clausthal, Wintersemester 2004/

36 Gelernte Muster sowie verrauschte Muster für das Beispiel Hopfield-Netz X X 2 X Muster 2. Muster 2. Muster mit Rauchen Institut für Informatik TU Clausthal, Wintersemester 2004/

37 Schritt 2. Energie des Musters berechnen: E =-0,5 [X. (W 3. X 3 + W 4. X 4 + W 5. X 5 +W 8. X 8 +W 9. X 9 )+ X 4. (W 4. X + W 43. X 3 + W 45. X 8 +W 48. X 8 +W 49. X 9 )+ X 7. (W 72. X 2 + W 76. X 6 )+ X 8. (W 8. X + W 83. X 3 + W 84. X 4 +W 85. X 5 +W 89. X 9 )+ X 9. (W 9. X + W 93. X 3 + W 94. X 4 +W 95. X 5 +W 98. X 8 ) ]. E = -0,5. [(-2). (-)+(2). ()+(-2). (-)+(2). ()+(2). ()]=-5 E 4 = -0,5. [(2). ()+(-2). (-)+(-2). (-)+(2). ()+(2). ()]=-5 E 7 = -0,5. [(-2). (-)+(-2). (-)]=-2 E 8 = -0,5. [(2). ()+(-2). (-)+(2). ()+(-2). (-)+(2). ()]=-5 E 9 = -0,5. [(2). ()+(-2). (-)+(2). ()+(-2). (-)+(2). ()]=-5 Damit ergibt sich für das.muster: E = X. E +X 4. E 4 +X 7. E 7 +X 8. E 8 +X 9. E 9 = -22 Genauso ist die Energie des 2.Musters zu berechnen: E 2 = -2 Institut für Informatik TU Clausthal, Wintersemester 2004/

38 Schritt 3. Erkennen (Iterationen): X 3 = (-,-,+,-,+,-,-,-,-) E 3 =-2. Die Aktivierungswerte und die neuen Neuronenzustände: α 3 =W. X 3 (t)+w 2. X 23 (t)+...+w 9. X 93 (t) =0. (-)+0. (-)+(-2). +2. (-)+(-2). +0. (-)+0. (-)+2. (-)+ 2. (-) = -0<0. Da α 3 <0 ist, wird der neue Zustand X 3 (t+)= - α 23 =W 2. X 3 (t)+w 22. X 23 (t)+ +W 92. X 93 (t)=2. (-)+(-2). (-)= 0. Da α 23 =0 ist, wird der Zustand nicht geändert X 23 (t+)= - α 33 =W 3. X 3 (t)+w 23. X 23 (t)+ +W 93. X 93 (t)=(-2). (-)+(-2). (-)+2. +(-2). (-)+(-2). (-)= 0 >0. und X 33 (t+)= + Institut für Informatik TU Clausthal, Wintersemester 2004/

39 Die Zustände nach der.iteration sind unten gezeigt: α 3 =-0 X 3 (t+)=- α 23 =0 X 23 (t+)=- α 33 =0 X 33 (t+)=+ α 43 =-0 X 43 (t+)=- α 53 =0 X 53 (t+)=+ α 63 =0 X 63 (t+)=- α 73 =4 X 73 (t+)=+ α 83 =-0 X 83 (t+)=- α 93 =-0 X 93 (t+)=- Institut für Informatik TU Clausthal, Wintersemester 2004/

40 Aufgabe 3 Das BAM-Netz mit N=6 Neuronen in der.schicht und M=4 Neuronen der 2.Schrit hat 4 Musterpaare gelernt. Muster X = (,,-,-,,) Y = (-,,,) Muster 2 X 2 = (,,,-,-,-) Y 2 = (,-,,-) Muster 3 X 3 = (,-,,-,,) Y 3 = (,,-,-) Muster 4 X 4 = (,,,,-,-) Y 4 = (-,,,-) Die dabei entstehende Gewichtsmatrix ist rechts dargestellt. W= Überprüfen Sie, ob das Netz bei der Eingabe des Musters X 4 richtig funktioniert, d.h. die Antwort Y 4 ausgeben wird. 2. Wo liegt die theoretische Obergrenze für die Anzahl der gespeicherten Musterpaare? Institut für Informatik TU Clausthal, Wintersemester 2004/

41 Lösung 3 α=(+2). (-) + (-2). (+) + (+2). (+) + (-2). (+) + 0. (+) + (-2). (-) = -2 Y =- α2=0. (-) + 0. (+) + 0. (+) + 0. (+) +(+2). (-) + 0. (-) = -2 Y 2 =- α3=0. (-) + (+4). (+) + 0. (+) + 0. (+) +(-2). (+) + 0. (-) = 6 Y 3 = α4=0. (-) + 0. (+) + (-4). (+) + 0. (+) +(+2). (-) + (+4). (-) = -0 Y 4 =- Das Netz kommt zu einem falschen Wert: Statt Y 4 =(-,,, -) wird (-, -,, -) ausgegeben. Damit konvergiert das Netz in einen falschen Zustand. Die maximale Anzahl der gespeicherten Muster ist L<min (N,M). Für den vorliegenden Fall mit N=6 und M=4 kannf das Netz maximal 3 Musterpaare lernen. Institut für Informatik TU Clausthal, Wintersemester 2004/2005 4

42 Applet Associative Memory: Hopfield model Applet : Applet 2: Applet 3: Applet 4: Mustererkennung mit BAM Applet 5: Boltzman Das Applet zur Lösung des TSP mit Simulated Annealing Institut für Informatik TU Clausthal, Wintersemester 2004/

43 Bildmustererkennung mit Hilfe eines Hopfield-Netzes Institut für Informatik TU Clausthal, Wintersemester 2004/