Einsatz serieller Algorithmen für die Realisierung digitaler neuronaler Netze

Transkript

1 Einsatz serieller Algorithmen für die Realisierung digitaler neuronaler Netze Andreas Wassatsch, Marc Haase, Dirk Timmermann Universität Rostock, Fachbereich Elektrotechnik und Informationstechnik Institut für Angewandte Mikroelektronik und Datentechnik Richard-Wagner Str. 31, Rostock-Warnemünde {marc.haase, 1. Einleitung Abstract. In diesem Beitrag beschreiben wir einen Ansatz zur Realisierung von digitalen Neuroalen Netzen mittels serieller Datenverabeitungs-Algorithmen. Digit-Online, als ein Vertreter der Most- Significant-Digit-First Algorithmen besitzt im Vergleich zu parallelen digitalen Algorithmen entscheidende Vorteile. Die serielle Verbindung zwischen Digit-Online Modulen vereinfacht die Implementierung von verbindungsintensiven Netzwerken, da die Anzahl der seriellen Verbindungen im Gegensatz zu parallelen Verbindungen unabhängig von der Bitbreite der Daten ist. Als Beispiel dafür wird in diesem Beitrag die Realisierung eines vollständigen Neuronales Netzes einschließlich Lernverfahren vorgestellt. Neuronale Netze finden ihre Anwendung bei der Implementierung von Steuer- und Regelprozessen, deren Aufgabe bzw. Verhalten sich nur schwer durch einen Algorithmus darstellen, aber sehr gut an Hand von Verhaltensbeispielen beschreiben lässt. Neben der bezüglich der Speicherung der notwendigen Gewichte kritischen analogen Implementierungen finden auch digitale Realisierungen ihre Anwendung. Diese beschränken sich jedoch auf Grund der Komplexität der resultierenden Schaltung auf die Realisierung der für die Funktion des Netzes notwendigen Haupt-Komponenten, wie Verbindungsnetzwerk, Eingangsbewertung und Stimuli-Summierung [RAM92, ZEL97]. Ein weiteres Handicap der meist parallelen digitalen Realisierungen ist der Aufwand für die Verbindung der einzelnen Netzelemente. Daher verfolgen wir hier einen seriellen Ansatz, wodurch der Aufwand für die Verbindungen (interconnections) erheblich reduziert wird. Eine Verschachtelung der Teiloperationen ist nur mittels Most Signifikant Digit (MSD) first Algorithmen, wie dem verwendeten Digit-Online Verfahren möglich. Hiermit kann zugleich auch eine Realisierung eines gesamten digitalen Neuronalen Netzes in Form eines eigenständigen universellen Neuro-Prozessors erreicht werden. Das Design des vorgestellten Prozessors ist bezüglich der Netzparameter der Feed-Forward Architektur parametrisierbar. Als Lernverfahren wurde On- Chip das Backpropagation Lernverfahren in seiner Offline-Variante implementiert. In diesem Beitrag wird die eingesetzte serielle Arithmetik vorgestellt und anschließend die Realisation des Neuronalen Netzes mittels dieser Arithmetik beschrieben. Die Architektur des entwickelten Neuro-Prozessors und die Verifikation des Systems wird im Anschluss daran beschrieben. 2. Serielle Arithmetik Klassische mathematische Algorithmen der Datentechnik verarbeiten Daten parallel, wobei wie in Abbildung 1 dargestellt intern meist eine sequentielle Berechnung stattfindet. Vorteil dieser Verfahren ist die relativ geringe Latenzzeit auf Grund der gleichzeitig möglichen Berechnung von Teilaufgaben. Voraussetzung ist die Unabhängigkeit der Teilaufgaben voneinander, da sich ansonsten die Latenzzeit vergrößert. Deswegen ist dies nur bei einfachen Operationen möglich. Bei komplexeren Operationen stößt die parallele Verarbeitung an ihre Grenzen und man geht auf iterative oder serielle Datenverarbeitung über. Darüber hinaus sind parallele Algorithmen von der Datenbreite der Daten abhängig, und beanspruchen mit zunehmender Bitbreite auch mehr Chipfläche. Die Busstrukturen in diesen Systemen beanspruchen ebenfalls einen nicht unerheblichen Anteil an Chipfläche.

2 Abbildung 1: Datenstrom und interne Verarbeitung bei paralleler Abarbeitung Die serielle Ausführung der Berechnungsoperationen kann sowohl mit der niederwertigsten (Least Significant Digit first) bzw. mit der höchstwertigsten (Most Significant Digit first) Stelle beginnen. Der Schaltungsaufwand ist dabei im Vergleich zu parallelen Schaltungslösungen äußerst gering. Durch die zeitlich versetzte Abarbeitung von nahezu identischen Teilaufgaben ist eine gemeinsame Verwendung von Schaltungsstrukturen möglich. Ein weiterer Vorteil ist, dass durch die effiziente Verkettung von Grundoperationen zu einer komplexen Funktion, im Vergleich zu einer parallelen Realisierung eine kürzere Latenzzeit erzielt werden kann und eine geringere Chipfläche beansprucht wird. Bei der parallelen Berechnung von Grundfunktionen, wie die Addition oder Multiplikation, erfolgt eine sequentielle Bearbeitung von der niederwertigsten Stelle aus beginnend. Dieses Operationsprinzip kann bei der Serialisierung der Berechnung übernommen werden. Für höherwertige Funktionen wie die Berechnung der Division oder der Quadratwurzel existieren jedoch nur MSD Algorithmen. Bei einer Kaskadierung von LSD und MSD Funktionen ist bei jedem Wechsel der Datenrichtungen, wie in Abbildung 2dargestellt, eine Umkehrung der Datenströme durch eine LIFO-Struktur notwendig. Abbildung 2: Umkehr der Bitreihenfolge zwischen MSD und LSD Operationen Durch die Drehrichtungsumkehr erhöht sich die Latenzzeit um den Faktor der Datenwortlänge je Umkehrungsoperation, der Durchsatz einer solchen Architektur kann jedoch durch die doppelte Ausführung der LIFO-Struktur ausgeglichen werden. Als Alternative bietet sich die einheitliche Verwendung von MSD-Architekturen sowohl für die MSD-Funktionen als auch für die eigentlichen LSD-Funktionen, wie in Abbildung 3 dargestellt, an. Die Überführung der LSD-Funktionen in eine MSD-Architektur ist durch den Einsatz von redundanter Arithmetik möglich.

3 Abbildung 3: Kaskadierung von MSD Operationen 2.1. Digit-Online Algorithmen Ein Beispiel für serielle Datenverarbeitungsalgorithmen ist Digit Online. Die Daten werden hier mit dem Most Signifikant Digit (MSD) beginnend verarbeitet. Nach einem von der zu berechnenden Operation abhängigen Online-Delay wird das Ergebnis wieder seriell ausgegeben. Im Gegensatz zur Least Signifikant Digit First Methoden können bei MSDF komplexere Funktionen (Exponenzierung, Division) realisiert werden. Voraussetzung für Digit-Online Algorithmen ist die redundante Zahlendarstellung mit der Zahlenbasis r=2. Hierbei wird eine Stelle einer Zahl nicht mehr durch ein Bit repräsentiert, sondern durch 2 Bit. Diese 2 Bit werden zu einem Signed- Digit zusammengefasst, wobei das vordere Bit das Vorzeichen und das hintere die Wertigkeit des Digits repräsentiert. Durch das Vorzeichen-Bit lassen sich jetzt auch negative Zahlen darstellen. Die Tabelle 1 zeigt einige Beispiele für die Signed-Digit Darstellung von Dezimalzahlen. Dabei ist zu beachten, dass für eine Zahl mehrere redundante Zahlendarstellungen existieren können. Dezimale Darstellung Redundante Darstellung 0 [00] 1 [01] -1 [11] 4 [00][01] [00] [00] [01][11] [11] [11] -3 [11] [11] [11] [00][01] Tabelle 1 Redundante Zahlendarstellung Abbildung 4 zeigt den schematischen Aufbau eines Neurons und Abbildung 5 die Umsetzung mittels Digit-Online Algorithmen, die als Module aneinander gereiht werden können. Die Kaskadierung der Module setzt jedoch gleiche Datenwort- Längen voraus, damit die Vektoren stellenrichtig verarbeitet werden. Während einer Digit-Online Operation verlängert sich der Ergebnisvektor in Abhängigkeit der Operation durch hinzukommende Overflow-Digits bei der Addition, oder durch die Verdoppelung der Vektorlänge bei der Multiplikation. Dieser Vektorlängen Zuwachs muss bei nachfolgenden Operationen beachtet werden. In Abbildung 5 wird die jeweilige Vektorlänge und die Repräsentation der Kommastelle durch eine einheitliche Notation {x.y} dargestellt. Dabei gibt x die Anzahl der Vorkommastellen und y die Anzahl der Nachkommastellen an. Für den Fall, dass zueinander verschobene Vektoren verarbeitet werden sollen, müssen zusätzliche Verzögerungsstufen in den Datenstrom eingefügt werden. In Abhängigkeit vom maximal zulässigen Rechenfehler ist es möglich serielle Vektoren hinsichtlich der Vektorlänge zu kürzen. Dabei empfiehlt es sich beim LSD beginnend zu kürzen. An der Stelle des MSD ist es ebenfalls möglich Stellen durch Umkodierung der MSD Stellen einzusparen. Durch die Umkodierung tritt kein Rechenfehler auf, da für redundante Zahlen, wie bereits gesagt, unterschiedliche Repräsentationen existieren.

4 Abbildung 4: Schematischer Aufbau eines Neurons Abbildung 5: Realisierung des Neurons aus Digit Online Modulen 3. Neuronale Netze Neuronale Netze sind informationsverarbeitende Systeme, die aus einfachen Verarbeitungselementen, den Neuronen, aufgebaut sind. Sie sind Nachbildungen von biologischen Strukturen, wie sie sich zum Beispiel beim menschlichen Gehirn wiederfinden lassen. Dabei handelt es sich jedoch um eine starke Abstraktion vom biologischen Vorbild. Die einzelnen Verarbeitungselemente, die Neuronen, sind über gerichtete Verbindungen miteinander verbunden. Jede Verbindung ist durch einen Gewichtsfaktor in ihrer Stärke beeinflussbar. Die Gesamtheit der Neuronen steht für eine komplexe mathematische Funktion, die sich im Gegensatz zu regelbasierten Systemen nicht in Formeln ausdrücken lässt. Über ein Lernverfahren wird diese Funktion dem Netz eingeprägt. Elementarer Bestandteil und Grundverarbeitungselement eines Neuronalen Netzes ist das Neuron (Abbildung 4). Es summiert die am Eingang präsentierten und gewichteten Aktivitäten auf und ermittelt über eine Ausgangsfunktion seine eigene Aktivierung. Die Weiterleitung der Aktivierungen erfolgt entweder nur in eine Richtung (Feed-Forward-Netz), oder auch zurück auf den Eingang des Neurons (Rückgekoppeltes Netz). Im folgenden wird auf die Implementierung einer Feed- Forward-Architektur eingegangen. In Feed-Forward-Netzwerken sind die Neuronen einer Schicht mit allen Neuronen der folgenden Schicht verbunden. Die Anzahl der Verbindungen entspricht dem Produkt m aus der Anzahl der Neuronen benachbarter Schichten. Bei der parallelen digitalen Implementierung dieses Netzes ist jede Verbindung entsprechend der gewählten Zahlenbasis der zu übertragenden Aktivierungen n-bit breit. Die Anzahl der Verbindungen erhöht sich dadurch noch einmal um den Faktor n und führt zu einem vom Wertebereich abhängigen Verbindungsaufwand zwischen zwei Schichten von Neuronen. Diese Abhängigkeit von der Bitbreite n lässt sich durch Serialisierung der zu übertragenden Aktivierungen eliminieren. Die Anzahl der Verbindungen zwischen zwei Schichten von Neuronen reduziert sich dadurch auf ein Minimum [WAS00a] Aktivierungs- bzw. Ausgangsfunktion Die Berechnung des Ausgangszustandes aus der Aktivierung bzw. der gewichteten Netzeingabe des Neurons erfolgt im allgemeinen durch eine nichtlineare sigmoide Funktion, z.bsp. tanh(x), 1/ (1-e -x ). Die Implementierung dieser Funktion durch eine Potenzreihendarstellung überschreitet die durch die Anforderungen an die Chipfläche definierten Grenzen, so dass nach einer alternativen Implementierungsvariante gesucht werden musste. Zum Einsatz kommt daher eine Näherung auf Basis einer linearen Funktion erweitert um eine anschließende Sättigungsfunktion. Der durch diese Approximation entstehende Fehler kann durch die den neuronalen Netzen innewohnende Fähigkeit der Anpassung durch den Lernprozeß kompensiert werden. Zur Validierung der Approximation der Ausgangsfunktion wurden umfangreiche Matlab- Simulationen verschiedener Netzwerkmodelle durchgeführt. Ein Beispiel stellt die Lösungsvariante des akademischen XOR-Netzwerk Problems dar, dessen Ausgangsverhalten in Abbildung 6 dargestellt wird.

5 Abbildung 6: Lösungsvariante des akademischen XOR-Netzwerk Problems mit der Ausgangsfunktion tanh und zum Vergleich mit der Näherungsfunktion (mytanh)

6 4. Architektur des Neuro-Prozessors Das implementierte Neuronale Signalverarbeitungssystem besteht aus einem zweischichtigen Neuronalen Netz, mit konfigurierbarer Anzahl von Neuronen, dem Backpropagation Lernverfahren, einem internen Gewichtsspeicher und einem Steuerwerk, das die selbstständige Durchführung des Lernverfahrens ermöglicht. Die Abbildung 7 zeigt den schematischen Aufbau des entwickelten Neuro-Prozessors [HAA00]. Durch die Integration eines Steuerwerkes besitzt der Prozessor die Möglichkeit selbstständig eine gegebene Aufgabe mittels Lernvektoren, die über ein Interface vom externen Speicher eingelesen werden, zu erlernen und anschließend zu erfüllen. Damit der Prozessor in einer Umgebung mit paralleler Datenverarbeitung eingesetzt werden kann, findet die Parallel-Seriell- bzw. Seriell- Parallel-Wandlung im Prozessor statt. Dadurch sind zusätzliche Datenstromkonvertierungen außerhalb des Prozessors nicht erforderlich. Für die Beschreibung des Systems wurde die Hardwarebeschreibungssprache VHDL verwendet [HAA00]. Der Prozessor ist hinsichtlich Eingänge, Ausgänge, Anzahl der Neuronen, Bitbreite der Gewichte und Daten parametrisierbar. Dies wurde durch generische Beschreibung des Systems gewährleistet. Dadurch ist der Prozessor für unterschiedliche Netzwerkanforderungen, beschränkt auf Feed-Forward Architekturen, implementierbar. Der Aufbau des Prozessors ist modular. Dazu wurden die zu Grunde liegenden Digit Online Operationen mit einem zusätzlich erforderlichen Synchronisierungsalgorithmus [WAS00a] erweitert, der die Verkettung von einzelnen Digit-Online Operationen ohne zusätzlich zu implementierende Steuerungssignale ermöglicht. Ein einkommender Datenstrom wird vom Synchronisierungsalgorithmus erkannt, dieser initialisiert die Digit-Online Operation und startet die Abarbeitung. Nach der Operation wird das Digit-Online Modul wieder in den Anfangszustand zurückgesetzt. Das Neuronale Netz als Teilkomponente des Neuro-Prozessors wurde aus einzelnen Neuronen (Abbildung 5) hierarchisch aufgebaut. Neben dem Neuronalen Netz wurde auch der Lernalgorithmus mittels Digit-Online Modulen implementiert. Dieser lässt sich über Parameter an die Netzwerkstruktur generisch anpassen. Die Speicherung der Gewichte erfolgt in einem mit auf dem Prozessor integrierten Speicherbereich. Abbildung 7: Schematischer Aufbau des Neuro-Prozessors

7 5. Verifikation Die Simulation von Komponenten, die mit Hardwarebeschreibungssprachen, wie z.b. VHDL, Verilog entwickelt werden, stehen umfangreiche und leistungsfähige softwarebasierte Simulationsprogramme zur Verfügung. Diese setzen ihrerseits leistungsfähige Rechnersysteme voraus. Im Falle des hier entwickelten Neuro-Prozessors lassen sich derart komplexe Abläufe, wie z.b. das Lernverfahren nicht mehr befriedigend in Software simulieren, da die Simulationszeiten mit bis zu mehreren Stunden oder Tagen keine flexiblen Entwicklungsprozesse gestatten. Aus diesem Grund wurde für die Simulation das Hardware-Emulationssystem APTIX MVP3 eingesetzt [WAS00b]. Der zu simulierende Neuro-Prozessor wird mit Hilfe eines Synthesewerkzeuges auf frei programmierbare Hardwarebausteine (FPGA) abgebildet. Die Simulation lässt sich jetzt nahezu in Echtzeit durchführen und viel kürzere Simulationszeiten sind erreichbar. Im speziellen Fall standen 4 VIRTEX 1000 FPGA s der Firma XILINX zur Verfügung, auf die der Neuro- Prozessor abgebildet wurde. Die Verbindungen zwischen den FPGA s werden über Switch-Matrizen des APTIX Entwicklungssystem verschaltet. Ein an dieses System angeschlossener Logik-Analysator ermöglicht umfangreiche Messungen an den Steuer- und Datenleitungen des Neuro-Prozessors. 6. Zusammenfassung Abbildung 8: Hardware-Emulationssystem APTIX MVP3 Neuronale Netze lassen sich vollständig mit Hilfe von digitalen Signalverarbeitungsalgorithmen implementieren. Dabei konnte gezeigt werden, dass durch den Einsatz von seriellen Algorithmen der bei parallelen Implementierungen entstehende hohe Hardwareaufwand für Verbindungen zwischen benachbarten Neuronenschichten auf ein Minimum reduziert werden kann. Des weiteren lässt sich durch Koppelung von aufeinanderfolgenden Operationen eine bezüglich der Taktzyklen kürzere Latenzzeit erreichen. Der ausschließlich mittels seriellen Datenverarbeitungsalgorithmen implementierte Neuro- Prozessor ist auf Grund des integrierten Backpropagation-Lernverfahrens in der Lage, selbstständig eine Aufgabe zu lernen und anschließend auszuführen.

8 Literatur [HAA00] Marc Haase, Diplomarbeit: Untersuchung komplexer digitaler Signalverarbeitungsarchitekturen auf Eignung zur Abbildung auf eine sequentielle Zellbibliothek, Universität Rostock, 2000 [RAM92] U. Ramacher; Synapse- A Neurocomputer That Sythesizes Neural Algorithms on a Parallel Systolic Engine; Journal of Parallel and Distributed Computing, Vol. 14, p ;1992 [WAS00a] Wassatsch, A.; Haase, M.; Timmermann, D.; DOLFIN - Digit Online For Integrating Neural Networks; The IEEE International Symposium on Circuits and Systems (ISCAS 2000), Geneva, Switzerland, ISBN: , S. III , Mai 2000 [WAS00b] Wassatsch, A.; Haase, M.; Timmermann, D.; The DOLFIN Project: An application report on a consistent design and verification flow for a large digital neural network.; SNUGE 2000, Paris (France), S. A , März 2000 [ZEL97] Zell, A.; Simulation neuronaler Netze ; R. Oldenburg Verlag;München; 2. Auflage; 1997