CLUSTERED NEURONAL NETWORK - DOKUMENTATION

Transkript

1 CLUSTERED NEURONAL NETWORK - DOKUMENTATION Johannes Hoppe

2 1 INHALT 1 Das Projekt Clustered Neuronal Network Das Team Die Idee Microsoft Windows Compute Cluster Server Künstliche neuronale Netze Projektbeschreibung Benutzerführung Willkommen Sammeln von Trainingsdaten Trainieren des neuronalen Netzes Mustererkennung Graphische Algorithmen Einleitung Filter Bewertung Zukünftige Weiterentwicklungen

3 1 DAS PROJEKT CLUSTERED NEURONAL NETWORK 1.1 DAS TEAM Projektbetreuer: 2008: M.Sc. Robert Gladewitz, Dozent der Vorlesung Windowsprogrammierung 2009: M.Sc. Christoph Hahn, Dozent der Vorlesung Verteilte Systeme Teammitglieder: Johannes Hofmeister, Student - Programmierung Johannes Hoppe, Student - Programmierung 1.2 DIE IDEE Ziel des Projekts ist die Konzeption und Erstellung einer Software inklusive Graphical User Interface zur automatischen Bilderkennung innerhalb eines Videostroms. Eine vorgesehene Anwendung dieses Systems ist die Unterstützung beziehungsweise Automatisierung der Analyse des täglichen TV-Programms nach vorgegebenen Mustern (zum Beispiel Werbelogos). Diese Automatik würde neuartige und innovative Marktbeobachtungen ermöglichen wie beispielsweise das Auffinden von Produktbeistellung oder Schleichwerbung innerhalb von Filmen, Serien oder sonstigen TV Shows. Die Musterkennung geschieht über ein künstliches neuronales Netz. Dieser Teilbereich der künstlichen Intelligenz erfordert jedoch sehr hohe 3

4 Rechenkapazitäten. Daher wurde der Einsatz des Microsoft Windows Compute Cluster Server 2003 zur Optimierung der Performance beschlossen. 1.3 MICROSOFT WINDOWS COMPUTE CLUSTER SERVER 2003 Die parallele Bearbeitung von Aufgaben hat in der Forschung eine hohe Bedeutung. High Performance Computing (HPC) gilt allerdings gemeinhin als mit mit hohen Kosten verbunden, egal ob in Form von begrenzt zur Verfügung gestellten Kontingenten, internerbetrieblicher Leistungsverrechnung und real zugekaufter Rechenkapazität. Die anfallenden Kosten für Supercomputer hinderten viele Einrichtungen bislang daran die Techniken des HPC für ihre Forschung einzusetzen. Auf diesen Trend hat Microsoft reagiert und den Compute Cluster Server 2003 entwickelt. Dieses Betriebssystem, welches auf dem Windows Server 2003 basiert, erlaubt den Aufbau eines Rechenclusters auf industrieüblicher Standardserverhardware. 4

5 Somit ist es möglich die parallelen Aufgaben im gewohnten Windowsumfeld zu lösen und dabei nicht mehr auf andere Plattformen oder sogar externe Hardware (zum Beispiel Rechenzentren) angewiesen zu sein. 1.4 KÜNSTLICHE NEURONALE NETZE Künstliche neuronale Netze sind eine Disziplin der künstlichen Intelligenz und prinzipieller Forschungsgegenstand der Neuroinformatik. Dabei wird versucht die Arbeitsweise eines natürlich vorkommenden neuronalen Netzes (zum Beispiel im menschlichen Gehirn) zu abstrahieren. Das resultierende System kann dann zur Entscheidungshilfe herangezogen werden. Im Gegensatz zu anderen Ansätzen der künstlichen Intelligenz (beispielsweise Pathfinding Algorithmen) ist ein künstliches neuronales Netz nicht in der Lage sofort Ergebnisse zu liefern. Es ist viel mehr auf ein vorheriges Training der eigentlichen Aufgabe angewiesen. Dies macht den Einsatz eines solchen Netzes extrem flexibel, andererseits kann dadurch ein, je nach Aufgabe und dazugehörigem Training, enormer Rechenaufwand entstehen. 5

6 1.5 PROJEKTBESCHREIBUNG Das zu entwickelnde System hatte folgende Anforderungen: Komfortable graphische Oberfläche Speicherung der aktuellen Netzzustände Modularer Einsatz verschiedener Netze Der Benutzer soll das Programm, welches in seinem Aufbau sehr technisch ist, komfortabel benutzen können. Der User muss nicht zwingend mit der Materie bewandert sein, sondern soll die Aufgaben innerhalb einer vertrauten Windowsoberfläche erledigen können. Status: Realisiert Um die Ergebnisse möglichst optimal zu halten, sollen das verwendete Netz und dessen Zustand sowie alle Einstellungen und Trainingsdaten speicherbar sein. Somit lässt sich dessen aktueller Wissenstand jederzeit reproduzieren. Status: Realisiert Das System soll nicht von einer Art eines künstlichen neuronalen Netzes abhängig sein. Es sollte vielmehr modular aufgebaut sein um verschiedene Netztypen integrieren zu können. Status: Derzeit nur ein Neuronales Netzwerk im Einsatz. ( BrainNet ) 6

7 Hieraus ergeben sich folgende Aufgaben, welche sich spezifisch auf das künstliche neuronale Netz beziehen: 1. Sammeln von Trainingsdaten per Webcam / TV-Karte oder Videoaufzeichnung 2. Trainieren des Netzes 3. Musterkennung innerhalb eines Videostroms aus TV- Karte oder Aufzeichnung Zunächst wurde eine Anwendung für einen Single Core Computer entwickelt. Die später im Cluster zu bearbeitenden Aufgaben wurden ersatzweise in so genannte Threads ausgelagert. Threads agieren durch ihren sequentiellen Abarbeitungslauf ähnlich wie ein paralleles Programm. 7

8 2 BENUTZERFÜHRUNG Die drei Arbeits-Aufgaben für ein Neuronales Netz spiegeln sich ebenso in der Benutzerführung des Programmes wieder. In den folgenden Abschnitten sind diese kurz beschrieben. 2.1 WILLKOMMEN Zum Start des Programms wird der Benutzer mit folgendem Fenster begrüßt. Hier werden die kommenden Schritte kurz erläutert. Der Willkommensbildschirm kann deaktiviert werden. 8

9 SAMMELN VON TRAININGSDATEN Im ersten Schritt muss Bildmaterial für das Training gesammelt werden. Generell müssen zwei Arten von Bildern vorliegen. Bilder müssen entweder dem zu erkennenden Muster entsprechen oder nicht. Dem Netz kann somit ausschließlich eine Ja/Nein- Entscheidung antrainiert werden! 9

10 Im gezeigten Screenshot sammelt der Entwickler gerade Daten für das Erkennen von Gesichtern. Die Bilder können direkt im Programm über die Webkamera oder eines der anderen unterstützen Medien aufgezeichnet werden und dort auch gemeinsam als Projekt-Datei gespeichert werden. In einer späteren Sitzung können diese Bilder dann wieder komfortabel eingebunden werden. Dieses Vorgehen zahlt sich aus, da das Training das Maß der Güte des Netzwerks ist und somit sehr viel Zeit und Aufwand für eine erneute Sammlung gespart werden können. 10

11 TRAINIEREN DES NEURONALEN NETZES Im zweiten Schritt wird das neuronale Netz nun trainiert. Hierzu gibt der Benutzer die gewünschte Anzahl der Trainingsdurchläufe, basierend auf dem im vorherigen Schritt gesammelten Material, ein. Da diese Trainingsdurchläufe unter Umständen eine längere Rechenzeit in Anspruch nehmen können, informiert ein Fortschrittsbalken den Benutzer über den aktuellen Rechenstatus. Auch in diesem Schritt gibt es Möglichkeiten zum Öffnen und Speichern. So kann beispielsweise zu Beginn des Schrittes ein bereits bestehendes und trainiertes Netz eingebunden werden und nach dem Trainingsvorgang wiederum abgespeichert werden. 11

12 MUSTERERKENNUNG Im letzten Schritt geschieht nun die eigentliche Mustererkennung. Hierzu muss dem System ein Muster, welches mit dem zuvor trainierten Mustern übereinstimmt bzw. nicht übereinstimmt, präsentiert werden. 12

13 Das System scannt hierzu in verschieden großen Ausschnitten über das Gesamt- Bild und sucht nach einem Treffer. Ein Treffer ist dann gegeben, wenn das präsentierte Muster dem trainierten Muster mit hoher Wahrscheinlichkeit ähnelt. In diesem Screenshot wurde das Netz auf ein rundes Fiat-Logo trainiert. Zwei Threads scannen in zwei Ausschnitten / Auflösungen (konkret: 150px x 150px sowie 120px x 120px). Das erkannte Fiat-Logo wird mit einem grünen Rahmen symbolisiert. Bei einer alltäglichen Anwendung kann man statt der grafischen Symbolisierung z.b. eine Log-Datei implementieren. 13

14 3 GRAPHISCHE ALGORITHMEN 3.1 EINLEITUNG Bevor die Bilddaten beim Training oder bei der Erkennung dem Neuronalen Netz präsentiert werden können, müssen Sie grafisch aufbereitet werden. Ziel ist es, die Daten so zu vereinfachen, dass für das Neuronale Netz ähnliche Muster leichter zu erkennen sind. Hierzu werden alle störenden Informationen aus dem Bild entfernt und alle gewünschten Eigenschaften verstärkt. 3.2 FILTER Folgende grafische Filter haben in der genannten Reihenfolge in mehreren Experimenten besonders gute Ergebnisse erreicht. Originales Bild von der Webcam: Filter bei: 197 x 197 Filter bei: 20 x 20 14

15 1. Gaußscher Weichzeichner (Gaussian Blur filter) reduziert das Bildrauschen der Webcam bzw. des Video-Signals 2. Schärfungsfilter (Sharpen filter) macht den Weichzeichner (teilweise) wieder rückgängig, das Bildrauschen bleibt jedoch entfernt 3. Grauumwandlung (Grayscale filter) Umwandlung der Farbinformationen in Graustufen, ermöglicht Histogrammäqualisation 4. Histogrammäqualisation (Histogramm Equalization) zur Kontrastverbesserung 15

16 5. Kantenerkennungsfilter nach dem Sobel- Algorithmus (Sobel filter) Betont die Kanten zwischen hellen und dunklen Flächen Alle diese Filter sind verlustbehaftet, was im vorliegenden Fall gewünscht ist. 3.3 BEWERTUNG Die ersten beiden Filter (Weich- und Scharfzeichnung) sind die Grundlage für das weitere Vorgehen, da das digitale Bildrauschen keine relevanten Informationen in sich trägt. Bei verkleinerten Bildern existiert zwar kein Bildrauschen mehr, jedoch wird auch hier das Bild vereinfacht. Die Histogrammäqualisation hat für das Neuronale Netz sowie für den menschlichen Betrachter eine beeindruckende Verbesserung der Erkennbarkeit zur Folge. Von besonderem Vorteil ist zudem, dass quasi als Nebeneffekt unterschiedliche Lichtverhältnisse angeglichen werden. Ohne diese Angleichung könnte man z.b. nicht bei Tageslicht und bei Nacht Daten sammeln. Eine Anpassung der Helligkeit kann hiermit entfallen. Leichte Verbesserungen ergeben sich auch durch die Kantenerkennung, sofern diese nicht zu intensiv betrieben wird. Je nach Anwendungsfall kann dieser Filter auch ausgeschaltet werden. 16

17 Da der Rechenaufwand für das Neuronale Netz mit der Anzahl der Neuronen bzw. der verarbeiteten Pixel rasant ansteigt, wird im gesamten Projekt derzeit lediglich mit 20 x 20 Pixeln großen Bildern gearbeitet. Das Bild wird bereits vor den Filtern verkleinert! Interessant ist hierbei die unterschiedliche Wirkung der Filter bei kleinen Bildern. (siehe oben) Auf dem ersten Blick wirkt das Ergebnis aus der 20x20 Pixel-Reihe sehr unkenntlich. Man muss hierbei jedoch immer beachten, dass Rechenkapazität ein begrenzender Faktor ist. Wäre es möglich, so würde sicherlich die Betrachtung der Daten in Originalgröße zu besseren Ergebnissen führen. Konkret erfüllt das manipulierte Bild jedoch seinen Zweck. Das Muster beinhaltet einen hellen Bereich im oberen Teil des Bildes (die Stirn), zwei Dunkle Bereiche (die Augen) sowie einen dunklen Bereich im unteren Teil des Bildes (der Mund). 17

18 4 ZUKÜNFTIGE WEITERENTWICKLUNGEN Die zukünftige Weiterentwicklung des Projektes Clustered Neuronal Network umfasst unter anderen folgenden Haupt-Aufgaben: Abschluss der Arbeit am Umwandeln der derzeitigen Threads in Cluster-Jobs Generelle Arbeiten am Neuronalen Netz, beziehungsweise Implementierung von neuen, anders strukturierten Neuronalen Netzen Entwicklung einer einfacheren GUI 18