ULM. Intelligenter Greifarm. ZfP-Sonderpreis der DGZfP beim Regionalwettbewerb Jugend forscht. Michael Awiszus Niklas Haas

Transkript

1 ZfP-Sonderpreis der DGZfP beim Regionalwettbewerb Jugend forscht ULM Intelligenter Greifarm Michael Awiszus Niklas Haas Schule: GHRS Sontheim Neustraße Sontheim Robert-Bosch-Gymnasium Freistegstraße Langenau Jugend forscht 2010

2 intelligenter Greifarm Jugend forscht 2010 Maximilian Awiszus Niklas Haas 14. Januar 2010

3 Inhaltsverzeichnis I. Methoden und Vorgehensweise 3 1. Die Welt der neuronalen Netze Neuron Die Berechnung Das Lernen Beispielanwendung Verwendete Eingabemuster Training Das Programm Programmierung 8 II. Ergebnisse 9 3. Die fertig programmierte NN Klasse Netzwerk (Network) Neuron (Node) Verbindung (Link) das Programm Ablauf Die Hardware Die Roboteranlage Mechanischer Greifer pneumatischer Greifer Magnetischer Greifer Sensoren Hall-Sensor Kamera elektronische Waage Oberfläche Lichtschranke III. Diskussion 16 1

4 Motivation Die meisten Roboteranlagen sind sehr unflexibel im Hinblick auf den Umgang mit unterschiedlichen Produkten. Das heißt sie können nur ein bestimmtes Objekt greifen, für das das Programm geschrieben wurde. Wir wollen einen Roboter programmieren, der auf verschiedene Objekte flexibel reagieren kann. Das heißt, er kann je nach Eigenschaften des zu greifenden Objekts einen Greifarm wählen und für jedes Objekt einzeln z.b. die Greifgeschwindigkeit anpassen. Das System entscheidet dabei selbst, welcher Greifer zu dem zu transportierenden Objekt passt. 2

5 Teil I. Methoden und Vorgehensweise 3

6 1. Die Welt der neuronalen Netze Unsere erste Aufgabe war es uns ins die Welt der neuronalen Netze einzulesen. Ein neuronales Netz besteht aus einzelnen Neuronen die miteinander verbunden sind (siehe Abb. 1.1). Abbildung 1.1.: Aufbau eines neuronalen Netzes 1.1. Neuron Ein Neuron ist ein Knoten im neuronalen Netz (NN). In einem Term werden häufig die Variablen i oder j für ein Neuron verwendet. Es wird mathematisch durch eine Netzeingabe (net j ) und einen Output (o j ) definiert Die Berechnung ( ) 8 Durch das NN (in Abb. 1.1) wird z.b. der Inputvektor propagiert. Das heißt die Netzeingabe des 5 Neuron 1 ist 8 und die Netzeingabe von Neuron 2 folglich 5. Mit der Aktivierungsfunktion wird der Output (o j ) eines jeden Neurons berechnet. Wir verwenden immer die Sigmoidfunktion (Abb. 1.2) als Aktivierungsfunktion. Bei Neuron 1 würde der Output z.b. 0, betragen. Um nun die Netzeingabe (net j ) des Neuron 3 in der nächsten Schicht zu berechnen, muss man wissen wie stark die Verbindung zwischen Neuron 1 und 3 bzw. wie stark die Verbindung zwischen Neuron 2 und 3 ist. Nun wird also der Output von Neuron 1 mit der Stärke der Verbindung zu Neuron Abbildung 1.2.: Sigmoidfunktion 4

7 3 multipliziert sowie zu dem Produkt aus dem Output von Neuron 2 und der Stärke der Verbindung von Neuron 2 zu 3 addiert. Diese Rechnung wird auch als gewichtete Summe bezeichnet. Es werden also alle Netzeingaben der Neuronen die vor dem Neuron liegen mit der zugehörigen Verbindung multipliziert und dann zusammengezählt. Hier also beide verschiedene Rechnungen noch einmal mathematisch ausgedrückt: n net j = x wij (1.1) i=1 1 o j = 1 + e net j Die Variable w i,j beschreibt in der Formel die Stärke der Verbindung zwischen Neuron i und j Das Lernen Ein NN kann auf verschiedene Arten belernt werden. Da für unsere Anwendung ein NN mit zwei Schichten genügt lernen wir nach folgendem System: 1. Durch das NN wird eine Eingabe propagiert. 2. Das Ergebnis (Output) des NN wird mit dem erwünschten Ergebnis verglichen. 3. Wenn das Ergebnis eines Neurons zu groß wird, werden seine Verbindungsgewichte verkleinert. 4. Wenn das Ergebnis eines Neurons zu klein wird, werden seine Verbindungsgewichte vergrößert. Dieser Lernprozess wird mit allen verschiedenen Inputs wiederholt. Mathematisch könnte man diese Lernregel so veranschaulichen: Dabei ist: w ij die Gewichtsänderung w neu ij (1.2) = wij alt + w ij (1.3) w ij = t j o j (1.4) t j o j der tatsächliche Output der gewünschte Output 1.4. Beispielanwendung Wir wollten unser NN in einer relativ einfachen Anwendung testen. Dazu ist uns dann die Bildbearbeitung eingefallen: Das simulierte Netz hat 625 Input-Neuronen und 2 Output-Neuronen. Das Ziel war es, dass das Netz ein u von einem m unterscheiden konnte. Nun begannen wir damit, dass NN zu trainieren. Abbildung 1.3.: Eingabemuster m Verwendete Eingabemuster Das Eingabemuster bzw. Trainingsmuster bestand aus 20 Bilddateien. Sie waren jeweils Pixel groß (also insgesamt 625 Pixel). Jeder Pixel (Punkt im Bild) ist der Wert für ein Eingabe-Neuron von den insgesamt 625 im NN. Die Buchstaben können natürlich ganz unterschiedlich aussehen. In Abbildung 1.3 kann man 3 verschiedene Variationen des Buchstaben m sehen. 5

8 Training Nach ungefähr 1000 Trainings-Durchgängen konnte das NN ein u von einem m zuverlässig unterscheiden. In Tabelle 1.1 kann man sehen wie sich die Anzahl der Trainingsphasen zur Qualität der Erkennung, das heißt der Eindeutigkeit der erkannten Buchstaben und zur Lerndauer verhält. Anzahl Trainingsphasen Eindeutigkeit der Erkennung Lerndauer (in Sekunden) 500 mangelhaft 0, ausreichend 0, gut 0, sehr gut 0, sehr gut 3,14 Tabelle 1.1.: benötigte Trainingsphasen Das Programm Beim Start des Programms, das wir für einen kleinen Test für unsere Neuronale Netz Klasse programmierten, musste man zuerst einige Buchstaben auswählen. Diese Buchstaben werden dann für das Training verwendet (Abb. 1.4). Nach der Berechnung wird einer von jedem Buchstaben (also z.b. ein u von allen 10, ein m von Abbildung 1.4.: Auswahl der Trainingsmenge allen 10 und ein a von allen 10) in das Netz eingegeben und das Netz berechnet. Danach werden die Ergebnisse der Berechnungen im Programm ausgegeben (siehe Abb. 1.5). In der ersten Reihe muss die erste Zahl 1, in der mittleren Reihe die mittlere Zahl = 1 und in der unteren Reihe die untere Zahl = 1 sein. 0, gilt dabei als 1. Das wichtigste ist aber, dass die anderen Werte sehr niedrig, d.h. nahe bei 0, sind. Das Wort insignificant bedeutet, dass die Zahl so klein ist, dass sie nicht mehr dargestellt werden kann. Wie man in Abb. 1.4 sehen kann haben wir die Erkennung auf mehrere Buchstaben ausgeweitet. Nach 6

9 Abbildung 1.5.: Ergebnisse kleinen Änderungen im Programmcode kann das NN sieben verschiedene Buchstaben voneinander unterscheiden. 7

10 2. Programmierung Als Compiler verwendeten wir Visual C# 2010, da C# eine objektorientierte Programmiersprache, für die Simulationen von einem NN in sogenannten Klassen, benötigen. Abbildung 2.1.: Visual C# 2010 Um das Neuronale Netz am PC zu simulieren haben wir uns mehrere eigene Klassen geschrieben: Network ist eine Klasse die ein komplettes neuronales Netz simuliert. In ihm befinden sich einzelne Neuronen, die miteinander verknüpft sind. Node ist eine Klasse, die ein einzelnes Neuron simuliert. Link ist eine Klasse, in der die Verbindung von Neuronen gespeichert sind. (mehr zum Programm im nächsten Kapitel) 8

11 Teil II. Ergebnisse 9

12 3. Die fertig programmierte NN Klasse 3.1. Netzwerk (Network) Diese Klasse steht für ein komplettes neuronales Netz. Folgende Funktionen befinden sich in der Klasse: GenerateLinks Activate Learn InputFormImage InputFormArray Reset 3.2. Neuron (Node) Diese Klasse steht, wie vorher schon beschrieben, für ein Neuron in einem Neuronalen Netzwerk. 1 public class Node 2 { 3 public List <Link> Links ; 4 public List <Backlink> Backlinks ; 5 public double invalue ; 6 public double outvalue ; 7 8 public Node ( ) 9 { 10 Links = new List <Link >() ; 11 Backlinks = new List <Backlink >() ; 12 invalue = 0 ; 13 outvalue = 0 ; 14 } 15 } Es enthält vier verschiedene Variablen: Listing 3.1: Programmcode einer Neuron-Klasse Links ist eine Liste, die alle Verbindungen (engl. Links) zu anderen Neuronen, die vor diesem Neuron liegen. BackLinks ist genau die gleiche Liste wie Links, nur sind in dieser Variable alle Verbindungen zu Neuronen hinter diesem gespeichert. invalue ist die Netzeingabe eines Neurons. outvalue gibt den Output eines Neurons, der aus der Netzeingabe, mithilfe der Aktivierungsfunktion, berechnet wurde, an. Beim Erstellen eines Neurons wird die Netzeingabe und der Output auf 0 gesetzt. 10

13 3.3. Verbindung (Link) Die Liste aus einer Neuron-Klasse enthält mehrere Links. 1 public class Link 2 { 3 public int Row; 4 public int Node ; 5 public double Strength ; 6 public Link ( int trow, int tnode, double Strength ) 7 { 8 this.row = trow ; 9 this. Node = tnode ; 10 this. Strength = Strength ; 11 } 12 } Ein Link hat folgende Variablen: Listing 3.2: Link-Klasse Row gibt an, in welcher Schicht sich das Neuron, zu dem eine Verbindung besteht, befindet. Node gibt die Reihe an, in der sich das Neuron, zu dem eine Verbindung besteht, befindet. Strength gibt die Verbindungsstärke bzw. das Gewicht der Verbindung zum, durch die Variable Row und Node angegebenen, Neuron an. 11

14 4. das Programm Das fertige Programm sieht (bis jetzt) wie in Grafik 4.1. Abbildung 4.1.: GUI des fertigen Programms 4.1. Ablauf 1. Beim Start des Programms wird ein neues NN mit zufällig generierten Verbindungen zwischen den einzelnen Neuronen erstellt. Abbildung 4.2.: Ausgabe bei zufällig generierten Verbindungen 2. Es wird ein Objekt in die Prüffläche gelegt. 3. Jeder Sensor gibt die gemessenen Daten an einen Mikrocontroller weiter. 4. Die Daten vom Mikrocontroller werden in unserem Programm angezeigt. 5. Nun berechnet das NN mit diesen verschiedenen Inputs vier Outputs. (Ein Output für jeden Greifarm) 12

15 6. Das Handling nimmt die Greifvorrichtung, der der höchste Output zugeordnet ist. Nun wird versucht das Objekt mit Hilfe dieser Greifvorrichtung anzuheben. 7. Mit einer Lichtschranke wird dann gemessen, ob das Objekt tatsächlich angehoben wurde. 8. Der Mikrocontroller gibt diesen Wert an das NN weiter. Somit weiß es ob seine Entscheidung richtig oder falsch war. 9. Nachdem man dem NN ungefähr 4 verschiedene Objekte präsentiert hat (Schritt 1-7 werden wiederholt), kann man den Lernvorgang starten, indem man auf lernen in unserem Programm klickt. 10. Nun lernt das NN wie im Kapitel 1.3 beschrieben. Man muss das NN nur vier und nicht 1000 mal belernen, da ein Lernvorgang öfter wiederholt wird. Wenn der Lernvorgang abgeschlossen ist, kann das NN verschiedene Sensordaten einem bestimmten Greifarm zuordnen. In Abb. 4.3 sieht man, dass das NN gut gelernt hat, da das zweite Ergebnis viel höher ist als die beiden anderen. Die Roboteranlage würde also die zweite Greifvorrichtung benutzen. Abbildung 4.3.: Ausgabe nach einem Lernvorgang Da wir leider keine Roboteranlage haben, können wir auch nicht messen, ob der Greif- bzw. Anhebe- Vorgang erfolgreich abgeschlossen ist. Deswegen haben wir das Programm so verändert, dass man selbst eingeben kann mit welchem Greifarm das Objekt richtig gegriffen werden könnte. 13

16 5. Die Hardware 5.1. Die Roboteranlage Die Roboteranlage, die wir aus Zeitmangel simulieren, besteht aus drei verschiedenen Greifern. Die unterschiedliche Greifer werden von einem Handling aufgenommen und können dann ein Objekt greifen Mechanischer Greifer Ein mechanischer Greifer kann ein Objekt durch Kraft- oder Formschluss heben. Besonders flache Objekte z.b. Platten können u.u. nicht gegriffen werden. Abbildung 5.1.: mechanischer Greifer pneumatischer Greifer Ein pneumatischer Greifer berührt die Oberfläche eines Objekts und dichtet sie gegen den Umgebungsdruck ab. Wenn der pneumatische Greifer nun ein Vakuum im abgeschlossenen Raum erzeugt, haftet das Objekt (durch den Druckunterschied) am Greifer. Objekte mit glatter Oberfläche werden besonders gut gegriffen, Objekte mit rauer Oberfläche sind schlecht zu greifen. Abbildung 5.2.: Prinzip des pneumatischen Greifers 14

17 Magnetischer Greifer Der magnetische Greifer greift Objekte, wie der Name schon sagt, mit einem (Elektro-) Magnet. Voraussetzung damit ein Objekt angehoben werden kann, ist ein magnetisches Objekt. Abbildung 5.3.: magnetischer Greifer 5.2. Sensoren Um ein Objekt mo glichst genau zu erkennen und spa ter zu klassifizieren muss man einige Eigenschaften, wie Gro ße, Gewicht und Oberfla che, u ber das Objekt in Erfahrung bringen. Diese Aufgabe u bernehmen mehrere Sensoren Hall-Sensor Mithilfe eines Hall-Sensors kann man u berpru fen, ob ein Objekt magnetisch ist Kamera Mit einer Webcam bestimmen wir die Gro ße eines Objekts elektronische Waage Mit einer elektronischen Waage bestimmen wir das Gewicht eines Objekts Oberfla che Die Oberfla che messen wir mit Hilfe eines Lasers. Bei glatten Oberfla chen wird das Licht des Lasers zuru ckgestrahlt, bei rauer Oberfla che wird das Licht stark zerstreut und es kommt nicht mehr viel Licht am Sensor, einer Fotozelle, an Lichtschranke Das Objekt verhindert, dass ein Lichtstrahl bis zu einem Sensor gelangt. Wenn das Objekt nun angehoben wird kommt das Licht am Sensor an. Jetzt kann der Mikrocontroller an den PC weitergeben, dass das Objekt erfolgreich angehoben werden konnte. 15

18 Teil III. Diskussion 16

19 Vorteile Diese intelligente Steuerung der Roboteranlage hat im Gegensatz zu einer konventionellen Robotersteuerung einige Vorteile: Die Roboteranlage konfiguriert sich selbst, dass heißt sie kann sich z.b. bei einer Produktionsumstellung selbst auf neue Produkte umstellen. Die Roboteranlage ermöglicht es verschiedene Produktarten an der selben Anlage zu verpacken, da sie selbst entscheidet welchen Greifer sie benötigt. Ein NN kann von unserem Programm aus auch gespeichert werden, die Datei ist ungefähr 2,8 kb klein. Um z.b. zu wissen, ob beim Bau einer Glühbirne ein Fehler passiert ist, kann man die Glühbirne mit 1000 unterschiedlichen Bildern von richtig hergestellten Glühbirnen vergleichen (sehr große Daten Menge). Dieselbe Aufgabe kann auch mit einem 2,8 kb kleinen NN bewältigen werden. Nachteile Ein Nachteil könnte sein, dass mit diesem System keine Highspeed Anwendung realisierbar wäre. Es wird nämlich zusätzlich zu der Zeit der Berechnung des NN Zeit für die Berechnung des Greifvorgangs benötigt. Zunkunft In der Verpackungsindustrie versucht man Vorgänge immer flexibler zu gestalten, dass heißt nicht von jedem Dübel-Typ 100 Stück herzustellen und zu verpacken, sondern nur so viel wie benötigt werden. Deswegen denken wir, dass unser System in diesem Bereich viele Anwendungsmöglichkeiten finden wird. 17

20 Abbildungsverzeichnis 1.1. Aufbau eines neuronalen Netzes Sigmoidfunktion Eingabemuster m Auswahl der Trainingsmenge Ergebnisse Visual C# GUI des fertigen Programms Ausgabe bei zufällig generierten Verbindungen Ausgabe nach einem Lernvorgang mechanischer Greifer Prinzip des pneumatischen Greifers magnetischer Greifer

21 Literaturverzeichnis [1] Manfred Spitzer: Geist im Netz. Heidelberg, [2] David Kriesel: Ein kleiner Überblick über Neuronale Netze [3] Anna Wallner: Neuronale Netze. Ulm,