Hybrid approach of neural networks with knowledge based explicit models with applications to a ping pong playing robot

Transkript

1 Research Collection Doctoral Thesis Hybrid approach of neural networks with knowledge based explicit models with applications to a ping pong playing robot Author(s): Wen, Jianyong Publication Date: 1995 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 - with Diss.ETHNo HYBRID APPROACH OF NEURAL NETWORKS WITH KNOWLEDGE BASED EXPLICIT MODELS applications to a ping pong playing robot A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Doctor of Technical Sciences presented by Jianyong Wen Master of Engineering, Nanjing Institute of Technology, China Bachelor of Engineering, Chinese University of Science and Technology, China bom May 20,1962 citizen of the People's Republic of China accepted on the recommendation of Prof. Dr. G. Schweitzer, examiner Prof. Dr. O. Kiibler, co-examiner Zurich 1995

3 ABSTRACT System modelling methods and feed-forward neural networks are two important tools for analysing and controlling a physical system. The system modelling methods give a clear description of the relationship between inputs and outputs of the system, based upon prior knowledge of the system, whereas neural networks can determine this relationship whilst learning examples of particular input-output pairs of the system. Because only one of these two methods is used to describe physical systems in many applications, the advantages of these two methods have not been fully utilised. In practice, every real system can be divided into two parts. We can define the describable part of a system as the part which can be described by an explicit physical-mathematical model. The system's modelling error is referred to as the unknown part. In order to find input-output relationships of systems more accurately and more efficiently, modelling methods and neural networks should be used in a hybrid fashion. In this thesis, a hybrid approach of the neural networks and the modelling methods is proposed according to assumptions on learning behaviours of human beings. The basic idea is that the physical-mathematical model of a system is firstly built as precisely as possible, based upon prior knowledge of the system. The unknown part of the system (the modelling error) is then described by a feed-forward neural network. Combining the physical-mathematical model with the feed-forward neural network, we get the hybrid description of the system.

4 After analysing the hybrid approach, this thesis gives the main advantages of the approach as follows: feasibility, applicability, efficiency. Based on the hybrid description of systems using neural networks and physical-mathematical models, two applications of the hybrid approach in a ping pong playing robot system are described. In the first example, a neural network is combined with a regression method in the camera calibration of a 3-D vision system which is used to measure positions of a ball in the robot system. Based on a camera model, a regression method is at first used to determine parameters of the camera. In order to improve the accuracy of the 3-D measurements, a feed-forward neural network is implemented to correct the deviation of the camera model from the physical reality of the camera. Our experiments show that the 3-D measurement accuracy has been improved by a factor 1.98 in the image frame coordinate, and by a factor of 1.56 in the 3-D space coordinate through the neural network. In the second application, the hybrid approach is implemented to improve the accuracy of the reaction time of the robot. A Kalman filter is implemented in the robot system based on the dynamic model of a ping pong ball. The Kalman filter is used to estimate and to predict ball states. According to the analysis of the main features which limit the robot performance, reaction time. a neural network is introduced to reduce the error of the 1463 examples of ping pong ball trajectories are collected to train and to test the neural network. After the neural network is trained by the examples in the training set, the reaction times in the training set, and in the testing set, have been improved by a factor of 1.5 and 1.4 respectively. In our experiment, the successful number of returned ping pong balls within one sequence increases from initially about 3-4 to 7-8.

5 KURZFASSUNG Physikalische und mathematische Modelliermethoden von Systemen und neuronale Netzwerke sind zwei wichtige Werkzeuge fur die Analyse und die Kontrolle eines physikalischen Systems. Das Modell eines Systems gibt einen klaren Einblick in das Verhaltnis zwischen seinen Ein- und Ausgangen. Dagegen konnen neuronale Netze Systeme beschreiben, ohne ausdriicklich klassische physikalische und mathematische Modellier methoden zu benutzen. Weil in vielen Anwendungen nur eine dieser zwei Methoden allein gebraucht wird, werden die Vorteile dieser Methoden nicht ganz ausgeniitzt. Allgemein kann ein System in zwei Teile geteilt werden, in den dargestellbaren Teil und in den unbekannten Teil. Der dargestellbare Teil ist als der Teil definiert, der mit einem physikalischen Modell beschrieben werden kann. Das Modell ist dann eine Approximation des aktuellen Systems. Wir konnen die Unterschiede zwischen dem aktuellen System und dessen Modell als Modellfehler defmieren, der dem unbekannten Teil des Systems entspricht. Auf der Suche nach einer genauen Beschreibung der Systeme wurde ein hybrides Vorgehen entwickelt, namlich das physikalisch-mathematische Modell mit dem neuronalen Netzwerk zu kombinieren. Zuerst wird das physikalische mathematische Modell eines Systems moglichst genau abgebildet. Dann wird der Modellfehler, d. h. der unbekannte Teil des Systems, durch ein Feedforward-Netzwerk beschrieben. Nach der Analyse werden die Vorteile des hybriden Vorgehens zusammengefasst: Durchfuhrbarkeit, Anwendbarkeit und Effizienz.

6 Basierend auf dem hybriden Vorgehen zwischen den neuronalen Netzwerken und den physikalischen mathematischen Modellen werden zwei Anwendungen fur einen pingpong-spielenden tation abgegeben. Roboter in der Disser erhoht werden kann. Als erste Anwendung haben wir diese Methode fur die Kalibrierung von Kameras beniitzt, damit die Genauigkeit der dreidimensionalen Berechnung Basierend auf einem Modell der Kamera wird eine Regressionsmethode fur die Kalibrierung der Kamera benutzt. Um unbekannte Faktoren, z. B. Verzerrungen von Linsen und von CID Matrizen zu korrigieren, wird ein Feedforword-Netzwerk implementiert. In unserem Versuch ist die Genauigkeit nach der Korrektur des Netzwerks in den Bildebenen um den Faktor 1.98 und im dreidimensionalen Koordinatensystem um den Faktor 1.56 gestiegen. In der zweiten Anwendung wird das hybride Vorgehen fur die Verbesserung der Reaktionszeit des Roboters benutzt. Fur die Analyse der Balltrajektorien stehen die Schatzung und die Pradiktion des Bewegungszustandes im Vordergrund. Zu diesem Zweck wurde ein Kalman-Filter basierend auf dem Modell eines Balls im Roboter-System implementiert. Fur den Roboter ist die Reaktionszeit, in welcher der Ball den Schlager trifft, ein bedeutender Parameter der Pradiktion in der Analyse des Bewegungssehens. Zur Verbesserung der Reaktionszeit wird versucht, den Fehler der Reaktionszeit durch ein neuronales Netzwerk zu korrigieren. In unserem Versuch werden 1463 Beispiele der Ball trajektorien fur das Training und das Testen des neuronalen Netzwerks gesammelt. Nach dem Lernen des Netzwerks ist die Genauigkeit der Reaktionszeit in der Gruppe des Trainings und in der Gruppe um den Faktor 1.5 und 1.4 gestiegen. des Testens In unserem Versuch retoumiert der Roboter den Ball bis zu 7-8 Mai statt 3-4 Mai wie friiher. -Vlll-