Gliederung Intelligente Roboter lectures/2007ws/vorlesung/ir Seminar / Übungen

Transkript

1 Intelligente Roboter lectures/2007ws/vorlesung/ir Jianwei Zhang Fakultät für Mathematik, Informatik und Naturwissenschaften Technische Aspekte Multimodaler Systeme Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik 9. Steuerungsarchitekturen Intelligente Roboter Wintersemester 2007/2008 J. Zhang 1 J. Zhang Intelligente Roboter Intelligente Roboter Vorlesung Seminar / Übungen Vorlesung Dienstag 10:00-12:00 Uhr (c.t.) Raum F-334 Web lectures/2007ws/vorlesung/ir Name Prof. Dr. Jianwei Zhang Büro F-308 zhang@informatik.uni-hamburg.de Sekretariat Tatjana Tetsis Büro F-311 Telefon (040) tetsis@informatik.uni-hamburg.de Seminar Dienstag 8:00-10:00 Uhr (c.t.) Raum F-334 Web lectures/2007ws/seminar/ir Name Prof. Dr. Jianwei Zhang Name Dr. Houxiang Zhang Büro F-307 Telefon (040) hzhang@informatik.uni-hamburg.de J. Zhang 3 J. Zhang 4

2 Intelligente Roboter Intelligente Roboter Organisatorisches Motivation Verbindung von Vorlesung + Seminar Aus Zeitgründen kann die Vorlesung nicht alle Themenbereiche von Intelligente Roboter abdecken Seminar ergänzende Inhalte kurze Einführungen durch den Veranstalter klassische Seminarvorträge Laborbesichtigungen, Vorstellung einzelner Roboterplattformen ggf. Übungen am Rechner Termine 23. Oktober veränderte Reihenfolge 30. Oktober nur Vorlesung 06. November nur Seminar Was sind intelligente Roboter? Robotik umfasst sehr viele Teilgebiete der Informatik Architektur- und Systementwurf Künstliche Intelligenz Bildverarbeitung Sprachverarbeitung Neuronale Netze Regelungstechnik Mechatronik... J. Zhang 5 J. Zhang 6 TASER TAMS Service Robot Forschungsplattform für Servicerobotik TAMS Service Robot Hardwareplattform / Aktoren Neobotix MP-L655 Differentialantrieb 6 Stunden Akkukapazität 2 Mitsubishi PA10-6C Arm 6 Achsen 10 Kg Tragkraft Barrett 3-Finger Hand: BH8-262 Schwenk/Neige Kamerakopf Lautsprecher Intelligente Roboter J. Zhang 8

3 Intelligente Roboter Intelligente Roboter TAMS Service Robot (cont.) TAMS Service Robot (cont.) Sensoren Kamerasysteme Stereo Kameras Sony DFW-VL500 (FireWire, VGA) Omnidirektionales Sichtsystem DFW-SX900 (FireWire, ) 2 Handkamera Laserentfernungsmesser 2 Sick LMS200 Ethernet Anbindung Embedded-Prozessor Gyroskop in der Plattform Kraft-/Moment Sensoren Gelenke der Arme Finger der Hände Positionssensoren Plattform Arm Hand und Finger Schwenk-/Neige-Einheit Rechner Standard PC-Hardware Betriebssystem: Linux J. Zhang 9 J. Zhang Intelligente Roboter Intelligente Roboter TAMS Plattformen Was sind intelligente Roboter? sehr unterschiedliche Plattformen Service-Roboter Humanoide Roboter Fensterputzer (pneumatisch) Snake-like Wall-climbing Module Pioneer Aibo Edutainment Systemarchitekturen Sensoren, Aktoren mechanischer Aufbau... J. Zhang 11 Die Frage lässt sich nicht generell beantworten Zu viele unterschiedliche Systeme und Architekturen Die Vorlesung soll einen Überblick vermitteln, d.h. Grundlagen und allgemeingültige Prinzipien Gängige Verfahren und Algorithmen einige Konstruktionsprinzipien... J. Zhang 12

4 Intelligente Roboter Intelligente Roboter Was sind intelligente Roboter? (cont.) Was sind intelligente Roboter? (cont.) Wie sind Robotersysteme aufgebaut? Methodik Entwurf und Aufbau des mechanischen Systems Kinematik und Dynamik Modellierung und Simulation Kontroller-Design und -Algorithmen Softwarearchitektur Systemintegration... Welche (Teil-) Aufgaben werden vom System durchgeführt? Lokalisation Pfadplanung Bewegung Manipulation Kontrolle von Kraft, Geschwindigkeit... Sensordatenerfassung und -verarbeitung Fusion und Interpretation der Daten Mensch-Maschine Schnittstelle Interaktionsmöglichkeiten... J. Zhang 13 J. Zhang 14 1 Grundlagen der Sensorik Intelligente Roboter Gliederung 1. Grundlagen der Sensorik Einführung Messen mit Sensoren Eigenschaften von Sensoren Literatur Sensoren in der Robotik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik 1 Grundlagen der Sensorik Intelligente Roboter Gliederung (cont.) 9. Steuerungsarchitekturen J. Zhang 15 J. Zhang 16

5 1.1 Grundlagen der Sensorik - Einführung Intelligente Roboter Ein einfaches Beispiel 1.1 Grundlagen der Sensorik - Einführung Intelligente Roboter Was ist ein Sensor? Der Sensor besteht aus zwei Teilen: der Füllstandanzeige und dem menschlichen Auge, das ein Signal an das Gehirn sendet Definition Ein Sensor ist eine Einheit, die ein Signal oder Stimulus empfängt und darauf reagiert J. Zhang 17 J. Zhang Grundlagen der Sensorik - Einführung - Natürliche und physikalische Sensoren Intelligente Roboter Natürliche und physikalische Sensoren Natürliche Sensoren: Reaktion ist elektrochemisches Signal auf Nervenbahnen Beispiele: Hören, Sehen, Tasten,... Physikalische Sensoren: Definition Ein physikalischer Sensor ist eine Einheit, die ein Signal oder Stimulus empfängt und darauf mit einem elektrischen Signal reagiert Grundlagen der Sensorik - Einführung - Natürliche und physikalische Sensoren Intelligente Roboter Eingangssignal Ein Sensor wandelt ein (generell) nicht-elektrisches Signal in ein elektrisches um Dieses Signal wird als Stimulus bezeichnet Definition Ein Stimulus ist eine Größe, Eigenschaft oder Beschaffenheit, die wahrgenommen und in ein elektrisches Signal umgewandelt wird J. Zhang 19 J. Zhang 20

6 1.1.1 Grundlagen der Sensorik - Einführung - Natürliche und physikalische Sensoren Intelligente Roboter Ausgangssignal Grundlagen der Sensorik - Einführung - Sensortypen Intelligente Roboter Sensortypen Das Ausgangssignal kann eine Spannung, ein Strom oder eine Ladung sein Es kann weiter unterscheidbar sein durch Amplitude, Frequenz oder Phase extrinsisch: Ermitteln von Informationen über die Systemumgebung intrinsisch: Ermitteln von Informationen über den internen Systemzustand aktiv: Variieren angelegtes elektrisches Signal bei Veränderung des Stimulus passiv: Erzeugen direkt ein elektrisches Signal bei Veränderung des Stimulus J. Zhang 21 J. Zhang Grundlagen der Sensorik - Einführung - Sensortypen Intelligente Roboter Grundlagen der Sensorik - Einführung - Multiplexer Intelligente Roboter Multiplexer (MUX) Schalter bzw. Weiche verbindet Signale einzeln mit dem A/D-Wandler Vorteil: nur ein A/D-Wandler notwendig Rechner steuert das Timing des MUX Sensortypen: 1.: extrinsisch, passiv 2. und 3.: intrinsisch, passiv 4.: intrinsisch, aktiv 5.: intrinsisch (in der Datenerfassung), passiv Digitale Sensorausgaben können auch direkt an den Rechner gehen J. Zhang 23 J. Zhang 24

7 1.1.4 Grundlagen der Sensorik - Einführung - Sensorklassifikation Intelligente Roboter Sensorklassifikation Grundlagen der Sensorik - Einführung - Sensorklassifikation Intelligente Roboter Beispiel-Klassifikation Klassifikation von Sensoren anhand von: Art des Stimulus Eigenschaften, Spezifikation und Parameter, Art wie Stimulus detektiert wird Art der Umwandlung von Stimulus in Ausgangssignal Material des Sensors Einsatzgebiet J. Zhang 25 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren Intelligente Roboter Messen mit Sensoren Grundlagen der Sensorik - Messen mit Sensoren - Messabweichung Intelligente Roboter Messabweichung (Messfehler) wichtiges wissenschaftliches Kriterium: Reproduzierbarkeit wissenschaftliche Aussagen müssen vergleichbar sein Aussagen müssen quantitativ sein, sie müssen auf Messungen beruhen Messergebnis besteht aus: Maßeinheit Zahlenwert zusätzlich: Angabe der Genauigkeit der Messung Messfehler Es gibt keinen Messprozess, der ein fehlerloses, absolut genaues Ergebnis liefert! J. Zhang 27 Systematische Abweichung ( systematischer Fehler ): Abweichung wird durch den Sensor verursacht z.b.: falsche Eichung, dauernd vorhandene Störungen wie Reibung nur durch sorgfältiges Untersuchen der Fehlerquelle zu beseitigen Zufällige Abweichung ( zufälliger oder statistischer Fehler ): Abweichung wird durch unvermeidbare, regellose Störungen verursacht bei wiederholter Messung weichen Einzelergebnisse voneinander ab Einzelergebnisse schwanken um einen Mittelwert J. Zhang 28

8 1.2.2 Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Fehlerangabe Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Histogramm Eine Messung ist stets mit Unsicherheit behaftet Die Messung lässt sich in einem Histogramm darstellen: Beispiel: Entfernungsmessung Abstand zu einem Objekt wird mehrmals gemessen Einzelergebnisse der Messung: 4, 40 m 4, 40 m 4, 38 m 4, 41 m 4, 42 m 4, 39 m 4, 40 m 4, 39 m 4, 40 m 4, 41 m Einzelergebnisse der Messung sind unterschiedlich J. Zhang 29 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Absolute und relative Messabweichung Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Mittelwert Die Unsicherheit wird in zwei Formen angegeben: Absolute Messabweichung ( Absoluter Fehler ): Der absolute Fehler x i einer Einzelmessung x i ist gleich der Abweichung vom Mittelwert x aller N Messungen {x n n {1...N}} Relative Messabweichung ( Relativer Fehler ): Der relative Fehler ist das Verhältnis von absolutem Fehler zum Messwert x i x i Den Mittelwert x der Einzelmessungen x i erhält man durch x = 1 N Der Mittelwert wird auch als arithmetisches Mittel oder bester Schätzwert für den wahren Wert µ bezeichnet Anmerkung: µ ist der Mittel- oder Erwartungswert der Grundgesamtheit (häufig auch wahrer Wert x w der Messgröße X genannt: E(X) = µ = x w). Es wird angenommen, dass die Messgröße X eine (normalverteilte) Zufallsvariable ist. Die unendliche Grundgesamtheit ist die Menge aller möglichen Messwerte. N i=1 x i J. Zhang 31 J. Zhang 32

9 1.2.2 Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Varianz einer Messreihe Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Standardabweichung einer Messreihe Die Streuung der einzelnen Messwerte x i um den arithmetischen Mittelwert x lässt sich durch die Varianz (auch: Varianz einer Messreihe) charakterisieren: s 2 = ( x) 2 = = 1 N 1 1 N 1 N ( x i ) 2 i=1 N (x i x) 2 In der Formel steht der Faktor N 1 und nicht N, da man erst ab N = 2 einen Fehler bestimmen kann J. Zhang 33 i=1 Die positive Wurzel der Varianz ist die Standardabweichung bzw. Standardabweichung der Messreihe: s = 1 N (x i x) 2 N 1 Die Standardabweichung wird auch als durchschnittlicher bzw. mittlerer Fehler der Einzelmessung bezeichnet J. Zhang 34 i= Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Standardabweichung des Mittelwertes Grundlagen der Sensorik - Messen mit Sensoren - Fehlerangabe Intelligente Roboter Ergebnis einer Messung Als Standardabweichung des Mittelwertes (auch: Fehler des Mittelwertes) erhält man: s x = 1 N (x i x) N(N 1) 2 = x N = s N i=1 Definition Als Ergebnis einer Messung erhält man: x = ( x ± s x ) [Einheit] s x beschreibt die Streuung der aus verschiedenen Messreihen erhaltenen Mittelwerte x um den wahren Wert (Mittelwert) µ J. Zhang 35 J. Zhang 36

10 1.2.3 Grundlagen der Sensorik - Messen mit Sensoren - Vertrauensgrenze Intelligente Roboter Vertrauensgrenze Grundlagen der Sensorik - Messen mit Sensoren - Fehlerfortpflanzung Intelligente Roboter Fehlerfortpflanzung bei großem N (>> 25) besagt die Vertrauensgrenze ± s x : ca. 68 % der Messwerte liegen im angegebenen Intervall wird eine Sicherheit von 95 % verlangt ist das Intervall auf ± 2 σ x zu vergrößern bei 99 % auf etwa ± 3 σ x wird eine abgeleitete Größe aus mehreren Messgrößen berechnet, so ist ebenfalls eine Messunsicherheit anzugeben ist die zu berechnende Größe z = f (x 1,...,x n ) und x i die Messunsicherheit (Maximalfehler) der einzelnen Messgrößen, so ist die Messunsicherheit z der zu berechnenden Größe z = δf δx 1 x δf δx n x n J. Zhang 37 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren - Fehlerfortpflanzung Intelligente Roboter Fehlerfortpflanzung (cont.) Die partiellen Ableitungen stellen Gewichtsfaktoren für die Fortpflanzung der einzelnen Fehler dar Gewichtsfaktoren sollten grundsätzlich vor der Messung berechnet werden Nur so kann erkannt werden, welche Fehler sich besonders stark auf das Endergebnis auswirken Entsprechende Messwerte müssen besonders genau ermittelt werden Das Messergebnis einer indirekt ermittelten Messgröße lautet dann: z = z ± z Grundlagen der Sensorik - Messen mit Sensoren - Fehlerfortpflanzung Intelligente Roboter Fehlerfortpflanzung (cont.) zwei Faustregeln: Bei Addition und Subtraktion addieren sich die absoluten Fehler Bei Multiplikation und Division addieren sich die relativen Fehler die Differenz zweier nahezu gleich großer Größen erhält einen großen relativen Fehler besser: Differenz direkt messen Quadrierung verdoppelt, Quadratwurzel ziehen halbiert den relativen Fehler J. Zhang 39 J. Zhang 40

11 1.2.4 Grundlagen der Sensorik - Messen mit Sensoren - Fehlerfortpflanzung Intelligente Roboter Grafische Fehlerdarstellung Ermittelte Fehler werden als Fehlerbalken an den Messpunkten eingetragen Grundlagen der Sensorik - Messen mit Sensoren - Gaußverteilung Intelligente Roboter Gaußverteilung Eine diskrete Häufigkeitsverteilung einer Messreihe geht für N in eine kontinuierliche Verteilung über Die Messwerte einer physikalisch-technischen Messgröße X sind in den meisten Fällen annähernd normalverteilt N : x µ und s σ J. Zhang 41 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren - Gaußverteilung Intelligente Roboter Gaußverteilung (cont.) Grundlagen der Sensorik - Messen mit Sensoren - Gaußverteilung Intelligente Roboter Gaußverteilung (cont.) Definition Normierte Dichtefunktion (Gaußsche Normalverteilung) f (x) = 1 σ (x µ) 2 2π e 2σ 2 J. Zhang 43 J. Zhang 44

12 1.2.6 Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Lineare Regression Häufig: Messen eines Zusammenhangs zwischen zwei Größen x und y Beispiel: Spannung und Strom an einem Wiederstand Besonders leicht: linearer Zusammenhang von x und y y = m x + b Koeffizienten werden durch lineare Regression bestimmt Um den statistischen Fehler zu reduzieren, wird eine Messreihe mit n Messwertpaaren aufgenommen Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Lineare Regression (cont.) Die Koeffizienten der Ausgleichsgeraden berechnen sich nach: n i=1 m = (x i x)(y i ȳ) n i=1 (x i x) 2 b = ȳ m x x i und y i sind die Messwertpaare x und ȳ sind die Mittelwerte der Messwertreihen 1 J. Zhang 45 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Lineare Regression (cont.) Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Korrelationskoeffizient Häufig wird der empirische Korrelationskoeffizient r xy angegeben: n i=1 r xy = (x i x)(y i ȳ) n i=1 (x i x) 2 n i=1 (y i ȳ) 2 Je näher r xy an 1 liegt, um so stärker ist eine lineare Abhängigkeit gegeben 1 Nicht mehr die Mittelwerte der einzelnen Messwerte an den Messpunkten! J. Zhang 47 J. Zhang 48

13 1.2.6 Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Regressionsparabel Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Regressionsparabel (cont.) Liegen die Messpunkte nahezu auf einer Parabel wählt man einen quadratischen Lösungsansatz Regressions- oder Ausgleichsparabel f (x) = ax 2 + bx + c Der vertikale Abstand v i des i-ten Messpunktes von dieser Parabel beträgt: v i = y i f (x i ) = y i ax 2 i bx i c J. Zhang 49 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Gaußschen Methode der kleinsten Quadrate Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Regressionsparabel Minimieren der Abstandsquadrate aller Messpunkte S(a; b; c) = nx (y i axi 2 bx i c) 2 Minimum i=1 Eliminieren der partiellen Ableitungen S a S b S c = 2 = 2 = 2 nx (y i ax 2 bx i c)( xi 2 ) = 0 i=n nx (y i ax 2 bx i c)( x i) = 0 i=n nx (y i ax 2 bx i c)( 1) = 0 i=n Durch Auflösen der Summen und Ordnen erhält man drei Normalengleichungen nx i=0 nx i=0 x 4 i x 3 i!! a + a + nx i=0 x 2 i nx i=0! nx i=0 x 3 i x 2 i a +!! b + b + nx i=0 x 2 i! c =! nx x i c = i=0! nx x i b + n c = i=0 nx i=0 x 2 i y i nx x iy i i=0 nx i=0 y i J. Zhang 51 J. Zhang 52

14 1.2.6 Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Regressionsparabel (cont.) Dieses quadratische lineare Gleichungssystem läßt sich mit Hilfe der Cramerschen Regel oder durch den Gaußschen Algorithmus lösen Für eine Regressionsparabel müssen mindestens vier Messpunkte vorliegen (n 4) Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Beispiel: Regressionsparabel Ermittlung des Zusammenhangs zwischen Bremsweg s (in m) und Geschwindigkeit v (in km/h) siehe: L. Papula: Mathematik für Ingenieuere und Naturwissenschaftler (Band 3), Seite J. Zhang 53 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Nichtlineare Regression Viele nichtlineare Lösungsansätze lassen sich durch eine Transformation auf den linearen Ansatz zurückführen Beispiel: Exponentialfunktion Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Nichtlineare Regression (cont.) Einführen einer Transformation u = x, v = ln y Zusätzlich: c = b, d = ln a y = a e bx Durch Logarithmieren erhält man: ln y = ln(a e bx ) = ln a + ln(e bx ) = ln a + bx Transformation: Exponentialfunktion in lineare Funktion y = a e bx ln ln y = bx + ln a u=x v=ln y v = cu + d J. Zhang 55 J. Zhang 56

15 1.2.6 Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Nichtlineare Regression (cont.) Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Nichtlineare Regression (cont.) Bei der Transformation gehen die Messwerte (x i ; y i ) in neue Wertepaare (u i ; v i ) = (x i ; ln y i ) über Auf den neuen Werten wird die Regression ausgeführt Man erhält die Hilfsparameter c und d Durch Rücktransformation erhält man a und b ln a = d a = e d und b = c J. Zhang 57 J. Zhang Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Nichtlineare Regression (cont.) Ansatz Transformation transformierter Rücktransformation u = v = Ansatz (linear) y = a x b ln x ln x v = cu + d a = e d, b = c y = a e bx x ln x v = cu + d a = e d, b = c y = a x + b 1/x y v = cu + d a = c, b = d y = a b+x x 1/y v = cu + d a = 1, b = d c c y = ax b+x 1/x 1/y v = cu + d a = 1, d b = c d Grundlagen der Sensorik - Messen mit Sensoren - Regression Intelligente Roboter Nichtlineare Regression (cont.) Nach Linearisierung stets lineare Regression mit transformierten Messwerten Rechentechnisch einfach und daher beliebt, führt aber nicht zu den tatsächlichen Parametern a, b,... Exakte Bestimmung nur über Minimierung der eigentlichen Zielfunktion S(a; b;...) = n (y i f (x i )) 2 i=1 Exakte Parameter meist nur durch erheblichem numerischen Rechenaufwand bestimmbar J. Zhang 59 J. Zhang 60

16 1.3 Grundlagen der Sensorik - Eigenschaften von Sensoren Intelligente Roboter Eigenschaften von Sensoren Grundlagen der Sensorik - Eigenschaften von Sensoren - Übertragungsfunktion Intelligente Roboter Übertragungsfunktion Ein Eingangssignal muss eventuell mehrmals konvertiert werden, bis der Sensor ein elektrisches Ausgangssignal ausgibt Beispiel: Druck auf Glasfaser-Sensor Dehnung Änderung des Brechungsindex Änderung der optischen Übertragung Messung des Photonenflusses Umwandlung in Strom In diesem Kapitel wird ein Sensor zunächst als Black Box betrachtet J. Zhang 61 Es interessiert im Folgenden nur die Beziehung zwischen Eingangs- und Ausgangssignal der Zusammenhang zwischen Stimulus und Ausgangsgröße Jeder Sensor besitzt eine ideale bzw. theoretische Beziehung zwischen Eingangs- und Ausgangssignal Definition Die ideale Beziehung zwischen Eingangs- und Ausgangssignal eines Sensors wird durch die Übertragungsfunktion S = f (s) beschrieben (engl.: transfer function) J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Übertragungsfunktion Intelligente Roboter Übertragungsfunktion (cont.) Das Ausgangssignal S repräsentiert den wahren Wert des Eingangssignals s Dies gilt im Falle von idealem Design, Material und idealer Fabrikation In der Regel beeinflussen Fertigungsungenauigkeiten, Materialfehler, Umgebungseinflüsse, Abnutzung, etc. die Beziehung zwischen Stimulus und Ausgangssignal Die wirkliche Beziehung wird als reale Übertragungsfunktion bezeichnet J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Übertragungsfunktion Intelligente Roboter Übertragungsfunktion (cont.) Meistens ist die Beziehung zwischen Stimulus und Ausgangssignal eindimensional und linear Lineare Übertragungsfunktion S = a + b s a ist das Ausgangssignal bei einem Eingangssignal von s = 0 b ist die Steigung b wird in diesem Zusammenhang oft als Sensitivität bezeichnet J. Zhang 64

17 1.3.1 Grundlagen der Sensorik - Eigenschaften von Sensoren - Übertragungsfunktion Intelligente Roboter Übertragungsfunktion (cont.) Weitere wichtige Übertragungsfunktionen Logarithmische Übertragungsfunktion: S = a + k ln s k ist eine Konstante Exponentiale Übertragungsfunktion: Grundlagen der Sensorik - Eigenschaften von Sensoren - Sensitivität Intelligente Roboter Sensitivität Definition Für nicht-lineare Übertragungsfunktionen ist die Sensitivität für jeden Eingangswert s i wie folgt definiert: b = ds(s i) ds S = a e ks weitere Übertragungsfunktionen: S = a 0 + a 1 s k oder beliebige Polynome höherer Ordnung J. Zhang 65 J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Approximation einer Übertragungsfunktion Intelligente Roboter Approximation einer Übertragungsfunktion Einige nicht-lineare Übertragungsfunktionen sind linear in einem eingeschränkten Bereich Nicht-lineare Übertragungsfunktionen können durch mehrere lineare Funktionen approximiert werden Die Differenz zwischen wahrem und linear approximiertem Ausgangssignal sollte unter einem zu spezifizierenden Limit liegen Grundlagen der Sensorik - Eigenschaften von Sensoren - Mehrdimensionale Übertragungsfunktionen Intelligente Roboter Mehrdimensionale Übertragungsfunktionen Übertragungsfunktion kann von mehr als einem Stimulus abhängen Beispiel: Infrarot-Wärmestrahlungssensor U = G(T 4 b T 4 s ) (Stefan Boltzmann Gesetz) G Konstante Tb absolute Temperatur des gemessenen Objektes Ts absolute Temperatur der Sensoroberfläche U Ausgangsspannung Sensitivität in Bezug auf die Temperatur des gemessenen Objektes: b = U T b = 4GT 3 b J. Zhang 67 J. Zhang 68

18 1.3.4 Grundlagen der Sensorik - Eigenschaften von Sensoren - Mehrdimensionale Übertragungsfunktionen Intelligente Roboter Mehrdimensionale Übertragungsfunktionen (cont.) Grundlagen der Sensorik - Eigenschaften von Sensoren - Mess- und Ausgabebereich Intelligente Roboter Messbereich Definition Der dynamische Bereich eines Stimulus, der von einem Sensor erfasst wird, wird Messbereich (engl. Span oder Full Scale Input) genannt beziffert den höchsten für einen Sensor zulässigen Stimuluswert größere Stimuli können den Sensor beschädigen J. Zhang 69 J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Mess- und Ausgabebereich Intelligente Roboter Messbereich (cont.) Der Messbereich wird als Verhältnis vom maximalen zum minimalen Eingangswert angegeben Bei großen dynamischen und nicht-linearen Eingangssignalen wird er in Dezibel angegeben Dezibel ist ein logarithmisches Maß für ein Verhältnis G von Kraft, Strom oder Spannung: Grundlagen der Sensorik - Eigenschaften von Sensoren - Mess- und Ausgabebereich Intelligente Roboter Ausgabebereich Definition Der Ausgabebereich (engl. Full Scale Output) eines Sensors ist das Intervall zwischen dem Ausgangssignal bei kleinstem und größtem angelegten Stimulus G [db] = 20 log s 2 s 1 Beispiel: Spannungsmesser für die Batterie eines Roboters Messbereich: 1 mv...20 V 20 log [ ] = 86 db J. Zhang 71 J. Zhang 72

19 1.3.6 Grundlagen der Sensorik - Eigenschaften von Sensoren - Genauigkeit Intelligente Roboter Genauigkeit Eine wichtige Eigenschaft eines Sensors ist die Genauigkeit eigentlich: Ungenauigkeit Die Genauigkeit beschreibt die maximale Abweichung zwischen den idealen und den vom Sensor ausgegebenen Werten Wie bei jeder Messung spricht man von systematischen und zufälligen Fehlern eines Sensors siehe Abschnitte zu Messfehler und Fehlerrechnung Grundlagen der Sensorik - Eigenschaften von Sensoren - Reale Übertragungsfunktion Intelligente Roboter Reale Übertragungsfunktion Im Vergleich zur idealen Übertragungsfunktion sind reale Sensoren immer ungenau Die Übertragungsfunktion eines realen Sensors heißt daher: reale Übertragungsfunktion Problem: Sie ist im Gegensatz zu idealen Übertragungsfunktionen meistens weder linear und noch monoton Gründe: Unterschiede im Material und in der Herstellung, Fehler im Design, Toleranzen in der Herstellung,... Trotzdem: Jeder Sensor sollte innerhalb der angegebenen Genauigkeit arbeiten J. Zhang 73 J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Reale Übertragungsfunktion Intelligente Roboter Reale Übertragungsfunktion (cont.) Erlaubte Abweichung von der idealen Übertragungsfunktion: ± Abweichung zwischen idealer und realer Übertragungsfunktion: ±δ Grundlagen der Sensorik - Eigenschaften von Sensoren - Reale Übertragungsfunktion Intelligente Roboter Reale Übertragungsfunktion (cont.) Achtung: Nimmt man die ideale Übertragungsfunktion, um vom Ergebnis y auf den Stimulus abzubilden erhält man x und δ = x x δ Beispiel: Stimulus x ideale Übertragungsfunktion: y = f ideal (x) reale Übertragungsfunktion: y = f real (x) J. Zhang 75 J. Zhang 76

20 1.3.8 Grundlagen der Sensorik - Eigenschaften von Sensoren - Kalibrierungsfehler Intelligente Roboter Kalibrierungsfehler Firmen kalibrieren neue Sensoren nach der Herstellung Es ergibt sich ein systematischer Fehler: der Kalibrationsfehler Die Ausgabe des Sensors wird für jeden Stimulus um eine Konstante verschoben Dieser Fehler ist nicht unbedingt gleichmäßig über den Eingabebereich verteilt Grundlagen der Sensorik - Eigenschaften von Sensoren - Kalibrierungsfehler Intelligente Roboter Beispiel: Einfache Kalibration Ein Sensor hat eine lineare Übertragungsfunktion Für jeden hergestellten Sensor kann die Steigung aus Materialgründen unterschiedlich sein Der Hersteller bestimmt daher die Steigung für jeden Sensor: Es werden zwei Stimuli s1 und s 2 angelegt Der Sensor antwortet mit den zugehörigen Signalen S1 und S 2 Die Steigung für diesen Sensor kann bestimmt werden Problem: Die Steigung wird aufgrund von Messfehlern nicht mit der realen übereinstimmen J. Zhang 77 J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Kalibrierungsfehler Intelligente Roboter Beispiel: Einfache Kalibration (cont.) Grundlagen der Sensorik - Eigenschaften von Sensoren - Hysterese Intelligente Roboter Hysterese J. Zhang 79 J. Zhang 80

21 1.3.9 Grundlagen der Sensorik - Eigenschaften von Sensoren - Hysterese Intelligente Roboter Hysteresefehler Grundlagen der Sensorik - Eigenschaften von Sensoren - Sättigung Intelligente Roboter Sättigung Definition Ein Hysteresefehler ist die Abweichung des Ausgangssignals eines Sensors für einen bestimmten Stimuluswert, je nachdem, aus welcher Richtung der Stimulus sich diesem Wert nähert Fast jeder Sensor hat Arbeitsbereichsgrenzen Viele Sensoren haben eine lineare Übertragungsfunktion,... aber: Ab einem bestimmten Stimuluswert wird nicht mehr die gewünschten Ausgabe erzeugt Man spricht dann von Sättigung J. Zhang 81 J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Sättigung Intelligente Roboter Sättigung (cont.) Grundlagen der Sensorik - Eigenschaften von Sensoren - Wiederholgenauigkeit Intelligente Roboter Wiederholgenauigkeit Ein Sensor kann bei gleichen Bedingungen unterschiedliche Ausgabewerte produzieren Dieser Fehler entspricht der Wiederholgenauigkeit Für zwei Kalibrationszyklen normalerweise: Maximale Distanz zweier Stimuli mit gleichem Ausgangssignal Die Wiederholgenauigkeit wird anteilig zum Messbereich angegeben: δ r = Span 100% J. Zhang 83 J. Zhang 84

22 Grundlagen der Sensorik - Eigenschaften von Sensoren - Wiederholgenauigkeit Intelligente Roboter Wiederholgenauigkeit (cont.) Grundlagen der Sensorik - Eigenschaften von Sensoren - Totband Intelligente Roboter Totband Definition Ein Sensor hat ein Totband, wenn er in einem zusammenhängenden Bereich des Eingangssignals mit dem gleichen Ausgangssignal (oft 0) reagiert J. Zhang 85 J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Totband Intelligente Roboter Totband (cont.) Grundlagen der Sensorik - Eigenschaften von Sensoren - Auflösung Intelligente Roboter Auflösung Definition Die Auflösung beschreibt den kleinsten Änderungsschritt des Stimulus, der vom Sensor erfasst wird Beispiele: Potentiometer, Winkel bei Lasermesssystemen,... Die Auflösung kann sich über den gesamten Eingangsbereich ändern Die Auflösung digitaler Ausgabeformate ist durch die Anzahl der Bits im Ausgabewort definiert (Audio: 8bit/16bit/20bit/24bit) Sind die Schritte nicht messbar, hat der Sensor eine kontinuierliche bzw. infinitesimale Auflösung J. Zhang 87 J. Zhang 88

23 Grundlagen der Sensorik - Eigenschaften von Sensoren - Dynamische Eigenschaften Intelligente Roboter Dynamische Eigenschaften Grundlagen der Sensorik - Eigenschaften von Sensoren - Dynamische Eigenschaften Intelligente Roboter Antwortverhalten Für statische Eingangssignale beschreiben die bisher genannten Eigenschaften einen Sensor vollständig Wenn das Eingangssignal variiert, gilt dies nicht mehr Grund: Der Sensor reagiert nicht immer direkt auf den Stimulus Ein Sensor gibt daher nicht immer gleichzeitig zum Stimulus den zugehörigen Ausgabewert aus Dies nennt man die dynamischen Eigenschaften eines Sensors Der entstehende Fehler heißt dynamischer Fehler J. Zhang 89 J. Zhang Grundlagen der Sensorik - Eigenschaften von Sensoren - Dynamische Eigenschaften Intelligente Roboter Dämpfung Grundlagen der Sensorik - Eigenschaften von Sensoren - Dynamische Eigenschaften Intelligente Roboter Dämpfungsfaktor Für den oszillierenden Fall kann ein Dämpfungsfaktor bestimmt werden: Definition Dämpfungsfaktor = F A = A B = B C = usw. J. Zhang 91 J. Zhang 92

24 Grundlagen der Sensorik - Eigenschaften von Sensoren - Umwelteinflüsse Intelligente Roboter Umwelteinflüsse Grundlagen der Sensorik - Eigenschaften von Sensoren - Weitere Sensoreigenschaften Intelligente Roboter Weitere Sensoreigenschaften minimal und maximal zulässige Umgebungstemperatur minimal und maximal zulässige Luftfeuchtigkeit Kurz- und Langzeitstabilität (Drift) Hilfe bei Langzeitdrift: Pre-Aging erhöht Stabilität statische und dynamische Änderungen von elektromagnetischen Feldern, Gravitationskräften, Vibrationen, Strahlung etc. Selbsterhitzung z.b. durch Stromfluss Verlässlichkeit z.b. durch Angabe der mean-time-between-failure (MTBF) besondere Eigenschaften für das Einsatzgebiet: Design Gewicht Maße Preis... J. Zhang 93 J. Zhang Grundlagen der Sensorik - Literatur Intelligente Roboter Literaturliste 1.4 Grundlagen der Sensorik - Literatur Intelligente Roboter Literaturliste (cont.) [Fra04] Kap. 2 In: Jacob Fraden: Handbook of modern sensors: physics, design, and applications. Springer-Verlag New York, Inc., 2004, S [Pap01] Kap. IV In: Lothar Papula: Mathematik für Ingeneure und Naturwissenschaftler (Band 3): Vektoranalysis, Wahrscheinlichkeitsrechnung, Mathematische Statistik, Fehler- und Ausgleichsrechnung. Friedr. Vieweg & Sohn Verlagsgesellschaft mbh, Mai 2001 [SK94] [SN04] Kap. 1 In: Herbert A. Stuart, Gerhard Klages: Kurzes Lehrbuch der Physik. Springer-Verlag Berlin, Heidelberg, 1994 Kap. 4.1 In: Roland Siegwart, Illah R. Nourbakhsh: Introduction to Autonomous Mobile Robots. MIT Press Cambridge, Massachusetts, 2004, S J. Zhang 95 J. Zhang 96

25 1.5 Grundlagen der Sensorik - Sensoren in der Robotik Intelligente Roboter Sensoren in der Robotik Spezielle Sensoren, sowie deren Einsatzmöglichkeiten sollen am Beispiel der Robotik erläutert werden Der Sensoreinsatz gewinnt bei der Entwicklung autonomer und intelligenter Robotersysteme zunehmend an Bedeutung Dabei steht der Perzeption-Aktion-Zyklus im Vordergrund Hierbei wird die Umwelt über Sensoren wahrgenommen und adaptiv verändert Vor allem bei der interaktiven Zusammenarbeit mit Robotersystemen ist das situierte Verändern von Arbeitsabläufen erforderlich 1.5 Grundlagen der Sensorik - Sensoren in der Robotik Intelligente Roboter Anwendung von Sensoren in der Robotik Intrinsische Sensoren: Inkrementalgeber, Winkelgeber, Tachometer, Gyroskop Externe Kraftsensoren: Dehnungsmessstreifen, Kraft-Momentsensoren, Piezokristall- und Piezokeramik-Sensoren, Kraftsensoren auf Basis von Induktivität und Kapazität Externe Abstandssensoren: Ultraschall, Infrarot, Laser, Abstandssensoren auf Basis von Induktivität und Kapazität Visuelle Sensoren: Lineare Kameras, CCD-Kameras, Stereo-Sichtsysteme, Omnidirektionale Sichtsysteme J. Zhang 97 J. Zhang Grundlagen der Sensorik - Sensoren in der Robotik Intelligente Roboter Perzeption-Aktion-Zyklus 1. Datenerfassung: Die Sensoren erfassen die Stimuli und geben ein analoges oder digitales Signal aus 2. Signalvorverarbeitung: Filtern, Normieren, usw. 3. Sensordatenfusion: Redundante oder hochdimensionale Sensordaten werden zusammengefasst, um robustere Messdaten zu erhalten 4. Merkmalsextraktion: Für die technische Realisierung biologischer/menschlicher Wahrnehmung werden Merkmale berechnet, die die Perzeption mathematisch beschreiben 1.5 Grundlagen der Sensorik - Sensoren in der Robotik Intelligente Roboter Perzeption-Aktion-Zyklus (cont.) 5. Mustererkennung: Auf den extrahierten Merkmalen werden Muster gesucht (Klassifikation) 6. Umweltmodellierung: Mit den Mustern wird die Umgebung und Umwelt des Roboters modelliert 7. Manipulation: Auf Basis des Modells werden Aktionen durchgeführt, mit denen der Roboter die Umwelt verändert (Roboterarm, Greifer, Räder,... ) J. Zhang 99 J. Zhang 100

26 1.5 Grundlagen der Sensorik - Sensoren in der Robotik Intelligente Roboter Perzeption-Aktion-Zyklus (cont.) 2 Winkel und Bewegungen Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen Optische Encoder Inkrementalgeber Winkelgeber Resolver Anwendung von Inkrementalgebern Literatur Tachometer Gyroskope 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten J. Zhang 101 J. Zhang Winkel und Bewegungen Intelligente Roboter Gliederung (cont.) 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik 9. Steuerungsarchitekturen 2.1 Winkel und Bewegungen - Optische Encoder Intelligente Roboter Optische Encoder Optische Encoder basieren auf einer Maske mit transparenten und nicht-transparenten Flächen Ein Lichtstrahl fällt auf die Maske und wird von einem dahinter liegenden Empfänger registriert Die Maske ist auf einen Streifen oder auf eine Scheibe aufgedruckt Bei einer Scheibe wird die Maske gedreht und der Empfänger registriert schrittweise Änderungen der Winkelstellung Wird die Zeit gemessen, die für eine Winkeländerung benötigt wird, erhält man die Winkelgeschwindigkeit J. Zhang 103 J. Zhang 104

27 2.2 Winkel und Bewegungen - Inkrementalgeber Intelligente Roboter Inkrementalgeber Encoderscheibe für Inkrementalgeber 2.2 Winkel und Bewegungen - Inkrementalgeber Intelligente Roboter Funktionsprinzip optischer Encoder Bei einem Inkrementalgeber besteht die Maske aus gleichgroßen, äquidistanten transparenten und nicht-transparenten Flächen J. Zhang 105 J. Zhang Winkel und Bewegungen - Inkrementalgeber - Aufbau eines Inkrementalgebers Intelligente Roboter Aufbau eines Inkrementalgebers Meist werden Infrarot-Leuchtdioden eingesetzt Die Empfänger arbeiten in einem spektralen Bereich von 820 bis 960 nm Die Scheiben bestehen aus laminiertem Plastik Die nicht-transparenten Linien werden durch einen fotografischen Prozess erzeugt Vorteil: Die Scheiben sind leicht, haben ein geringes Trägheitsmoment und sind sehr schock- und vibrationsresistent Nachteil: Nur innerhalb geringer Temperaturgrenzen einsetzbar Scheiben für hohe Temperaturen werden aus gelochtem Metall hergestellt Winkel und Bewegungen - Inkrementalgeber - Schmitt-Trigger Intelligente Roboter Schmitt-Trigger Ein Schmitt-Trigger dient z.b. zum Entprellen von Schaltern oder zum Formen von Signalen Er wandelt eine analoge Eingangsspannung in eine Rechteckspannung um Die Ausgangsspannung U A kippt bei erreichen einer Eingangsspannung U E = U EIN Sinkt die Eingangsspannung auf U AUS kippt die Ausgangsspannung wieder auf den vorherigen Wert zurück J. Zhang 107 J. Zhang 108

28 2.2.2 Winkel und Bewegungen - Inkrementalgeber - Schmitt-Trigger Intelligente Roboter Spannungsverlauf des Schmitt-Triggers Winkel und Bewegungen - Inkrementalgeber - Schmitt-Trigger Intelligente Roboter Kennlinie des Schmitt-Triggers Die dargestellte Übertragungskennlinie nennt man Spannungshysterese oder Schalthysterese Sie definiert bei welcher Eingangsspannung die Ausgangsspannung auf ihren maximale bzw. minimalen Wert springt J. Zhang 109 J. Zhang Winkel und Bewegungen - Inkrementalgeber - Schmitt-Trigger Intelligente Roboter Schaltbild des Schmitt-Triggers Winkel und Bewegungen - Inkrementalgeber - Schmitt-Trigger Intelligente Roboter Weitere Anwendungen von Schmitt-Triggern Übertragung digitaler Signale über lange Kabel Signalflanken werden verschliffen (Tiefpass-Charakteristik) Schmitt-Trigger erzeugt wieder steilere Signalflanken und Signalpegel Schmitt-Trigger können mit einem Operationsverstärker (OP) aufgebaut werden U Ausgang = (U + U ) G Dabei wird der OP mit dem Widerstand R 2 mitgekoppelt (Mitkopplung) Die Schaltung arbeitet dann als Sinus-Rechteck-Wandler (Schwellwertschalter) Spannungsschwellen einstellbar über R 1 und R 2 J. Zhang 111 J. Zhang 112

29 2.2.2 Winkel und Bewegungen - Inkrementalgeber - Schmitt-Trigger Intelligente Roboter Weitere Anwendungen von Schmitt-Triggern (cont.) Taktgeber/Oszillator: Kombination aus Schmitt-Trigger, Widerstand und Kondensator (RC-Glied) Winkel und Bewegungen - Inkrementalgeber - Richtungserkennung bei Inkrementalgebern Intelligente Roboter Richtungserkennung bei Inkrementalgebern Verwendet man zwei Leuchtdioden und Empfänger, kann die Bewegungsrichtung ermittelt werden Quelle: Rotiert die Scheibe im Uhrzeigersinn (CW) führt Signal A Rotiert die Scheibe gegen den Uhrzeigersinn (CCW) führt Signal B J. Zhang 113 J. Zhang Winkel und Bewegungen - Winkelgeber Intelligente Roboter Winkelgeber 2.3 Winkel und Bewegungen - Winkelgeber Intelligente Roboter Codescheibe für Winkelgeber Im Gegensatz zum Inkrementalgeber liefern Winkelgeber absolute Winkel Bei Winkelgebern werden binär kodierte Scheiben verwendet Mehrere Leuchtdioden und Empfänger tasten die Scheibe ab Jedem Winkel ist genau ein Binärkode zugeordnet Je nach Anzahl der Binärstellen lässt sich der Winkel unterschiedlich genau messen J. Zhang 115 J. Zhang 116

30 2.3 Winkel und Bewegungen - Winkelgeber Intelligente Roboter Codescheibe für Winkelgeber (cont.) 2.3 Winkel und Bewegungen - Winkelgeber Intelligente Roboter Funktionsprinzip eines Winkelgebers 10Bit-Dualcode 1024 Winkelwerte J. Zhang 117 J. Zhang Winkel und Bewegungen - Winkelgeber Intelligente Roboter Paralleles Ausgangssignal eines Winkelgebers 2.3 Winkel und Bewegungen - Winkelgeber Intelligente Roboter Anwendung von Winkelgebern Roboterarme Positioniersysteme J. Zhang 119 J. Zhang 120

31 2.4 Winkel und Bewegungen - Resolver Intelligente Roboter Resolver Resolver sind eine weitere Möglichkeit um absolute Winkel zu bestimmen, aber durch optische Encoder abgelöst Resolver entsprechen im konstruktiven Aufbau einer 2-strängigen Drehfeldmaschine 2.4 Winkel und Bewegungen - Resolver Intelligente Roboter Resolver (cont.) Die Rotorwicklung des Resolvers wird meistens auf einer Motorwelle befestigt Die Rotorwicklung (Erregerwicklung) wird über Bürsten, Schleifringe oder einen rotierenden Transformator mit der Wechselspannung U R1,R2 gespeist Das Erregerfeld induziert in die Statorwicklungen U S1,S3 und U S2,S4 eine Spannung Sie weist gegenüber der Erregerspannung eine Phasenverschiebung ϕ S auf J. Zhang 121 J. Zhang Winkel und Bewegungen - Resolver Intelligente Roboter Ersatzschaltbild und Ausgangssignale 2.4 Winkel und Bewegungen - Resolver Intelligente Roboter Spannungsverläufe U R1,R2 U S1,S3 U S2,S4 = U 0 sin(ωt) = ü U 0 sin(ωt + ϕ S ) cos(ǫ) = ü U 0 sin(ωt + ϕ S ) sin(ǫ) ü ist das Übersetzungsverhältnis des Transformators J. Zhang 123 J. Zhang 124

32 2.4 Winkel und Bewegungen - Resolver Intelligente Roboter Resolver Resolver für Servoantriebe verwenden hohe Speisefrequenzen im Bereich von 5 khz bis 20 khz Die Bestimmung des Drehwinkels aus den Resolversignalen erfolgt unter Anwendung einfacher trigonometrischer Beziehungen Die Winkellage ǫ errechnet sich aus den Amplituden α 1 und α 2 : 2.4 Winkel und Bewegungen - Resolver Intelligente Roboter Resolver (cont.) In Microcontrollern wird ein direkt abtastendes Verfahren angewandt Winkellage ǫ = arctan α 1 α 2 Resolver sind preiswerte Geber, die bei gemäßigten Anforderungen an die Bewegungsdynamik und Winkelgenauigkeit eingesetzt werden J. Zhang 125 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern Intelligente Roboter Anwendung von Inkrementalgebern Häufigster Anwendungsfall: Kombination mit Motoren Es wird der relative Drehwinkel, die Drehrichtung und -geschwindigkeit bestimmt Mit Wissen über angeschlossene Getriebe und Räder, kann die zurückgelegte Strecke berechnet werden Winkel und Bewegungen - Anwendung von Inkrementalgebern - Einfache Selbst-Lokalisierung mobiler Roboter Intelligente Roboter Einfache Selbst-Lokalisierung mobiler Roboter Bei mobilen Robotern sind meistens Inkrementalgeber in die Antriebsmotoren integriert Mit Wissen über die Radgröße und den Radabstand der angetriebenen Räder lässt sich die Position des Roboters bestimmen Dabei wird Bezug auf ein globales Koordinatensystem genommen Dieses Verfahren für die Lokalisation mobiler Roboter heißt Koppelnavigation (engl. dead reckoning) Anhand der Messwerte der Inkrementalgeber wird die relative Positionsänderung des Roboters bestimmt und zur letzten bekannten Position hinzuaddiert J. Zhang 127 J. Zhang 128

33 2.5.2 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Koppelnavigation Der einfachste Fall von Koppelnavigation lässt sich für mobile Roboter mit einem Differentialantrieb aufstellen Beim Differentialantrieb liegen die zwei Antriebsräder eines Roboters auf einer gemeinsamen Achse Die Radgeschwindigkeiten lassen sich getrennt steuern und regeln Der Mittelpunkt des Roboters soll auf der Mitte der Verbindung der beiden Räder liegen Der Roboter fährt bei gleichen Radgeschwindigkeiten vor- bzw. rückwärts Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Koppelnavigation (cont.) Sind die Geschwindigkeiten unterschiedlich fährt der Roboter auf einer Kreisbahn J. Zhang 129 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Koppelnavigation (cont.) Der Roboter kann sich nur auf einer Kreisbahn um einen Punkt auf der gemeinsamen Achse der Räder bewegen Dieser Punkt wird als instantaneous center of curvation (ICC) bezeichnet Durch variierende Radgeschwindigkeiten kann die Position des ICC verändert werden Sei ω die Rotationsgeschwindigkeit mit der sich der Roboter um den ICC dreht Sei l die Strecke zwischen den beiden Rädern Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Koppelnavigation (cont.) Sei R der Abstand zwischen Robotermittelpunkt und ICC, dann gelten die folgenden beiden Beziehungen: Translationsgeschwindigkeit der Räder ω (R + l/2) = v r ω (R l/2) = v l Sowohl v l, v r, ω als auch R sind zeitabhängige Funktionen Das rechte Rad habe die Geschwindigkeit v r, das linke die Geschwindigkeit v l J. Zhang 131 J. Zhang 132

34 2.5.2 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Koppelnavigation (cont.) Zu jedem Zeitpunkt lassen sich R und ω wie folgt berechnen: Winkelgeschwindigkeit und Radius R = l 2 vl + v r v r v l ω = v r v l l Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Koppelnavigation (cont.) v l = v r : Gleichung für den Radius ist nicht lösbar Nenner ist gleich Null Praktisch ist der Radius unendlich Roboter fährt geradeaus v l = v r : Zähler der Gleichung für den Radius wird Null Der Roboter dreht sich auf der Stelle J. Zhang 133 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Vorwärtskinematik Der Roboter ändert beim Fahren seine Position (x, y) sowie seine Orientierung (θ) im Bezug zu einem globalen bzw. Weltkoordinatensystem Das aus Position und Orientierung gebildete Tripel (x, y, θ) heißt pose Der Winkel θ ist der Winkel zur x-achse des Weltkoordinatensystems Die Berechnung der pose, die bei gegebenen Rotationsgeschwindigkeiten ω r und ω l der Räder erreicht wird, wird als Vorwärtskinematik bezeichnet Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Vorwärtskinematik (cont.) Der ICC lässt sich wie folgt berechnen: ( ) x R sin(θ) ICC = y + R cos(θ) J. Zhang 135 J. Zhang 136

35 2.5.2 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Vorwärtskinematik (cont.) Mit dem ICC kann die pose (x, y, θ ) des Roboters zum Zeitpunkt t + δt bestimmt werden: x cos(ω δt) sin(ω δt) 0 x ICC x ICC x y = sin(ω δt) cos(ω δt) 0 y ICC y + ICC y θ θ ω δt Obige Berechnung gilt solange v r und v l während δt konstant bleiben Die pose kann für jeden Zeitpunkt t ausgehend von einer Anfangssituation (x 0, y 0, θ 0 ) zum Zeitpunkt t = 0 bestimmt werden Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Vorwärtskinematik (cont.) Dazu wird die vorrangegangene Gleichung integriert Es müssen die Radgeschwindigkeiten v l (t) und v r (t) bekannt sein Es ergibt sich für den speziellen Fall des mobilen Roboters mit Differentialantrieb: x(t) = 1 2 y(t) = 1 2 θ(t) = 1 l t 0 t 0 t 0 [v r (t) + v l (t)] cos [θ(t)] dt [v r (t) + v l (t)] sin [θ(t)] dt [v r (t) v l (t)] dt J. Zhang 137 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Koppelnavigation Intelligente Roboter Vorwärtskinematik (cont.) Winkel und Bewegungen - Anwendung von Inkrementalgebern - Odometrie Intelligente Roboter Odometrie In der Praxis werden die Rotationsgeschwindigkeit ω l und ω r der Räder gemessen Dazu dienen die Inkrementalgeber Die Rotationsgeschwindigkeiten werden in konstanten Zeitabständen t gemessen Dadurch wird aus obigen Integralen eine Summe Es wird davon ausgegangen, dass die Geschwindigkeiten während t konstant bleiben Problem: Die bei den Messungen gemachten Fehler summieren sich im Laufe einer Fahrt immer weiter auf! Das Verfahren die pose eines Roboters aus den Radgeschwindigkeiten zu berechnen wird auch als Odometrie bezeichnet Besonders die Fehler in der Orientierung erhöhen die Abweichung der geschätzen von der wahren pose Trotzdem wird die Odometrie in allen gängigen mobilen Robotersystemen eingesetzt: Odometie wird kombiniert mit absoluten pose-messungen Bei Verwendung von Landmarken zur absoluten pose-bestimmung kann durch eine präzise Odometrie die Anzahl der Landmarken verringert werden Manchmal ist Odometrie das einzige verfügbare Messsystem J. Zhang 139 J. Zhang 140

36 2.5.3 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Odometrie Intelligente Roboter Ursachen für die Abweichungen Systematische Abweichungen Unterschiedliche Raddurchmesser Wahrer Raddurchmesser weicht von angenommem Durchmesser ab Wahrer Radabstand weicht von angenommenem Abstand ab Räder sind nicht auf einer Achse Endliche Auflösung der Encoder Endliche Abtastrate der Encoder Winkel und Bewegungen - Anwendung von Inkrementalgebern - Odometrie Intelligente Roboter Ursachen für die Abweichungen (cont.) Zufällige Abweichungen Unebener Untergrund Unerwartete Objekte auf dem Untergrund Durchdrehende Räder rutschiger Boden übermäßige Beschleunigung schnelles Drehen (engl. skidding) externe Kräfte interne Kräfe (Schlingerräder) Räder haben keinen dedizierten Kontaktpunkt zum Boden J. Zhang 141 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Odometrie Intelligente Roboter Fehlerfortpflanzung Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Messung der Odometrie-Abweichung Es gibt Verfahren um die Abweichung abzuschätzen Dabei wird nur die systematische Abweichung berücksichtigt, da die zufällige Abweichung unbeschränkt ist Fehler durch ungleiche Raddurchmesser: E d = D r /D l Fehler durch die Unsicherheit über den Radabstand E b = b actual /b nominal J. Zhang 143 J. Zhang 144

37 2.5.4 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Square Path -Experiment Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Square Path -Experiment (cont.) Fehlerwerte: x, y, θ ǫ x ǫ y ǫ θ = x abs x calc = y abs y calc = θ abs θ calc J. Zhang 145 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Unidirektionales Square Path -Experiment Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Unidirektionales Square Path -Experiment (cont.) J. Zhang 147 J. Zhang 148

38 2.5.4 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Unidirektionales Square Path -Experiment (cont.) Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Bidirectionales Square Path -Experiment (UMBmark) Das Viereck wird mehrmals gegen und im Uhrzeigersinn umfahren Typischerweise clustern die Endpunkte: J. Zhang 149 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Bidirectionales Square Path -Experiment (UMBmark) (cont.) Die Zentren der Cluster werden wie folgt berechnet: x c.g.,cw/ccw = 1 n y c.g.,cw/ccw = 1 n n i=1 n i=1 ǫ xi,cw/ccw ǫ yi,cw/ccw J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Messung der Odometrie-Abweichung Intelligente Roboter Bidirectionales Square Path -Experiment (UMBmark) (cont.) Die absolute Abweichung der Zentren errechnet sich mit: r c.g,cw = (x c.g.,cw ) 2 + (y c.g.,cw ) 2 r c.g,ccw = (x c.g.,ccw ) 2 + (y c.g.,ccw ) 2 Der größere der beiden Werte ist ein Maß für die Genauigkeit der Odometry Es wird nicht der Durchschnitt der Cluster gewählt, da in der Praxis die größte Abweichung wichtig ist Die Orientierung wird nicht berücksichtigt, da Orientierungsfehler direkt zu Positionsabweichungen führen J. Zhang 152

39 2.5.5 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Vermindern der Odometrie-Abweichung Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Kalibrierung der Odometrie Roboter mit einem schmalen Radstand sind anfällig für Orientierungsfehler Schlingerräder können ein Durchdrehen der Antriebsräder verursachen (abhängig von der Gewichtsbelastung der Schlingerräder) Die Kontaktfläche zum Boden verringern Qualität abhangig von der Kinematik (Differential-Antrieb, Synchro-Drive, etc.) Einsatz von zusätzlichen, nicht angetriebenen Encoder-Rädern Kalibrierung der Odometrie Typ A -Fehler (E b ) vs. Typ B -Fehler (E d ) J. Zhang 153 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Kalibrierung der Odometrie (cont.) Annahme: Ed und E b sind die dominanten Fehlerquellen- Ein falscher Radabstand (Eb ) verursacht Fehler nur während der Drehung Nicht gleiche Raddurchmesser (E d ) verursachen Fehler nur während der geraden Fahrt Eb verursacht nur Typ A -Fehler E d verursacht nur Typ B -Fehler Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Kalibrierung der Odometrie (cont.) Typ A -Fehler: α ist die Abweichung von der 90 Drehung: α = x c.g.,cw + x c.g.,ccw 4L 180 Typ B -Fehler: β ist die inkrementell gewachsene Abweichung der Orientierung am Ende jeder Geraden: β = x c.g.,cw x c.g.,ccw 4L π 180 π J. Zhang 155 J. Zhang 156

40 2.5.5 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Kalibrierung der Odometrie (cont.) Damit kann der Radius der kurvigen Fahrt ermittelt werden: R = L/2 sin β/2 Über diesen Radius lässt sich Verhältnis der Raddurchmesser bestimmen: E d = D R = R + b/2 D L R b/ Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Kalibrierung der Odometrie (cont.) Da der Radstand b direkt proportional zur Umdrehung ist, gilt folgende Gleichung: b actual 90 = b nominal 90 α Daraus folgt: b actual = α b nominal E b = α J. Zhang 157 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Kalibrierung der Odometrie (cont.) Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vermindern der Odometrie-Abweichung Intelligente Roboter Odometrie nach UMBmark E d und E b können in der Steuersoftware als Kompensationsfaktoren eingesetzt werden Das Verfahren führt zu eine Reduktion des systematischen Fehlers um etwa das 10fache J. Zhang 159 J. Zhang 160

41 2.5.6 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vorschau: Kalman-Filter Intelligente Roboter Typische Kalman-Filter-Anwendung Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vorschau: Kalman-Filter Intelligente Roboter Ausgangspunkt: Positionsschätzung nach Messung J. Zhang 161 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vorschau: Kalman-Filter Intelligente Roboter Veränderung der Varianz bei Vorhersage der nächsten Position Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vorschau: Kalman-Filter Intelligente Roboter Eine neue Messung J. Zhang 163 J. Zhang 164

42 2.5.6 Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vorschau: Kalman-Filter Intelligente Roboter Kalman-Filter-Update Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vorschau: Kalman-Filter Intelligente Roboter Vorschau: Kalman-Filter Genaueres folgt später im Abschnitt zur Zustandsschätzung, speziell der Selbst-Lokalisierung. Links J. Zhang 165 J. Zhang Winkel und Bewegungen - Anwendung von Inkrementalgebern - Vorschau: Kalman-Filter Intelligente Roboter Vorschau: Kalman-Filter (cont.) 2.6 Winkel und Bewegungen - Literatur Intelligente Roboter [BEF96] Kap. 1.1, and 5 In: Johann Borenstein, H.R. Everett, Liqiang Feng: Where am I? - Systems and Methods for Mobile Robot Positioning. University of Michigan, April URL [BF96] Johann Borenstein, Liqiang Feng: Measurement and Correction of Systematic Odometry Errors in Mobile Robots. In: IEEE Transactions on Robotics and Automation 12 (1996), December, Nr. 6, S J. Zhang 167 J. Zhang 168

43 2.6 Winkel und Bewegungen - Literatur Intelligente Roboter [Fra04] Kap. 7.5 In: Jacob Fraden: Handbook of modern sensors: physics, design, and applications. Springer-Verlag New York, Inc., 2004, S [May79] Kap. 1 In: Peter S. Maybeck: Stochastic models, estimation, and control (Volume 1). Academic Press, Winkel und Bewegungen - Tachometer Intelligente Roboter Tachometer Tachometer Geschwindigkeitsmesser Genaue Tachometer mit Hilfe von Inkrementalgebern oder Resolvern Gemessene Winkeländerung wird durch vergangene Zeit geteilt Günstigere Alternativen zählen Umdrehungen eines Rades (z.b. Fahrradcomputer) J. Zhang 169 J. Zhang Winkel und Bewegungen - Gyroskope Intelligente Roboter Gyroskope (Kreisel) Winkel und Bewegungen - Gyroskope - Mechanische Gyroskope Intelligente Roboter Mechanisches Gyroskope Ein Gyroskope ist eine Art Richtungsgeber (kurz: Gyro) Alternative zu magnetischem Kompass Der am häufigsten verwendete Sensor in der Navigation Anwendung vor allem im Weltraum (Kontrolle der Position und Orientierung von Satelliten oder Raumstationen) Drei Typen von Gyroskopen: mechanisch monolithisch Silizium / MEMS (Micro-Electro-Mechanical System) optisch Massive Scheibe rotiert um eine Drehachse Drehachse befindet sich in einem Rahmen Dieser kann um ein (oder zwei) Achsen rotieren J. Zhang 171 J. Zhang 172

44 2.8.1 Winkel und Bewegungen - Gyroskope - Mechanische Gyroskope Intelligente Roboter Mechanisches Gyroskope (cont.) Winkel und Bewegungen - Gyroskope - Mechanische Gyroskope Intelligente Roboter Präzession Zwei Eigenschaften: 1. Drehachse eines Gyroskopes bleibt fix mit Bezug auf ein globales Koordinatensystem 2. Ein Gyroskope liefert ein Drehmoment proportional zur Winkelgeschwindigkeit einer Rotation um eine Achse senkrecht zur Drehachse (Grund: Präzession) Video: praezession.mov J. Zhang 173 J. Zhang Winkel und Bewegungen - Gyroskope - MEMS Gyroscope Intelligente Roboter Monolithische Silizium Gyroskope Mikromechanischer Aufbau in Silizium Oberflächen- oder Bulk-Mikromechanik unterschiedliche Realisierungsformen Winkel und Bewegungen - Gyroskope - MEMS Gyroscope Intelligente Roboter Monolithische Silizium Gyroskope (cont.) schwingende Struktur Sekundärschwingung durch äußere Drehbewegung kapazitive Auswertung J. Zhang 175 J. Zhang 176

45 2.8.2 Winkel und Bewegungen - Gyroskope - MEMS Gyroscope Intelligente Roboter Monolithische Silizium Gyroskope (cont.) Winkel und Bewegungen - Gyroskope - MEMS Gyroscope Intelligente Roboter Monolithische Silizium Gyroskope (cont.) J. Zhang 177 J. Zhang Winkel und Bewegungen - Gyroskope - Optische Gyroskope Intelligente Roboter Optisches Gyroscope Zwei gegenläufige Lichtstrahlen werden von einen Sender/Empfänger in einen Fiberglas-Ring ausgestrahlt Laufzeit einer Umdrehung: n: Brechungskoeffizient c: Lichtgeschwindigkeit t = 2πR nc Winkel und Bewegungen - Gyroskope - Optische Gyroskope Intelligente Roboter Optisches Gyroscope (cont.) Wenn der Ring mit der Winkelgeschwindigkeit Ω rotiert, gilt (Sagnac Effekt): Daraus folgt: l cw l ccw = 2πR + ΩR t = 2πR ΩR t l = 4πΩR2 nc J. Zhang 179 J. Zhang 180

46 2.8.3 Winkel und Bewegungen - Gyroskope - Optische Gyroskope Intelligente Roboter Optisches Gyroscope (cont.) Winkel und Bewegungen - Gyroskope - Optische Gyroskope Intelligente Roboter Optisches Gyroscope (cont.) J. Zhang 181 J. Zhang Kräfte und Druck Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck Dehnungsmessstreifen Anwendung: BarrettHand Kraft-Moment-Sensoren (KMS) Taktile Sensoren Literatur 4. Abstandssensoren 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik 3 Kräfte und Druck Intelligente Roboter Gliederung (cont.) 9. Steuerungsarchitekturen J. Zhang 183 J. Zhang 184

47 3.1 Kräfte und Druck - Dehnungsmessstreifen Intelligente Roboter Dehnungsmessstreifen (DMS) Kräfte und Druck - Dehnungsmessstreifen - Physikalischer Hintergrund Intelligente Roboter Physikalischer Hintergrund 1938 erfand der Amerikaner A. C. Ruge den Dehnungsmessstreifen (DMS) Dehnungsmessstreifen sind auf einer Trägermaterial aufgebrachte dünne Leiterbahnen Sie werden fest mit einer Werkstücksoberfläche verklebt Bei mechanischen Spannungen verändern sie ihren Widerstand Für die sehr kleinen Widerstandsänderungen sind spezielle Schaltungen und Messgeräte erforderlich Neben der Größe und Richtung mechanischer Spannungen lassen sich auch damit verbundene Größen wie Weg, Kraft, Druck oder Beschleunigung messen Bei mechanischer Belastung (z.b. Dehnung) eines Drahtes (Metall) vergrößert sich dessen elektrischer Widerstand Ursachen: Vergrößerung der Länge Verringerung der Querschnittsfläche bei starker Dehnung auch Umkristallisierung Der Effekt wurde von William Thomson im Jahre 1856 entdeckt und unter Verwendung der Wheatstoneschen Brückenschaltung (Charles Wheatstone, 1843) gemessen J. Zhang 185 J. Zhang Kräfte und Druck - Dehnungsmessstreifen - Physikalischer Hintergrund Intelligente Roboter Physikalischer Hintergrund (cont.) Art der Dehnung hängt ab von Form des Körpers Angriffsweise der äußeren Kräfte Materialeigenschaften des Körpers Ein Körper heißt elastisch, wenn er bei Wegfall der äußeren Kräfte seine ursprüngliche Form wieder annimmt Kräfte und Druck - Dehnungsmessstreifen - Physikalischer Hintergrund Intelligente Roboter Physikalischer Hintergrund (cont.) Lineare Beschreibung der Elastizität durch Hookesches Gesetz: σ = F A = E ǫ σ: Zug- (negativ) oder Druckspannung (positiv) F: normal zur Fläche A angreifende Kraft ǫ: Dehnung E: Dehnungs- oder Elastizitätsmodul (Materialkonstante) J. Zhang 187 J. Zhang 188

48 3.1.1 Kräfte und Druck - Dehnungsmessstreifen - Physikalischer Hintergrund Intelligente Roboter Physikalischer Hintergrund (cont.) Die Dehnung ǫ ist das Verhältnis der Längenänderung l zur ursprünglichen Länge l 0 bei einer Spannung σ: ǫ = l l 0 linear elastisches Verhalten gilt nur bis zu einer Grenze σ p > σ Kräfte und Druck - Dehnungsmessstreifen - Widerstandsänderung Intelligente Roboter Widerstandsänderung Widerstand R eines Drahtes: l: Länge des Drahtes p: spezifischer Widerstand d: Durchmesser R = lp A = 4lp πd 2 A = πd 2 /4: Querschnittsfläche J. Zhang 189 J. Zhang Kräfte und Druck - Dehnungsmessstreifen - Widerstandsänderung Intelligente Roboter Widerstandsänderung (cont.) Wird der Draht (einachsig) gedehnt, ändert sich der Widerstand R aufgrund der Änderungen von l, A, und p Für infinitesimal kleine Änderungen gilt folgender Zusammenhang (totales Differential): dr = 4p πd 4l dl + 2 πd 2 dp + 8lp πd 3 dd Kräfte und Druck - Dehnungsmessstreifen - Widerstandsänderung Intelligente Roboter Widerstandsänderung (cont.) Gilt p << p, l << l und d << d, so lässt sich mit guter Genauigkeit die relative Widerstandsänderung R/R annähern: R R = l l 2 d d + p p J. Zhang 191 J. Zhang 192

49 3.1.2 Kräfte und Druck - Dehnungsmessstreifen - Widerstandsänderung Intelligente Roboter Widerstandsänderung (cont.) Bei einer Dehnung ǫ in Längsrichtung verändert sich der Durchmesser um ǫ q = d/d Poissonzahl: µ = ǫ q /ǫ (Das Minuszeichen kennzeichnet die Gegenläufigkeit von Längen- und Dickenänderung) Für die relative Widerstandsänderung folgt: R R = ǫ + 2µǫ + p p = (1 + 2µ) ǫ + p p Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Dehnungsmessstreifen in der Praxis In der Praxis verwendete Dehnungsmessstreifen (DMS): Folien-DMS: bestehen aus Trägermaterial (z.b. Polyamid) und den eigentlichen Messstegen (z.b. aus Konstantan) Halbleiter-DMS: Messstege aus Halbleitermaterial, hochempfindlich, überwiegend in Drucksensoren angewandt Draht-DMS: flach gewickelter Dehndraht ( 0.02 mm) auf Papierträger Röhrchen-DMS: DMS mit frei gespannten Drähten, Messung bei hohen Temperaturen J. Zhang 193 J. Zhang Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Folien-DMS Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Folien-DMS (cont.) Folien-DMS sind die am häufigsten verwendete Dehnungsmessstreifen Metallisches Messgitter wird in einem galvanischen Verfahren auf eine Trägerfolie aufgebracht Eine dünne Kunststoffschicht schützt das Messgitter Werden mit speziellem Kleber auf ein Werkstück aufgebracht J. Zhang 195 J. Zhang 196

50 3.1.3 Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Folien-DMS (cont.) Standard-Messgitter: lang und schmal (z.b. 6 2 mm 2 ) Es besitzt zwei Löt-Anschlusspunkte und wird in Längsrichtung belastet Es wird nur in dieser einen Lastrichtung gemessen (einachsige Spannungsmessung), die Querempfindlichkeit ist gering Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Folien-DMS (cont.) Beispiele für Folien-DMS: (a) einfache Form, (b) & (c) für verschiedene Koordinaten, (d) für Drehmomentaufnehmer und (e) Rosette für Membran-Druckaufnehmer J. Zhang 197 J. Zhang Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Folien-DMS (cont.) typische Nennwiderstände: 120, 300, 350 oder 600 Ω Toleranzen der Widerstandswerte < ± 0, 5 % Betriebsspannungen: 1 V 10 V Änderungen der Länge des DMS bis zu ± 3 % elastische Bereich in der Praxis meist nicht ausgenutzt typische Längenänderungen: µm erreichbare Genauigkeit bei 20 C etwa 1 % bis 5 % Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Folien-DMS (cont.) Häufig verwendete Messgitter-Materialien: Konstantan (57% Cu, 43 % Ni) k = 2.05 Karma (20% Cr, 73 % Ni, 7 % Fe Al) k = 2.1 Nichrome V (20 % Cr, 80 % Ni) k = 2.2 Platin Wolfram (92% Pt, 8 % W ) k = 4.0 J. Zhang 199 J. Zhang 200

51 3.1.3 Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter k-wert Gibt an, um welchen Faktor die relative Widerstandsänderung über der relativen Längenänderung liegt Hoher k-wert bei gleicher Dehnung eine große Widerstandsänderung und damit ein hohes Messsignal Wird durch den Gefügeaufbau und die Vorgänge im Gefüge während der Dehnung bestimmt Für die meisten DMS gilt k = Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter k-wert (cont.) Bekannt: relative Widerstandsänderung R/R R R p = (1 + 2µ) ǫ + p Daraus folgt das Verhältnis Widerstands- zu Längenänderung: und es gilt: k = R/R ǫ R R = 1 + 2µ + p/p ǫ = k ǫ J. Zhang 201 J. Zhang Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Temperatureinflüsse Bei geeigneter DMS- und Kleberauswahl kann der Temperaturbereich von 4 K bis 1200 K (900 C) überbrückt werden DMS werden mit verschiedenen Temperaturkoeffizienten angeboten (für verschiedene Objektmaterialien, begrenzter Temperaturbereich) Längenänderungen aufgrund von Temperaturänderungen führen so nicht zu einem Messsignal, wenn sich das Material frei ausdehnen kann oder wenn der Körper überall die gleiche Temperatur besitzt (selbst-temperaturkompensierende DMS) Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Weitere Umgebungseinflüsse Umgebungsdruck von Vakuum bis hoher Überdruck möglich Magnetische Flussdichte bis 2 T möglich Bis zu einem gewissen Grad wird auch Kernstrahlung verkraftet J. Zhang 203 J. Zhang 204

52 3.1.3 Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Querempfindlichkeit und Schwingungen Querempfindlichkeit: Kurvenstücke des Messgitters dehnen Verbreiterung der Kurvenstücke verringert Anteil am Gesamtwiderstand Dehnungen können statisch (keine oder nur langsame zeitliche Änderung) und dynamisch (schnelle Änderungen, bzw. Schwingungen) gemessen werden Typisch sind Frequenzen bis 50 khz bei Schwingungen Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Wheatstonesche Brückenschaltung typische Längenänderungen im µm-bereich relative Widerstandsänderung im Bereich 10 3 Ω Messauflösung Ω Hilfe: Das Ausgangssignal des DMS, eine Widerstandsänderung, wird mit einer Wheatstoneschen Brückenschaltung in eine Spannungsmessung umgewandelt J. Zhang 205 J. Zhang Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Wheatstonesche Brückenschaltung (cont.) R1 R4: variable Widerstände U s : Speisespannung U d : Messspannung Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Wheatstonesche Brückenschaltung (cont.) Änderung der Widerstande: R i = R + R i = R ( 1 + R ) i = R (1 + r i ) R mit r i = R i R J. Zhang 207 J. Zhang 208

53 3.1.3 Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Wheatstonesche Brückenschaltung (cont.) Mit Hilfe der Ströme in den Strängen lassen sich folgende Beziehungen zeigen: U 2 U s = 1 + r r 1 + r 2 und U 3 U s = 1 + r r 3 + r 4 Mit Ud = U3 U2 folgt die nichtlineare Gleichung der Wheatstonschen Brückenschaltung: U d U s = 1 + r r 1 + r r r 3 + r Kräfte und Druck - Dehnungsmessstreifen - Dehnungsmessstreifen in der Praxis Intelligente Roboter Wheatstonesche Brückenschaltung (cont.) Für kleine relative Widerstandsänderungen kann mit der Näherung x = 1 x die linearisierte Form der Gleichung für die Wheatstonschen Brückenschaltung hergeleitet werden: U d U s = 1 4 (r 1 r 2 + r 3 r 4 ) J. Zhang 209 J. Zhang Kräfte und Druck - Dehnungsmessstreifen - Messen mit DMS Intelligente Roboter Messen mit DMS 3.2 Kräfte und Druck - Anwendung: BarrettHand Intelligente Roboter Anwendung: BarrettHand TM In der Praxis werden die folgenden Grundschaltungen mit DMS in der Wheatstonschen Brücke angewendet: Name Gleichung Anwendung U Viertelbrücke d U s = 1 4 r 1 Zug-/Druckstab, Biegung U Halbbrücke d U s = 1 4 (r 1 r 2 ) Biegebalken, Torsion U Vollbrücke d U s = 1 4 (r 1 r 2 + r 3 r 4 ) Biegung,Torsion Die relativen Widerstandsänderungen können über die Grundgleichung der Messung mit DMS durch die Dehnungen in folgender Form ersetzt werden: r i = k ǫ BarrettHand TM BH8-262 J. Zhang 211 J. Zhang 212

54 3.2.1 Kräfte und Druck - Anwendung: BarrettHand - Aufbau Intelligente Roboter BarrettHand TM : Aufbau Kräfte und Druck - Anwendung: BarrettHand - Aufbau Intelligente Roboter BarrettHand TM : Gelenke Drei Finger: F1, F2, F3 F1 und F2 rotieren synchron und symmetrisch um die Handfläche Jeder Finger besitzt zwei Gelenke (durch TorqueSwitch TM verbunden) die über einen Motor angetrieben werden J. Zhang 213 J. Zhang Kräfte und Druck - Anwendung: BarrettHand - TorqueSwitch TM Intelligente Roboter BarrettHand TM : TorqueSwitch TM Kräfte und Druck - Anwendung: BarrettHand - TorqueSwitch TM Intelligente Roboter BarrettHand TM : TorqueSwitch TM (cont.) Bindung von zwei Gelenken an nur einen Motor Gewichtsreduzierung Ermöglich unabhängige Bewegung beider Gelenke Drehmomenteinstellung reguliert die Bewegung J. Zhang 215 J. Zhang 216

55 3.2.3 Kräfte und Druck - Anwendung: BarrettHand - Steuerung Intelligente Roboter BarrettHand TM : Steuerung Kräfte und Druck - Anwendung: BarrettHand - Dehnungsmessstreifen Intelligente Roboter BarrettHand TM : Dehnungsmessstreifen J. Zhang 217 J. Zhang Kräfte und Druck - Anwendung: BarrettHand - Dehnungsmessstreifen Intelligente Roboter BarrettHand TM : Dehnungsmessstreifen (cont.) Kräfte und Druck - Anwendung: BarrettHand - Griffe Intelligente Roboter BarrettHand TM : Griffe J. Zhang 219 J. Zhang 220

56 3.3 Kräfte und Druck - Kraft-Moment-Sensoren (KMS) Intelligente Roboter Kraft-Moment-Sensoren (KMS) 3.3 Kräfte und Druck - Kraft-Moment-Sensoren (KMS) Intelligente Roboter Kraft-Moment-Sensoren (KMS) (cont.) Zumeist starre Konstruktionen die kleine Verformungen erlauben Messung der Verformung mit Dehnungsmessstreifen (DMS) Vorteile: in großem Bereich linear starke Dämpfung schwingt nicht so leicht Nachteile: Temperaturdrift Quelle: ATI Industrial Automation J. Zhang 221 J. Zhang Kräfte und Druck - Kraft-Moment-Sensoren (KMS) Intelligente Roboter KMS mit sechs Freiheitsgraden Ein auf ein dehnbares Material applizierter DMS kann die Kraft in eine Richtung messen (siehe: Hookesches Gesetz) Allgemeine KMS mit sechs Freiheitsgraden: Eine spezielle Anordnung von DMS Messen die Kräfte in alle drei Koordinatenrichtungen (Fx, Fy, Fz) Messen die Drehmomente zu allen drei Koordinatenrichtungen (Mx, My, Mz) 3.3 Kräfte und Druck - Kraft-Moment-Sensoren (KMS) Intelligente Roboter Freiheitsgrade engl.: degrees of freedom (DOF) Translation in Richtung der x-, y- oder z Achse eines Koordinatensystems (3 DOF) Rotation um y-, x- oder z-achse eines Koordinatensystems (3 DOF) Beschleunigung in oder um die Koordinatenachsen (6 DOF) KMS z.b. von der Firma JR 3 (12-DOF-KMS) J. Zhang 223 J. Zhang 224

57 3.3 Kräfte und Druck - Kraft-Moment-Sensoren (KMS) Intelligente Roboter Einsatz von KMS Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Aufbau von KMS Intelligente Roboter Aufbau von KMS J. Zhang 225 J. Zhang Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Aufbau von KMS Intelligente Roboter Beispiel: Kraft in x-richtung Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Aufbau von KMS Intelligente Roboter KMS: Signale Kopplungsfreier Fall, d.h. keine Signale durch Querbelastungen: Kraft/Moment DMS F x W 3, W 7 F y W 1, W 7 F z W 2, W 4, W 6, W 8 M x W 4, W 8 M y W 2, W 6 M z W 1, W 3, W 5, W 7 J. Zhang 227 J. Zhang 228

58 3.3.2 Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Kopplungsmatrix Intelligente Roboter Kopplungsmatrix Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Kopplungsmatrix Intelligente Roboter Kopplungsmatrix (cont.) W 1 F x W 2 F y W 3 F z M x = K W 4 W 5 M y W 6 M z W 7 W k k 17 0 k k K = 0 k 32 0 k 34 0 k 36 0 k k k 48 0 k k k 61 0 k 63 0 k 65 0 k 67 0 J. Zhang 229 J. Zhang Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Kopplungsmatrix Intelligente Roboter Kopplungsmatrix (cont.) Zusammenhang zwischen Signalen der DMS und den Kräften/Momenten über die Kopplungsmatrix K Vorige Tabelle gilt im kopplungsfreien Fall, in der Realität wirkt sich z.b. eine Kraft in x-richtung auch auf W 1, W 2, W 5 und W 6 aus Reale Kopplungsmatrizen daher komplizierter Meist in der Messhardware (z.b. Interface-Karten) integriert und nicht mehr sichtbar Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - KMS-Anwendung in der Robotik Intelligente Roboter KMS-Anwendung in der Robotik Überwachte Bewegungen (engl.: guarded motions): Bewegung herkömmlich (fest) programmiert Überschreiten eines bestimmten Kraftwertes Abbruch der Bewegung Nachgiebige Bewegungen (engl.: compliant motions): Manipulator gibt bei einer äußeren Kraft nach oder: versucht eine bestimmte Kraft aufzubringen erfordert Regelung (PID-, Fuzzy-, Neuro-Regler, o. ä.) J. Zhang 231 J. Zhang 232

59 3.3.4 Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - KMS-Kalibrierung Intelligente Roboter KMS-Kalibrierung Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - KMS-Kalibrierung Intelligente Roboter KMS-Kalibrierung (cont.) Kalibrierung bedeutet im wesentlichen Ermittlung des Greifereigengewichtes: f g orientierungsabhängiger Off-Set in den Kräften des Greiferschwerpunktes : p COG (engl.: center of gravity) orientierungsabhängiger Off-Set in den Momenten J. Zhang 233 J. Zhang Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - KMS-Kalibrierung Intelligente Roboter KMS-Kalibrierung (cont.) Probleme in der Praxis: KMS rauschen Messwerte müssen i. d. Regel gefiltert werden Tragen einer Last erhöht f g und verschiebt p COG Kalibrierung eigentlich nur für den Lastzustand gültig, in dem sie gemacht wurde DMS sind temperaturabhängig Kalibrierung auch temperaturabhängig Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Kraftregelung Intelligente Roboter Direkte Kraftregelung Kraftmessung wirkt direkt auf Achsmotoren Bei kommerziellen Robotern nicht einsetzbar nicht weiter betrachtet J. Zhang 235 J. Zhang 236

60 3.3.5 Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - Kraftregelung Intelligente Roboter Hybride Kraftregelung Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - KMS: Spacemouse Intelligente Roboter Spacemouse Kraftmessung wirkt mit Umweg über die Positionsregelung auf die Achsmotoren Probleme: Reglermodell berücksichtigt nicht die exakte Situation Einstellen der Parameter für den Positionsregler Einfache Lösung: lineare hybride Regelung über mehrdimensionales Federgesetz s = C 1 F Quelle: 3DCONNEXION ( J. Zhang 237 J. Zhang Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - KMS: Spacemouse Intelligente Roboter Spacemouse (cont.) Kräfte und Druck - Kraft-Moment-Sensoren (KMS) - KMS: Spacemouse Intelligente Roboter Spacemouse (cont.) alternativ Kraft-Moment-Messung flexible Konstruktion optische Abtastung Vorteil: keine Drift Nachteile: begrenzt linear kann schwingen Software-Dämpfung Quelle: DLR ( J. Zhang 239 J. Zhang 240

61 3.4 Kräfte und Druck - Taktile Sensoren Intelligente Roboter Taktile Sensoren Besondere Klasse von Kraft- oder Drucksensoren Meistens sehr schmale Sensoren Beispiel: Berührungssensoren an Fingerspitzen künstlicher Hände Andere Anwendungen: Touch-Screen, Tastaturen, Messung der Belastung der Fußsohle beim Laufen, etc. 3.4 Kräfte und Druck - Taktile Sensoren Intelligente Roboter Taktile Sensoren (cont.) Verschiedene Herstellungsmethoden: Membran-Schalter Piezoelektrische taktile Sensoren kraftsensitive Widerstände J. Zhang 241 J. Zhang Kräfte und Druck - Taktile Sensoren - Membran-Schalter Intelligente Roboter Membran-Schalter Kräfte und Druck - Taktile Sensoren - Piezoelektrische Sensoren Intelligente Roboter Piezoelektrische taktile Sensoren Aktive oder passive Sensoren aus PVDF (polyvinylidene fluoride) Beispiel: aktiver ultraschallgekoppelter Berührungssensor drei Schichten (obere und untere Schicht aus PVDF) untere Schicht wird in Schwingung versetzt mittlere Schicht überträgt Schwingung auf obere Schicht Ausgangssignal der oberen Schicht wird mit Eingangssignal verglichen Druck verändert Ausgangssignal J. Zhang 243 J. Zhang 244

62 3.4.2 Kräfte und Druck - Taktile Sensoren - Piezoelektrische Sensoren Intelligente Roboter Piezoelektrische taktile Sensoren (cont.) Kräfte und Druck - Taktile Sensoren - Piezoelektrische Sensoren Intelligente Roboter Piezoelektrische taktile Sensoren (cont.) Ausgangssignal in begrenztem Bereich linear zur Kraft Bei 25 µm PVDF-Filmdicke und 40 µm Gummifilm als zweite Schicht, ist der gesammte Sensor inkl. Schutzschicht schmaler als 200 µm Durch mehrere Zellen können ganze Flächen erfasst werden Vorteile: einfacher Sensoraufbau ideal zum Messen statischer Kräfte J. Zhang 245 J. Zhang Kräfte und Druck - Taktile Sensoren - Kraftsensitive Widerstände Intelligente Roboter Kraftsensitive Widerstände Kräfte und Druck - Taktile Sensoren - Kraftsensitive Widerstände Intelligente Roboter Kraftsensitive Widerstände (cont.) Taktile Sensoren können aus einem Material hergestellt werden, das seinen Widerstand abhängig vom aufgebrachten Druck ändert engl.: force sensitive resistor (FSR) Material: leitende Elastomere oder drucksensitive Tinte Leitende Elastomere werden aus Silikon-Gummi oder Polyurethan gefertigt und mit leitenden Partikeln oder Fasern imprägniert Funktionsweise: Verändern der Kontaktfläche zwischen zwei leitenden Platten Ändern der Schichtdicke J. Zhang 247 J. Zhang 248

63 3.4.3 Kräfte und Druck - Taktile Sensoren - Kraftsensitive Widerstände Intelligente Roboter Kraftsensitive Widerstände (cont.) Kräfte und Druck - Taktile Sensoren - Hall-Effekt Sensoren Intelligente Roboter Hall-Effekt Sensoren Wenn sich ein Elektron durch ein magnetisches Feld bewegt, so wirkt eine Kraft auf das Elektron F = qvb q: Ladung des Elektrons ( C) v: Geschwindigkeit des Elektrons B: magnetische Feldstärke Es lassen sich z.b. Kompass-Sensoren realisieren J. Zhang 249 J. Zhang Kräfte und Druck - Taktile Sensoren - Hall-Effekt Sensoren Intelligente Roboter Hall Effekt 3.5 Kräfte und Druck - Literatur Intelligente Roboter [Fra04] Kap. 3.8, 8.6 and 9 In: Jacob Fraden: Handbook of modern sensors: physics, design, and applications. Springer-Verlag New York, Inc., 2004, S , u [McK93] Kap , , and 10.7 In: Phillip John McKerrow: Introduction to Robotics. Addison-Wesley, 1993 (Electronic Systems Engineering Series), S and J. Zhang 251 J. Zhang 252

64 4 Abstandssensoren Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren Verfahren zur Abstandsmessung Sensoren zur Abstandsmessung Probleme optischer Sensoren Literatur 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik 9. Steuerungsarchitekturen 4 Abstandssensoren Intelligente Roboter Abstandssensoren Typisch: Infrarot, Ultraschall und Laser Physikalische Prinzipien: Signallaufzeit (engl.: time-of-flight) Triangulation Messung der Signalintensität Phasendifferenz J. Zhang 253 J. Zhang Abstandssensoren - Verfahren zur Abstandsmessung - Time-of-flight Intelligente Roboter Time-of-flight Abstandssensoren - Verfahren zur Abstandsmessung - Time-of-flight Intelligente Roboter Time-of-flight (cont.) 1. Aussenden eines Impulses 2. Messen der Zeit zwischen Aussenden des Impulses und Eingang des Echos Abstand = gemessene Zeit Geschwindigkeit im Medium 2 Vorteil: Sender und Empfänger liegen auf derselben Achse Strahldurchmesser Durchmesser = 2 Abstand tan ( Öffnungswinkel ) J. Zhang 255 J. Zhang 256

65 4.1.1 Abstandssensoren - Verfahren zur Abstandsmessung - Time-of-flight Intelligente Roboter Time-of-flight (cont.) Abstandssensoren - Verfahren zur Abstandsmessung - Triangulation Intelligente Roboter Triangulation Ermitteln der Entfernung mit Hilfe zweier Sichtpunkte Abstand zwischen den Sichtpunkten muss bekannt sein Abstand wird über die Winkel zum Objekt an den beiden Sichtpunkten bestimmt Zwei Sichtpunkte können sich auf unterschiedliche Weise ergeben: Bewegen eines einzelnen Sensors Spezielles Design eines aktiven Sensors Mehrere Sensoren Ein aktiver Sensor emittiert ein Signal und empfängt die Reflektion Ein passiver Sensor empfängt Umgebungssignale J. Zhang 257 J. Zhang Abstandssensoren - Verfahren zur Abstandsmessung - Triangulation Intelligente Roboter Triangulation (cont.) Abstandssensoren - Verfahren zur Abstandsmessung - Triangulation Intelligente Roboter Triangulation (cont.) Stereo-Vision mit zwei Kameras ist eine passive Form von Triangulation Abstand = l 2 = l 1 sin(α) sin(θ + α) J. Zhang 259 J. Zhang 260

66 4.1.2 Abstandssensoren - Verfahren zur Abstandsmessung - Triangulation Intelligente Roboter Beispiel: Okada s optischer Distanzmesser (1982) Abstandssensoren - Verfahren zur Abstandsmessung - Phasendifferenz Intelligente Roboter Phasendifferenz Alternative zu time-of-flight: Messen der Phasendifferenz zwischen ausgesandtem und reflektiertem Strahl eines Lasers Der Laserstrahl mit Wellenlänge λ wird zuerst mit Hilfe eines Strahlenteilers aufgesplittet Der sogenannte Referenzstrahl wird von einem Phasenmessgerät in der Entfernung L gemessen Der zweite Strahl läuft bis zur Objektoberfläche und zurück bis zum Phasenmessgerät J. Zhang 261 J. Zhang Abstandssensoren - Verfahren zur Abstandsmessung - Phasendifferenz Intelligente Roboter Phasendifferenz (cont.) Abstandssensoren - Verfahren zur Abstandsmessung - Phasendifferenz Intelligente Roboter Phasendifferenz (cont.) Die vom reflektierten Strahl zurückgelegte Strecke beträgt: D = L + 2D Annahme D = 0, dann gilt D = L und beide Strahlen kommen simultan im Phasenmessgerät an Wird D erhöht, wird der Weg für den reflektierten Strahl länger und es kommt zu einer Phasendifferenz θ beim Vergleich mit dem Referenzstrahl J. Zhang 263 J. Zhang 264

67 4.1.3 Abstandssensoren - Verfahren zur Abstandsmessung - Phasendifferenz Intelligente Roboter Phasendifferenz (cont.) Abstandssensoren - Verfahren zur Abstandsmessung - Phasendifferenz Intelligente Roboter Phasendifferenz (cont.) Es gilt: D = L + θ 360 λ Für θ = 360 ist der Phasenunterschied 0, daher kann nicht unterschieden werden zwischen D = L und D = L + nλ, n = 1, 2,... Um eine eindeutige Lösung zu erhalten, muss θ < 360 bzw. 2D < λ gelten Da D = L + 2D ist, erhält man D = θ 360 ( ) λ 2 als Distanz, wenn die Wellenlänge bekannt ist J. Zhang 265 J. Zhang Abstandssensoren - Verfahren zur Abstandsmessung - Phasendifferenz Intelligente Roboter Phasendifferenz (cont.) Abstandssensoren - Verfahren zur Abstandsmessung - Phasendifferenz Intelligente Roboter Phasendifferenz (cont.) Da die Wellenlänge von Laserlicht sehr klein ist (632.8 nm beim Helium-Neon Laser), ist diese Methode ungeeignet für die Robotik Eine einfache Lösung für dieses Problem ist die Modulation der Welle mit einer sehr viel längeren Welle (c = f λ) Eine modulierende Sinuswelle mit einer Frequenz von f = 10 MHz hat eine Wellenlänge von 30 m J. Zhang 267 J. Zhang 268

68 4.2.1 Abstandssensoren - Sensoren zur Abstandsmessung - Infrarotsensoren Intelligente Roboter Infrarotsensoren Infrarotsensoren sind die einfachsten der kontaklosen Sensoren Werden in der Robotik vielfach zur Hinderniserkennung eingesetzt Infrarotsensoren senden ein infrarotes Lichtsignal (IR) aus IR wird von Objekten in der Umgebung reflektiert Um das ausgesandte IR vom allgemeinen IR der Umgebung (Leuchtstoffröhren oder Sonnenlicht) unterscheiden zu können, wird es mit einer niedrigen Frequenz (z.b. 100 Hz) moduliert Vorausgesetzt, dass alle Objekte die gleiche Farbe und Oberfläche besitzen, kann die Distanz zu den Objekten bestimmt werden Abstandssensoren - Sensoren zur Abstandsmessung - Infrarotsensoren Intelligente Roboter Infrarotsensoren (cont.) Die Intensität des reflektierten Lichts ist umgekehrt proportional zum Quadrat der Distanz In realistischen Umgebungen haben die Oberflächen unterschiedliche Farben Farbige Oberflächen reflektieren unterschiedlich viel Licht Schwarze Oberflächen sind praktisch unsichtbar IR-Sensoren können eigentlich nur zu Objekterkennung nicht aber zur Entfernungsmessung eingesetzt werden Wenn ein IR-Signal vom Sensor empfangen wird kann man mit Sicherheit annehmen, dass sich ein Objekt vor dem Sensor befindet J. Zhang 269 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Infrarotsensoren Intelligente Roboter Infrarotsensoren (cont.) Phantomsignale sind sehr selten Fehlt ein IR-Signal heißt das allerdings nicht, dass kein Objekt vor dem Sensor ist IR-Sensoren werden für kurze Reichweiten eingesetzt (50 bis 100 cm) Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Ultraschallsensoren In der Biologie gibt es zwei Vorbilder für Ultraschallsensoren: 1. Delphin Lokalisation Tracking von Fischen Navigation Kommunikation 2. Fledermaus Lokalisation Navigation (z.b. in dunklen Höhlen) Tracking von Motten und Mäusen J. Zhang 271 J. Zhang 272

69 4.2.2 Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Ultraschallsensoren (cont.) Fledermäuse benutzen eine Reihe verschiedenster Sonar-Techniken (sound navigation and ranging): feste Frequenzen variierende Frequenzen variierende Frequenzen, so dass die reflektierte Frequenz stationärer Objekte fest ist Obwohl künstliche Ultraschall-Sonare ähnliche Frequenzen wie in der Tierwelt erzeugen können, sind die Fähigkeiten der Tiere noch lange nicht erreicht Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Ultraschallsensoren (cont.) Schallwellen unterscheiden sich von elektromagnetischen Wellen in drei physikalischen Eigenschaften: Medium Geschwindigkeit Wellenlänge Schallwellen brauchen ein Medium wie Luft oder Wasser Die Geschwindigkeit des Schalls in der Luft beträgt C m/s Time-of-flight-Messung für kurze Distanzen möglich Die Wellenlänge eines 50 khz Ultraschallsensors beträgt mm J. Zhang 273 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Ultraschallsensoren (cont.) Dadurch wird der Schall an einer glatten Oberfläche wohldefiniert reflektiert Erst bei sehr groben Strukturen wird Ultraschall diffus reflektiert Vorsicht: Ein runder Stab erzeugt eine diffuse Reflektion Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Piezoelektrischer Ultraschall-Transducer Um Ultraschallwellen zu erzeugen, ist die Bewegung einer Oberfläche erforderlich Diese Bewegung verursacht eine Kompression bzw. Expansion des Mediums Eine Möglichkeit Ultraschallwellen zu erzeugen ist die Verwendung eines piezoelektrischen Transducers im Motor-Modus Eine Spannung verursacht eine Biegung des Keramik-Elementes Piezoelektrizität ist reversibel, daher erzeugen eintreffende Ultraschallwellen eine Ausgangsspannung J. Zhang 275 J. Zhang 276

70 4.2.2 Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Piezoelektrischer Ultraschall-Transducer (cont.) Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Piezoelektrischer Ultraschall-Transducer (cont.) Typischerweise werden Piezoelektrische Transducer in der Nähe der Resonanzfrequenz f r (32 khz) betrieben Dort reagiert das Keramik-Element mit der größten Sensitivität J. Zhang 277 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Piezoelektrischer Ultraschall-Transducer (cont.) Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Polaroid Ultraschall-Transducer Der Polaroid Ultraschall Transducer ist ebenfalls sowohl Transmitter (Sender) als auch Receiver (Empfänger) Im Empfangsmodus arbeitet er wie ein elektrostatisches Mikrophon Der Radius des runden Transducers beträgt etwa dreimal die ausgesandte Wellenlänge Der Öffnungswinkel des Ultraschallsignals beträgt etwa 15 Das bewegliche Element des Transducers ist eine Plastikfolie mit Goldbeschichtung Sie wandelt elektrische Energie in Schallwellen um und umgekehrt J. Zhang 279 J. Zhang 280

71 4.2.2 Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Polaroid Ultraschall-Transducer (cont.) Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Polaroid Ultraschall-Transducer (cont.) J. Zhang 281 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Polaroid Ultraschall-Transducer (cont.) Normalerweise wird ein Zirpen (engl.: chirp) von 1 ms erzeugt Das Zirpen enthält 56 Impulse: 8 mit 60 khz 8 mit 57 khz 16 mit 53 khz 24 mit 50 khz Mehrere Frequenzen werden benutzt, da einige Materialien akustische Energie absorbieren und kein Echo reflektieren Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Genauigkeit Die Mindestdistanz d min, die noch gemessen werden kann, berechnet sich wie folgt: d min = 1 2 vt Impuls v: Geschwindigkeit des Schalls im entsprechenden Medium t Impuls : Dauer des ausgesandten Impulses in Sekunden J. Zhang 283 J. Zhang 284

72 4.2.2 Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Genauigkeit (cont.) Die maximale Distanz d max, die noch gemessen werden kann, berechnet sich wie folgt: d max = 1 2 vt Intervall v: Geschwindigkeit des Schalls im entsprechenden Medium t Intervall : Zeitspanne zwischen den einzelnen Impulsen Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Genauigkeit (cont.) Auflösungsvermögen d Aufloesung eines Sonarsensors: d Aufloesung = d max q q: Quantisierungsschritte, die für die Distanzkodierung zur Verfügung stehen d max : Maximale Reichweite des Sensors J. Zhang 285 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Messfehler Bei der Verwendung von Sonarsensoren können einige Ungenauigkeiten auftreten Die präzise Position des Objektes bleibt unbekannt Grund: Der Empfindlichkeitsbereich eines Sonarsensors ist keulenförmig Ein mit Distanz d wahrgenommenes Objekt kann an beliebiger Position innerhalb des Sonarkegels auf dem Bogen mit Distanz d liegen Spiegel- und Totalreflexionen verursachen fehlerhafte Messungen Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Messfehler (cont.) Trifft der Sonarstrahl in flachem Winkel auf ein glattes Objekt, so wird das Signal abgelenkt und nicht zum Sensor reflektiert Werden mehrere Sonarsensoren gleichzeitig benutzt, müssen spezifisch verschlüsselte Signal verwendet werden, da es ansonsten zu Übersprechen (engl.: Crosstalk) kommt Da die Messung von der Temperatur des Mediums abhängt, bewirkt z.b. eine Änderung der Lufttemperatur von 16 C einen Messfehler von 30 cm über eine Entfernung von 10 m Ein solcher Fehler hat zwar keinen Einfluss auf einfache Sensor-Motor-Verhaltensweisen wie Hindernisausweichen, führt aber bei der Kartenerstellung zu unpräzisen Umgebungskarten J. Zhang 287 J. Zhang 288

73 4.2.2 Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Messfehler (cont.) Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Messfehler (cont.) Messprinzip Auflösung J. Zhang 289 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Messfehler (cont.) Abstandssensoren - Sensoren zur Abstandsmessung - Ultraschallsensoren Intelligente Roboter Messfehler (cont.) unsichtbare Wand Messfehler J. Zhang 291 J. Zhang 292

74

75 4.2.3 Abstandssensoren - Sensoren zur Abstandsmessung - Lasermesssysteme Intelligente Roboter Laserentfernungsmesser (cont.) Die Wellenlänge liegt im Bereich von Infrarotlicht Sie ist wesentlich kürzer als beim Sonarimpuls Die Wahrscheinlichkeit, von einer glatten Oberfläche symmetrisch wegreflektiert zu werden, ist sehr viel geringer weniger Spiegelreflektionen Abstandssensoren - Sensoren zur Abstandsmessung - Lasermesssysteme Intelligente Roboter Funktionsprinzip Ein gepulster Laserstrahl wird ausgesandt Trifft der Laserimpuls auf ein Objekt, wird er reflektiert und im Empfänger des Scanners registriert Die Zeit vom Aussenden bis zum Empfang des Impulses ist direkt proportional zur Entfernung zwischen Scanner und Objekt (Lichtlaufzeit) Durch einen internen Drehspiegel wird der gepulste Laserstrahl abgelenkt und die Umgebung fächerförmig abgetastet (Laser-Radar) Aus der Abfolge der empfangenen Impulse wird die Kontur des Objektes berechnet J. Zhang 297 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Lasermesssysteme Intelligente Roboter Funktionsprinzip (cont.) Die Messwerte stehen zur Auswertung in Echtzeit an der Schnittstelle zur Verfügung Abstandssensoren - Sensoren zur Abstandsmessung - Lasermesssysteme Intelligente Roboter Spotabstand/-durchmesser Im radialen Blickfeld wird typischerweise alle 0.25, 0.5 oder 1 ein Lichtimpuls (Spot) ausgesandt Bedingt durch die Strahlgeometrie und den Durchmesser der einzelnen Spots, überlappen sich diese auf dem zu messenden Objekt bis zu einer bestimmten Entfernung J. Zhang 299 J. Zhang 300

76 4.2.3 Abstandssensoren - Sensoren zur Abstandsmessung - Lasermesssysteme Intelligente Roboter Remission unterschiedlicher Objekte Abstandssensoren - Sensoren zur Abstandsmessung - Lasermesssysteme Intelligente Roboter Reichweite: SICK LMS 200 Die Reichweite der Scanner hängt von der jeweiligen Remission (Reflektivität) des Objektes sowie von der Sendestärke des Scanners ab Material Remission Photokarton, schwarz matt 10 % Karton, grau 20 % Holz (Tanne roh, verschmutzt) 40 % PVC, grau 50 % Papier, weiß matt 80 % Aluminium, schwarz eloxiert % Stahl, rostfrei glänzend % Stahl, hochglänzend % Reflektoren >2000 % J. Zhang 301 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Lasermesssysteme Intelligente Roboter Technische Daten: SICK LMS 200 Reichweite (RW) bis max. 80 m max. Scanwinkel 180 Winkelauflösung 0.25 /0.5 /1 (einstellbar) Ansprechzeit 53 ms/26 ms/13 ms Messauflösung 10 mm Systematischer Fehler ±15 mm (RW m) Standardabweichung typ. 5 mm (RW 8 m) Übertragungsrate 9,6/19,2/38,4/500 kbaud (RS-232/RS-422) Betriebstemperatur C Gewicht 4,5 kg Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht Ansatz: Projektion eines Lichtmusters auf die zu vermessenden Objekte und Berechnung der Abstände über die Verzerrung des Musters Populärste Methode: Muster ist ein schmaler Lichtstreifen Ein solcher Lichstreifen kann mit einer zylindrischen Linse oder durch einen schmalen Spalt erzeugt werden Der Lichstreifen fällt auf die Objekte im Arbeitsraum Die Szene wird von einer Kamera mit festem Abstand B von der Lichtquelle beobachtet Die Abstände können nach der Kalibration des Systems bestimmt werden J. Zhang 303 J. Zhang 304

77 4.2.4 Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Beispiel: Senkrechter Blick auf das vorherige Bild J. Zhang 305 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) In den beiden vorangegangenen Bilder befinden sich Lichtquelle und Kamera auf derselben Höhe Der Lichtstreifen wird senkrecht zur Kamera-Lichtequelle-Ebene ausgestrahlt Die Kamera-Lichtequelle-Ebene heißt Referenzebene (engl.: reference plane) Jede Ebene parallel zur Referenzebene produziert eine senkrechte Linie im Kamerabild, wenn die Kamera richtig ausgerichtet ist Jeder Punkt einer solchen senkrechten Linie hat den gleichen Abstand zur Referenzebene Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Sei das Bild der Kamera ein N M Feld und y = 0, 1, 2,...,M 1 der Spaltenindex Eine Kalibration erfolgt durch Messen des Abstandes B zwischen Linsenzentrum der Kamera und Lichtquelle und Bestimmen der Winkel α c und α 0 Daraus folgt: d = λ tanθ wobei θ = α c α 0 und λ die Brennweite der Linse ist J. Zhang 307 J. Zhang 308

78 4.2.4 Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Der Abstand zur Referenzebene erhöht sich mit jeder Spalte des Bildes um d k : für 0 k M/2 d k = k d M/2 = 2kd M k = 0 ist die Spalte am linken Rand des Bildes, k = M/2 die mittlere Spalte Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Winkel α k eines beliebigen Streifens ist: mit Es folgt mit 0 k M/2 α k = α c θ k tanθ k = d d k λ [ ] d(m 2k) θ k = tan 1 Mλ J. Zhang 309 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Für die andere Seite der Optischen Achse ergibt sich: mit mit M/2 k (M 1) Es gilt: θ k = θ k α k = α c + θ k [ ] d(2k M) θ k = tan 1 Mλ Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Die senkrechte Distanz D k zwischen einem beliebigen senkrechten Lichtstreifen und der Referenzebene ist gegeben durch D k = B tanθ k für 0 k M 1 Sind b, α 0, α c, M und λ bekannt, bestimmt die Spaltennummer den Abstand aller Punkte einer senkrechten Linie zur Referenzebene Die Kalibration erfolgt jetzt durch einfaches Messen von B und bestimmen von α c und α 0 J. Zhang 311 J. Zhang 312

79 4.2.4 Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Um α c zu bestimmen wird eine Ebene parallel zur Referenzebene aufgestellt, so dass der Lichtstreifen in der mittleren Spalte des Bildes zu sehen ist (y = M/2) Dann wird D c gemessen, es gilt: ( ) α c = tan 1 Dc B Um α 0 zu bestimmen, wird die Ebene näher an die Referenzebene geschoben, solange bis der senkrechte Lichtstreifen in der Spalte y = 0 zu sehen ist Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) Dann wird D 0 gemessen, es gilt: ( ) α 0 = tan 1 D0 B Der Vorteil dieser Abstandsmessung ist ihre Einfachheit Nach der Kalibration kann der jeder Spalte zugeordnete Abstand abgespeichert werden Im laufenden Betrieb kann so schnell die Tiefe eines Objektes bestimmt werden J. Zhang 313 J. Zhang Abstandssensoren - Sensoren zur Abstandsmessung - Abstandsmessung mit strukturiertem Licht Intelligente Roboter Abstandsmessung mit strukturiertem Licht (cont.) 4.3 Abstandssensoren - Probleme optischer Sensoren Intelligente Roboter Probleme optischer Sensoren Vier Probleme: schmutzige Linsen Lösung: regelmäßige Reinigung Schutzhüllen Montage senkrecht nach unten, so dass keine Staub liegen bleibt Umgebungslicht Lösung: moduliertes oder pulsierendes Licht schlechte Oberflächenreflektion falsche Objektorientierung J. Zhang 315 J. Zhang 316

80 4.4 Abstandssensoren - Literatur Intelligente Roboter 4.4 Abstandssensoren - Literatur Intelligente Roboter [DJ00] [FGL87] [Fra04] Kap. 3.4, 3.4 u. 3.7 In: Gregory Dudek, Michael Jenkin: Computational principles of mobile robotics. Cambridge University Press, 2000, S u Kap. 6.2 In: King Sun Fu, R. C. Gonzalez, C. S. G. Lee: Robotics: control, sensing, vision, and intelligence. Mcgraw-Hill, Inc., New York, 1987 (Mcgraw-Hill Series In Cad/Cam, Robotics, And Computer Vision), S Kap. 7.6 In: Jacob Fraden: Handbook of modern sensors: physics, design, and applications. Springer-Verlag New York, Inc., 2004, S [McK93] Kap In: Phillip John McKerrow: Introduction to Robotics. Addison-Wesley, 1993 (Electronic Systems Engineering Series), S [Neh02] Kap , u In: Ulrich Nehmzow: Mobile Robotik: Eine praktische Einführung. Springer Verlag Berlin, 2002, S [SICK00] Lasermesssysteme LMS 200/LMS 211/LMS 220/LMS 221/LMS 291. SICK AG; Nimburger Str. 11, D Reute, Juni Technische Beschreibung J. Zhang 317 J. Zhang Scandaten verarbeiten Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten Filtern von Scandaten Merkmalsextraktion Anwendungen Literatur 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik 9. Steuerungsarchitekturen 5 Scandaten verarbeiten Intelligente Roboter Verarbeitung von Abstandsmessungen Für Messungen mit Lasermesssystemen gibt es Verfahren zur Extraktion von Liniensegmenten Extraktion von Ecken Klassifikation von Scanpunkten Filterung von Scans: Glätten Datenreduktion J. Zhang 319 J. Zhang 320

81 5 Scandaten verarbeiten Intelligente Roboter Scan 5 Scandaten verarbeiten Intelligente Roboter Scan (cont.) Ein Scan ist eine Menge von Messwerten { } m i = (α i, r i ) T i = 0...n 1 welche in Polarkoordinaten (α i, r i ) T angegeben sind Ein Scanpunkt m i = (α i, r i ) T kann für eine gegebene Aufnahmeposition l = (x, y, θ) T in absolute Koordinaten umgerechnet werden [ xi y i ] = [ x y ] + [ ] [ ] cos θ sin θ ri cos α i sin θ cos θ r i sin α i J. Zhang 321 J. Zhang Scandaten verarbeiten - Filtern von Scandaten Intelligente Roboter Filtern von Scandaten Scandaten verarbeiten - Filtern von Scandaten - Medianfilter Intelligente Roboter Medianfilter Problem von Scandaten: große Datenmenge, ungewünschte Scanpunkte Daher oftmals vorab Filterung von Scandaten gängige Filter: Medianfilter Reduktionsfilter Winkelreduktionsfilter Linienfilter Der Medianfilter erkennt Ausreißer und ersetzt diese durch eine geeignete Messung Um jeden Scanpunkt wird ein Fenster gelegt, das die Messungen vor und nach dem Punkt enthält Der Scanpunkt wird ersetzt durch einen Punkt, der denselben Aufnahmewinkel, aber den Median der Entfernungsmessungen des betrachteten Fensters als Entfernung hat wsize bestimmt die Fenstergröße (Anzahl der Punkte im Medianfilter) Ein großer Wert bedeutet eine starke Glättung Nachteil des Medianfilters: Ecken werden abgerundet J. Zhang 323 J. Zhang 324

82 5.1.1 Scandaten verarbeiten - Filtern von Scandaten - Medianfilter Intelligente Roboter Medianfilter (cont.) Scandaten verarbeiten - Filtern von Scandaten - Medianfilter Intelligente Roboter Medianfilter (cont.) Algorithmus Medianfilter Eingabe Scan s, Fenstergröße wsize Ausgabe Scan s for i := 0 to numpoints(s)-1 do p := n-th-scanpoint(s,i) for j := 0 to wsize do k := (i + j - wsize/2) mod numpoints(s) p k := n-th-scanpoint(s,k) d(j) := distance-value(p k ) endfor d median := median(d) n-th-scanpoint(s,i) := (angle-value(p),d median ) endfor return s J. Zhang 325 J. Zhang Scandaten verarbeiten - Filtern von Scandaten - Reduktionsfilter Intelligente Roboter Reduktionsfilter Der Reduktionsfilter fasst Punktwolken zu einem Punkt zusammen Eine Punktwolke wird durch einen Radius r angegeben Der erste Punkt (Ausgangspunkt) eines Scans gehört zu einer Wolke Alle folgenden Punkte mit Abstand d < 2 r werden zur Wolke hinzugefügt Beim ersten Punkt mit größerem Abstand wird eine neue Wolke angefangen Jede Wolke wird durch den Schwerpunkt der ihr zugeordneten Punkte ersetzt Scandaten verarbeiten - Filtern von Scandaten - Reduktionsfilter Intelligente Roboter Reduktionsfilter (cont.) Algorithmus Reduktionsfilter Eingabe Scan s, Radius r Ausgabe Scan s j := 0 p 0 := n-th-scanpoint(s,0) p sum := p 0 n := 0 for i := 1 to numpoints(s)-1 do p := n-th-scanpoint(s,i) if distance(p 0,p) < 2r then p sum := p sum + p n := n + 1 J. Zhang 327 J. Zhang 328

83 5.1.2 Scandaten verarbeiten - Filtern von Scandaten - Reduktionsfilter Intelligente Roboter Reduktionsfilter (cont.) Scandaten verarbeiten - Filtern von Scandaten - Reduktionsfilter Intelligente Roboter Reduktionsfilter (cont.) else n-th-scanpoint(s,j) := p sum/n j := j + 1 P 0 := p p sum := p 0 n := 1 endif endfor n-th-scanpoint(s,j) := p sum/n j := j + 1 numpoints(s ) := j return s J. Zhang 329 J. Zhang Scandaten verarbeiten - Filtern von Scandaten - Reduktionsfilter Intelligente Roboter Reduktionsfilter (cont.) Der Algorithmus des Reduktionsfilters hat eine Zeitkomplexität von O(n), wenn n die Anzahl der Punkte ist Vorteile des Reduktionsfilters: Reduzierung der Anzahl der Scanpunkte ohne Verlust wesentlicher Informationen Dies führt zu kürzeren Laufzeiten bei der Nachbearbeitung eines Scans Es ergibt sich eine bessere Gleichverteilung der Punkte Nachteile des Reduktionsfilters: Extraktion von Merkmalen nicht mehr so einfach Möglicherweise zu wenig Punkte für Merkmal Daher besser: Merkmalsextraktion vor Reduktionsfilter J. Zhang Scandaten verarbeiten - Filtern von Scandaten - Winkelreduktionsfilter Intelligente Roboter Winkelreduktionsfilter Der Winkelreduktionsfehler ähnelt dem Reduktionsfilter Scanpunkte mit ähnlichem Aufnahmewinkel werden gruppiert und durch den Punkt ersetzt, dessen Entfernung gleich dem Median der Entfernungswerte ist Die Funktion median dist(q, n) liefert im folgenden Algorithmus diesen Punkt Die Zeitkomplexität ist O(n), wenn n die Anzahl der Scanpunkte ist Der Winkelreduktionsfilter wird eingesetzt um Scans mit hoher Winkelauflösung gleichmäßig zu reduzieren Dies wird z.b. bei der Verschmelzung mehrerer Scans zu einem Scan eingesetzt J. Zhang 332

84 5.1.3 Scandaten verarbeiten - Filtern von Scandaten - Winkelreduktionsfilter Intelligente Roboter Winkelreduktionsfilter (cont.) Algorithmus Winkeleduktionsfilter Eingabe Scan s, Winkel α Ausgabe Scan s j := 0 q(0) := n-th-scanpoint(s,0) n := 1 for i := 1 to numpoints(s)-1 do p := n-th-scanpoint(s,i) if abs(angle-value(p) - angle-value(q(0))) < α then q(n) := p n := n Scandaten verarbeiten - Filtern von Scandaten - Winkelreduktionsfilter Intelligente Roboter Winkelreduktionsfilter (cont.) else n-th-scanpoint(s,j) := median-dist(q,n) j := j + 1 q(0) := p n := 1 endif endfor n-th-scanpoint(s,j) := median-dist(q,n) j := j + 1 numpoints(s ) := j return s J. Zhang 333 J. Zhang Scandaten verarbeiten - Filtern von Scandaten - Winkelreduktionsfilter Intelligente Roboter Winkelreduktionsfilter (cont.) Scandaten verarbeiten - Filtern von Scandaten - Linienfilter Intelligente Roboter Linienfilter Der Linienfilter nutzt das später vorgestellte Verfahren zur Linienextraktion Die Scanpunkte, die keinem Liniensegment zugeordnet wurden, werden entfernt Die Zeitkomplexität ist gleich der Komplexität der Linienextraktion (O(n log n) im mittleren Fall) Der Filter wird angewendet, wenn anschließend angewandte Algorithmen polygonale Umgebungen erfordern J. Zhang 335 J. Zhang 336

85 5.1.4 Scandaten verarbeiten - Filtern von Scandaten - Linienfilter Intelligente Roboter Linienfilter (cont.) 5.2 Scandaten verarbeiten - Merkmalsextraktion Intelligente Roboter Merkmalsextraktion Keine Verarbeitung von kompletten Scans sondern Merkmalsextraktion Häufige Merkmale: Linien, Ecken maxdist im folgenden Algorithmus ist der maximal zulässige Abstand zweier aufeinander folgender Punkte für die Gruppierung J. Zhang 337 J. Zhang Scandaten verarbeiten - Merkmalsextraktion - Linien Intelligente Roboter Linien Algorithmus Linienextraktion Eingabe Scan s, Parameter maxdist Ausgabe Menge von Linien l l := empty start := 0 for i:=1 to numpoints(s)-1 do p 1 := n-th-scanpoint(s,i-1) p 2 := n-th-scanpoint(s,i) if distance(p 1,p 2 ) > maxdist then l := l split(s,start,i-1) start := i endif endfor l := l split(s,start,numpoints(s)-1) return l J. Zhang Scandaten verarbeiten - Merkmalsextraktion - Linien Intelligente Roboter Linien (cont.) Algorithmus split(s,start,end) Eingabe Scanpunkte, durch s, start und end festgelegt Parameter minpointsonline, maxsigma Ausgabe Menge von Linien l l := empty line := make-line(s,start,end) if numpoints(line) minpointsonline then if σ(line) < maxsigma then l := l {line} else p start := n-th-scanpoint(s,start) p end := n-th-scanpoint(s,end) i split := start d := 0 J. Zhang 340

86 5.2.1 Scandaten verarbeiten - Merkmalsextraktion - Linien Intelligente Roboter Linien (cont.) for i := start+1 to end-1 do p := n-th-scanpoint(s,i) if distance-to-line(p,p start,p end ) > d then i split := i d := distance-to-line(p,p start,p end ) endif endfor l := l split(s,start,i split ) l := l split(s,i split,end) endif endif return l Die split-funktion ist rekursiv Zuerst wird eine Ausgleichsgerade durch die Punkte gelegt Scandaten verarbeiten - Merkmalsextraktion - Linien Intelligente Roboter Linien (cont.) Ist die Abweichung σ(line) zu groß wird die Punktmenge aufgeteilt und für die neuen Mengen die Funktion split aufgerufen Der Punkt an dem aufgeteilt wird, ist der Punkt mit dem größten Abstand zur Geraden durch start und end minpointsonline und maxsigma bestimmen die Anzahl und Qualität der Linien Die Linienextraktion ist ein typischer divide and conquer Algorithmus Zeitkomplexität ähnlich Quicksort: O(n 2 ) im schlechtesten, O(n log n) im mittleren Fall (n: Anzahl der Scanpunkte) J. Zhang 341 J. Zhang Scandaten verarbeiten - Merkmalsextraktion - Linien Intelligente Roboter Linien (cont.) Scandaten verarbeiten - Merkmalsextraktion - Linien Intelligente Roboter Linien (cont.) J. Zhang 343 J. Zhang 344

87 5.2.2 Scandaten verarbeiten - Merkmalsextraktion - Ecken Intelligente Roboter Ecken Scandaten verarbeiten - Merkmalsextraktion - Ecken Intelligente Roboter Ecken (cont.) Ähnlich wie Linienalgoritmus Aufeinander folgende Linien werden miteinander geschnitten Nur Ersetzen der split-funktion notwendig Gleiche Zeitkomplexität Algorithmus split(s,start,end) Eingabe Scanpunkte, durch s, start und end festgelegt Parameter minpointscorner, maxsigma Ausgabe Menge von Ecken e e := empty if (end -start) 2 minpointscorner then p start := n-th-scanpoint(s,start) p end := n-th-scanpoint(s,end) i split := start d := 0 for i := start+1 to end-1 do p := n-th-scanpoint(s,i) if distance-to-line(p,p start,p end ) > d then i split := i d := distance-to-line(p,p start,p end ) endif endfor J. Zhang 345 J. Zhang Scandaten verarbeiten - Merkmalsextraktion - Ecken Intelligente Roboter Ecken (cont.) Scandaten verarbeiten - Merkmalsextraktion - Ecken Intelligente Roboter Ecken (cont.) if (i split - start) minpointscorner and (end - i split ) minpointscorner then line 1 := make-line(s,i split - minpointscorner,i split ) line 2 := make-line(s,i split, i split + minpointscorner) if σ(line 1 ) < maxsigma and σ(line 2 ) < maxsigma then e := e {make-corner(line 1,line 2 )} endif endif e := e split(s,start,i split ) e := e split(s,i split,end) endif return e J. Zhang 347 J. Zhang 348

88 5.3.1 Scandaten verarbeiten - Anwendungen - Scan-Matching Intelligente Roboter Scan-Matching In der mobilen Robotik werden Laserscans häufig eingesetzt, um die Position des Roboters in einer Karte zu finden Dazu wird der Scan mit Hilfe der Linienextraktion in eine Menge von Linien umgewandelt Die gemessene Anordnung der Linien wird in einer Karte durch Überdeckung gesucht Dieses Verfahren wird Scan-Matching genannt Es kann auch direkt auf den Abstandsmesswerten durchgeführt werden Scandaten verarbeiten - Anwendungen - Scan-Matching Intelligente Roboter Verfahren von Cox Einer der ersten Vorschläge zum Überdecken von Scandaten und einem a priori Linienmodell stammt von Cox (1990, 1991) Hierbei wird jedem Scanpunkt eine Linie des a priori Modells zugeordnet Aus der Zuordnung lässt sich die Rotation und Translation gegenüber dem Linienmodell bestimmen Das Verfahren benötigt eine ungefähre Anfangsschätzung der Aufnahmeposition z.b. anhand der Odometriedaten J. Zhang 349 J. Zhang Scandaten verarbeiten - Anwendungen - Scan-Matching Intelligente Roboter Verfahren von Cox (cont.) 1. Setze (ˆx, ŷ, ˆθ) T = (s x, s y, s θ ) T, wobei (s x, s y, s θ ) T die initiale Positionsschätzung der Scanaufnahme anhand der Odometrie ist 2. Verschiebe und drehe Scan auf Position (ˆx, ŷ, ˆθ) T 3. Bestimme für jeden Scanpunkt die Modellinie, die dem Punkt am nächsten liegt. Diese Modellinie wird im folgenden Ziellinie genannt 4. Berechne die Transformation ˆb = (δx, δy, δθ) T, welche die Summe der Abstandsquadrate zwischen den Scanpunkten und der jeweiligen Ziellinie minimiert 5. Setze (ˆx, ŷ, ˆθ) T = (ˆx, ŷ, ˆθ) T + (δx, δy, δθ) T Scandaten verarbeiten - Anwendungen - Scan-Matching Intelligente Roboter Verfahren von Cox (cont.) 6. Wiederhole Schritte 2-5 bis das Verfahren konvergiert Das Ergebnis der Überdeckung ist (ˆx, ŷ, ˆθ) T 7. Berechne die Fehlerkovarianzmatrix match J. Zhang 351 J. Zhang 352

89 5.3.2 Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Zusammenfassen von Linien-Segmenten Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Zusammenfassen von Linien-Segmenten (cont.) J. Zhang 353 J. Zhang Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Zusammenfassen von Linien-Segmenten (cont.) Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Zusammenfassen von Linien-Segmenten (cont.) J. Zhang 355 J. Zhang 356

90 5.3.2 Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Zusammenfassen von Linien-Segmenten (cont.) Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Hough-Transformation Verfahren zur Erkennung von Geraden Kreisen beliebigen anderen geometrischen Figuren Häufig in der Bildverarbeitung angewandt auf Gradientenbildern Punkt im Bild wird in einen Parameterraum abgebildete Geignete Parameter: Gerade: Steigung und y-achsen-abschnitt Kreis: Radius und Mittelpunkt Punkt im Parameterraum entspricht einer Figur im Bildraum Gesuchte Figur findet sich bei Häufungen im Parmeterraum J. Zhang 357 J. Zhang Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Geradenerkennung Parameter: Steigung und y-achsen-abschnitt Nachteil: Geraden mit unendlicher Steigung können nicht abgebildet werden Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Geradenerkennung (cont.) y Besser: Gerade in Hessescher Normalform mit r = x cos(θ) + y sin(θ) θ: Winkel zwischen der x-achse und der Normalen der Geraden r: Abstand vom Ursprung zur Geraden θ r x J. Zhang 359 J. Zhang 360

91 5.3.2 Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Geradenerkennung (cont.) Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Geradenerkennung (cont.) Alle Linien-Segmente aus der Linienerkennung lassen sich in Hessescher Normalform darstellen Für jedes Linien-Segment wird im Parameterraum ein θ-r-punkt eingetragen Für Häufungen (engl. Cluster) wird ein stellvertretender Schwerpunkt berechnet Parameter des Schwerpunktes beschreiben eine Gerade auf der (in etwa) die Liniensegmente liegen Schwerpunkte können mit Hierarchischem Clustering gefunden werden J. Zhang 361 J. Zhang Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Geradenerkennung (cont.) Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Hierarchisches Clustering Zwei grundsätzliche Verfahren: anhäufende Verfahren (engl. agglomerative clustering) In der Praxis häufig eingesetzt Es werden schrittweise einzelne Elemente zu Gruppen zusammengefasst teilende Verfahren (engl. divisive clustering) Es wird eine große Gruppe in kleinere Gruppen unterteilt J. Zhang 363 J. Zhang 364

92 5.3.2 Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Agglomerative Clustering 1. Alle Elemente sind einzelne Cluster 2. Die zueinander am nächsten liegenden Cluster werde zusammengefasst 3. Wiederhole 2. bis alle Cluster eine bestimmte Distanz zueinander überschreiten oder eine minimale Anzahl an Clustern erreicht ist Es muss eine Distanzfunktion d für den Abstand zweier Cluster gegeben sein Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Typische Distanzfunktionen Für den Abstand zweier Cluster A und B werden oft folgende Distanzfunktionen gewählt: Single Linkage Clustering: Minimaler Abstand zweier Elemente min {d(a, b)} a A,b B Complete Linkage Clustering: Maximaler Abstand zweier Elemente max {d(a, b)} a A,b B Average Linkage Clustering: Durchschn. Abstand aller Elemente 1 A B a A,b B d(a, b) J. Zhang 365 J. Zhang Scandaten verarbeiten - Anwendungen - Linien-Segmente zusammenfassen Intelligente Roboter Typische Distanzfunktionen (cont.) Average Group Linkage: Durchschnittlicher Abstand aller Elemente der Vereinigung von A und B 1 C x,y C,C=A B Centroid Method: Abstand der Mittelwerte d( x, ȳ) d(x, y) Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Personen-Tracking mit Lasermesssystemen Fest installierte Lasermesssysteme können zum Verfolgen (engl. Tracking) von Personen genutzt werden Übliche Verfahren arbeiten in drei Schritten: 1. Unterteilen der Messdaten in Vordergrund und Hintergrund durch Background Subtraction 2. Gruppierung der Vordergrund-Daten 3. Verfolgen der Gruppen in konsekutiven Scans Ward s Method: Zunahme der Varianz beim Vereinigen von A und B d( x, ȳ) 1/ A + 1/ B und zahlreiche weitere Funktionen... J. Zhang 367 J. Zhang 368

93 5.3.3 Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Background Subtraction Zuerst wird ein Hintergrundmodell erstellt: Zu jedem Winkel wird für einen bestimmten Zeitraum ein Histogramm der Entfernungsmessungen ermittelt Das Histogramm für jeden Winkel α wird durch eine Verteilungsfunktion beschrieben (meistens: Gauß-Verteilung mit Mittelwert µ α und Standardabweichung σ α ) Mit Hilfe des Hintergrundmodells werden die Scans während des Betriebs gefiltert: Abstandsmessungen die kleiner als µα n σ α werden als Vordergrund klassifiziert Die Vordergrund-Messungen können ähnlich wie bei der Linien-Extraktion zu Gruppen zusammengefasst werden Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Background Subtraction (cont.) Verändert sich der Hintergrund muss das Verfahren neu initialisiert werden Dies kann mit Hilfe eines gleitenden Hintergrunds umgangen werden Objekte die als Vordergrund klassifiziert werden, sich aber nicht bewegen, werden nach einiger Zeit zum Hintergrundmodell hinzugefügt Background Subtraction wird häufig auch für das Tracking von Objekten in der Bildverarbeitung verwendet J. Zhang 369 J. Zhang Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Gruppierung der Vordergrund-Gruppen Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Tracking Die Gruppierung erfolgt ähnlich wie bei der Linien-Extraction In der Praxis sind die Lasermesssysteme of nahe des Bodens montiert Daher sind meist die Beine von Personen sichtbar Vordergrund-Gruppen der Durchmesser größer als cm ist, können für die Personen-Detektion ignoriert werden Mittels der Hough-Transformation wäre es möglich auch nach (Halb-)Kreisen zu suchen Je nach Abstand vom Laserscanner haben die Vordergrundgruppen unterschiedlich viele Messpunkte Durch Verdeckung sind nicht immer beide Beine zu sehen Meist steht ein Bein während das andere sich bewegt Schwierigkeit: Welches Paar Beine gehört zusammen? In der Literatur werde komplexe Bewegungsmodelle vorgestellt Die Verfolgung in konsekutiven Scans erfolgt dann zumeist über Kalman- oder Partikel-Filter und ähnliche Verfahren J. Zhang 371 J. Zhang 372

94 5.3.3 Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Tracking (cont.) Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Lernen eines Bewegungsgraphen Werden in einem größeren Bereich über einen längeren Zeitraum Bewegungen verfolgt, kann man die Häufigkeit ermitteln, mit der bestimmte Bereiche begangen werden Aus dieser Häufigkeitsverteilung lässt sich ein Graph generieren der die Pfade beschreibt die gegangen werden An den Knotenpunkten können Wahrscheinlichkeiten ermittelt werden, in welche Richtung abgebogen wird Dadurch lassen sich Vorhersagen machen, wohin eine Person geht J. Zhang 373 J. Zhang Scandaten verarbeiten - Anwendungen - Personen-Tracking mit Lasermesssystemen Intelligente Roboter Lernen eines Bewegungsgraphen (cont.) J. Zhang Scandaten verarbeiten - Literatur Intelligente Roboter [Gut00] [NMTS] J.-S. Gutmann: Robuste Navigation autonomer mobiler Systeme. Universität Freiburg, Diss., Kapitel 3, Seite URL papers/thesis-steffen.ps.gz Viet Nguyen, Agostino Martinelli, Nicola Tomatis, Roland Siegwart: A Comparison of Line Extraction Algorithms using 2D Laser Rangefinder for Indoor Mobile Robotics. In: Proceedings of the IEEE/RSJ Intenational Conference on Intelligent Robots and Systems, IROS Edmonton, Canada,. URL asl.epfl.ch/index.html?content=epfl/ publications.php J. Zhang 376

95 6 Rekursive Zustandsschätzung Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung Grundlagen der Wahrscheinlichkeitsrechnung Stochastische Fortpflanzungsgesetze und Belief Bayes-Filter Selbst-Lokalisierung mobiler Roboter Literatur 7. Sichtsysteme 8. Fuzzy-Logik 6 Rekursive Zustandsschätzung Intelligente Roboter Gliederung (cont.) 9. Steuerungsarchitekturen J. Zhang 377 J. Zhang Rekursive Zustandsschätzung Intelligente Roboter Rekursive Zustandsschätzung Idee: Schätzung eines Systemzustands der nicht direkt gemessen werden kann, aber aus den Messungen ableitbar ist Probabilistische Algorithmen zur Zustandsschätzungen berechnen eine belief distribution über die möglichen Zustände Der belief beschreibt das Wissen eines Systems über den Zustand seiner Umgebung 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung Sensormessungen, Stellgrößen, der Zustand eines Systems und von dessen Umgebung können als Zufallsvariable modelliert werden Sei X eine Zufallsvariable und x ein Wert den diese annehmen kann Ist der Wertebereich von X diskret schreibt man: p(x = x) um die Wahrscheinlichkeit anzugeben, dass X den Wert x hat J. Zhang 379 J. Zhang 380

96 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Die Summe diskreter Wahrscheinlichkeiten ist 1: p(x = x) = 1 x Wahrscheinlichkeiten sind immer nicht-negativ, d.h. p(x = x) 0 Der Einfachheit halber schreiben wir p(x) anstelle von p(x = x) 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Kann die Zufalssvariable einen kontinuierlichen Wert annehmen, dann wird sie durch eine Dichtefunktion beschrieben (engl. probability density function, PDF) Eine typische Dichtefunktion ist die Normalverteilung mit Mittelwert µ und Varianz σ 2 : { p(x) = (2πσ 2 ) 1 2 exp 1 (x µ) 2 } 2 Im mehrdimensionalen Fall mit Mittelwertsvektor µ und Kovarianzmatrix Σ: p(x) = det(2πσ) 1 2 exp { 1 } 2 (x µ)t Σ 1 (x µ) σ 2 J. Zhang 381 J. Zhang Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Die Kovarianzmatrix Σ ist positiv semidefinit und symmetrisch Für eine PDF gilt: p(x)dx = 1 Der Funktionswert einer PDF ist nicht wie bei diskreten Wahrscheinlichkeiten nach oben durch 1 begrenzt Die Wahrscheinlichkeit, das X den Wert x und Y den Wert y hat, schreibt man p(x, y) = p(x = x und Y = y) 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Sind die beiden Zufallsvariablen X und Y von einander unabhängig gilt: p(x, y) = p(x)p(y) Wenn man weiß, das Y den Wert y hat, dann wird die Wahrscheinlichkeit für X wie folgt beschrieben p(x y) = p(x = x Y = y) Gilt für diese bedingte Wahrscheinlichkeit das p(y) > 0 ist, gilt: p(x y) = p(x, y) p(y) J. Zhang 383 J. Zhang 384

97 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Sind X und Y voneinander unabhängig, gilt: p(x y) = p(x)p(y) p(y) = p(x) Das bedeutet, wenn X und Y unabhangig voneinander sind, sagt uns Y nichts über X Gesetz der totalen Wahrscheinlichkeit: p(x) = y p(x y)p(y) (diskret) p(x) = p(x y)p(y)dy (kontinuierlich) 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Satz von Bayes: (mit p(y) > 0) p(x y) = p(y x)p(x) p(y) = p(x y) = p(y x)p(x) p(y) = p(y x)p(x) x p(y x )p(x ) p(y x)p(x) p(y x )p(x )dx (diskret) (kontinuierlich) Der Satz von Bayes beschreibt das Umkehren von Schlussfolgerungen die Berechnung von p(ereignis Ursache) ist oft einfach aber gesucht ist p(ursache Ereignis) J. Zhang 385 J. Zhang Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Der Satz von Bayes spielt eine hervorgehobene Rolle Sei x die Größe die wir aus y ableiten wollen, dann bezeichnet man p(x) als A-Priori-Wahrscheinlichkeit und y als Daten (z.b. Sensormessungen) Die Verteilung p(x) beschreibt das Wissen über X bevor die Messung y berücksichtigt wird Die Verteilung p(x y) wird als A-Posteriori-Wahrscheinlichkeit von X bezeichnet Der Satz von Bayes erlaubt nun p(x y) zu berechnen, wenn die Wahrscheinlichkeit für eine Messung y bei einem Zustand x bekannt ist 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Im Satz von Bayes hängt p(y) nicht von x ab Daher ist der Faktor p(y) 1 für jeden Wert x in p(x y) gleich Dieser Faktor wird meist als Normaliserungsfaktor im Satz von Bayes notiert: p(x y) = ηp(y x)p(x) Diese abkürzende Schreibweise besagt, das das Ergebnis auf 1 normalisiert ist η bezeichnet im Folgenden immer solche Normalisierungsfaktoren, deren eigentliche Werte sich aber unterscheiden können J. Zhang 387 J. Zhang 388

98 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Alle bisherigen Regeln können durch eine weitere Zufallsvariable Z bedingt sein Dies bedeutet für den Satz von Bayes mit Z = z: solange p(y z) > 0 p(x y, z) = p(y x, z)p(x z) p(y z) Ähnliches gilt für die Regel zur Kombination unabhängiger Zufallsvariablen: 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Obige Formel beschreibt eine bedingte Unabhängigkeit und ist äquivalent zu p(x z) = p(x z, y) p(y z) = p(y z, x) Sie besagt, das y keine Information über x trägt, wenn z bekannt ist p(x, y z) = p(x z)p(y z) J. Zhang 389 J. Zhang Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Sie impliziert nicht, das X unabhängig von Y ist: p(x, y z) = p(x z)p(y z) (p(x, y) = p(x)p(y) und die Umkehrung gilt generell auch nicht: (p(x, y) = p(x)p(y) p(x, y z) = p(x z)p(y z) 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Der Erwartungswert einer Zufallsvariablen ist gegeben als: E[X] = x x p(x) (diskret) E[X] = x p(x) dx (kontinuierlich) Der Erwartungswert ist eine lineare Funktion einer Zufallsvariablen, d.h. es gilt: E[aX + b] = ae[x] + b J. Zhang 391 J. Zhang 392

99 6.1 Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Die Kovarianz von X berechnet sich wie folgt: Cov[X] = E[X E[X]] 2 = E[X 2 ] E[X] Rekursive Zustandsschätzung - Grundlagen der Wahrscheinlichkeitsrechnung Intelligente Roboter Grundlagen der Wahrscheinlichkeitsrechnung (cont.) Die Entropie einer Warscheinlichkeitsverteilung ist gegeben durch: H p (x) = E[ log 2 p(x)] Die Kovarianz misst das erwartete Quadrat der Abweichung vom Mittelwert bzw. H p (x) = x p(x) log 2 p(x) (diskret) H p (x) = p(x) log 2 p(x) dx (kontinuierlich) Die Entropie ist die erwartete Information, die die Werte von x tragen Im diskreten Fall ist log 2 p(x) die Anzahl der Bits, die notwendig sind, um x optimal zu kodieren, wenn p(x) die Wahrscheinlichkeit für die Beobachtung von x ist J. Zhang 393 J. Zhang Rekursive Zustandsschätzung - Stochastische Fortpflanzungsgesetze und Belief Intelligente Roboter Stochastische Fortpflanzunggesetze Der Zustand eines Systems lässt sich durch eine Wahrscheinlichkeitsverteilung p(x t x 0:t 1, z 1:t 1, u 1:t ) beschreiben, die abhängig ist von den bisherigen Zuständen x 0:t 1 allen bisherigen Messungen z1:t 1 und allen bisherigen Stellgrößen (Steuerkommandos) u 1:t 6.2 Rekursive Zustandsschätzung - Stochastische Fortpflanzungsgesetze und Belief Intelligente Roboter Stochastische Fortpflanzunggesetze (cont.) Ist der Zustand x komplett, dann fasst die Stellgröße u t und der Zustand x t 1 alle bisherigen Ereignisse zusammen: p(x t x 0:t 1, z 1:t 1, u 1:t ) = p(x t x t 1, u t ) Auch für die Messungen gilt ähnliches: p(z t x 0:t, z 1:t 1, u 1:t ) = p(z t x t ) In anderen Worten: Der Zustand x t ist ausreichend um die Messung z t vorherzusagen J. Zhang 395 J. Zhang 396

100 6.2 Rekursive Zustandsschätzung - Stochastische Fortpflanzungsgesetze und Belief Intelligente Roboter Stochastische Fortpflanzunggesetze (cont.) 6.2 Rekursive Zustandsschätzung - Stochastische Fortpflanzungsgesetze und Belief Intelligente Roboter Stochastische Fortpflanzunggesetze (cont.) Die bedingte Wahrscheinlichkeit p(x t x t 1, u t ) wird als Zustandsübergangswahrscheinlichkeit bezeichnet x t 1 x t x t+1 Sie beschreibt wie sich der Zustand der Umgebung abhängig von den Stellgrößen ändert ut 1 ut u t+1 Die Wahrscheinlichkeit p(z t x t ) wird Wahrscheinlichkeit der Messung genannt z t 1 z t z t+1 Beide Wahrscheinlichkeiten zusammen beschreiben ein dynamisches stochastisches System Eine solche Systembeschreibung ist auch bekannt als hidden Markov model (HMM) oder dynamic Bayes network (DBN) J. Zhang 397 J. Zhang Rekursive Zustandsschätzung - Stochastische Fortpflanzungsgesetze und Belief Intelligente Roboter Belief Als belief bezeichnet man das Wissen eines Systems über seinen Zustand Der wahre Zustand eines Systems ist nicht dasselbe Der belief ist die A-Posteriori-Wahrscheinlichkeit der Zustandsvariablen anhand der bisherigen Daten: bel(x t ) = p(x z 1:t, u 1:t ) Diese Definition setzt den belief als Wahrscheinlichkeit nach der Messung 6.2 Rekursive Zustandsschätzung - Stochastische Fortpflanzungsgesetze und Belief Intelligente Roboter Belief (cont.) Der belief vor der Messung wird als bel(x t ) = p(x t z 1:t 1, u 1:t ) definiert und meist als Vorhersage (engl. prediction) bezeichnet Der Schritt bel(x t ) aus der Vorhersage bel(x t ) zu berechnen, wird als Korrektur (engl. correction oder measurement update) bezeichnet J. Zhang 399 J. Zhang 400

101 6.3 Rekursive Zustandsschätzung - Bayes-Filter Intelligente Roboter Bayes-Filter Rekursive Zustandsschätzung - Bayes-Filter - Algorithmus Intelligente Roboter Bayes-Filter-Algorithmus Der allgemeinste Algorithmus um beliefs zu berechnen ist der Bayes-Filter-Algorithmus Der Algorithmus ist rekursiv und berechnet bel(x t ) zum Zeitpunkt t aus folgenden Größen bel(xt 1 ) zum Zeitpunkt t 1 der Stellgröße u t der Messung z t Bayes-Filter (bel(x t 1 ), u t, z t ): 1. for all x t do 2. bel(x t ) = p(x t u t, x t 1 ) bel(x t 1 ) dx t 1 3. bel(x t ) = η p(z t x t )bel(x t ) 4. endfor 5. return bel(x t ) J. Zhang 401 J. Zhang Rekursive Zustandsschätzung - Bayes-Filter - Algorithmus Intelligente Roboter Bayes-Filter-Algorithmus (cont.) In Zeile 2 wird die Stellgröße u t verarbeitet bel(x t ist das Integral des Produktes zweier Wahrscheinlichkeitsverteilungen: die Wahrscheinlichkeit für Zustand xt 1 und die Wahrscheinlichkeit das mit u t in den Zustand x t gewechselt wird Das ist die Vorhersage In Zeile 3 findet die Korrektur statt Rekursive Zustandsschätzung - Bayes-Filter - Algorithmus Intelligente Roboter Bayes-Filter-Algorithmus (cont.) Der Algorithmus muss mit einem belief zum Zeitpunkt t = 0 initialisiert werden In den meisten Fallen ist der Startzustand x t bekannt und die Wahrscheinlichkeit kann für alle anderen Zustände gleich 0 gesetzt werden Oder der Zustand ist vollkommen unbekannt und alle Zustände werden mit der gleichen Wahrscheinlichkeit initialisiert bel(x t ) wird mit der Wahrscheinlichkeit multipliziert, dass die Messung z t in diesem Zustand wahrgenommen wird J. Zhang 403 J. Zhang 404

102 6.3.1 Rekursive Zustandsschätzung - Bayes-Filter - Algorithmus Intelligente Roboter Bayes-Filter-Algorithmus (cont.) Der Algorithmus kann in dieser Form nur für sehr einfache Probleme implementiert werden Entweder muss die Integration in Zeile 2 und die Multiplikation in Zeile 3 in geschlossener Form möglich sein oder ein endlicher Zustandsraum muss gegeben sein, so dass das Integral in Zeile 2 zu einer Summe wird Rekursive Zustandsschätzung - Bayes-Filter - Mathematische Herleitung Intelligente Roboter Mathematische Herleitung des Bayes-Filter Beweis durch Induktion: Zeige das p(x t z 1:t, u 1:t ) aus p(x t 1 z 1:t 1, u 1:t 1 ) hergeleitet werden kann Beweis-Basis: Korrekte Initialisierung von bel(x o ) zum Zeitpunkt t = 0 Bedingungen: Zustand x t ist komplett und die Stellgrößen werden zufällig gewählt Nach dem Satz von Bayes gilt: p(x t z 1:t, u 1:t ) = p(z t x t, z 1:t 1, u 1:t )p(x t z 1:t 1, u 1:t ) p(z t z 1:t 1, u 1:t ) = ηp(z t x t, z 1:t 1, u 1:t )p(x z 1:t 1, u 1:t ) J. Zhang 405 J. Zhang Rekursive Zustandsschätzung - Bayes-Filter - Mathematische Herleitung Intelligente Roboter Mathematische Herleitung des Bayes-Filter (cont.) Da der Zustand komplett ist, gilt (bedingte Unabhängigkeit) Rekursive Zustandsschätzung - Bayes-Filter - Mathematische Herleitung Intelligente Roboter Mathematische Herleitung des Bayes-Filter (cont.) Nach dem Gesetz der totalen Wahrscheinlichkeit gilt: Daraus folgt: p(z t x t, z 1:t 1, u 1:t ) = p(z t x t ) bel(x t ) = p(x t z 1:t 1, u 1:t ) = p(x t x t 1, z 1:t 1, u 1:t ) p(x t 1 z 1:t 1, u 1:t ) dx t 1 p(x t z 1:t, u 1:t ) = ηp(z t x t )p(x t z 1:t 1, u 1:t ) und damit bel(x t ) = ηp(z t x t )bel(x t ) was Zeile 3 des Bayes-Filter-Algorithmus entspricht Wider gilt, wenn wir x t 1 kennen, liefern z 1:t 1 und u 1:t 1 keine zusätzliche Information Daher gilt die Vereinfachung p(x t x t 1, z 1:t 1, u 1:t ) = p(x t x t 1, u t ) u t bleibt, da diese Stellgröße erst zum Zustandsübergang führt J. Zhang 407 J. Zhang 408

103 6.3.2 Rekursive Zustandsschätzung - Bayes-Filter - Mathematische Herleitung Intelligente Roboter Mathematische Herleitung des Bayes-Filter (cont.) Bei zufällig gewählten Stellgrößen kann u t daher auch in den Bedingungen für p(x t 1 z 1:t 1, u 1:t ) weggelassen werden Es ergibt sich mit bel(x t ) = p(x t x t 1, u t ) p(x t 1 z 1:t 1, u 1:t 1 ) dx t Rekursive Zustandsschätzung - Bayes-Filter - Mathematische Herleitung Intelligente Roboter Mathematische Herleitung des Bayes-Filter (cont.) Für konkrete Implementierungen des Bayes-Filter-Algoritmus werden drei Wahrscheinlichkeitsverteilungen benötigt: der initiale belief p(x0 ) die Wahrscheinlichkeit der Messungen p(z t x t ) die Zustandsübergangswahrscheinlichkeiten p(x t u t, x t 1 ) die 2. Zeile des Bayes-Filter-Algoritmus J. Zhang 409 J. Zhang Rekursive Zustandsschätzung - Bayes-Filter - Markov Annahme Intelligente Roboter Markov-Annahme Die Annahme, dass ein Zustand komplett ist, wird Markov-Annahme (engl. Markov assumption) genannt Die Annahme fordert, das vergangene und zukünftige Daten unabhängig sind, wenn man den aktuellen Zustand x t kennt Rekursive Zustandsschätzung - Bayes-Filter - Markov Annahme Intelligente Roboter Markov-Annahme (cont.) Das folgende Beispiel soll verdeutlichen, wie hart diese Annahme ist: Zur Lokalisierung mobiler Roboter werden Bayes-Filter eingesetzt Dabei ist x t die Pose des Roboters mit Bezug auf eine feste Karte Es gibt Effekte die die Sensormessungen systematisch verfälschen und damit die Markov-Annahme zunichte machen: Einfluss sich bewegender Personen auf die Sensormessungen Ungenauigkeiten in den probabilistischen Modellen p(z t x t) und p(x t u t, x t 1 ) Rundungsfehler, wenn Näherungen für die Repräsentation des beliefs verwendet werden Variablen innerhalb der Software, die mehrere Stellgrößen beeinflussen J. Zhang 411 J. Zhang 412

104 6.3.3 Rekursive Zustandsschätzung - Bayes-Filter - Markov Annahme Intelligente Roboter Markov-Annahme (cont.) Einige dieser Variablen könnten im Zustand berücksichtigt werden, werden aber oft fallen gelassen, um den rechnerischen Aufwand zu verringern In der Praxis sind Bayes-Filter erstaunlich robust gegen die Verletzung der Markov-Annahme Rekursive Zustandsschätzung - Bayes-Filter - Darstellung und Berechnung Intelligente Roboter Darstellung und Berechnung Bayes-Filter können auf unterschiedliche Weise implementiert werden Die Techniken basieren auf unterschiedlichen Annahmen über die Wahrscheinlichkeiten für die Messungen, die Zustandsübergänge und den belief Die Algorithmen besitzen dadurch unterschiedliche rechnerische Eigenschaften In den meisten Fällen müssen die beliefs angenähert werden Dies hat Auswirkungen auf die Komplexität der Algorithmen Keine der verschiedenen Techniken ist generell zu bevorzugen J. Zhang 413 J. Zhang Rekursive Zustandsschätzung - Bayes-Filter - Darstellung und Berechnung Intelligente Roboter Effizienz Einige Näherungen bedingen polynomiale Laufzeiten in Abhängigkeit von der Dimension des Zustands (z.b. Kalman-Filter) Einige haben exponentielle Laufzeiten Partikel-basierte Verfahren haben eine Laufzeit, die von der gewünschten Genauigkeit abhängt Rekursive Zustandsschätzung - Bayes-Filter - Darstellung und Berechnung Intelligente Roboter Genauigkeit Einige Näherungen eignen sich besser um eine Reihe von Wahrscheinlichkeitsverteilungen anzunähern Beispielsweise eignen sich Normalverteilungen für uni-modale Wahrscheinlichkeitsverteilungen Histogramme können multimodale Verteilungen besser annähern, aber auf Kosten der Genauigkeit Partikel-Techniken können eine Vielzahl von Verteilungen annähern, wodurch allerdings die Anzahl der Partikel sehr groß werden kann J. Zhang 415 J. Zhang 416

105 6.3.4 Rekursive Zustandsschätzung - Bayes-Filter - Darstellung und Berechnung Intelligente Roboter Einfachheit der Implementierung Abhängig von der Form der Verteilungen kann die Implementierung der Verfahren aufwändig sein Weil Partikel-Techniken meist sehr einfach für nicht-lineare Systeme implementiert werden können, sind sie zurzeit sehr populär Rekursive Zustandsschätzung - Bayes-Filter - Zusammenfassung Intelligente Roboter Zusammenfassung Die Interaktion zwischen einem Roboter und dessen Umgebung wird modelliert als gekoppeltes dynamisches System. Der Roboter setzt dazu Stellgrößen um die Umgebung zu manipulieren und nimmt die Umgebung über Sensormessungen war. Die Dynamiken werden charakterisiert durch zwei wahrscheinlichkeitstheoretische Gesetze die Wahrscheinlichkeitsverteilungen für den Zustandsübergang die " die Messungen Erstere beschreibt wie der Zustand sich mit der Zeit ändert, die Zweite, wie Messungen wahrgenommen werden. J. Zhang 417 J. Zhang Rekursive Zustandsschätzung - Bayes-Filter - Zusammenfassung Intelligente Roboter Zusammenfassung (cont.) Der belief ist die A-Posteriori-Wahrscheinlichkeit des Zustands gegeben alle bisherigen Messungen und Stellgrößen. Der Bayes-Filter ist ein Algorithmus um den belief zu berechnen. Er ist rekursiv, d.h. der belief zum Zeitpunkt t wird aus dem belief zum Zeitpunkt t-1 berechnet. Der Bayes-Filter macht eine Markov-Annahme, d.h. der Zustand ist eine komplette Zusammenfassung der Vergangenheit. Diese Annahme trifft in der Praxis meist nicht zu Rekursive Zustandsschätzung - Bayes-Filter - Zusammenfassung Intelligente Roboter Zusammenfassung (cont.) Der Bayes-Filter kann üblicherweise nicht direkt angewandt werden. Implementierungen können evaluiert werden anhand verschiedener Kriterien wie Genauigkeit, Effizienz und Einfachheit. J. Zhang 419 J. Zhang 420

106 6.4.1 Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Markov-Lokalisierung Intelligente Roboter Markov-Lokalisierung Wahrscheinlichkeitstheoretische Lokalisierungsverfahren sind Varianten des Bayes-Filters Die direkte Anwendung des Bayes-Filters wird Markov-Lokalisierung genannt Markov-Lokalisierungen benötigen zusätzlich eine Karte der Umgebung Die Karte spielt eine Rolle im Messmodell (teilweise auch im Bewegungsmodel)l Markov-Lokalisierung wird verwendet für globale Lokalisierung Positions-Tracking das Kidnapped-Robot-Problem Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Markov-Lokalisierung Intelligente Roboter Markov-Lokalisierung (cont.) bel(x) p(z x) bel(x) bel(x) p(z x) bel(x) bel(x) x x x x x x x J. Zhang 421 J. Zhang Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Extended Kalman Filter Lokalisierung Intelligente Roboter Extended Kalman Filter Lokalisierung Ein besonderer Fall der Markov-Lokalisierung ist der extended Kalman filter localisation Algorithmus (oder EKF-Lokalisierung) Die EKF-Lokalisierung repräsentiert den belief bel(x t ) durch den Mittelwert µ t und die Kovarianzmatrix Σ t Die Karte ist dabei eine Sammlung von Merkmalen Der Roboter misst die Entfernung und Richtung einiger Merkmale in seiner Nähe Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Extended Kalman Filter Lokalisierung Intelligente Roboter Extended Kalman Filter Lokalisierung (cont.) bel(x) bel(x) p(z x) bel(x) x x x x bel(x) x J. Zhang 423 J. Zhang 424

107 6.4.3 Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Grid-Lokalisierung Intelligente Roboter Grid-Lokalisierung Grid-Lokalisierung approximiert den belief durch einen Histogram-Filter über die Grid-Dekomposition des Zustandsraumes Dieser diskrete Bayes-Filter verwaltet eine Menge diskreter Wahrscheinlichkeitswerte: belx t = {p k,t } Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Grid-Lokalisierung Intelligente Roboter Grid-Lokalisierung (cont.) bel(x) p(z x) bel(x) bel(x) x x x x Robot position Robot position wobei jedes p k,t zu einer Grid-Zelle x k gehört Typische Wertefür die Zellengröße in der Praxis sind 15cm Kantenlänge und 5 Winkelauflösung p(z x) x bel(x) x Robot position bel(x) x J. Zhang 425 J. Zhang Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Monte-Carlo-Lokalisierung Intelligente Roboter Monte-Carlo-Lokalisierung Monte-Carlo-Lokalisierung (MCL) approximiert den belief durch eine Menge von Partikeln Sehr populär Mit MCL können nahezu beliebige Verteilungsfunktionen angenähert werden Es können Multimodale und unimodale Verteilungen approximiert und übergangslos zwischen ihnen gewechselt werden Eine höhere Anzahl von Partikeln erhöht die Genauigkeit Rekursive Zustandsschätzung - Selbst-Lokalisierung mobiler Roboter - Monte-Carlo-Lokalisierung Intelligente Roboter Monte-Carlo-Lokalisierung (cont.) bel(x) p(z x) bel(x) bel(x) p(z x) x x x x x bel(x) x bel(x) x J. Zhang 427 J. Zhang 428

108 6.5 Rekursive Zustandsschätzung - Literatur Intelligente Roboter [TBF05] Sebastian Thrun, Wolfram Burgard, Dieter Fox, Ronald C. Arkin (Hrsg.): Probabilistic Robotics. MIT Press; Cambridge, Massachusetts, 2005 (Intelligent Robotics and Autonomous Agents). Kapitel 2 7 Sichtsysteme Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung 7. Sichtsysteme Transformationen Homogene Transformationen Kamera-Kalibrierung Anwendungen Omnidirektionale Sichtsysteme Symmetrie J. Zhang 429 J. Zhang Sichtsysteme Intelligente Roboter Gliederung (cont.) Literatur 8. Fuzzy-Logik 9. Steuerungsarchitekturen 7 Sichtsysteme Intelligente Roboter Sichtsysteme in der Robotik Linearkamera (z.b. Barcode-Scanner) analoge CCD-Kamera (schwarz/weiß) analoge CCD-Farbkamera (1 Chip oder 3 Chips) High-Dynamic-Range CMOS-Kamera Digitalkameras (USB oder Firewire) Kamera + strukturiertes Licht (Laser, Farbstreifen oder -muster) Stereosysteme catadioptrische Systeme (z.b. omnidirektionale Sichstysteme) dioptrics Linsen catoptrics Spiegel J. Zhang 431 J. Zhang 432

109 7 Sichtsysteme Intelligente Roboter Sichtsysteme und Manipulation 7 Sichtsysteme Intelligente Roboter Sichtsysteme in industriellen Roboteranwendungen Greifen von Objekten separat oder geordnet liegende Werkstücke wahllos durcheinander liegende Werkstücke ( Bin-Picking, Griff in die Kiste ) Handhabung von Objekten Veredeln, Abdichten, Entgraten, Schneiden, Binden, Verpacken,... Inspektion während der Fertigung Montage Punkt- und Bogenschweißen Schrauben, Stecken Befestigen, Kleben... J. Zhang 433 J. Zhang Sichtsysteme Intelligente Roboter Sichtsysteme in der kognitiven Robotik Erkennen von Objekten statisch: Typisieren, Suchen, Indizieren,... dynamisch: Bewegungen, Detektion von Fehloperationen,... Menschen Gesicht Blickrichtung Gestik Operationsvorgang (einzelne Operationen, Reihenfolge,...) 7 Sichtsysteme Intelligente Roboter Sichtsysteme in der kognitiven Robotik (cont.) Weltmodellierung: Ortung von Objekten 3D-Rekonstruktion Belegung der Umwelt Lage/Orientierung des Roboters relativ absolut... bezogen auf verschiedene Koordinatensysteme J. Zhang 435 J. Zhang 436

110 7 Sichtsysteme Intelligente Roboter Sichtsysteme in der kognitiven Robotik (cont.) 7 Sichtsysteme Intelligente Roboter Koordinatensysteme eines Manipulationssystems Vom Sichtsystem geführte Bewegungen: Visual-Servoing Grob- und Feinpositionierung Verfolgung von beweglichen Objekten Schwingen, Jonglieren, Balancieren,... Kollisionsvermeidung basierend auf dem Prinzip des optischen Flusses 3D-Abstandsmessungen Koordination mit anderen Robotern und/oder Menschen Intentionserkennung Bewegungsschätzung J. Zhang 437 J. Zhang Sichtsysteme - Transformationen Intelligente Roboter Roboter - Tisch - Kamera 7.1 Sichtsysteme - Transformationen Intelligente Roboter Transformationen J. Zhang 439 J. Zhang 440

111 7.1 Sichtsysteme - Transformationen Intelligente Roboter Transformationen (cont.) Punkte eines Koordinatensystems lassen sich über Transformationen in ein anderes Koordinatensystem überführen: Z: Transformation von Welt- in Manipulatorbasiskoordinaten T 6 : komplette kinematische Transformation von der Manipulatorbasis bis zum Manipulatorende für einen Roboterarm mit sechs Freiheitsgraden E: Transformation vom Manipulatorende zum Greifer B: Transformation von Welt- zu Objektkoordinaten G: Beschreibung der Greifposition/-orientierung in Objektkoordinaten 7.1 Sichtsysteme - Transformationen Intelligente Roboter Transformationen (cont.) Greift der Roboter ein Objekt, lässt sich die Weltkoordinate des Greifpunktes auf zwei Arten bestimmen und es ergibt sich: ZT 6 E = BG J. Zhang 441 J. Zhang Sichtsysteme - Transformationen Intelligente Roboter Transformationen (cont.) Soll der Manipulator zur Greifposition bewegt werden, muss folgende Gleichung gelöst werden: T 6 = Z 1 BGE 1 Um die Position des Objektes nach vollendeter Greifoperation zu bestimmen, berechnet man: 7.1 Sichtsysteme - Transformationen Intelligente Roboter Transformationen (cont.) Eine Kamera im System liefert zwei weitere Transformationen: C: Transformation von Kamera- in Weltkoordinaten (Bestimmung der Transformation off-line durch Kalibrierung der Kamera) I: Transformation vom Koordinatensystem im Greifpunkt zum Kamerakoordinatensystem (Greifpunkt wird mit Methoden der Bildverarbeitung bestimmt) B = ZT 6 EG 1 J. Zhang 443 J. Zhang 444

112 7.1 Sichtsysteme - Transformationen Intelligente Roboter Transformationen (cont.) Die Transformation P vom Greifpunkt zum Weltkoordinatensystem ist dann: P = C I Die Kamera-Welt-Kalibrierung kann aus folgender Gleichung abgeleitet werden: C = P I Sichtsysteme - Homogene Transformationen Intelligente Roboter Homogene Koordinaten Homogene Koordinaten sind bekannt aus der Computergrafik um Probleme in der Matrixberechnug zu umgehen Ein n-dimensionaler Raum wird mit n + 1 Dimensionen dargestellt Aus (x, y, z) wird (hx, hy, hz, h), wobei h eine beliebige Zahl ist In der Robotik ist h = 1, was einer direkten Projektion zwischen n- und (n + 1)-dimensionalem Raum entspricht h ist eine Art Skalierung J. Zhang 445 J. Zhang Sichtsysteme - Homogene Transformationen Intelligente Roboter Homogene Transformationen 7.2 Sichtsysteme - Homogene Transformationen Intelligente Roboter Homogene Transformationen (cont.) Eine 3 3-Matrix kann eine Rotation, Skalierung oder Scherung beschreiben aber keine Verschiebung (Translation) Dies kann umgangen werden, indem eine weitere Spalte zur Matrix hinzugefügt wird Aber: Die Matrix ist dann nicht mehr invertierbar Man definiert daher eine 4 4-Matrix um sowohl Rotation, Translation, Scherung, Projektion, lokale und komplette Skalierung zu beschreiben T = = Rotation Translation Scherung lokale Skalierung Projektion Skalierung J. Zhang 447 J. Zhang 448

113 7.2 Sichtsysteme - Homogene Transformationen Intelligente Roboter Homogene Transformationen (cont.) In der Robotik ist man nur an Rotation und Translation interessiert Daher ergibt sich: Rotation Translation T = Sichtsysteme - Homogene Transformationen Intelligente Roboter Translation p x Trans(p x, p y, p z ) = p y p z J. Zhang 449 J. Zhang Sichtsysteme - Homogene Transformationen Intelligente Roboter Rotation um x-achse 7.2 Sichtsysteme - Homogene Transformationen Intelligente Roboter Rotation um y-achse Rot x (θ) = 0 cos(θ) sin(θ) 0 0 sin(θ) cos(θ) cos(θ) 0 sin(θ) 0 Rot y (θ) = sin(θ) 0 cos(θ) J. Zhang 451 J. Zhang 452

114 7.2 Sichtsysteme - Homogene Transformationen Intelligente Roboter Rotation um z-achse 7.3 Sichtsysteme - Kamera-Kalibrierung Intelligente Roboter Kamera-Kalibrierung cos(θ) sin(θ) 0 0 Rot z (θ) = sin(θ) cos(θ) Kamera-Kalibrierung im Kontext der drei-dimensionalen maschinellen Bildverarbeitung ist die Bestimmung der intrinsischen und/oder extrinsischen Kamera-Parameter Intrinsische Parameter: Interner geometrischer Aufbau und optische Eigenschaften der Kamera extrinsische Parameter: Drei-dimensionale Position und Orientierung des Koordinatensystems der Kamera relativ zu einem Weltkoordinatensystem J. Zhang 453 J. Zhang Sichtsysteme - Kamera-Kalibrierung Intelligente Roboter Kamera-Kalibrierung (cont.) Welche Information erhält man? Um 3D-Objekte aus zwei oder mehr Bildern zu generieren, ist es notwendig die Beziehung zwischen dem Koordinatensystem des 2D-Bildes und dem des 3D-Objektes zu kennen Die Beziehung zwischen 2D und 3D kann durch zwei Transformationen beschrieben werden 7.3 Sichtsysteme - Kamera-Kalibrierung Intelligente Roboter Kamera-Kalibrierung (cont.) 1. Perspektivische Projektion eines 3D-Punktes auf einen 2D-Bildpunkt Mit der Schätzung eines 3D-Objektpunktes und der dazugehörigen Fehler-Kovarianzmatrix kann die Projektion auf ein Bild vorhergesagt werden 2. Rückprojektion eines 2D-Punktes auf einen 3D-Strahl Sei ein 2D-Bildpunkt gegeben, dann gibt es einen Strahl im dreidimensionalen Raum auf dem der korrespondierende 3D-Objektpunkt liegt Gibt es zwei oder mehr Ansichten des 3D-Punktes, kann dessen Koordinate mit Hilfe der Triangulation bestimmt werden J. Zhang 455 J. Zhang 456

115 7.3 Sichtsysteme - Kamera-Kalibrierung Intelligente Roboter Kamera-Kalibrierung (cont.) Die erste Transformation ist nützlich um den Suchraum beim Merkmalsvergleich oder bei der Hypothesen-Verifikation in der Szenenanalyse zu verringern Die zweite Transformation ist hilfreich um 3D-Information aus Merkmalen in 2D-Bildern abzuleiten Verschiedene Anwendungen für die Transformationen: Automatische Montage 3D-Messtechnik Roboter-Kalibrierung Tracking Trajektorien-Analyse automatische Fahrzeugführung 7.3 Sichtsysteme - Kamera-Kalibrierung Intelligente Roboter Kalibrierungsmethoden Die Kamera-Kalibrierung kann on-line oder off-line erfolgen Kalibrierungsplatte: Identifikation der Kamera-Parameter Direkte Erstellung der Koordinaten-Transformation zwischen Kamera- und Weltkoordinaten Selbst-Kalibrierung maschinelles Lernen J. Zhang 457 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Modell einer Kamera ohne Verzeichnung Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Modell einer Kamera ohne Verzeichnung (cont.) (x w, y w, z w ): 3D-Weltkoordinatensystem mit Ursprung O w (x, y, z): 3D-Koordinatensystem der Kamera mit Ursprung O (optisches Zentrum) (X, Y ): 2D-Bildkoordinatensystem mit Ursprung O 1 f : Brennweite der Kamera Lochkameramodell mit und ohne radiale Linseverzeichnung J. Zhang 459 J. Zhang 460

116 7.3.1 Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Transformation von Welt- in Kamerakoordinaten Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Projektion von Kamera- auf Bildkoordinaten Sei P(x w, y w, z w ) ein Punkt im Weltkoordinatensystem Seine Projektion auf die Bildebene kann wie folgt ermittelt werden: x x w y = R y w + t z z w r 1 r 2 r 3 mit R = r 4 r 5 r 6 und t = r 7 r 8 r 9 Die Parameter R und t sind die extrinsischen Parameter t x t y t z Punkt P wird auf die analoge (ideale) Bildkoordinate (u, v) projiziert Perspektivprojektion mit Brennweite f : u = f x z v = f y z Die Bildkoordinate (X, Y ) errechnet sich aus (u, v) mit: X = s u u Y = s v v Die Skalierungsfaktoren s u und s v rechnen die analogen Koordinaten von Meter in Pixel um s u, s v und f sind die intrinsischen Kamera-Parameter J. Zhang 461 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Projektion von Welt- auf Bildkoordinaten Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Pixelkoordinaten im Rechner Da nur zwei unabhängige intrinsische Parameter existieren, definiert man: f x fs u und f y fs v Diese Gleichungen liefern das verzeichnisfreie Kameramodell: X = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z Y = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z Von den im Rechner gespeicherten Bildkoordinaten (X f, Y f ) wird die Koordinate (C x, C y ) des Bildmittelpunktes abgezogen Damit ergibt sich: X = X f C x Y = Y f C y Die Unsicherheit über den Bildmittelpunkt kann Pixel erreichen J. Zhang 463 J. Zhang 464

117 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Kalibrierung einer Kamera: Grundkonzept Das Lochkamera-Modell liefert für die Kalibrierung die drei unabhängigen extrinsischen Parameter von R die drei unabhängigen extrinsischen Parameter von t die intrinsischen Parameter f x, f y, C x und C y Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Kalibrierungspunkte Die Kalibrierung erfolgt mit einer Menge von m Objektpunkten, die 1. bekannte Weltkoordinaten {x w,i, y w,i, z w,i }, i = 1,...,m in hinreichend genauer Präzision haben 2. innerhalb des Sichtfeldes der Kamera liegen Diese Kalibrierungspunkte werden im Kamerabild mit ihren respektiven Kamerakoordinaten {X i, Y i } detektiert J. Zhang 465 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Kalibrierung Das Problem bei der Kalibrierung einer Kamera ist die Identifikation der unbekannten Koeffizienten des Kameramodells Die Bestimmung für das verzeichnisfreie Kameramodell liefert expliziet die Position der Kamera in Weltkoordinaten Die grundlegendste Strategie für eine Kamerakalibration ermittelt die Koeffizienten mit Hilfe der linear-least-squares-identifikation der im folgenden vorgestellten perspektivischen Transformationsmatrix (engl. Perspective Transformation Matrix) Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Verzeichnisfreies Kameramodell Das verzeichnisfreie Kameramodell X = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z, lässt sich umschreiben zu X = a 11x w + a 12 y w + a 13 z w + a 14 a 31 x w + a 32 y w + a 33 z w + a 34 Y = a 21x w + a 22 y w + a 23 z w + a 24 a 31 x w + a 32 y w + a 33 z w + a 34 Y = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z J. Zhang 467 J. Zhang 468

118 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Perspektivische Transformationsmatrix Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Least Squares Es kann a 34 = 1 gesetzt werden, da eine Skalierung der Koeffizienten a 11,...,a 34 die Werte von X und Y nicht ändert Die Koeffizienten a 11,...,a 34 korrespondieren mit der so genannten perspektivischen Transformationsmatrix Die vorangegangenen beiden Gleichungen können im folgenden Identifikationsmodell zusammengefasst werden: [ ] xw y w z w Xx w Xy w Xz w x w y w z w 1 Yx w Yy w Yz w a 11.. a 33 = [ X Y ] Die elf unbekannten Koeffizienten a 11,...,a 33 werden mit Hilfe der Methode der kleinsten Quadrate bestimmt Minimal sind sechs Kalibrierungspunkte notwendig Jedes Paar Datenpunkte {(x w,i, y w,i, z w,i ),(X i, Y i )} liefert zwei algebraische Gleichungen mit den gesuchten Koeffizienten Es kann gezeigt werden, dass die Kalibrierungspunkte nicht koplanar sein dürfen Ist dies nicht der Fall, ist die erste Matrix im Identifikationsmodell singulär, da die Spalten 3 und 4 sowie 7 und 8 linear abhängig sind J. Zhang 469 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Probleme Sichtsysteme - Kamera-Kalibrierung - Stereo-Vision Intelligente Roboter Stereo-Vision Die vorgestellte Lösung ist noch nicht global optimal, da bisher keine Linsenverzeichnung berücksichtigt wurde Es ist nicht möglich expliziet die Rotationsmatrix R und den Translationsvektor t zu bestimmen Das bedeutet die vorgestellte Kalibrierung ermöglicht nicht die Nutzung einer Kamera, die an einem sich bewegenden Roboterarm montiert ist Die Herstellung eines präzisen 3D-Kalibrierungsaufbaus ist aufwändiger als eine 2D-Kalibrierungsplatte Die bisher vorgestellte Kalibrierungsmethode ermöglicht allerdings eine schnelle, wenn auch unpräzise Messung von Punkten mit einem Stereo-Kamera-Aufbau Dazu werden zwei Kameras A und B kalibriert und liefern die Kalbrationsvektoren a A und a B Dann kann die Koordinate {x w, y w, z w } eines jeden Punktes der von beiden Kameras gesehen wird berechnet werden Jeder unbekannte Punkt hat die korrespondierenden Bildkoordinaten {X A, Y A } und {X B, Y B } J. Zhang 471 J. Zhang 472

119 7.3.3 Sichtsysteme - Kamera-Kalibrierung - Stereo-Vision Intelligente Roboter Stereo-Vision (cont.) Mit der Gleichung [ ] a11 a 31 X a 12 a 32 X a 13 a 33 X w [ ] x y a 21 a 31 Y a 22 a 32 Y a 23 a 33 Y w X a14 = Y a z 24 w für jede Kamera ensteht ein überbestimmtes Gleichungssystem, welches die Bestimmung der 3D-Koordinate eines Punktes aus den Bildkoordinaten erlaubt Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Kameramodell mit Linsenverzeichnung Reale Kameras und Linsen verursachen eine Vielzahl von Abbildungsfehlern und genügen nicht dem Modell Die Hauptfehlerquellen sind: 1. Räumliche Auflösung relativ gering, da die Auflösung der Kameras ebenfalls noch gering ist (Aktuelle DV-Kameras: 320x200, fps; 800x600, fps; fps) 2. Die meisten (billigen) Linsen sind unsymmetrisch und erzeugen Verzerrungen 3. Der Zusammenbau der Kamera ist nicht präzise durchführbar (Mittelpunkt des CCD-Chips liegt nicht auf der optischen Achse; Chip liegt nicht parallel zur Linse etc.) 4. Timing-Fehler zwischen Kamera-Hardware und Grabber-Hardware J. Zhang 473 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Verzeichnung Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Verzeichnung (cont.) Verzeichnung durch das Linsensystem resultiert in einer geänderten Position der Bildpixel auf der Bildebene Das Lochkameramodell wird dem nicht mehr gerecht Es wird ersetzt durch folgendes Modell: u = u + D u (u, v) v = v + D v (u, v) wobei u und v die nicht beobachtbaren, verzeichnisfreien Bildkoordinaten sind und u und v die korrespondierenden verzerrten Koordinaten J. Zhang 475 J. Zhang 476

120 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Verzeichnung (cont.) Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Arten von Verzeichnungen Es gibt zwei Arten von Verzeichnungen: radial tangential Radiale Verzeichnung verursacht einen Versatz der idealen Position nach innen (Tonne) oder außen (Kissen) Ursache: fehlerhafte radiale Krümmung der Linse J. Zhang 477 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Radiale Verzeichnung Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Tangentiale Verzeichnung gerade Linien keine Verzeichnung gerade Linien keine Verzeichnung J. Zhang 479 J. Zhang 480

121 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modellierung der Linsenverzeichnung Nach Weng et. al. (1992) unterscheidet man drei Verzeichnungen, die modelliert werden: 1. Radiale Linsenverzeichnung (engl. radial distortion) 2. Dezentrierende Verzeichnung (engl. decentering distortion) 3. Verzeichnung des dünnen Prismas (engl: thin prism distortion) Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell: Radiale Verzeichnung Radiale Verzeichnung D ur = ku(u 2 + v 2 ) + O[(u, v) 5 ] D vr = kv(u 2 + v 2 ) + O[(u, v) 5 ] Die dezentrierende Verzeichnung und die Verzeichnung des dünnen Prismas sind sowohl radial als auch tangential Bei der dezentrierenden Verzeichnung sind die optischen Zentren der Linsen nicht kolinear J. Zhang 481 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell: Dezentrierende Verzeichnung Dezentrierende Verzeichnung D ud = p 1 (3u 2 + v 2 ) + 2p 2 uv + O[(u, v) 4 ] D vd = 2p 1 uv + p 2 (u 2 + 3v 2 ) + O[(u, v) 4 ] Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell: Verzeichnung des dünnen Prismas Verzeichnung des dünnen Prismas D up = s 1 (u 2 + v 2 ) + O[(u, v) 4 ] D vp = s 2 (u 2 + v 2 ) + O[(u, v) 4 ] J. Zhang 483 J. Zhang 484

122 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Gesamtmodell der Linsenverzeichnung Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Vereinfachtes Modell Wir ignorieren die Terme mit Ordnung höher als 4 und fassen die vorangegangenen Modelle zusammen: D u = ku(u 2 + v 2 ) + (p 1 (3u 2 + v 2 ) + 2p 2 uv) + s 1 (u 2 + v 2 ) D v = kv(u 2 + v 2 ) + (2p 1 uv + p 2 (u 2 + 3v 2 )) + s 2 (u 2 + v 2 ) Da die radiale Linsenverzeichnung der dominierende Effekt ist, kann folgendes Gleichungssystem als vereinfachtes Kameramodell verwendet werden: Vereinfachtes Kameramodell mit Verzeichnung u = u(1 + k r 2 ) v = v(1 + k r 2 ) mit r 2 = u 2 + v 2 J. Zhang 485 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Radialer Verzeichnungskoeffizient Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell für kleine radiale Verzeichnungen Da u und v unbekannt sind, werden diese durch die messbaren Bildkoordinaten X und Y ersetzt und es gilt r 2 = (X/s u ) 2 + (Y /s v ) 2 Definiert man k k s 2 v, den radialen Verzeichniskoeffizienten (engl. radial distortion coefficient), dann folgt µ f y f x = s v s u Mit den oben genannten Modifikationen erhält man folgendes Kameramodell für kleine radiale Verzeichnungen X(1 + kr 2 ) = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z, Y (1 + kr 2 ) = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z und r 2 µ 2 X 2 + Y 2 J. Zhang 487 J. Zhang 488

123 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Variation Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter radial alignment constraint Ein für das least squares Verfahren nützlicher Trick ist die Verwendung der folgenden Variation des vorigen Modells X 1 + kr 2 = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z, Y 1 + kr 2 = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z und gilt unter der Annahme, dass kr 2 << 1 ist Wenn neben der radialen keine weiteren Verzeichnungen auftreten, erhält man das radial alignment constraint (RAC) bzw: mit X d = f x X und Y d = f y Y X Y = µ 1 r 1x w + r 2 y w + r 3 z w + t x r 4 x w + r 5 y w + r 6 z w + t y X d : Y d = x : y J. Zhang 489 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Tsai s RAC-basierte Kamerakalibrierung Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 Annahme C x, C y und µ sind bekannt Ziel ist die Ermittelung der extrinsischen Parameter R und t sowie der intrinsischen Parameter f x, f y und k Für die Kalibrierung wird eine Menge koplanarer Kalibrationspunkte verwendet werden Die Kalibrierung beinhaltet zwei Schritte 1. Ermitteln der Rotationsmatrix R und der Komponenten t x und t y des Translationsvektors 2. Schätzung der übrigen Parameter aufgrund der Ergebnisse des ersten Schrittes 1. Berechnung der Bildkoordinaten (X i, Y i ) Sei N die Anzahl der Bildpunkte, dann gilt für i = 1, 2,...,N X i = X f,i C x Y i = Y f,i C y wobei X f,i und Y f,i die Pixelwerte im Rechner sind J. Zhang 491 J. Zhang 492

124 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) 2. Bestimmung der Zwischenparameter {v 1, v 2, v 3, v 4, v 5 } Da RAC unabhängig vom k und f ist, können R, t x und t y berechnet werden Wir definieren {v 1, v 2, v 3, v 4, v 5 } {r 1 t 1 y, r 2 t 1, t x t 1, r 4 t 1, r 5 t 1 y y y y } Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Wenn man für den i-ten Kalibrationspunkt beide Seiten der RAC-Gleichung durch t y teilt und den entstehenden Ausdruck umarrangiert, erhält man [ xw,i Y i y w,i Y i Y i x w,i µx i ] v 2 y w,i µx i v 3 v 4 = µx i v 5 v 1 wobei x x,i und y w,i die x und y Koordinaten des i-ten Kalibrationspunktes sind J. Zhang 493 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Die minimale Anzahl an notwendigen nicht kolinearen Kalibrationspunkten ist N = 5 In der Praxis sollte N > 5 gewählt werden Bemerkung: Falls t y = 0 kann obige Gleichung auch in Abhängigkeit von t x formuliert werden Erhält man t x = t y = 0, so ist der gewählte Kameraaufbau in geeigneter Form abzuändern Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) 3. Berechnung von R, t x und t y [ ] v1 v Definiere C 2 v 4 v 5 Wenn keine Zeile oder Spalte zu null wird, gilt: t 2 y = S r S 2 r 4(v 1 v 5 v 4 v 2 ) 2 2(v 1 v 5 v 4 v 2 ) mit S r v 2 1 +v 2 2 +v 2 4+v 2 5 Andernfalls gilt t 2 y = (v 2 i + v 2 j ) 1 wobei v i und v j die Elemente aus C sind, die nicht null sind J. Zhang 495 J. Zhang 496

125 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Physikalisch sollten die Vorzeichen von x und X sowie y und Y gleich sein Dies wird genutzt, um das Vorzeichen von t y zu bestimmen Annahme: t y > 0 Berechnung von r 1 = v 1 t y r 2 = v 2 t y r 4 = v 4 t y Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Mit einem beliebigen Kalibrationspunkt lassen sich die folgenden Koordinaten bestimmen: x = r 1 x w + r 2 y w + t x y = r 4 x w + r 5 y w + t y Gilt sign(x) = sign(x) und sign(y) = sign(y ), dann gilt die Annahme sign(t y ) = 1 und wir behalten r 1, r 2, r 4, r 5 und t x Andernfalls setzen wir sign(t y ) = 1 und drehen die Vorzeichen von r 1, r 2, r 4, r 5 und t y entsprechend um r 5 = v 5 t y t x = v 3 t y J. Zhang 497 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Es gibt zwei mögliche Lösungen für die Rotationsmatrix R, wenn eine 2 2-Teilmatrix bekannt ist Diese Lösungen sind f x mit positivem und mit negativem Vorzeichen R kann wie folgt berechnet werden r 3 = ±(1 r 2 1 r 2 2 )1/2 r 6 = sign(r 1 r 4 + r 2 r 5 )(1 r 2 4 r 2 5) 1/2 [r 7 r 8 r 9 ] T = [r 1 r 2 r 3 ] T [r 4 r 5 r 6 ] T Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Anmerkungen: Die sich ergebende Matrix R ist möglicherweise nicht orthonormal Es müssen daher noch Orthonormalisierungsschritte durchgeführt werden, die hier nicht weiter erläutert werden Eine der beiden Lösungen führt zu einem positiven f x in Schritt 2 J. Zhang 499 J. Zhang 500

126 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 2 Bestimmung der Parameter t z, k, f x und f y Wenn R, t x und t y bekannt sind, können die übrigen Parameter mit folgender Gleichung für den i-ten Kalibrationspunkt bestimmt werden: mit [ Xi x i x i r 2 i ] t z f x kf x = X i w i Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 2 (cont.) Immer wenn mehr als drei Kalibrationspunkte benutzt werden, entsteht ein überbestimmtes Gleichungssystem Die Lösung mit Hilfe des least-squares-verfahrens liefert k, t z und f x Mit f x lassen sich die übrigen Parameter errechnen: f y = f x µ k = (kf x )f 1 x x i r 1 x w,i + r 2 y w,i + t x w i r 7 x w,i + r 8 y w,i J. Zhang 501 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter 3D-Kalibrierungsaufbau Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung Typischer 3D-Kalibrierungsaufbau Wenn für den erste Schritt des Tsai-Algorithmus nur Kalibrationspunkte auf der x- und y-achse des Weltkoordinatensystems verwendet werden, vereinfacht sich die RAC-Gleichung Üblicherweise: Die mittlere Reihe und mittlere Spalte einer typischen Kalibrierungsplatte definieren dann die x w - und y w -Achse Beim Tsai-Algorithmus wird das linear-least-squares-verfahren in Schritt eins auf fünf, in Schritt zwei auf drei Variablen angewandt Mit obiger Vereinfachung muss das least-squares-verfahren dreimal für zwei Variablen angewandt werden J. Zhang 503 J. Zhang 504

127 7.3.6 Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Da es hierfür eine geschlossene Lösung gibt, reduziert sich die für die Kalibrierung notwendige Rechenzeit signifikant Voraussetzung für die schnelle Variante des Tsai-Algorithmus ist, das µ sowie C x und C y a priori bekannt sind Wie bei Tsai s Kalibrierung sind zwei Schritte notwendig: 1. Verwendung von Kalibrationspunkten auf der x w - und y w -Achse und einer vereinfachten RAC-Gleichung, um R, t x und t y zu bestimmen 2. Bestimmung der übrigen Parameter mit allen sichtbaren Kalibrationspunkten Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Kalibrationspunkte für die erste Phase der schnellen RAC-basierten Kalibrierung J. Zhang 505 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Mit einer kalibrierten Kamera lässt sich das Bild entzerren Typische Kalibrierungsplatte J. Zhang 507 J. Zhang 508

128 7.3.7 Sichtsysteme - Kamera-Kalibrierung - Implizite Kamerakalibrierung Intelligente Roboter Implizite Kamerakalibrierung Die implizite Kamerakalibrierung berücksichtigt alle Linsenverzeichnungen (Gesamtmodell) Wie bei der Kalibrierung ohne Linsenverzeichnung werden die Parameter nicht explizit bestimmt Notation: (u i, v i ) Pixelkoordinaten im Bild (x i, y i ) Weltkoordinaten von Punkt P auf Ebene π i Sichtsysteme - Kamera-Kalibrierung - Implizite Kamerakalibrierung Intelligente Roboter Implizite Kamerakalibrierung (cont.) Projektion vom Pixel- auf das Weltkoordinatensystem auf eine Ebene π 1 ergibt sich aus dem Gesamtmodell wie folgt: X 1 = Y 1 = 0 i+j 3 a(1) ij ui 1 v j 1 0 i+j 3 a(3) ij ui 1 v j 1 0 i+j 3 a(2) ij ui 1 v j 1 0 i+j 3 a(3) ij ui 1 v j 1 wobei a (k) ij die Transformationskoeffizienten sind J. Zhang 509 J. Zhang Sichtsysteme - Kamera-Kalibrierung - Implizite Kamerakalibrierung Intelligente Roboter Implizite Kamerakalibrierung (cont.) Mit Hilfe zweier Kalibrationsebenen π 1 und π 2 können die Transformationskoeffizienten zu den beiden Ebenen bestimmt werden Somit ist jeder Bildpunkt auf zwei Ebenen projezierbar Die wirkliche Koordinate liegt auf der Verbindungsgeraden durch die beiden Punkte Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Motivation Motivation: Die Erkennung von Handgesten kann im Rahmen der Mensch-Maschine-Kommunikation genutzt werden Anwendungen im Bereich der virtuellen Realität, von Multimedia oder Roboter-Instruktion und -Teleoperation Lösungen: Sensoren an der Hand (z.b. Daten-Handschuh) Stereo-Vision (kalibriert) Stereo-Vision (unkalibriert) J. Zhang 511 J. Zhang 512

129 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Stereo-Vision Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Epipolarlinien Prinzipieller Stereoaufbau mit parallelen optischen Achsen Der mit einem Punkt aus Bild 1 korrespondierende Punkt kann auf der zugehörigen Epipolarlinie in Bild 2 gefunden werden J. Zhang 513 J. Zhang Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Epipolarlinien Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Unkalibrierte Stereo-Vision Cipolla et. al. (1994) präsentieren eine unkalibriertes Stereo-System zur Erkennung von Zeigegesten Annahme: Lochkameramodel mit Blick auf eine Ebene Die Beziehung zwischen Ebenenkoordinatensystem (X, Y ) und Bildkoordinatensystem (u, v) lautet: su X sv = T Y s 1 wobei T 3 3 eine homogene Matrix mit t 33 = 1 ist Bei parallelen optischen Achsen sind die Epipolarlinien horizontale Linien J. Zhang 515 J. Zhang 516

130 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Unkalibrierte Stereo-Vision (cont.) Um T zu bestimmen müssen mindestens vier Punkte beobachtet werden Man definiert die Grenzen der Arbeitsebene mit (0, 0),(0, 1),(1, 0) und (1, 1) Für die beiden Kameras werden die Transformationen T und T bestimmt Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes Notation: l w : Längsachse des Zeigers in der Welt l i : Projektion von l w auf die Bildebene l gp : Projektion von l w auf Ebene G Verfahren: Mit dem Bild der zweiten Kamera erhält man eine Projektion l gp deren Schnittpunkt mit l gp der Zeigepunkt ist l i ist das Bild von l gp, d.h. l i = Tl gp Daraus folgt l gp = T 1 l i und l gp = T 1 l i J. Zhang 517 J. Zhang Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes (cont.) Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes (cont.) J. Zhang 519 J. Zhang 520

131 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes (cont.) Sichtsysteme - Anwendungen - Handkamera-Kalibrierung Intelligente Roboter Handkamera-Kalibrierung Kamera-, Greifer- und Weltkoordinatensystem J. Zhang 521 J. Zhang Sichtsysteme - Anwendungen - Handkamera-Kalibrierung Intelligente Roboter Handkamera-Kalibrierung (cont.) Aufgabe: Bestimmung der festen räumlichen Relation zwischen Kamera- (C) und Greiferkoordinatensystem (G) repräsentiert durch die homogene Transformation C H G Idee: Direkte Bestimmung von C H G über modellbasierte Lokalisation sichtbarer Greifermerkmale Sichtsysteme - Anwendungen - Handkamera-Kalibrierung Intelligente Roboter Handkamera-Kalibrierung (cont.) Lösung: Positionierung des Greifers auf einem planaren Kalibrationsobjekt mit mehreren Messpunkten Greifer- und Weltkoordinatensystem fallen zusammen (Ebenenkoinzidenz) Ebenenkoinzidenz ermöglicht Problemkomposition C H G = C H W W H G J. Zhang 523 J. Zhang 524

132 7.4.2 Sichtsysteme - Anwendungen - Handkamera-Kalibrierung Intelligente Roboter Handkamera-Kalibrierung (cont.) Vorgehensweise: 1. Bestimmung der internen und externen Kameraparameter mittels Kalibrationsobjekt C H W 2. Bestimmung der Parameter der 2D-Transformation W H G mittels der sichtbaren Greifermerkmale Sichtsysteme - Anwendungen - Handkamera-Kalibrierung Intelligente Roboter Handkamera-Kalibrierung (cont.) Vorteile der Selbstsichtbarkeit : Selbstsichtbarkeit ermöglicht Kalibrierung der Konfiguration ohne Testbewegungen des Manipulators im Gegensatz zu klassischen Verfahren Zwei punktförmige Greifermerkmale für Bestimmung von C H G ausreichend, Lösung in geschlossener Form Online-Überwachung der relativen Position zwischen Greifer und Objekt Höhere Akkuratheit der Offline-Kalibrierung durch Ausschluß kinematischer Fehler Höhere Robustheit durch mögliche Online-Kalibrierung J. Zhang 525 J. Zhang Sichtsysteme - Anwendungen - Visuell geregeltes Greifen Intelligente Roboter Visuell geregeltes Greifen Sichtsysteme - Anwendungen - Visuell geregeltes Greifen Intelligente Roboter Visuell geregeltes Greifen (cont.) Aufgabe: 2D-Feinpositionierung einer Roboterhand oder eines Greifers bezüglich des zu greifenden Objektes Verfahren: 1. Offline-Vorgabe der Ziellage (z.b. Objektmerkmale aus Stereo-Bildverarbeitung) 2. Online Transformation der aktuellen Differenz zur Zielvorgabe (z.b. mit Handkamera) J. Zhang 527 J. Zhang 528

133 7.4.3 Sichtsysteme - Anwendungen - Visuell geregeltes Greifen Intelligente Roboter Visuell geregeltes Greifen (cont.) 7.5 Sichtsysteme - Omnidirektionale Sichtsysteme Intelligente Roboter Omnidirektionale Sichtsysteme Generierung von Panoramabildern mit einer Kamera 360 Rundumsicht und etwa 30 vertikales Sichtfeld J. Zhang 529 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme Intelligente Roboter Einführung Biologische Inspiration: Großes Sichtfeld vieler Tiere Beispiel: Sichtfeld eines Fisches Sichtsysteme - Omnidirektionale Sichtsysteme - Kamerasysteme mit erweitertem Blickwinkel Intelligente Roboter Kamerasysteme mit erweitertem Blickwinkel 1. Verwendung mehrerer Kameras gleichzeitig Probleme: unterschiedliche Verzeichnungen unterschiedliche Farben unterschiedliche Helligkeiten Problem: Technische Umsetzung erfordert spezielle Optiken J. Zhang 531 J. Zhang 532

134 7.5.1 Sichtsysteme - Omnidirektionale Sichtsysteme - Kamerasysteme mit erweitertem Blickwinkel Intelligente Roboter Beispiel: RingCam (Microsoft-Research) Fünf IEEE1394-Kameras Auflösung von 640x480 Pixel Gesamtauflösung 3000x480 Pixel Sichtsysteme - Omnidirektionale Sichtsysteme - Kamerasysteme mit erweitertem Blickwinkel Intelligente Roboter Kamerasysteme mit erweitertem Blickwinkel 2. Eine schwenkbare oder rotierende Kamera Probleme: Ungenauigkeiten bei Rotation um das optische Zentrum zusätzlicher Energieaufwand für Rotation schwierige Verarbeitung der Bilder bei dynamischen Szenen aufwendige Umrechnungen in Panorama J. Zhang 533 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Kamerasysteme mit erweitertem Blickwinkel Intelligente Roboter Kamerasysteme mit erweitertem Blickwinkel (cont.) Sichtsysteme - Omnidirektionale Sichtsysteme - Kamerasysteme mit erweitertem Blickwinkel Intelligente Roboter Kamerasysteme mit erweitertem Blickwinkel (cont.) 3. Weitwinkellinsen (Fischaugen-Objektiv) Probleme: starke Verzeichnung teuer 4. Konvexe Spiegel und darunter angebrachte Kamera Diese, als catadioptrische Kamerasysteme bezeichneten, omnidirektionalen Sichtsysteme werden im folgenden näher betrachtet... J. Zhang 535 J. Zhang 536

135 7.5.1 Sichtsysteme - Omnidirektionale Sichtsysteme - Kamerasysteme mit erweitertem Blickwinkel Intelligente Roboter Catadioptrische Kamerasysteme Kombinationen aus Kamera, Linsen und Spiegeln nennt man catadioptrische Sichtsysteme: dioptrics Linsen catoptrics Spiegel Sichtsysteme - Omnidirektionale Sichtsysteme - Kamerasysteme mit erweitertem Blickwinkel Intelligente Roboter Kurze Geschichte omnidirektionaler Sichtsysteme 1970: U.S.-Patent von Rees Kamera und hyberbolider Spiegel 1990: Echtzeit-Verarbeitung der Bilddaten möglich konische, spharische und hyperbolide Spiegel 1997: Theoretische Analyse von Nayar und Baker neu: paraboloider Spiegel mit telezentrischer Linse Ausführlichere Geschichte: J. Zhang 537 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Spiegelformen Intelligente Roboter Spiegeldesign Sichtsysteme - Omnidirektionale Sichtsysteme - Spiegelformen Intelligente Roboter Nachteile der verschiedenen Spiegelformen Teilweise müssen telezentrische Linsen verwendet werden Der vertikale Blickwinkel ist unterschiedlich Die volle Auflösung der Kamera wird nicht genutzt Nicht jedes omnidirektionalen Bild kann perspektivisch korrekt in ein Panoramabild umgerechnet werden Um ein perspektivisch korrektes Abbild aus einem Spiegelbild zu erzeugen, benötigt man einen festen Blickpunkt (engl. fixed viewpoint) J. Zhang 539 J. Zhang 540

136 7.5.2 Sichtsysteme - Omnidirektionale Sichtsysteme - Spiegelformen Intelligente Roboter Effektiver Blickpunkt Von diesem (virtuellen) Blickpunkt scheint man die Szene zu betrachten In ihm schneiden sich alle Lichtstrahlen die vom Spiegel reflektiert werden Dieser Standort des Betrachters entspricht dem Loch einer Lochkamera Bei einer Kamera mit Linsensystem befindet sich dieser Punkt im hinteren Brennpunkt Sichtsysteme - Omnidirektionale Sichtsysteme - Spiegelformen Intelligente Roboter Effektiver Blickpunkt (cont.) Bei einem planaren Spiegel liegt der effektive Blickpunkt des Betrachters auf der gegenüberliegenden Spiegelseite Der Betrachter hat den Eindruck als sehe er die Szene vom effektiven Blickpunkt aus Der Abstand vom Spiegel zum Betrachter ist der gleiche wie vom Spiegel zum virtuellen Blickpunkt J. Zhang 541 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Spiegelformen Intelligente Roboter Effektiver Blickpunkt (cont.) Sichtsysteme - Omnidirektionale Sichtsysteme - Spiegelformen Intelligente Roboter Effektiver Blickpunkt (cont.) Als Konsequenz ergeben sich mehrere oder unendlich viele virtuelle Blickpunkte es kann kein perspektivisch korrektes Bild berechnet werden Ist die Spiegeloberfläche gewölbt, muss an jeden Punkt der Oberfläche die Tangentialebene angelegt werden Auf der Senkrechten durch den realen Blickpunkt liegt auch der virtuelle Blickpunkt Hinweis: Beispiele aus der Robotik zeigen, dass diese Bedingung nicht für jede Anwendung notwendig ist Perspektivisch korrekte Bilder sind allerdings für den Menschen besser zu verarbeiten Durch geschickte Konstruktion der Spiegel lässt sich aber ein effektiver Blickpunkt erzeugen J. Zhang 543 J. Zhang 544

137 7.5.3 Sichtsysteme - Omnidirektionale Sichtsysteme - Fixed Viewpoint Constraint Intelligente Roboter Fixed Viewpoint Constraint Sichtsysteme - Omnidirektionale Sichtsysteme - Fixed Viewpoint Constraint Intelligente Roboter Fixed Viewpoint Constraint (cont.) Nayar und Baker, 1997: Spiegelformen, die sich aus Lösungen der folgenden quadratischen Differentialgleichung ergeben, haben einen effektiven Blickpunkt Fixed Viewpoint Constraint r(c 2z) ( dz dr ) 2 2(r 2 + cz z 2 ) dz dr + r(2z c) = 0 Gesucht: Spiegeloberfläche z(r), so dass ein effektiver Blickpunkt entsteht J. Zhang 545 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Fixed Viewpoint Constraint Intelligente Roboter Allgemeine Lösung des Fixed Viewpoint Constraints Sichtsysteme - Omnidirektionale Sichtsysteme - Fixed Viewpoint Constraint Intelligente Roboter Spezielle Lösungen des Fixed Viewpoint Constraints ( z c ) ( ) 2 r 2 k ( z c ) ) 2 + r 2 (1 + c2 2 2k = c2 = (k 2k) 4 (k 2) ( ) 2k + c 2 4 (k > 0) Fünf Lösungen: 1. k = 2 und c > 0: Planarer Spiegel keine omnidirektionalen Bilder z = c/2 2. k 2 und c = 0: Konischer Spiegel Blickpunkt in Kegelspitze z = k 2 2 r 2 J. Zhang 547 J. Zhang 548

138 7.5.3 Sichtsysteme - Omnidirektionale Sichtsysteme - Fixed Viewpoint Constraint Intelligente Roboter Spezielle Lösungen des Fixed Viewpoint Constraints (cont.) 3. k > 0 und c = 0: Sphärischer Spiegel effektiver und realer Blickpunkt in Kugelmitte z 2 + r 2 = k/2 4. k > 0 und c > 0: Ellipsoider Spiegel effektiver und realer Blickpunkt innerhalb der Ellipse 1 a 2 e a e = ( z c ) k + c 2 4 b 2 e r 2 = 1 b e = k Sichtsysteme - Omnidirektionale Sichtsysteme - Fixed Viewpoint Constraint Intelligente Roboter Spezielle Lösungen des Fixed Viewpoint Constraints (cont.) 5. k > 2 und c < 0: Hyperboloider Spiegel 1 a 2 h ( z c ) bh 2 r 2 = 1 a h = c 2 b h = c 2 k 2 2 k k J. Zhang 549 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Aufbau omnidirektionaler Sichstysteme Intelligente Roboter Aufbau omnidirektionaler Sichtsysteme 1. Möglichkeit: Spiegel wird mit Halterung über der Kamera montiert Sichtsysteme - Omnidirektionale Sichtsysteme - Aufbau omnidirektionaler Sichstysteme Intelligente Roboter Aufbau omnidirektionaler Sichtsysteme (cont.) 2. Möglichkeit: Spiegel wird mit Glaszylinder oder -halbkugel über der Kamera montiert Problem: Reflexionen an der Innenseite des Zylinders/der Halbkugel Quelle: Problem: Halterung ist immer im Panoramabild zu sehen J. Zhang 551 J. Zhang 552

139 7.5.4 Sichtsysteme - Omnidirektionale Sichtsysteme - Aufbau omnidirektionaler Sichstysteme Intelligente Roboter Aufbau omnidirektionaler Sichtsysteme (cont.) Omnidirektionale Aufname: Links mit Reflexionen, rechts ohne Reflexionen Sichtsysteme - Omnidirektionale Sichtsysteme - Aufbau omnidirektionaler Sichstysteme Intelligente Roboter Hersteller hyperboloidaler Spiegel PANORAMA EYE R : Seiwapro Co., Ltd., Japan Mirror-Lens Single-Shot Panoramaoptik: Panorama-Hardware, Hamburg, Deutschland J. Zhang 553 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Panorama-Berechnung Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Einfache Umrechnung Zwei Verfahren zur Umrechung auf ein Panoramabild Einfache direkte Umwandlung Das Bild aus dem omnidirektionalen Sichtsystem wird gleichmäßig abgetastet Hyperboloidale Projektion Eine Panorama ist eine Projektion auf einen Zylinder um den Spiegel z.b. mit der kostenlosen Software PUT von J. Zhang 555 J. Zhang 556

140 7.5.5 Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Einfache Umrechnung (cont.) Für ein Panorama der Größe width height wird für jeden Punkt der Punkt im omnidirektionalen Bild ermittelt Image createpanorama (int width, int height, Image omni) { Image panorama = new Image (width, height); for (int i=0; i<width; i++) { for (int j=0; j<height; j++) { panorama. setpixel (i, j, getpixelfromomnidirectional (i, j, omni)); } } } Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Einfache Umrechnung (cont.) Pixel getpixelfromomnidirectional ( int i, int j, Image omni) { // Polarkoordinaten bestimmen double radius = outerring - ((j/height) * (outerring-innerring)); double alpha = - (i/width) * (2*PI); } // Koordinaten im omnidirektionalen Bild double x = centerx - radius * sin(alpha); double y = centery + radius * cos(alpha); // Interpolierten Punkt zurueckgeben return omni. getinterpolatedpixel (x, y); J. Zhang 557 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Hyperboloidale Projektion Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Reduktion auf 2D-Problem J. Zhang 559 J. Zhang 560

141 7.5.5 Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Reduktion auf 2D-Problem (cont.) Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Hyperboloidale Projektion Hyperbel-Gleichung: R 2 a 2 Z 2 b 2 = 1 c = a 2 + b 2 Im Wesentlichen sind zwei Schritte erforderlich (nach Yamazawa et. al., 1993) 1. Projektion eines Zylinderpunktes auf die Spiegeloberfläche 2. Projektion von der Spiegeloberfläche auf die Bildfläche r = f tan(β) ( (b β = tan c 2 ) ) cos(α) 2bc (b 2 c 2 ) cos(α) ( (b α = tan c 2 ) ) cos(β) 2bc (b 2 c 2 ) cos(β) R α = Z c J. Zhang 561 J. Zhang Sichtsysteme - Omnidirektionale Sichtsysteme - Panorama-Berechnung Intelligente Roboter Kamerakalibrierung 7.6 Sichtsysteme - Symmetrie Intelligente Roboter Symmetrie Um die hyperboloidale Projektion durchzuführen ist eine Kamerakalibrierung notwendig: Bekannt: a und b der Hyperbel und Spiegedurchmesser Es wird berechnet: extrinsische Parameter (Translation und Rotation zwischen Spiegel und Kalibrierungsgrid) und intrinsische Parameter (Fokus, Verzeichnung und Versatz) Für die Kalibrierung gibt es ein MATLAB-Toolkit: Symmetry is what we see at a glance; [...] aus: Pensées - Section 1: Thoughts on mind and on style von: Blaise Pascal, 1660 J. Zhang 563 J. Zhang 564

142 7.6 Sichtsysteme - Symmetrie Intelligente Roboter Was ist Symmetrie? Symmetrie ist überall Symmetrie beeinflußt unsere Wahrnehmung: Symmetrische Gesichter sind schön Symmetrische Architektur ist schön Symmetrische Schneeflocken fallen aus den Wolken 7.6 Sichtsysteme - Symmetrie Intelligente Roboter Was ist Symmetrie? (cont.) griech.: symmetros = regelmäßig, ebenmäßig Symmetrie ist vielfältig, aber es steckt immer Regelmäßigkeit oder wiederkehrendes Element dahinter Symmetrie hat etwas mit dem zu tun, was wir sehen: mit Formen mit Mustern mit dem Aussehen der Welt J. Zhang 565 J. Zhang Sichtsysteme - Symmetrie Intelligente Roboter Was ist Symmetrie? (cont.) Beispiel für Symmetrie: Die Schneeflocke Man kann jede Schneeflocke um 60 drehen... und dann sieht sie aus wie vorher! Schneeflocken sind drehsymmetrisch Die Drehung um 60 wird als Symmetrieoperation bezeichnet Sichtsysteme - Symmetrie - Symmetrie-Operationen Intelligente Roboter Symmetrie-Operation Eine Symmetrieoperation macht etwas mit einem Ding, und danach sieht man nicht, das etwas gemacht wurde Im Zweidimensionalen sind vor allem die folgenden Symmetrien von Bedeutung Drehsymmetrie Spiegelsymmetrie Translationssymmetrie J. Zhang 567 J. Zhang 568

143 7.6.1 Sichtsysteme - Symmetrie - Symmetrie-Operationen Intelligente Roboter Drehsymmetrie Sichtsysteme - Symmetrie - Symmetrie-Operationen Intelligente Roboter Spiegelsymmetrie auch: Radialsymmetrie oder Radiärsymmetrie Die Drehung eines Objektes um einen gewissen Winkel, um einen bestimmten Punkt (2D) bzw. eine Gerade (3D) bringt das Objekt wieder mit sich selbst zur Deckung Spezialfall: Punktsymmetrie Punktspiegelung Drehung eines Objektes um 180 um ein Zentrum auch: Bilaterale Symmetrie oder Achsensymmetrie häufigste Form der Symmetrie 2D: Symmetrieachse 3D: Symmetrieebene Zwei Punkte sind identisch, wenn sie auf einer Senkrechten zur Achse/Ebene liegen und den gleichen Abstand zur Achse/Ebene haben J. Zhang 569 J. Zhang Sichtsysteme - Symmetrie - Symmetrie-Operationen Intelligente Roboter Sichtsysteme - Symmetrie - Symmetrie-Operationen Intelligente Roboter Translationssymmetrie Einfaches Muster: GGGGGGGGGGGGGG Symmetrieoperation: Alle Gs einen Platz nach links rücken! Muster bleibt wie oben Teilweise feste Verschiebung notwendig, teilweise beliebig [M.C. Escher] J. Zhang 571 J. Zhang 572

144 7.6.1 Sichtsysteme - Symmetrie - Symmetrie-Operationen Intelligente Roboter Andere Formen der Symmetrie Sichtsysteme - Symmetrie - Wahrnehmung von Symmetrie Intelligente Roboter Wahrnehmung von Symmetrie Sprache: Palindrome wie Otto und Anna Ein Neger mit Gazelle zagt im Regen nie Symmetrie ist wichtig für das menschliche Sehen Musik: Johann Sebastian Bach Contrapunktus: Die Noten scheinen an der Horizontalen gespiegelt J. Zhang 573 [Locher & Nodine (1989)] Symmetrie erzeugt Aufmerksamkeit und unterstützt visuelle Exploration Besonders bedeutend: Horizontale und vertikale Spiegelsymmetrien [Palmer & Hemenway (1978)] J. Zhang Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Symmetrie-Detektoren Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Generalized Symmetry Transform In der Bildverarbeitung gibt es viele Detektoren, die Symmetrien in Bildern ermitteln: Generalized Symmetry Transform Discrete Symmetry Transform Fast Radial Symmetry Transform 1-dimensionaler Symmetrie-Detektor Quantitativer bilateraler Symmetrie-Detektor Reisfeld, Wolfson und Yeshurun (1995) Lokale Operation auf Kantenbild Sei p k = (x k, y k ) ein Bildpunkt und p k = ( x p k, y p k ) der Gradient der Intensität des Punktes Sei v k = (r k, θ k ) für jeden Punkt mit rk = log(1+ p k ) und θ k = arctan( x p k, y p k ) Sei des Weiteren l eine Linie durch zwei beliebige Punkte p i und p j und α ij der Winkel zwischen l und der Horizontalen gegen den Uhrzeigersinn J. Zhang 575 J. Zhang 576

145 7.6.3 Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Generalized Symmetry Transform (cont.) Es wird eine Nachbarschaftsbeziehung definiert: { Γ(p) = (i, j) p } i + p j = p 2 Außerdem eine Gewichtung der Distanz eines Punktepaares zu p: D σ (i, j) = 1 e p i p j 2σ 2πσ Sowie eine Gewichtung der Phasen: P(i, j) = (1 cos(θ i + θ j 2a ij ))(1 cos()θ i θ j ) Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Generalized Symmetry Transform (cont.) Es wird definiert, dass jedes Punktepaar C(i, j) = D σ (i, j)p(ij)r i r j zum Symmetriewert eines Punktes p liefert Der Symmetriewert ist dann: M σ (p) = (i,j) Γ(p) C(i, j) Die Symmetrierichtung wird definiert als φ(p) = ϕ(i, j), so dass C(i, j) maximal für alle (i, j) Γ(p) ist J. Zhang 577 J. Zhang Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Generalized Symmetry Transform (cont.) Abschließend wird die Symmetrie eines Punktes p definiert als: S σ (p) = (M σ (p), φ(p)) Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Discrete Symmetry Transform Di Gesù und Valenti (1995) Zweiteiliger Algorithmus zur Berechnung der Kreissymmetrie (alle Punkte auf einen Kreis identisch): 1. Auswahl nicht-uniformer Zonen: Berechnung eines Filters, so dass E(i, j) = g(l, m) g(p, q) (l,m) C r,(p,q) C r+1 mit g(i, j) als Grauwert eines Bildpunktes, C r und C r+1 als digitale Kreise und so miteinander verbundenen Punkten, dass (l p) 2 + (m q) 2 = 1 gilt J. Zhang 579 J. Zhang 580

146 7.6.3 Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Discrete Symmetry Transform (cont.) Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Discrete Symmetry Transform (cont.) 2. Berechnung der Symmetriewerte: Überall wo E(i, j) > 0: DST(i, j) = E(i, j) T(i, j) mit: T(i, j) = 1 k (T k(i, j)) 2 n ( k (T k(i, j)) n ) 2 wobei T k (i, j) = (l,m) C r ( kπ (i l) sin n ) ( ) kπ (j m) cos g(l, m) n J. Zhang 581 J. Zhang Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Anwendung der Discrete Symmetry Transform Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Fast Radial Symmetry Transform Extraktion von kreisförmigen Merkmalen aus Bildern: Loy und Zelinsky (2003) J. Zhang 583 J. Zhang 584

147 7.6.3 Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter 1-dimensionaler Symmetrie-Detektor Hübner und Zhang (2003) Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Disskussion der bis hierher vorgestellten Ansätze Symmetrie ist ein regionales Merkmal Jedes Resultat stark abhängig von der Wahl der Operatorgröße Symmetriewerte nur relativ ausgedrückt Mit der Größe der betrachteten Region wächst die Aussagekraft, aber auch der Rechenaufwand Große Operatoren reichen oft über den Bildraund hinaus Große Operatoren anfälliger für Beleuchtungsschwankungen, Verdeckungen und perspektivische Verzerrung Hierarchien unterschiedlicher Operatorgrößen zu nutzen, ist zu aufwändig Ohne Vorwissen keine optimale Operatorgröße möglich J. Zhang 585 J. Zhang Sichtsysteme - Symmetrie - Symmetrie-Detektoren Intelligente Roboter Disskussion der bis hierher vorgestellten Ansätze (cont.) Bisherige Ansätze alle qualitativ Wünschenswert wären quantitative Aussagen Sichtsysteme - Symmetrie - Dynamisches Programmieren Intelligente Roboter Dynamisches Programmieren Effiziente Methode zur Lösung des Stereomatchingproblems Distanzabschätzung durch Beobachtung der Verschiebung korrespondierender Bildmerkmale Vereinfachung durch Nutzung der Epipolarlinien Lösung im 2D-Suchraum J. Zhang 587 J. Zhang 588

148 7.6.4 Sichtsysteme - Symmetrie - Dynamisches Programmieren Intelligente Roboter Dynamisches Programmieren (cont.) Sichtsysteme - Symmetrie - Dynamisches Programmieren Intelligente Roboter Dynamisches Programmieren (cont.) J. Zhang 589 J. Zhang Sichtsysteme - Symmetrie - Dynamisches Programmieren Intelligente Roboter Dynamisches Programmieren (cont.) Sichtsysteme - Symmetrie - Quantitative bilaterale Symmetrie Intelligente Roboter Quantitative bilaterale Symmetrie durch Dynamische Programmierung J. Zhang 591 J. Zhang 592

149 7.6.5 Sichtsysteme - Symmetrie - Quantitative bilaterale Symmetrie Intelligente Roboter DPS Algorithmus Sichtsysteme - Symmetrie - Quantitative bilaterale Symmetrie Intelligente Roboter DPS Algorithmus (cont.) J. Zhang 593 J. Zhang Sichtsysteme - Symmetrie - Quantitative bilaterale Symmetrie Intelligente Roboter DPS Algorithmus - Beispiele Sichtsysteme - Symmetrie - Symmetrie-Hierarchien Intelligente Roboter Symmetrie-Hierarchien In qualitativen Ansätzen werden Hierarchien auf Basis unterschiedlicher Operatorgrößen betrachtet (multiskalar) J. Zhang 595 J. Zhang 596

150 7.6.6 Sichtsysteme - Symmetrie - Symmetrie-Hierarchien Intelligente Roboter Symmetrie-Hierarchien (cont.) Sichtsysteme - Symmetrie - Symmetrie-Hierarchien Intelligente Roboter Symmetrie-Hierarchien (cont.) Bei quantitativen Operatoren können Hierarchien als Ordnung der Symmetrien selbst gesehen werden J. Zhang 597 J. Zhang Sichtsysteme - Symmetrie - Symmetrie-Signaturen Intelligente Roboter Symmetrie-Signaturen Sichtsysteme - Symmetrie - Symmetrie-Signaturen Intelligente Roboter Symmetrie-Signaturen (cont.) Vierstufiger Signatur-Algorithmus 1. Erzeugen eines Panoramas 2. DPS Algorithmus 3. Non-Maxima-Suppression 4. Aufsummieren der Spalten zu Signatur-Vektor J. Zhang 599 J. Zhang 600

151 7.6.7 Sichtsysteme - Symmetrie - Symmetrie-Signaturen Intelligente Roboter Tracking über Symmetrie-Signatur-Fehlern 7.7 Sichtsysteme - Literatur Intelligente Roboter [CHH94] Roberto Cipolla, Paul A. Hadfield, Nicholas J. Hollinghurst: Uncalibrated stereo vision with pointing for a man-machine interface. In: In Proc. IAPR Workshop on Machine Vision Applications (MVA94) (1994), Dezember, S Kawasaki. URL mi.eng.cam.ac.uk/~cipolla/publicats.html [DESY00] Was ist Symmetrie?, URL webthemen/08_symmetrie/symmetrie_druck.htm J. Zhang 601 J. Zhang Sichtsysteme - Literatur Intelligente Roboter 7.7 Sichtsysteme - Literatur Intelligente Roboter [GD01] [GV95] C. Geyer, K. Daniilidis: Catadioptric projective geometry. In: International Journal of Computer Vision 43 (2001), S URL citeseer.ist.psu.edu/article/ geyer02catadioptric.html V. Di Gesù, C. Valenti: The Discrete Symmetry Transform in Computer Vision. DMA Università di Palermo, 1995, Forschungsbericht [Hue01] Kai Huebner: Methods for Range Estimation and Situation Recognition using an Omnidirectional Vision System for Mobile Robots - Symmetry as a Natural Feature, November URL diploma/pdf/index_d.html [HWZ05] K. Huebner, D. Westhoff, J. Zhang: Optimized Quantitative Bilateral Symmetry Detection. In: International Journal of Information Acquisition (IJIA) 2 (2005), September, Nr. 3, S J. Zhang 603 J. Zhang 604

152 7.7 Sichtsysteme - Literatur Intelligente Roboter 7.7 Sichtsysteme - Literatur Intelligente Roboter [LN89] [LZ03] [McK93] P. Locher, C. Nodine: The perceptual value of symmetry. In: Comput. Math. Applic. 17 (1989), S G. Loy, A. Zelinsky: Fast Radial Symmetry for Detecting Points of Interest. In: IEEE Transactions on Pattern Analysis and Machine Intelligence Bd , S Kap. 3 In: Phillip John McKerrow: Introduction to Robotics. Addison-Wesley, 1993 (Electronic Systems Engineering Series), S [Nay97] Shree K. Nayar: Catadioptric Omnidirectional Camera. In: 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 97). 1997, S. 482 [RWY95] D. Reisfeld, H. Wolfson, Y. Yeshurun: Context Free Attentional Operators: the Generalized Symmetry Transform. In: International Journal of Computer Vision 14 (1995), S J. Zhang 605 J. Zhang Sichtsysteme - Literatur Intelligente Roboter 7.7 Sichtsysteme - Literatur Intelligente Roboter [Tsa86] [Tsa87] Roger Y. Tsai: An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Miami Beach, Florida, USA, 1986, S Roger Y. Tsai: A versatile camera calibration technique for 3D machine vision metrology using off-the-shelf TV cameras and lenses. In: IEEE Journal of Robotics and Automation RA-3 (1987), August, Nr. 4, S [WCH92] Juyang Weng, Paul Cohen, Marc Herniou: Camera Calibration with Distortion Models and Accuracy Evaluation. In: IEEE Transactions on Pattern Analysis and Machine Intelligence 14 (1992), Nr. 10, S ISSN URL dx.doi.org/ / [YYY93] K. Yamazawa, Y. Yagi, M. Yachida: Omnidirectional imaging with hyperboloidal projection. In: Proceedings of the 1993 IEEE/RSJ International Conference on Intelligent Robots and Systems 93, IROS 93. Bd. 2. Yokohama, Japan, Juli 1993, S J. Zhang 607 J. Zhang 608

153 7.7 Sichtsysteme - Literatur Intelligente Roboter [YYY95] [ZR96] K. Yamazawa, Y. Yagi, M. Yachida: Obstacle detection with omnidirectional image sensor HyperOmniVision. In: Proceedings of the 1995 IEEE International Conference on Robotics and Automation Bd. 1. Nagoya, Japan, May 1995, S Kap. 2.II.A, 2.III, 2.IV, 3.I und 3.II In: Hanqi Zhuang, Zvi S. Roth: Camera-aided robot calibration. CRC Press Inc, 1996, S , und Fuzzy-Logik Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik Adaptive Methoden zur Regelung Fuzzy-Regelung Charakteristische Funktion / Zugehörigkeitsfunktion Fuzzy-Menge Linguistische Variablen und Terme J. Zhang 609 J. Zhang Fuzzy-Logik Intelligente Roboter Gliederung (cont.) Darstellungen der Zugehörigkeitsfunktionen Fuzzy-Regelung Literatur 9. Steuerungsarchitekturen 8 Fuzzy-Logik Intelligente Roboter Einführung in die Fuzzy-Regelung The way we have to describe Nature is generally incomprehensive to us Richard P. Feynman It should be possible to explain the laws of physics to a barmaid Albert Einstein J. Zhang 611 J. Zhang 612

154 8.1 Fuzzy-Logik - Adaptive Methoden zur Regelung Intelligente Roboter Adaptive Methoden zur Regelung Regelung kann aufgefasst werden als Abbildung von einem Sensorraum auf Aktionen In vielen Fällen ist a priori nicht bekannt, welche Messgrößen besonders wichtig für die Auswahl von Aktionen sind Manche Systeme sind nur sehr schwer mathematisch zu beschreiben Oft sind die Sensordaten ungenau, verrauscht und/oder hochdimensional 8.1 Fuzzy-Logik - Adaptive Methoden zur Regelung Intelligente Roboter Adaptive Methoden zur Regelung (cont.) Das Erstellen einer optimalen Abbildung zwischen Sonsorraum und Aktionen ist dann mit klassischen regelungstechnischen Methoden sehr schwierig Um solche Systeme regeln zu können, muss eine einfachere Methode zur Beschreibung benutzt werden oder die Regelung muss sich an die Bedingungen anpassen J. Zhang 613 J. Zhang Fuzzy-Logik - Adaptive Methoden zur Regelung Intelligente Roboter Adaptive Methoden zur Regelung (cont.) Modelle für Adaptive Regler: Neuronale Netze Adaptive Linear Combinator (ALC) Multi-Layer Perceptron (MLP) Functional Link Network Radial Basis Functions (RBF) Associative Memory Networks (AMNs)... Fuzzy-Controller Conventional Controller (Mamdani-Typ) Funktionsapproximator (TSK-Modell oder B-Spline-Modell) 8.1 Fuzzy-Logik - Adaptive Methoden zur Regelung Intelligente Roboter Lernverfahren Überwachtes Lernen Reinforcement-Lernen Unüberwachtes-Lernen Mehr zu Lernverfahren in der Vorlesung Maschinelles Lernen! J. Zhang 615 J. Zhang 616

155 8.1 Fuzzy-Logik - Adaptive Methoden zur Regelung Intelligente Roboter Vergleich: menschliches Gehirn und Computer Kriterium Gehirn Computer Parallelität hoch niedrig Präzision mäßig hoch Fehlertoleranz hoch niedrig Speicherzugriff global lokal numerische, präzise Berechnungen schlecht gut Erkennung von Mustern gut schlecht fehlerloses Speichern von Daten schlecht gut Selbstorganisation ja bisher nicht Verallgemeinern von Beispielen gut schlecht 8.2 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Fuzzy-Regelung Ungenaue natürsprachliche Abstufungen von Begriffen wie groß, schön, stark... Menschliche Denk- und Verhaltensmodelle mit der einstufigen Logik Autofahren: wenn-dann-regeln Autoparken: Genau auf den Millimeter? Unscharfe Sprache statt numerischer Beschreibung Bremse 2.52 m vor der Kurve! nur in Maschinensystemen Bremse kurz vor der Kurve! in natürlicher Sprache J. Zhang 617 J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Fuzzy-Regelung (cont.) L.A. Zadeh s principle of incompatibility Stated informally, the essence of this principle is that as the complexity of a system increases, our ability to make precise and yet significant statements about its behaviour diminishes until a threshold is reached beyond which precision and significance (or relevance) become almost mutually exclusive characteristics. 8.2 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Fuzzy-Regelung (cont.) Fuzzy bedeutet: unscharf, verschwommen, vage, unklar,... Die Fuzzy-Regelung benutzt Fuzzy-Menge/Fuzzy-Logik als Mechanismus zur Abstraktion von unnötigen/zu komplexen Details Behandlung von Problemen, die nicht einfach mit ja oder nein beantwortet werden können Modellierung von (soft) Konzepten ohne scharfe Grenzen Computing with words J. Zhang 619 J. Zhang 620

156 8.3 Fuzzy-Logik - Charakteristische Funktion / Zugehörigkeitsfunktion Intelligente Roboter Charakteristische Funktion 8.3 Fuzzy-Logik - Charakteristische Funktion / Zugehörigkeitsfunktion Intelligente Roboter Zugehörigkeitsfunktion Scharfe Mengen lassen sich definieren durch Angabe ihrer charakteristischen Funktion: { 1 fürx A µ A (x) = 0 fürx / A, wobei µ A : X {0, 1} ist Für Fuzzy-Mengen A verwendet man eine verallgemeinerte charakteristische Funktion µ A, die jedem Element x X eine reelle Zahl aus [0, 1] zuordnet: µ A : X [0, 1] Die Funktion µ A wird als Zugehörigkeitsfunktion (ZF) bezeichnet Sie gibt den Grad an, zu dem das Element x zur beschriebenen unscharfen Menge A gehört J. Zhang 621 J. Zhang Fuzzy-Logik - Fuzzy-Menge Intelligente Roboter Fuzzy-Menge Eine Fuzzy-Menge A über einem Universum X ist gegeben durch eine Abbildung µ A : X [0, 1]. Für alle x X bezeichnet µ A (x) den Grad der Zugehörigkeit (des Enthaltenseins) von x in A Als Trägermenge einer Fuzzy-Menge bezeichnet man die Menge aller Elemente aus X mit positiver Zugehörigkeit zu A: support(µ A (x)) = {x X µ A (x) > 0} 8.4 Fuzzy-Logik - Fuzzy-Menge Intelligente Roboter Fuzzy-Menge (cont.) Notation: X endlich: A = µ A (x 1 )/x µ A (x n )/x n n = µ A (x i )/x i i=1 X unendlich: A = X µ A (x)/x J. Zhang 623 J. Zhang 624

157 8.4 Fuzzy-Logik - Fuzzy-Menge Intelligente Roboter Fuzzy-Menge (cont.) Beispiele: Die Menge der ganzen Zahlen, die ungefähr gleich 10 sind: G 10 = 0.1/7+0.5/8+0.8/9+1/10+0.8/11+0.5/12+0.1/13 Die Menge der reellen Zahlen, die ungefähr gleich 10 sind: G 10 = e (x 10)2 /x R 8.5 Fuzzy-Logik - Linguistische Variablen und Terme Intelligente Roboter Linguistische Variablen und Linguistische Terme In Anwendungen werden Fuzzy-Mengen zumeist eingesetzt zur Modellierung linguistischer Terme Viele Begriffe der natürlichen Sprache lassen sich durch Fuzzy-Mengen charakterisieren Ein linguistischer Term (Wert, Label) ist die Quantifizierung eines Begriffes der natürlichen Sprache durch eine Fuzzy-Menge Eine linguistische Variable ist eine Variable, die eine Reihe linguistischer Terme annehmen kann J. Zhang 625 J. Zhang Fuzzy-Logik - Linguistische Variablen und Terme Intelligente Roboter Linguistische Variablen und Linguistische Terme (cont.) Beispiele: 8.5 Fuzzy-Logik - Linguistische Variablen und Terme Intelligente Roboter Linguistische Variable Eine linguistische Variable ist durch ein Quintupel charakterisiert linguistische Variable: GESCHWINDIGKEIT (v, T(v), X, G, M) linguistische Terme von GESCHWINDIGKEIT hoch, niedrig, rasant, ökonomisch linguistische Variable: GEBÄUDE linguistische Terme von GEBÄUDE Hütte, Bungalow, Wolkenkratzer Dabei ist: v: der Name der Variable T(v): eine Menge von linguistischen Termen von v, wobei jeder Wert eine Fuzzy-Menge in dem Universum X ist G: eine Syntaxregel, die T(v) aus einer Menge von Grundtermen erzeugt M: eine semantische Regel, die jedem Wert von T(v) seine Bedeutung zuordnet J. Zhang 627 J. Zhang 628

158 8.6 Fuzzy-Logik - Darstellungen der Zugehörigkeitsfunktionen Intelligente Roboter Darstellungen der Zugehörigkeitsfunktionen Diskrete Darstellung Array mit fester Größe Speicherung der ZF-Werte für den gesamten x-wertebereich beliebige Formen Parametrische Darstellung Funktionen mit Parametern wenig Speicherplatz typische Arten: Singleton, Dreiecksform, Trapezform, Glockenkurve, B-Spline Basisfunktionen 8.6 Fuzzy-Logik - Darstellungen der Zugehörigkeitsfunktionen Intelligente Roboter Erstellen der Zugehörigkeitsfunktionen Kontext-abhängige Spezifikation experimentell, unter Berücksichtigung der jeweiligen Anwendung Aufbau durch Sample-Daten Clustering Lagrange-Interpolation Least-square Curve Fitting Neuronale Netze Wissenserwerb durch Experten ein Experte oder mehrere direkt und indirekt J. Zhang 629 J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Grundidee der Fuzzy-Regelung 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Fuzzy-Regeln Beschreibung des gewünschten Reglerverhaltens mit Hilfe umgangssprachlicher, qualitativer Regeln Quantifizierung linguistischer Werte durch Fuzzy-Mengen Regel Auswertung durch Verfahren der Fuzzy-Logik bzw. der Interpolation In einer Fuzzy-Regelung wird die Einflußnahme auf die dynamischen Verhältnisse eines Fuzzy-Systems durch eine Menge linguistischer Beschreibungsregeln in der folgenden Form charakterisiert IF THEN (eine Menge Konditionen werden erfüllt) (eine Menge Konsequenzen können bestimmt werden) In den Prämissen (Antecedenten) vom IF-Teil: linguistische Variablen aus der Domäne der Prozesszustände In den Konklusionen (Konsequenten) vom THEN-Teil: linguistische Variablen aus der Regelungsdomäne J. Zhang 631 J. Zhang 632

159 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Prinzip der Fuzzy-Regelung 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Vorteile der Fuzzy-Regelung intelligente Regelung Verwendung von Expertenwissen linguistische Regelung Regelung ist transparent ein Pluspunkt für Mensch-Maschine-Schnittstelle parallele Regelung Modularisierung hohe Verarbeitungsgeschwindigkeit Reglerentwurf ohne besondere Modellkenntnisse möglich Reglerentwurf effizient Echtzeit-Anforderungen erfüllt Robustheit auch beim Einsatz von billigen Sensoren J. Zhang 633 J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Vergleich von Fuzzy-Controller Modellen IF-Teil: Alle Fuzzy-Controller setzen Fuzzy-Mengen zur Modellierung von linguistischen Termen für die Eingabe ein Der Eingabebereich wird überlappend partitioniert Dies reflektiert die vage Modellierung durch linguistische Konzepte Außerdem wird ein kontinuierlicher Übergang der Ausgabewerte ermöglicht 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Vergleich von Fuzzy-Controller Modellen (cont.) IF-Teil: Der IF-Teil einer Regel wird folgendermaßen modelliert: (x 1 is A 1 i 1 ) and (x 2 is A 2 i 2 ) and... (x n is A n i n ) wobei x j die j-te Eingabe (j = 1,...,n) und A j i j der i-te linguistische Term definiert auf x j ist Die und -Operation wird als so genannte t-norm implementiert In den meisten Anwendungen handelt es sich dabei um eine Minimum- oder Produkt-Operation J. Zhang 635 J. Zhang 636

160 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Vergleich von Fuzzy-Controller Modellen (cont.) Zugehörigkeitsfunktion: typisch: trianguläre oder trapezoide Zugehörigkeitsfunktionen modernere Systeme: Gaussian, Cauchy, sinc, Laplace, Logistic, Hyperbolic Tangent Problem: Alle Funktionen brauchen neben den Partitionspositionen (Knoten) weitere Parameter Weil die Knoten das intrinsische Ergebnis einer Partitionierung sind, ist die Wahl der übrigen Parameter weder natürlich noch intuitiv Linguistische Terme die auf B-Spline Basisfunktionen beruhen, können allein auf Grundlage der Knoten gebildet werden und brauchen keine weiteren Parameter 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Komponenten der Fuzzy-Regelung Ein kompletter Fuzzy-Controller besteht aus insgesamt vier Komponenten einer Wissensbasis einem Fuzzyfizierer einer Inferenz-Maschine und einem Defuzzyfizierer J. Zhang 637 J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Wissensbasis In der Wissensbasis ist das Expertenwissen abgelegt, auf das sich ein Fuzzy-System während einer Regelung stützt, das sind 1. die Zugehörigkeitsfunktionen mit denen die linguistischen Terme der linguistischen Variablen (die Ein- und Ausgangsgrößen) mathematisch beschrieben werden 2. die Zugehörigkeitsfunktionen des Fuzzyfizierers in rechner-internen Darstellungen 3. die Regelungsstrategien in Form von wenn-dann-regeln abgespeichert 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Fuzzyfizierer Der Fuzzyfizierer wandelt die scharfen Eingangsgrößen in Fuzzy-Mengen um Die dafür vorgesehenen Zugehörigkeitsfunktionen werden dazu wie eine Hülle um den jeweiligen Eingangswert gelegt Mit dem Fuzzyfizierer wird es möglich, Unschärfen der Eingangsgrößen, wie z.b. Fehlertoleranzen von Sensoren, zu berücksichtigen J. Zhang 639 J. Zhang 640

161 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Inferenz-Maschine Die Inferenz-Maschine vergleicht die fuzzyfizierten Eingangswerte mit den Zugehörigkeitsfunktionen der Antecedenten für jede Regel Daraus erschließt sie durch geeignete Kombination die Fuzzy-Mengen der Ausgangsvariablen (Konsequenten) Für die mathematische Modellierung des Vergleichs und des Schlußfolgerns existieren viele Lösungsvorschläge Eine einfache Methode ist die Inferenz mit Hilfe der Min-Max-Operatoren 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Inferenz-Maschine (cont.) Beispiel: Gegeben sei ein Regelsystem mit zwei Antecedenten A und B und einer Konsequenten C: R 1 : IF (x is A 1 and y is B 1 ) THEN (z is C 1 ) R 2 : IF (x is A 2 and y is B 2 ) THEN (z is C 2 )... R k : IF (x is A k and y is B k ) THEN (z is C k ) J. Zhang 641 J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Inferenz-Maschine (cont.) Zunächst werden die fuzzyfizierten Eingangsdaten A und B mit den ZF A i und B i der i-ten Regel verglichen, und man erhält so für jede Regel die Übereinstimmungsmaße a Ai und a Bi a Ai = max(min(a, A i )) a Bi = max(min(b, B i )) Diese Übereinstimmungsmaße werden schließlich zu einem Gesamtmaß ω i verknüpft, das den Erfüllungsgrad der gesamten Eingangsbedingungen der i-ten Regel angibt ω i = min(a Ai, a Bi ) 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Inferenz-Maschine (cont.) Der Erfüllungsgrad kann noch zusätzlich mit einem Regelgewicht r i [0, 1] multipliziert werden Regeln, die z.b. in Alarmfällen die Sicherheit gewährleisten sollen, können dadurch gegenüber anderen Regeln stärker gewichtet werden. Man erhält somit ω i = r i ω i Die tatsächliche Schlußfolgerungsfunktion C i des Konsequenten C i errechnet sich aus C i = min(ω i, C i ) J. Zhang 643 J. Zhang 644

162 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Inferenz-Maschine (cont.) 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Inferenz-Maschine (cont.) Zuletzt faßt man alle Schlußfolgerungen C i zusammen und erhält die Ausgangsfunktion C A C A = max(c 1, C 2,...,C k ) Bei Regelsystemen mit mehreren Ausgangsvariablen können die Ausgangsfunktionen unabhängig voneinander nach obigem Schema bestimmt werden J. Zhang 645 J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Defuzzyfikation Um in einem Regelungsprozeß konkrete Stellgrößen an die Aktuatoren senden zu können, müssen aus den durch die Inferenz gewonnenen Ausgangsfunktionen scharfe Ausgangswerte gebildet werden Eine vernünftige Vorgehensweise ist die Schwerpunktmethode Der Ausgangswert wird hierbei als Schwerpunkt der Ausgangsfunktion bezüglich ihrer Abszisse berechnet J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Fuzzy-Regler: Mamdani-Typ Der klassische Fuzzy-Regeler des Mamdani-Typs basiert auf der direkten Nutzung symbolischer Regeln IF (x 1 is A 1 i 1 ) and (x 2 is A 2 i 2 ) and... and (x n is A n i n ) THEN y is B k wobei B k eine Fuzzy-Menge mit den gleichen Eigenschaften wie im IF-Teil, k = 1,...,t, und t die Anzahl der Linguistischen Terme die y modellieren ist Das Zusammenfassen der Ausgabewerte aller aktiven Regeln geschieht mit dem max-operator Eine einfacher zu berechnende Variation des Zusammenfassens ist die einfache Addition der Ausgabewerte J. Zhang 648

163 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Probleme der Regler des Mamdani-Typs viele Freiheitsgrade beim Entwurf Implikations-Relation Inferenz-Mechanismen Fuzzyfikation- und Defuzzyfikationsstrategie Auswahl und Quantifizierung der linguistischen Werte schwierig keine systematischen Richtlinien Erfahrungswerte Auswirkung der Wahl der Zugehörigkeitsfunktions-Form warum Dreiecke/Trapeze? andere Funktionen? Bewertungskriterien für einen optimalen Regler Glätte Approximations-Genauigkeit Nachweis der Stabilität wie bei fast allen nicht-linearen Systemen 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter Zwei Typen adaptiver Fuzzy-Regler Sugeno-Typ IF x 1 is A i 1 and x 2 is A i 2 and... and x n is A i n THEN y = p0 i + pi 1 x 1 + p2 i x pnx i n wobei die Parameter von A i 1 bis An i, sowie pi 0, pi 1, pi 2,... + pi n adaptiv gewonnen werden können Erfolgreich eingesetzt bei Funktionsapproximation und überwachtem Lernen B-Spline-Typ Nachbildung der B-Spline-Interpolation mit Hilfe von a priori Wissen Ein spezieller Sugeno-Typ, aber effektiver, schneller, geeignet für überwachtes Lernen und unüberwachtes Lernen J. Zhang 649 J. Zhang Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter B-Spline Fuzzy-Regler 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter B-Spline Basisfunktion Eine Regel(i 1, i 2,...,i n ) mit n konjunktiven Termen in den IF-Teilen ist gegeben durch IF (x 1 is Xi 1 1,k 1 ) and (x 2 is Xi 2 2,k 2 ) and... and (x n is X n THEN y is Y i1 i 2...i n x j: die j-te Eingabe (j = 1,..., n) k j: die Ordnung der B-spline Basisfunktion für x j X j i j,k j : der i-te linguistische Term von x j definiert durch eine B-spline Basisfunktion ist i n,k n ) i j = 1,..., m j, repräsentiert wie fein die j-te Eingabe fuzzy-partitioniert ist Y i1 i 2...i n : die Kontrollpunkte (deboor-punkte) der Regel(i 1, i 2,..., i n) sind Sei x die Eingabe des zu regelnden Systems definiert auf dem Intervall[x 1, x m ] Mit einer Sequenz geordneter Parameter (Knoten) x 1, x 2,... ist der i-te B-spline N i,k der Ordnung k (Grad k 1) rekursiv wie folgt definiert: { 1 for x [x i, x i+1 ) if k = 1 N i,k (x) = 0 otherwise x x i x i+k 1 x i N i,k 1 (x) + x i+k x x i+k x i+1 N i+1,k 1 (x) if k > 1 mit i = 1,...,m k J. Zhang 651 J. Zhang 652

164 8.7 Fuzzy-Logik - Fuzzy-Regelung Intelligente Roboter B-Spline Basisfunktion (cont.) 8.8 Fuzzy-Logik - Literatur Intelligente Roboter [Lip06] Wolfram-Manfred Lippe: Soft-Computing mit Neuronalen Netzen, Fuzzy-Logic und Evolutionären Algorithmen. Springer-Verlag; Berlin, 2006 J. Zhang 653 J. Zhang Steuerungsarchitekturen Intelligente Roboter Gliederung 1. Grundlagen der Sensorik 2. Winkel und Bewegungen 3. Kräfte und Druck 4. Abstandssensoren 5. Scandaten verarbeiten 6. Rekursive Zustandsschätzung 7. Sichtsysteme 8. Fuzzy-Logik 9. Steuerungsarchitekturen Basisverhalten Subsumption Verhaltensfusion Hierarchische Entwürfe 9 Steuerungsarchitekturen Intelligente Roboter Gliederung (cont.) Interaktive Architekturen J. Zhang 655 J. Zhang 656

165 9.1 Steuerungsarchitekturen - Basisverhalten Intelligente Roboter Das Perzeption-Aktion-Modell mit Gedächtnis 9.1 Steuerungsarchitekturen - Basisverhalten Intelligente Roboter Das CMAC-Modell CMAC: Cerebellar Model Articulation Controller (Englisch) The input vector S is modelled as sensory firing cell patterns. The combination of the cell patterns produces an association vector A. This association cell vector multiplied by the weight matrix W produces a response vector P. The CMAC model can be viewed as two mappings: f : S A g : A P S = {sensory input vectors} A = {association cell vectors} P = {response output vectors} J. Zhang 657 J. Zhang Steuerungsarchitekturen - Basisverhalten Intelligente Roboter Das CMAC-Modell (cont.) 9.1 Steuerungsarchitekturen - Basisverhalten Intelligente Roboter B-Spline-Modell The B-Spline model is an ideal implementation of the CMAC-Model. The CMAC model provides an neurophysiological interpretation of the B-Spline model. J. Zhang 659 J. Zhang 660

166 9.1 Steuerungsarchitekturen - Basisverhalten Intelligente Roboter B-Spline-Modell (cont.) 9.1 Steuerungsarchitekturen - Basisverhalten Intelligente Roboter Alvinn - Visuelle Navigation CMU J. Zhang 661 J. Zhang Steuerungsarchitekturen - Basisverhalten Intelligente Roboter Handlungsorientierte Perzeption 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Die Subsumptions-Architektur A robot program employing the modelling/planning paradigm is composed of a sequence of steps. These functional units transform a snapshot of sensory data into a series of actions inteded to achieve a specified goal. (Englisch, R. Brooks) J. Zhang 663 J. Zhang 664

167 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Die Subsumptions-Architektur (cont.) 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Die Subsumptions-Architektur (cont.) A subsumption architecture for a mobile robot Rug Warrior begins with a behaviour called Cruise (moving forward). Follow is triggered by photo-cells to move toward right. Avoid suppresses Follow and Cruise when the near-infrared sensors detect an imminent collision and Escape also helps to avoid obstacles. The highest-level behaviour, Detect-Sound-Pattern caused the robot to play a tune. Inputs from sensors Sensors Interpretation World Modeling Planing Execution Outputs to actuators J. Zhang 665 J. Zhang Steuerungsarchitekturen - Subsumption Intelligente Roboter Die Subsumptions-Architektur (cont.) 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Die Subsumptions-Architektur (cont.) J. Zhang 667 J. Zhang 668

168 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Foraging and Flocking 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Cockroach Neuron / Behaviors J. Zhang 669 J. Zhang Steuerungsarchitekturen - Subsumption Intelligente Roboter Steuerungsarchitektur eines Fisches 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Steuerungsarchitektur eines Fisches (cont.) Control and information flow in artificial fish: Perception: sensors, focusser, filter Behaviours: behaviour routines Brain/mind: habits, intention generator Learning: optimization Motor: motor controllers, actuactors/muscles J. Zhang 671 J. Zhang 672

169 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Active Vision Architecture 9.2 Steuerungsarchitekturen - Subsumption Intelligente Roboter Procedural Reasoning System - SRI 1987 J. Zhang 673 J. Zhang Steuerungsarchitekturen - Verhaltensfusion Intelligente Roboter Verhaltensfusion Hierarchische Fuzzy-Regelung eines Roboters 9.3 Steuerungsarchitekturen - Verhaltensfusion Intelligente Roboter Verhaltensfusion (cont.) Für die Situationsbewertung werden Fuzzy-Regeln benutzt Durch die Situationsbewertung werden 3 Fuzzy-Parameter bestimmt: 1. die Priorität K 2. der Replanning-Selector 3. und NextSubgoal, ob ein Unterziel vorbei ist. Beispiel einer typischen Regel: IF (SL85 IS HIGH) AND (SL45 IS VL) AND (SLR0 IS VL) AND (SR45 IS VL) AND (SR85 IS VL) THEN K IS HIGH AND Replan IS LOW Koordinierung von mehreren Regelbasen: Speed = Speed LCA K + Speed SA (1 K) Steer = Steer LCA K + Steer SA (1 K) J. Zhang 675 J. Zhang 676

170 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Hierarchie 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Hierarchie (cont.) A RCS (real-time Control System) reference model architecture for intelligent system. (Englisch, J. Albus) Processing modes are organised such that the BG (Behaviour Gernation) modules form a command tree. Information in the knowledge database is shared between WM (World Model) modules in nodes within the same subtree. On the right, are examples of functional characteristics of the BG modules and stored by the WM in the knowledge database at each level. J. Zhang 677 J. Zhang Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Hierarchie (cont.) 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Hierarchie (cont.) J. Zhang 679 J. Zhang 680

171 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Sensor-Hierarchie 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Hierarchie (cont.) J. Zhang 681 J. Zhang Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Ein anderes Beispiel: Meystel 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Ein anderes Beispiel: Saridis J. Zhang 683 J. Zhang 684

172 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Eine Architektur für lernende Roboter 9.4 Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Das AuRA-Modell Arkin 86 J. Zhang 685 J. Zhang Steuerungsarchitekturen - Hierarchische Entwürfe Intelligente Roboter Atlantis Nasa Rovers Steuerungsarchitekturen - Interaktive Architekturen Intelligente Roboter Architektur für interaktive Roboter Perzeption Roboter J. Zhang 687 Umwelt Menschliche Instruktionen Sensorgedächtnis interne Sensoren taktile KMS passive Kameras aktive Kameras Mikrophon Sprachgenerierung Sensor Management Roboterzustände sprachliche Perzeption Visuelle Perzeption J. Zhang 688