Beispiel Andocksstem (ADS) Sstemleistung: Leitung des Flugzeugpiloten mittels Displa auf die für den Flugzeugtp vorgeschriebene Stoppposition. Sensor für Bugradposition und Achsenwinkel eines anrollenden Flugzeugs auf Basis von Video-Bildsequenzen. Passagierbrücke Einrollleitlinie Flughafengebäude B 737-3 Rollfeld Stopposition Videokamera Displa Computer Vision _Seite
ADS im Flughafen-Informationssstem Tower Touchdownzeit, Flugzeugtp, Flugnummer Gate-Nr, Gateankunft (Soll), Flugzeugtp, Flugnummer Leitsstem Gate Gateankunftzeit (ist), Stopposition Vorfeldkontrolle Regler: Tp Displa Lage ADS Videoauswertung Flugzeugmodell Status, Position, Winkel, Zeit Computer Vision _Seite 2
ADS: Sstemanforderungen Videoauswertung Regler: Displa Tp Lage Flugzeugmodell Status, Position, Winkel, Zeit ADS Sensor: CCD-Videokamera im PAL-Format (576x768 Pixel) Hardware / Platform: Standard-PC-Sstem / Betriebssstem Windows NT Messfrequenz: mindestens 2 Hz Messgenauigkeit: Bugradposition +/-,2 m, Winkel Flugzeugachse/Leitlinie +/- 2 Operationelle Anforderungen: Fehltperkennung, Pushbackerkennung, Multi- Leitlinienfähigkeit Beleuchtung: Tageslicht, Flutlicht, Allwetterfähigkeit bis Cat III Sichtbedingung Computer Vision _Seite 3
ADS: Messaufgabe Die Messung erfolgt in zwei Schritten:. Bestimmung der Position des Flugzeugs im Bild. 2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum): Objektpunkt auf der Bildebene, z.b. Triebwerksmitte Bildebene z Sehstrahl Höhe der Triebwerksmitte über dem Boden Szenenpunkt Rollfeld(Boden) Voraussetzung: Die Abbildungseigenschaften der Kamera und die Orientierung zwischen Kamera und Boden ist bekannt. Computer Vision _Seite 4
Erinnerung: Kameramodell und -kalibrierung Begriffe Kamerakalibirierung (Eichung) = Ermittlung eines Parametersatzes, so dass das Kameramodell das Abbildungsverhalten der Kamera möglichst gut approximiert. Kameramodell = Mathematische Beschreibung (Approximation) des realen Abbildungsverhaltens des Sensors. z.b. Lochkamera: Die Transformation P : R³ R² ist durch 5 Parameter gegeben: f Brennweite (Abstand Ursprung Koordinatensstem und Bildebene) (c x, c ) Bildhauptpunkt (Durchstoßpunkt der z-achse im Bild in Pixeln) d x / d Breite / Höhe eines Pixels in der Einheit des Kamerakoordinatensstems f xc f c i = + cx j = + c d z d z x c c Computer Vision _Seite 5
Kamerakalibrierung Begriffe Was wird für die Kamerakalibrierung benötigt? Marke (2,, ) T Marke 3 (4,, ) T Marke (,, ) T Marke 8 (, 2, ) T gemessen (soll) projiziert (ist) Kalibrierkörper und die IDs und Weltkoordinaten der Marken z.b. Schachbrettmuster Größe der Quadrate 2 cm Bild vom Kalibrierkörper und die Bildkoordinaten der Marken Computer Vision _Seite 6
Kamerakalibrierung Begriffe Bemerkungen zu den Kalibriermarken: Auch Landmarken kommen als Kalibriermarken in Frage (z.b. Markierungen auf dem Rollfeld von Flughäfen). Auch mit (ausreichend genauen) CAD-Modellen können Kameras kalibriert werden: Dann wird die Lageschätzung um die Kameraparameter erweitert. gemessen (soll) projiziert (ist) Computer Vision _Seite 7
Kamerakalibrierung Begriffe Bemerkungen: Standard für CCD-Kameras: Kalibrierung nach Roger Tsai (Lochkamerasstem plus radiale Verzeichnung) Radial verzeichnetes Schachbrettmuster (Fischauge) Die Kalibriermarken müssen alle relevanten Bereiche des Bildes abdecken. Eine echte 3D-Verteilung der Marken stabilisiert die Kalibrierung. Die Mindestanzahl an Kalibriermarken ist durch die Anzahl der zu bestimmenden Parameter gegeben (eine Marke liefert zwei Gleichungen!) Computer Vision _Seite 8
ADS: Kameramodell Abbildungsmodell nach Roger Tsai (Lochkamera plus radiale Verzeichnung) Bringe Markierungen auf dem Boden an und ziehe ein Bild mit diesen Markierungen ein. Projiziere die Markierungen auf das Bild (rote Kreuze) Optimiere die Abbildungsparameter, so dass projizierte Markierungen und abgebildete Markierungen möglichst gut übereinstimmen. Computer Vision _Seite 9
ADS: Messaufgabe Die Messung erfolgt in zwei Schritten:. Bestimmung der Position des Flugzeugs im Bild. 2. Rückschluss auf die Position des Flugzeugs auf dem Rollfeld (im Raum). Lösung hier: Suche bestimmte Objektpunkte im Bild durch Schablonenanpassung. Computer Vision _Seite
Computer Vision _Seite Kreuzkorrelation Seien g und s zwei gleich große Bilder mit Breite B und Höhe H. Dann heißt Kreuzkorrelation von g und s. = = = = = = = 2 2 ), ( ), ( ), ( ), ( ), ( B x H B x H B x H x s x g x s x g s g Korr
Schablonenanpassung Gegeben seien ein Bild g und eine Schablone s. Schiebe die Schablone s über das Bild g und berechne an jeder Bildpunktposition die Kreuzkorrelation. An der Position, an der die Schablone und das Bild am besten übereinstimmen, ist die Kreuzkorrelation am größten. Schablone s Bild g Kreuzkorrelationsbild Computer Vision _Seite 2
ADS: Objektmodell Objektmodellierung: Modell aus Triebwerkseinlass, Frontscheibe, Hauptfahrwerk (in Form von Schablonen) und deren geometrischer Zusammenhang (Gitter) Centerline Schablonen, starres Gitter Stopposition Die Übereinstimmung des Modells mit dem Bild wird durch Schablonenanpassung (z.b. Korrelationskoeffizient) gemessen. Computer Vision _Seite 3
ADS: Suchvorgang im Fangbereich Start Korrelationsverlauf für verschiedene Sequenzen Korrelationsverlauf beim Vorgang "Searching" für Sequenzen mit folgenden Merkmalen: Flugzeugtp: 737; Kamera: color; Mittelwert-Template. ce2 ce9 ce26 Sequenz ce23 ce2 ce ce3 ce7 ce2 ce6 ce2 ce24 ce5 ce3 4 8 2 36 32 28 24 2 6 Bild-Nr..9.8.7.6.5.4.3.2. -. Korrelationswert Bild-Nummer ce3 ce4 ce5 ce25 ce24 ce9 ce2 ce8 ce6 ce5 ce2 ce6 ce7 ce8 ce3 ce4 ce ce ce2 ce22 ce23 ce7 ce26 ce27 ce9 ce ce2 Nein Suchposition festlegen 3D-Template an Suchposition transformieren Bild einziehen Korr. berechnen für Umgebung um Suchposition Template gefunden Korr>Schwellwert Ja Flugzeugposition über 3D-Fit berechnen Tracking Computer Vision _Seite 4
ADS: Objektverfolgung Start Aktuelle Flugzeugposition aus "Searching" Schablone an aktuelle Flugzeugposition transformieren Schablone mit aktuellem Bildinhalt überblenden Bild einziehen Korrelation für Schablone berechnen Aktuelle Flugzeugposition über 3D-Fit berechnen Stop-Postion nein ja Stop Computer Vision _Seite 5
ADS: Verfolgungsergebnisse Korrelationswert KKV-Werte für "Tracking" Vorgang; Fluzeugtp: 737; Kamera: SW; 3D; 5 P Korrelationsverlauf für verschiedene Sequenzen.8.6.4.2 t3d_2 t3d_ t3d_9 t3d_27 t3d_26 t3d_7 t3d_23 t3d_22 t3d_2 Sequenz t3d_ t3d_ t3d_4 t3d_3 t3d_8 t3d_7 t3d_6 t3d_2 t3d_5 t3d_6 t3d_8 t3d_2 t3d_9 t3d_24 t3d_25 t3d_5 t3d_4 t3d_3 38 75 2 49 86 223 26 297 334 37 Bild-Nr. Nummer t3d_3 t3d_4 t3d_5 t3d_25 t3d_24 t3d_9 t3d_2 t3d_8 t3d_6 t3d_5 t3d_2 t3d_6 t3d_7 t3d_8 t3d_3 t3d_4 t3d_ t3d_ t3d_2 t3d_22 t3d_23 t3d_7 t3d_26 t3d_27 t3d_9 t3d_ t3d_2 Computer Vision _Seite 6
ADS: Auswerteergebnisse 3 3 25 25 2 2 5 5 5 5 -,5, 5 33 65 97 29 6 93 225 257 289 32 353 385 47 449 48 Andocksequenz 3: f=6mm Stop: x=-.7, =.5 25 25 2 2 5 5 5 5 -,5 33 65 97 29 6 93 225 257 289 32 353 385 47 449 48 Andocksequenz : f=6mm Stop: x=-.3, =.7 Computer Vision _Seite 7
ADS: Auswerteergebnisse 9 8 7 6 5 4 3 2-5 5 5 2 6 5 4 3 2-2 -,5 - -,5 Computer Vision _Seite 8
Zusammenfassung Operationelle Lösungskonzept Sstemanforderungen Anforderungen Bildauswertung Geschwindigkeit Sensoren Nutzungskonzept Latenzzeit Aufgabendefinition Szene Datensätze Genauigkeit Algorithmen Kommunikations- HW-/SW-Konzept Einbindung Einsatz- Echtzeitlösung Randbedingungen Trainingsumgebung Hardware Testumgebung Zuverlässigkeit Sstemintegration Betriebssstem Verfügbarkeit Computer Vision _Seite 9