Technische Universität

Transkript

1 Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik IX Stereo Vision: Epipolargeometrie Proseminar: Grundlagen Bildverarbeitung/Bildverstehen Alexander Sahm Betreuer: Dipl.-Inform. Jan Bandouch Abgabetermin: 30. Januar 2007

2 Inhaltsverzeichnis 1 Einführung 2 2 Epipolargeometrie Definitionen Kamera Bezugssystem Grundzüge der Epipolargeometrie Äußere Kameraparameter Innere Kameraparameter Epipole und Epipolarlinien Die Essentielle Matrix Die Fundamentale Matrix Berechnung von E und F D Rekonstruktion Grundlegendes Triangulation zur Rekonstruktion Fazit 11 1

3 1 Einführung Unsere Welt ist dreidimensional, Bilder und hier im besonderen Fotos jedoch können nur zwei Dimensionen darstellen. Die Natur umgeht diese Problem schon lange, die meisten Tieren besitzen zwei Augen. Aus den zwei unterschiedlichen Perspektiven der selben Szene können sie Informationen über die Entfernung von Objekten gewinnen. Wer kennt nicht das sprichwörtliche über den Daumen peilen, bei dem man die Entfernung eines Gegenstandes unter Verwendung seines Daumens abschätzt. Diese Methode basiert auf den beiden unterschiedlichen Perspektiven mit denen unsere Augen die Umwelt betrachten. Der ausgestreckte Daumen scheint, wenn man ihn abwechselnd nur mit linkem bzw. rechtem Auge betrachtet, zu springen. Selbstverständlich bleibt der Daumen, eine ruhige Hand vorausgesetzt, an seinem Platz, wir betrachten ihn und die gesamt Szenerie lediglich aus einer anderen Perspektive. Hierbei ist der Sprung umso grösser, je weiter das Objekt entfernt ist. Wenn man seine Armlänge und den Abstand der Augen kennt, kann man mit der breite des Sprunges (in Bezug auf die entfernte Bildebene) die Entfernung des Objekts näherungsweise bestimmen. Das Gebiet der Stereo Vision übernimmt nun das Prinzip der mehreren Perspektiven, um so am Computer Tiefeninformationen einzelner Punkte zu berechnen. Dabei gilt es zwei grundlegende Probleme zu lösen. Zum einen müssen die jeweils zusammengehörigen Punkte in beiden Bildern identifiziert werden, zum anderen werden wir vor der Frage stehen, wie wir aus zwei zusammengehörigen Punkten ihren Abstand zur Kamera ermitteln. Ein Punkt aus der realen Welt, z.b. die Eckkante eines Tisches, hat bei zwei Bildern aus unterschiedlicher Perspektive, immer zwei Repräsentationen in den einzelnen Bildern. Diese befinden sich, wie der vorhin angesprochene Daumen, an zwei verschiedenen Positionen. Diese zu finden ist essentiell für die Bestimmung der Entfernung. Nur wenn wir den Punkt der Realität in beiden Bildern gefunden haben, können wir die Differenz, die durch die unterschiedlichen Blickwinkel erzeugt wird, messen und somit die Entfernung mittels Triangulation berechnen. Unser Gehirn übernimmt diese Aufgabe automatisch für uns, wir haben im Säuglingsalter gelernt mit den beiden Bildern die unsere Augen liefern entsprechend umzugehen. Der Computer tut sich wesentlich schwerer zwei Bildpunkte eindeutig dem gleichen realen Punkt zuzuordnen. Erschwerend kommt hinzu, dass es immer Punkte gibt, die in dem einen, aber nicht in dem anderen Bild zu sehen sind. (vgl. Abb. 1.1) 2

4 1 Einführung A B O Abbildung 1.1: Blick von zwei Kameras A und B auf das Objekt O, der graue Bereich ist jeweis nur in einem der beiden Bilder zu sehen In dieser Arbeit werde ich jedoch nicht näher auf das finden von korrelierenden Punkten eingehen, da es mehr ein Problem der klassischen zweidimensionalen Computerbildverarbeitung ist und eine genauere betrachtung zu sehr ins Detail führen würde. Ich werde also im weiteren Verlauf annehmen, dass bereits entsprechende Punkte gefunden wurden, oder ein geeigneter Algorithmus bereitsteht. Der Fokus wird auf dem zweitgenannten Grundproblem liegen, nämlich wie man aufgrund der speziellen Anordnung der beiden Kameras und der daraus resultierenden Geometrie auf die Entfernung des Punktes schließen kann. Kapitel 2 wird hierzu die Grundlegenden Modellvorstellungen und mathematischen Hintergründe beschreiben. Während auf die Rückgewinnung von Tiefeninformationen aus zwei Bildpunkten, bei gegebener Geometrie, anschließend in Kapitel 3 eingegangen wird. 3

5 2 Epipolargeometrie Die Epipolargeometrie beschreibt ganz allgemein Aufbau der Kameras und die für die spätere Berechnung zugrundeliegende Geometrie. Wir können mit ihrer Hilfe den Suchbereich für korrespondierende Punkte eingrenzen und erkennen gleichzeitig welche Informationen für eine Berechnung der Entfernung eines Punktes notwendig sind. 2.1 Definitionen Kamera Bezugssystem Jede Kamera kann abstrahiert als 3-dimensionales Koordinatensystem mit einer X, Y und Z Achse betrachtet werden (vgl. Abb. 2.1). Das Projektionszentrum bildet den Ursprung des Systems und eine Bildebene π repräsentiert das fotografierte Bild. Die optische Achse fällt mit der Z-Achse des Koordinatensystems zusammen, an der entlang sich die Bildebene befindet. Wobei die Brennweite f den Abstand bestimmt. Der Schnittpunkt zwischen der optische Achse und π ist das Bildzentrum O. Ein beliebiger Punkt P = (X, Z, Y ) T des Raumes wird auf den Punkt p = (x, y, f) T der Bildebene abgebildet. Kamera Bezugssystem O Y X p Bildebene P f o Optische Achse π Z Abbildung 2.1: Kamera Bezugssystem 4

6 2 Epipolargeometrie Dieses System stellt ein Kamerabezugssystem dar (engl. Camera Frame) und wird in der Epipolargeometrie eine wichtige Rolle spielen. An dieser Stelle seien auch noch zwei grundlegende Gleichungen erwähnt, sie beschreiben wie die Koordinaten des realen Punktes P auf die Bildebene π abgebildet werden. x = f X Z y = f Y Z Grundzüge der Epipolargeometrie Epipolar Linie P Epipolar Linie π l P l P r π r Epipolar Fläche p l p r O l e l e r O r Abbildung 2.2: Epipolargeometrie Abbildung 2.2 zeigt die Epipolargeometrie. Sie besteht aus zwei Kamerabezugssystemen, einem linken und einem rechten. Die Verbindungslinie zwischen den beiden Projektionszentren O l und O r ist die Basis. Die zwei Vektoren P l = (X l, Y l, Z l ) T und P r = (X r, Y r, Z r ) T beschreiben in ihrem jeweiligen Bezugssystem (linke oder rechte Kamera) den selben Punkt P im Raum. Nun gibt es jedoch auf Grund der unterschiedlichen Perspektiven der beiden Kameras zwei unterschiedliche Bildpunkte. Einen in π l und einen in π r. Diese werden durch die Vektoren p l = (x l, y l, f l ) T und p r = (x r, y r, f r ) T auch wieder ihrem jeweiligen Bezugssystem entsprechend beschrieben Äußere Kameraparameter Die äußeren Kameraparameter beschreiben wie die Position der einen Kamera gegenüber der anderen verändert ist. Diese Veränderung kann durch zwei Bewegungen beschrieben werden. 5

7 2 Epipolargeometrie Durch ein verschieben (Translation) und ein verdrehen (Rotation) der entsprechenden Achsen. Das rechte Kamera Bezugssystem kann somit mittels Vektorrechung durch das linken System ausgedrückt werden und umgekehrt. Hierfür wird ein Translationsvektor T = (O r O l ) und eine Rotationsmatrix R beötigt. Wenn man beide kennt, also die äußeren Parameter des Stereosystems bekannt sind, gilt: P r = R(P l T ) Innere Kameraparameter Neben den äußeren Parametern besitzt eine jede Kamera auch noch innere. Sie beschreiben wie die Punkte der Bildebene in ihrem Bezugssystem auf Pixel im endgültigen Bild abgebildet werden. Hierzu gehört beispielsweise die schon unter erwähnte Brennweite, aber auch eine mögliche optische Verzerrung am Rand der Linse. Durch Kalibrierung können diese Einflussgrößen bestimmt und somit eine Matrix berechnet werden, welche die Parameter vollständig beschreibt Epipole und Epipolarlinien Die beiden Schnittpunkte zwischen der Basis und den Bildebenen werden als Epipole bezeichnet. Die Epipole sind somit die Projektion der jeweils anderen Kamera in die aktuellen Bildebene und werden mit e l bzw. e r bezeichnet. Besondere Bedeutung erhalten die Epipole dadurch, dass sie Teil der Epipolarfläche sind, die von den drei Punkten O l, O r und P aufgespannt wird. Sie schneidet jedes Bild in einer Linie, der so genannten Epipolarlinie (Vgl. Abb. 4). Jede Epipolarlinie geht durch den Epipol der entsprechenden Bildebene. Diese Epipolarlinie hat einen großen praktischen Nutzen, da sie es ermöglicht, die Suche nach einem korrespondierenden Punkt p r zu einem gegebenen Punkt p l auf die entsprechende Epipolarlinie in π r zu beschränken. Hierfür wird die Halbgerade beginnen bei O l durch den Bildpunkt p l in die Bildebene π r projektiert. Der gesuchte Punkt p r muss nun auf der durch die Projektion erzeugten Epipolarlinie liegen. Diese Bedingung wird deshalb auch die Epipolarbedingung genannt. Sie stellt eine Zuordnung von Bildpunkte auf der einen zu Epipolarlinien auf der anderen Seite her. Alle Epipolarlinien gehen somit durch den entsprechenden Epipol und jeder andere Bildpunkt wird daher von genau einer Epipolarline getroffen. Die Suche nach einem Punktpaar wird damit auf einen wesentlich kleineren Bereich eingeschränkt, da zu einem bekannten Punkt in π l die jeweilige Epipolarlinie in π r bekannt ist. Auch eine Überprüfung bereits gefundener Paare lässt sich so sehr schnell realisieren. 2.2 Die Essentielle Matrix Nun stellt sich die Frage, wie können wir die Epipolargeometrie, also ihre Parameter, beschreiben. Wenn wir annehmen, von unserem Stereosystem seien die externen Parameter (siehe 2.1.3) 6

8 2 Epipolargeometrie bekannt. Dann können wir mit Hilfe von grundlegenden geometrischen Überlegungen eine Matrix gewinnen, die Essentielle Matrix. Sie stellt eben gerade diese Abbildung von Punkten in dem einen auf Epipolarlinien in dem anderen Bezugssystem dar, die wir zuvor angesprochen hatten. In Abbildung 2.2 ist die Fläche, welche von dem Punkt P und den beiden Kamerazentren O l und O r aufgespannt wird, grau hervorgehoben und mit Epipolarfläche bezeichnet. Die externen Kameraparameter liefern uns die Verschiebung T = (O r O l ) Diese Ebene und die damit verbunden komplanarität der Vektoren P l, P r und T, liefert uns die Essentielle Matrix, eine 3 3 Matrix mit Rang 2, die folgende Gleichung erfüllt: p T l E p r = 0 E setzt sich aus einer Verrechnung der externen Parameter, R und T, unseres Kamerasystems folgendermaßen zusammen. 0 T z T y E = R T z 0 T x T y T x 0 Wenn wir nun einen Punkt p l in π l und die externen Kameraparameter kennen, können wir die Epipolarlinie u r in π r bestimmen: u r = E p l Die Punkte p l und p r beziehen sich hierbei auf die Punkte auf der Bildfläche, nicht auf die Pixel im endgültigen Bild. Da von unseren Kameras jedoch Pixelinformationen geliefert werden, brauchen wir eine Matrix die sich auf die Pixelkoordinaten bezieht, die so genannte Fundamentale Matrix. 2.3 Die Fundamentale Matrix Eine Abbildung von Bildebene auf Pixel wird durch die internen Parameter der Kamera beschrieben, somit müssen diese in die Fundamentale Matrix mit einfließen. Seien M l und M r die Matrizen der internen Parameter der rechten bzw. linken Kamera. Dann ergibt sich die Fundamentale Matrix F durch die Verrechnung mit der Essentiellen Matrix. F = M T r E M 1 l Analog zur Essentiellen Matrix, stellt die Fundamentale Matrix eine Zuordnung von diesmal pixelbezogenen Punkten in der einen, auf pixelbezogene Linien in der anderen Bildfläche dar. u r = F p l 2.4 Berechnung von E und F Es gibt sehr viele Verfahren um E bzw. F zu berechnen. Ein sehr einfaches ist das Acht-Punkt Verfahren, es setzt 8 gefundene korrespondierende Punkte vorraus und berechnet aus ihnen die Fundamentale oder Essentielle Matrix. 7

9 2 Epipolargeometrie Da die beiden Matritzen sich sehr ähnlich sind, ist es möglich den Algorithmus durch geringfügige Anpassungen entweder für die Berechnung der Essentiellen oder der Fundamentalen Matrix zu verwenden. Im weiteren werde ich mich auf die Berechnung der Fundamentalen Matrix beschränken, da diese auch die internen Parameter des Stereosystems beschreibt und direkt auf Pixelkoordinaten operiert. Die für die Fundamentale Matrix geltende Formel p T l F p r = 0 erzeugt unter Verwendung der 8 gefundenen Punkte ein homogenes lineares Gleichungssystem. Die nichttriviale Lösung desselbigen beschreibt dann die Fundamentale Matrix. Zuerst wird die 8 9 Matrix A aufgestellt, sie enthält die Koeffizienten des zu lösenden Gleichungssystems. Anschließend wird dieses mittels dem numerischen Verfahren der Singularwertzerlegung gelöst. Hierbei wird die Matrix A in eine Multiplikation aus drei Matrizen zerlegt: A = U D V T Die letzte Spalte der Matrix V enthält hierbei die Lösung des Gleichungssystems. Diese Spalte enthält 9 Werte, aus denen die Fundamentale Matrix aufgebaut werden kann. Damit die durch Ungenauigkeiten in der Messung entstandenen Fehler sich jedoch nicht zu stark auswirken, muss die somit gewonnene vorläufige Matrix noch weiter numerisch bearbeitet werden. Die Fundamentale Matrix hat per Definition den Rang 2. Damit unsere bisherige Lösung diese Bedingung auch erfüllt, wird wiederum eine Singularwertzerlegung angewandt. Die vorläufige Matrix F wird zerlegt in U D V T. Nun wird der geringste Singularwert in D auf Null gesetzt, und anschließend die so veränderte Matrix D zusammen mit U und V verrechnet: F = U D V T F ist nun eine genäherte Fundamentale Matrix. Mit ihrer Hilfe wird uns die Suche nach weiteren korrespondierenden Punkten wie bereits angesprochen deutlich vereinfacht. Wichtig ist dies vor allem auf Grund der Tatsache, dass die Rekonstruktion der Positionsinformation des Punktes im Raum jeweils zwei korrespondierende Punkte voraussetzt. 8

10 3 3D Rekonstruktion Die 3D Rekonstruktion bezeichnet die Vorgehensweise, die notwendig ist, um aus zwei korrelierenden Punkten schlussendlich die Positionsinformation eines Punktes im Raum zu berechnen. Je nach Fülle der Informationen über das Stereosystem, variiert die komplexität der Zurückgewinnung sowie die Eindeutigkeit des Ergebnisses. 3.1 Grundlegendes So kann bei Bekanntheit sowohl der internen, wie auch der externen Parameter der beiden Kameras die Berechnung ziemlich leicht durch Triangulation bewerkstelligt werden. Hierbei ist auch eine eindeutige Positionsbestimmung der Punkte möglich. Bei Unkenntnis über die externen Parameter, also über die Anordnung der Kameras, kann der Abstand der Punkte zur Kamera nicht bestimmt werden. Somit sind die Entfernungsangaben stets nur bis auf einen konstanten Faktor angebbar. Sollten weder interne noch externe Parameter bekannt sein, so ist die Szene sogar nur bis auf eine beliebige perspektivische Transformation zu bestimmen. In dieser Arbeit werde ich mich auf die Betrachtung des ersten Falles beschränken um den Rahmen nicht zu sprengen. 3.2 Triangulation zur Rekonstruktion Die Epipolargeometrie in Abbildung 2.2 zeigt den Punkt P als den Schnittpunkt der beiden Halbgeraden, beginnend bei O l bzw. O r durch den Punkt p l bzw. p r. Theoretisch betrachtet sind die beiden Halbgeraden ja bekannt und somit auch ihr Schnittpunkt. Das Problem vor dem wir jedoch stehen ist, dass es aufgrund von Ungenauigkeiten in der Erkennung der korrelierenden Punkte und der Berechnung an sich, meist zu gar keinem Schnitt der beiden Halbgeraden kommt. Eine Alternativlösung ist also gefragt, die uns auf eine möglichst einfache Art und Weise die Koordinaten des Punktes P näherungsweise bestimmen lässt. Die einfachste solche ist, den Punkt zu benutzen, an welchem der Abstand zwischen den beiden Halbgeraden am geringsten ist. Wenn wir die Halbgerade durch O l und p l mit l und die rechte Halbgerade entsprechend mit r bezeichnen, dann gilt bei Verwendung des Bezugssystems der linken Kamera: l = a p l (a R) r = T + b R T p r (b R) 9

11 3 3D Rekonstruktion r l P p l p r O l w O r Abbildung 3.1: Triangulation Wobei T und R die externen Parameter unseres Stereosystems sind. Wir definieren zusätzlich noch einen Vektor w, der sowohl zu l als auch zu r senkrecht ist. w = p l R T p r Der gesuchte Punkt P liegt nun auf dem Teilstück einer Gerade die parallel zu w ist und gleichzeitig l und r schneidet (vgl. Abbildung 3.1). Die Endpunkte dieses Teilstückes a 0 p l und T + b 0 R T p r können mit Hilfe folgender Formel leicht bestimmt werden: a p l b R T p r + c(p l R T p r ) = T Wenn die Endpunkte der gesuchten Strecke bekannt sind, ist der Mittelpunkt dieser Strecke gleichzeitig unser gesuchtes P. P ist nun der fertig angenäherte Schnittpunkt der beiden Halbgeraden und somit der Punkt im realen dreidimensionalen Raum, welcher durch die beiden Bildpunkte p l und p r beschrieben wurde. 10

12 4 Fazit Ausgehend von zwei Bildern der gleichen Szene, jedoch aus unterschiedlichen Perspektiven, haben wir mit Hilfe der Epipolargeometrie ein geometrisches System aufgestellt. Seine Bedingungen, Zusammenhänge und Matrizen können wir sowohl für eine vereinfachte Punktpaarsuche, als auch zur 3D Rekonstruktion nutzen. Die Matrizen nähert man relativ leicht aus mindestens acht gefundenen korrespondierenden Punkten, indem man zuerst ein Gleichungssystem löst und anschließend mittels numerischer Verfahren die notwendigen Eigenschaften wieder herstellt. Schlussendlich haben wir nun ausgehend von einem zusammengehörigem Punktpaar und den externen Parametern unseres Stereosystems die Koordinaten eines Punkt im dreidimensionalen Raum errechnet. Angewendet auf möglichst viele korrespondierende Punkte, kann nun ein detailgetreues 3D Abbild der ganzen Szenerie erstellt werden. Anwendungfelder für diese Techniken der Entfernungsmessung bieten sich reichlich, autonome Fahrzeuge oder eine verbesserte Personenerkennung durch zwei Kameras sind nur einzelne Beispiele. Es besteht zusätzlich die Möglichkeit mit mehr als zwei Perspektiven zu operieren, um noch genauere Entfernungsmessungen anstellen zu können. Durch die ständige Steigerung der Rechenleistung und Verbesserung von CCD-Chips werden sich wohl auch in Zukunft auf diesem Gebiet noch einige neue Möglichkeiten auftuen. 11

13 Literaturverzeichnis [1] Emanuele Trucco, Alessandro Verri. Introductory techniques for 3-D computer vision. Prentice Hall, [2] Hartley, Zisserman. Multiple View Geometry. Cambridge, [3] David Forsyth and Jean Ponce. Computer Vision A modern approach. Prentice Hall,

14 Abbildungsverzeichnis 1.1 Blick von zwei Kameras A und B auf das Objekt O, der graue Bereich ist jeweis nur in einem der beiden Bilder zu sehen Kamera Bezugssystem Epipolargeometrie Triangulation