Fundamentale Matrix: 8-Punkte Algorithmus

Transkript

1 Übungen zu Struktur aus Bewegung Arbeitsgruppe Aktives Sehen Sommersemester 2003 Prof. Dr-Ing. D. Paulus / S. Bouattour Übungsblatt 5 Fundamentale Matrix: 8-Punkte Algorithmus Gegeben sei eine Menge von 3D Punkten (z.b die Punkte, die für die Kamerakalibrierung Übungsblatt 5, Aufgabe 2 verwet wurden a ). Außerdem seien die Projektionsmatrizen für zwei Kamerapositionen gegeben: sie können aus den externen und internen Kameraparametern, die für die Berechnung der Fundamentalen Matrix (F-Matrix) Übungsblatt 7 verwet wurden b, nach folger Vorschrift berechnet werden: P = (KR KR T ) Die obige Schreibweise ist eine Konkatenation von einer 3 3 Matrix: KR und einem 3 1 Vektor: KR T, die die gesamte Projektion vom Weltkoordinatensystem von einem Punkt p w in das Pixelkoordinatensystem des Bildes beschreibt: KR (p w T ). Durch die Einführung von homogenen Koordinaten p w kann man die letzte Gleichung auch linear beschreiben: P p w. 1. Projizieren Sie die Punkte auf die zwei Bilder und schätzen Sie die F-Matrix anhand der gewonnen Korrespondenzen. Überprüfen Sie die Schätzung von der F-Matrix, indem Sie für jede Punktkorrespondenz die epipolare Bedingung überprüfen. 2. Normieren Sie die 2D Koordinaten, so dass ihr Mittelwert gleich (0,0,1) ist. Skalieren Sie die Koordinatenwerte so, dass der Mittelwert der Längen aller Punktvektoren gleich 2 ist. Schätzen Sie die F-Matrix und überprüfen Sie die epipolare Bedingung. 3. Diskretisieren Sie die berechneten 2D Koordinaten durch Runden der Werte. Diese Koordinaten stellen eine Perturbation in den Koordinaten dar. Schätzen Sie die F-Matrix erneut (mit beiden Methoden) und überprüfen Sie ihre Genauigkeit. 4. Addieren Sie ein normalverteiltes Rauschen mit σ 2 = 5 zu den 2D Punkten. Die Funktion randn produziert einen zufälligen normalverteilten Wert mit Mittelwert 0 und Varianz 1. Schätzen Sie erneut die F-Matrix mit beiden Methoden. a createpoints.m b inputepipolar.m Es folgen die Eingabe Daten für den 8-Punkt Algorithmus: %%%%%%%%file:input_eightpt.m %Anzahl der verwereten Punkte. n=18 %given a set of 3D points: the same as used for camera calibration. ddummy=zeros(1,n); ddummy(1,i)=(i/10)ˆ2; %Ergebnis, eine hoffentlich nicht kritische Konfiguration.

2 W=[-n/2:n/2-1;sqrt([1:n]+[1:n]);ddummy;ones(1,n)]; %given 2 projection-matrices: the same used for computing the % essential and fundamental matrix: P1=K1*[R1, -R1 *T1]; P2=K2*[R2, -R2 *T2]; %bild 2D projection: img1pts= P1*W; img1pts(1:3,i)=img1pts(1:3,i)/img1pts(3,i); img2pts= P2*W; img2pts(1:3,i)=img2pts(1:3,i)/img2pts(3,i); Implementierung des 8-Punkt Algorithmus: function F = eightpt(img1pts,img2pts) % computes the fundamental matrix F12 out of the set of corresponding points % in image 1 and 2. % You can get F21 by computing the transpose matrix. % the number of point correspondences must be the same. % img1pts and img2pts are 3xn matrices containing the 2D points in each image. % return the fundamental matrix F. %Author: Sahla Bouattour n1=length(img1pts); n2=length(img2pts); if n1 = n2 && n1 < 3 error("eightpt: number of correspondences must be the same for... both images and must exceed 3"); n=n1; %build the solution matrix: A = [img2pts(1,1)*img1pts(:,1) img2pts(2,1)*img1pts(:,1) img2pts(3,1)*img1pts(:,1) ]; for i=2:n A = [A ; img2pts(1,i)*img1pts(:,i) img2pts(2,i)*img1pts(:,i) img2pts(3,i)*img1pts(:,i) ]; printf("solution matrix has rank: %d\n",rank(a)); if rank(a) < 8 printf("bad data, it will follow a bad estimation of F!!\n"); % printf("solving an overdetermined system, using SVD..\n"); [U,S,V]=svd(A); sv=size(v); %get the last column in V, which correspond to the smallest Singular Value.

3 Fvec=V(:,sv(2)); %sv(1): nb of rows, sv(2): nb of cols. %F is a unit vector. F=zeros(3,3); F(1,1:3) = Fvec(1:3) ; F(2,1:3) = Fvec(4:6) ; F(3,1:3) = Fvec(7:9) ; % force rank of F if(rank(f) < 2) printf("wrong estimation of F: bad data!!\n"); [Uf,Sf,Vf]=svd(F); Sf(3,3)=0; F=Uf*Sf*Vf ; function Normiertes 8-Punkt Algorithmus: function F = normeightpt(img1pts,img2pts) % computes the fundamental matrix F12 out of the set of corresponding points % in image 1 and 2. % You can get F21 by computing the transpose matrix. % it performs a normalization step by translating all points to the centroid % and scaling all values such that the mean length of the vectors is sqrt(2). % the number of point correspondences must be the same. % img1pts and img2pts are 3xn matrices containing the 2D points in each image. % return the fundamental matrix F. % Author: Sahla Bouattour n1=length(img1pts); n2=length(img2pts); if n1 = n2 && n1 < 3 error("eightpt: number of correspondences must be the same for... both images and must exceed 3") n=n1; c1=[0 0 0] ; c2=[0 0 0] ; %compute the 2D centroids. c1= c1 + img1pts(1:3,i); c2= c2 + img2pts(1:3,i); c1 = 1/n *c1; c2 = 1/n *c2; %compute the mean value of lengths of all vectors. m1=0; m2=0;

4 m1= m1 + norm(img1pts(1:3,i)); m2= m2 + norm(img2pts(1:2,i)); m1 = 1/n * m1; m2 = 1/n * m2; %compute the Normalization Matrix in 2D (Similarity Transform consisting % of a translation and an isotropic scale): T1=(sqrt(2)/m1)*[1 0 -c1(1); 0 1 -c1(2); 0 0 1]; T2=(sqrt(2)/m2)*[1 0 -c2(1); 0 1 -c2(2); 0 0 1]; nimg1pts = T1*img1pts; nimg2pts = T2*img2pts; F = eightpt(nimg1pts,nimg2pts); F= T2 *F*T1; function Testen der beiden Methoden auf verschiedene Angaben: source "eightptalgo.m"; inputepipolar input_eightpt %compute ideal F R = R2 *R1; T = -R1 *(T1-T2); %compute essential matrix. E = R*crossProdMat(T); %Berechnung der Fundamentalen Matrix von Bild 1 nach Bild 2. % D.h wenn ich p1 habe, kann ich dazu eine Linie in B2 berechen, % und sie auch zeichnen. %compute the fundamental matrix: F = inv(k2) * E * inv(k1); printf("compute ideal F: "); F=F/norm(F) %compute fundamental matrix: printf("compute estimated F1: "); F1 = eightpt(img1pts,img2pts); F1

5 if( img2pts(:,i) *F1*img1pts(:,i) > 10e-4) if %computef matrix using normalization: printf("compute estimated F2 with normalization: "); F2 = normeightpt(img1pts,img2pts); F2 if( img1pts(:,i) *F2*img2pts(:,i) > 10e-4) if %test epipolar constraint with: %q =[ ] ; p=[261,213,1] ; %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% printf("introduce perturbation by rounding numbers\n"); %introduce first perturbation: img1pts1=round(img1pts); img2pts1=round(img2pts); printf("compute estimated F3: "); F3 = eightpt(img1pts1,img2pts1); F3 if( img1pts1(:,i) *F3*img2pts1(:,i) > 10e-4) if %computef matrix using normalization: printf("compute normalized estimated F4: "); F4 = normeightpt(img1pts1,img2pts1); F4 if( img1pts1(:,i) *F4*img2pts1(:,i) > 10e-4) if

6 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %introduce second perturbation: %add gaussian noise with sigma=nlevel and mean value the point of interest. nlevel=5; printf("introduce gaussian noise on the points with sigma: %f\n",nlevel); img1pts2(1:2,:) = img1pts(1:2,:) + nlevel * randn(size(img1pts(1:2,:))); img2pts2(1:2,:) = img2pts(1:2,:) + nlevel * randn(size(img2pts(1:2,:))); img1pts(3,:)=ones(1,n); img2pts(3,:)=ones(1,n); printf("compute estimated F5: "); F5 = eightpt(img1pts2,img2pts2); F5 if( img1pts2(:,i) *F5*img2pts2(:,i) > 10e-4) if %computef matrix using normalization: printf("compute normalized estimated F6: "); F6 = normeightpt(img1pts2,img2pts2); F6 if( img1pts2(:,i) *F6*img2pts2(:,i) > 10e-4) if