Messen optischer Größen, Messen aus Bildern Übersicht Optische Strahlung, Sensorik Geometrie, Photogrammetrie Kamerakalibrierung Stereo

Transkript

1 Messen optischer Größen Messen aus Bildern Übersicht Optische Strahlung Sensorik Geometrie Photogrammetrie Kamerakalibrierung Stereo Menschliche Wahrnehmung Neurophsiologie Kognitive Pschologie Digitale Bildanalse Digitales Rasterbild Kenngrößen Bildverarbeitungsoperationen Segmentation Salient point detection + description Ael Pinz SS 2017 Messtechnik 2 6 1

2 Bildverarbeitungsoperationen Eingabebild E Ausgabebild A Funktion f: E A Bildkoordinaten Ortsbereich Transformation T: E Fuv T transformiert in einen anderen Bereich z.b.: Frequenzbereich uv bei der Fourier-Transformation Wozu Transformationen? z.b.: Kompleität geschlossene Formulierung e. Problems etc. Ael Pinz SS 2017 Messtechnik 2 6 2

3 Ein Resultat viele mögliche Lösungsege >> E=imread'peppers.jpg'; >> G5=fspecial'gaussian'155; >> A=imfilterEG5; E f A T T -1 F E uv g F A uv Ael Pinz SS 2017 Messtechnik 2 6 3

4 Punkt- und lokale Operationen Ael Pinz SS 2017 Messtechnik 2 6 4

5 Punktoperationen A=fE Allgemein: beliebige Grauertübertragungsfunktion Ael Pinz SS 2017 Messtechnik 2 6 5

6 Punktoperationen Beispiele 1 Schellert S: A = 0 E < S 1 E S E A Ael Pinz SS 2017 Messtechnik 2 6 6

7 Punktoperationen Beispiele 2 Kontraständerung: A = ke + d 1 V A cropping auf [minma] V E E A Ael Pinz SS 2017 Messtechnik 2 6 7

8 Punktoperationen Beispiele 3 Punktoperation auf mehreren Bildern: Farbe monochrom A = 1 3 E r E g E b >> N=imread'peppers.jpg'; >> BW=N::1/3+N::2/3+N::3/3; >> imritebw'peppers_bw.jpg'; E A E r E g E b Ael Pinz SS 2017 Messtechnik 2 6 8

9 Punktoperationen Beispiele 4 Punktoperation auf mehreren Bildern: Beegung in Video A = E 1 E 2 E 1 E 2 A Anmerkung: idealisierte vereinfachte Darstellung aus [Pinz Bildverstehen 1994] Ael Pinz SS 2017 Messtechnik 2 6 9

10 Beegung in Video 1 >> frame1=imread'jogger_0.jpg'; >> frame2=imread'jogger_1.jpg'; >> f1_hsv=rgb2hsvframe1; >> f2_hsv=rgb2hsvframe2; >> f1_v=f1_hsv::3; >> f2_v=f2_hsv::3; >> f_diff=absf1_v-f2_v; >> imshof_diff; jogger_0 jogger_1 f_diff Ael Pinz SS 2017 Messtechnik

11 Beegung in Video 2 f_diff imhistf_diff 8*f_diff Auch Beegung im Hintergrund! Kamera-Pan Ael Pinz SS 2017 Messtechnik

12 Lokale Fensteroperation Allgemein: lokales Fenster W E von E: W E δ = E δ δ E + δ δ E E δ + δ E + δ + δ A = fw E δ nsbesondere: Faltung A = W E δ A = s= δ δ t= δ Ws t E + s + t Achtung: Behandlung des Bildrandes definieren! Ael Pinz SS 2017 Messtechnik

13 Beispiele zur Faltung Hochpass W = E >> E=im2doubleimread'peppers_val.jpg'; >> W=[0-10;-14-1;0-10]; >> A=imfilterEW'conv'; >> imshoa; A Ael Pinz SS 2017 Messtechnik

14 Beispiele zur Faltung Tiefpass W = >> E=imread'peppers_val.jpg'; >> W=[111;111;111]; >> A=imfilterEW'conv'; >> imshoa/9; E A Ael Pinz SS 2017 Messtechnik

15 Beispiele zur Faltung Kantendetektion mit dem Sobeloperator S = S = S A = S E 2 + S E 2 E E*S A E*S [-44] Ael Pinz SS 2017 Messtechnik

16 Matlab Code zum Sobeloperator >> E=im2doubleimread'peppers_val.jpg'; >> SX=[121;000;-1-2-1]; >> SY=[10-1;20-2;10-1]; >> AX=imfilterESX'conv'; >> AY=imfilterESY'conv'; >> imriteax'sobel_x.jpg'; >> imriteay'sobel_y.jpg'; >> A=absAX+absAY; >> imshoa; >> imriteabsax'abs_sobel_x.jpg'; >> imriteabsay'abs_sobel_y.jpg'; >> imritea'sobel_amplitude.jpg'; absax E absay AX A AY Ael Pinz SS 2017 Messtechnik

17 Globale Operationen Auv=fE Beispiel Fouriertransformation Ael Pinz SS 2017 Messtechnik

18 Fouriertransformation Beispiel 1 v u uv=00: Orsfrequenz 0 =0 [Pinz Bildverstehen 1994] Ael Pinz SS 2017 Messtechnik

19 Fouriertransformation Beispiel 1 [Pinz 1994] Ael Pinz SS 2017 Messtechnik

20 Ein Resultat viele mögliche Lösungsege >> E=imread'peppers.jpg'; >> G5=fspecial'gaussian'155; >> A=imfilterEG5; E f A T T -1 F E uv g F A uv Ael Pinz SS 2017 Messtechnik

21 Fouriertransformation in Matlab >> E=im2doubleimread'peppers_BW.jpg'; >> F=fft2E; >> F=fftshiftF; >> figure1 hold off imagesce ais off colormap gra ais image title'intensit image'; >> figure2 hold off imagesclogabsf ais off colormap jet ais image colorbar title'log fft magnitude'; Ael Pinz SS 2017 Messtechnik

22 Fouriertransformation Beispiel 2 Vgl: rezeptives Feld von kompleen Zellen im visuellen Corte! Ael Pinz SS 2017 Messtechnik

23 Segmentation Unterteilen eines Bildes B in disjunkte Regionen R i Formale Definition von Segmentation benötigt ein Homogenitätskriterium H: Ael Pinz SS 2017 Messtechnik

24 Flächen- / kantenbasierte Segmentation [Pinz Bildverstehen 1994] Ael Pinz SS 2017 Messtechnik

25 Beispiel: Regionenbasierte Segmentation mittels Schellert E S=75 A A2 1. Glätten Gauß 2. Schellert 3. Region labelling 4. Segmentation >> G5=fspecial'gaussian'155; >> EG=imfilterEG5; >> A=1-im2bEG 75/255; >> A1=bconncompA; >> A2=labelmatriA1; Ael Pinz SS 2017 Messtechnik

26 Messen optischer Größen Messen aus Bildern Übersicht Optische Strahlung Sensorik Geometrie Photogrammetrie Kamerakalibrierung Stereo Menschliche Wahrnehmung Neurophsiologie Kognitive Pschologie Digitale Bildanalse Digitales Rasterbild Kenngrößen Bildverarbeitungsoperationen Segmentation Salient point detection + description Ael Pinz SS 2017 Messtechnik

27 Detektion und Beschreibung auffälliger Punkte salient points / corners / Ecken Beispiel 1: >> E=imread'peppers_val.jpg'; >> C=cornerE 'Harris'; >> imshoe; >> hold on; >> plotc:1 C:2'r*'; Ael Pinz SS 2017 Messtechnik

28 Detektion und Beschreibung auffälliger Punkte salient points / corners / Ecken Beispiel 2: >> E=imread'squares.jpg'; >> C=cornerE 'Harris'; >> imshoe; >> hold on; >> plotc:1 C:2'r*'; Ael Pinz SS 2017 Messtechnik

29 Homogene Bildregion: Kein Gradient Was definiert eine Ecke? Kante: Gradient in 1 Richtung Ecke: Mindestens 2 Gradienten- Richtungen im rezeptiven Feld Gradient erste Ableitung Ael Pinz SS 2017 Messtechnik

30 Ecke salient point Ecke: Gradienten in 2 Richtungen Auch das ist ein salient point : Gradienten in alle Richtungen Vgl: On-Off und Off-On Zellen! Ael Pinz SS 2017 Messtechnik

31 Point Correspondences - Eample Structure and motion from natural landmarks [Scheighofer] Stereo reconstruction of Harris corners Ael Pinz SS 2017 Messtechnik

32 Salient points corners based on 1 st derivatives Autocorrelation of 2D image signal [Moravec] Approimation b sum of squared differences SSD Windo W Differences beteen gravalues in W and a indo shifted b ΔΔ f W [ [ ] ] 2 2 Four different shift directions f i : f Moravec 4 i1 f i A corner is detected hen f Moravec >th Ael Pinz SS 2017 Messtechnik

33 33 Ael Pinz SS 2017 Messtechnik 2 6 Salient points corners based on 1 st derivatives Autocorrelation second moment matri: Avoids various shift directions Approimate +Δ +Δ b Talor epansion: Rerite f: f W W M ] [ 2 second moment matri M Gradient in -Richtung

34 34 Ael Pinz SS 2017 Messtechnik 2 6 Salient points corners based on 1 st derivatives Autocorrelation second moment matri: M can be used to derive a measure of cornerness ndependent of various displacements ΔΔ Corner: significant gradients in >1 directions rank M = 2 Edge: significant gradient in 1 direction rank M = 1 Homogeneous region rank M = 0 Several variants of this corner detector: KLT corners Förstner corners W W W W 2 2 M

35 35 Ael Pinz SS 2017 Messtechnik 2 6 Salient points corners based on 1 st derivatives Harris corners Most popular variant of a detector based on M Local derivatives ith derivation scale σ D Convolution ith a Gaussian ith integration scale σ M Harris for each point in the image Cornerness c Harris does not require to compute eigenvalues Corner detection: c Harris > t Harris Harris D D D D D D D D D G M M M trace det Harris c Harris t D

36 Descriptors 1 Representation of salient regions descriptive features feature vector There are man possibilities! Matching calibration specific object recognition: Search for high descriptive poer Tolerate viepoint variations f n n 1 fn j f T feature vector etracted from patch P n Ael Pinz SS 2017 Messtechnik

37 Gravalues Descriptors 2 Ra piel values of a patch P local appearance-based description General moments of order p+q: P p q m pq P Moment invariants: Central moments μ pq : invariant to translation m10 m01 p q : pq m m P P Ael Pinz SS 2017 Messtechnik

38 Descriptors 3 Moment invariants: Normalized central moments pq pq 00 ith 1 p q 2 Translation rotation scale invariant moments Φ1... Φ7 [Hu] Geometric/photometric color invariants [vangool et al.] Filters local jets [Koenderink+VanDoorn] Gabor banks steerable filters discrete cosine transform DCT 02 Ael Pinz SS 2017 Messtechnik

39 SFT descriptors [Loe] Descriptors 4 Scale invariant feature transform Calculated for local patch P: 88 or 1616 piels Subdivision into 44 sample regions Weighted histogram of 8 gradient directions: 0º 45º SFT vector dimension: 128 for a 1616 patch [Loe] Ael Pinz SS 2017 Messtechnik

40 Wo braucht man Punktdetektoren und -deskriptoren? mmer enn es nötig ist Punktkorrespondenzen herzustellen! Kamerakalibrierung 3D Tiefe aus Stereokorrespondenz mmer enn aus Bildern gemessen erden soll! Ael Pinz SS 2017 Messtechnik

41 Messen optischer Größen Messen aus Bildern Übersicht Optische Strahlung Sensorik Geometrie Photogrammetrie Kamerakalibrierung Stereo Menschliche Wahrnehmung Neurophsiologie Kognitive Pschologie Digitale Bildanalse Digitales Rasterbild Kenngrößen Bildverarbeitungsoperationen Segmentation Salient point detection + description Ael Pinz SS 2017 Messtechnik