Computergrafik 2: Fourier-Transformation

Transkript

1 Computergrafik 2: Fourier-Transformation Prof. Dr. Michael Rohs, Dipl.-Inform. Sven Kratz MHCI Lab, LMU München Folien teilweise von Andreas Butz, sowie von Klaus D. Tönnies (Grundlagen der Bildverarbeitung. Pearson Studium, 2005)

2 Themen heute Fourier-Transformation Grundidee Konstruktion der Fourier-Basis Phase und Amplitude Eigenschaften der FT Konvolution und Korrelation im Frequenzraum Schnelle Fourier-Transformation (FFT) Computergrafik 2 SS20 2

3 Motivation Manche Operationen sind im Ortsraum (d.h. auf den Pixeln des Bildes) schwer Herausfiltern bestimmter Frequenzen Beseitigung störender Details Konvolution, Korrelation Frequenzraum als Labor zur Entwicklung von Filtern Idee: übertrage Bild in einen Raum, in dem diese Operationen leichter sind z.b. Zerlegung des Bildes in Frequenzen Rückweg muss möglich sein! Verschiedene Möglichkeiten, gleiches Prinzip Computergrafik 2 SS20 3

4 Beispiel: Artefakte entfernen R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS20 4

5 Motivation Bisher: Darstellung des Bildes im Ortsraum durch den Grauwert an einem bestimmten Ort Jetzt: Darstellung im Frequenzraum durch cos und sin Funktionen verschiedener Frequenzen Eindeutige und vollständige Darstellung in beiden Räumen Ortsraum Frequenzraum Fourier-Transformation inverse Fourier- Transformation Computergrafik 2 SS20 5

6 Fourier Jean Baptiste Joseph Fourier ( ) Französischer Physiker und Mathematiker Erfinder der Fourier- Transformation Johann Bernoulli Advisor Leonhard Euler Advisor Joseph Louis Lagrange Advisor Jean Baptiste Joseph Fourier Quelle: Computergrafik 2 SS20 6

7 Fourier-Transformation: Grundidee Beschreibe beliebige Funktion als gewichtete Summe periodischer Grundfunktionen (Basisfunktionen) mit unterschiedlicher Frequenz Computergrafik 2 SS20 7

8 Parameter Periodischer Grundfunktionen y(x) Asin(2! f x +") A Amplitude: Intensität des Signals φ Phase: Verschiebung zum Ursprung Frequenz zeitlich f(t) Frequenz räumlich f(x) T Periodendauer [s] λ Wellenlänge [m] f Frequenz f /T [/shz] f Raumfrequenz f/λ [/m] ω Kreisfrequenz ω2πf k Wellenzahl k 2π/λ y A φ T bzw. λ x Computergrafik 2 SS20 8

9 Funktion mit sin und cos multiplizieren Originalfunktion f (x), x 0.. Abtastungsfunktionen cos(!2! x) sin(!2! x) Ergebnis (f*sin und f*cos) f (x)! cos("2! x) f (x)!sin("2! x) Computergrafik 2 SS20 9

10 sin(!2! x) f (x)"sin(!2! x) F sin () sin(!2! 2x) f (x)"sin(!2! 2x) F sin (2) sin(!2! 4x) f (x)"sin(!2! 4x) F sin (4) # $ f (x)sin(...)dx 0!# sin(!2! 5x) f (x)"sin(!2! 5x) F sin (5) # $ f (x)sin(...)dx 0!# sin(!2! 3x) f (x)"sin(!2! 3x) F sin (3) # $ f (x)sin(...)dx > 0!# # $ f (x)sin(...)dx > 0!# # $ f (x)sin(...)dx > 0!# f (x) Computergrafik 2 SS20 0

11 cos(!2! x) f (x)" cos(!2! x) F cos () cos(!2! 2x) f (x)" cos(!2! 2x) F cos (2) cos(!2! 4x) f (x)" cos(!2! 4x) F cos (4) # $ f (x)" cos(...)dx 0!# cos(!2! 5x) f (x)" cos(!2! 5x) F cos (5) f (x) # $ f (x)" cos(...)dx 0!# cos(!2! 3x) f (x)" cos(!2! 3x) F cos (3) # $ f (x)" cos(...)dx 0!# # $ f (x) " cos(...)dx 0!# # $ f (x)" cos(...)dx 0!# Computergrafik 2 SS20

12 Fouriers Theorem Jede beliebige periodische Funktion lässt sich darstellen als Summe von sin und cos Funktionen unterschiedlicher Frequenzen. Ist die Funktion nicht periodisch, aber auf einen bestimmten Definitionsbereich beschränkt, so kann man diesen Bereich einfach kopieren (periodisch fortsetzen) und hat damit wieder eine periodische Funktion. Die Zeilen und Spalten eines Bildes kann man als nichtperiodische diskrete Funktionen auffassen. Man kann also auch ein Bild Fourier-transformieren. Computergrafik 2 SS20 2

13 kontinuierliche Fourier-Transformation Transformation vom Ortsraum in den Frequenzraum F(u) # "!" f (x)e!2!ixu dx Transformation vom Frequenzraum in den Ortsraum f (x) # "!" F(u)e 2!ixu du Im z a+bi re iφ r φ sin φ b - cos φ Re a - Computergrafik 2 SS20 3

14 Ist ein Bild eine periodische Funktion? Computergrafik 2 SS20 4

15 Ist ein Bild eine periodische Funktion? Zunächst: Betrachtung der periodischen Fortführung einer Zeile λ (N Pixel) λ (N Pixel) λ (N Pixel) λ (N Pixel) λ (N Pixel) Computergrafik 2 SS20 5

16 Beispiel: F()... Originalfunktion f (x), x 0.. Gewichtungsfunktionen real(e!i2! x ) cos(!2! x) imag(e!i2! x ) sin(!2! x) Ergebnis (f*sin und f*cos) real( f (x)! e "i2! x ) imag( f (x)! e "i2! x ) F() # $ f (x)! e "i2! x dx, F() > 0 "# Computergrafik 2 SS20 6

17 Beispiel: F(2)... Originalfunktion f (x), x 0.. Gewichtungsfunktionen real(e!i2! 2 x ) cos(!2! 2x) imag(e!i2! 2 x ) sin(!2! 2x) Ergebnis (f*sin und f*cos) real( f (x)! e "i2! 2 x ) imag( f (x)! e "i2! 2 x ) F(2) # $ f (x)! e "i2! 2 x dx, F(2) 0 "# Computergrafik 2 SS20 7

18 e!i2! x f (x)e!i2! x f (x) # F() $ f (x)" e!i2! x dx > 0 e!i2! 2 x!# f (x)" e!i2! 2 x F(2) # $ f (x)" e!i2! 2 x dx 0!#!i2! 3x e!i2! 3x f (x)" e F(3) e!i2! 4 x f (x)" e!i2! 4 x # $ f (x)" e!i2! 3x dx > 0!# F(4) # $ f (x)e!i2! 4 x dx 0!#!i2! 5x e!i2! 5x f (x)" e F(5) # $ f (x)" e!i2! 5x dx > 0!# Computergrafik 2 SS20 8

19 Fourier-Transformation: Eigenschaften Transformation: verändert eine Funktion nicht, sondern stellt sie nur anders dar Transformation ist umkehrbar à inverse Fourier-Transformation Analog zum Basiswechsel in der Vektorrechnung Computergrafik 2 SS20 9

20 Computergrafik 2 SS20 20 Exkurs: Vektorrechnung 0 0, 0 0, 0 0 bilden eine Basis b des R 3 sind paarweise orthogonal haben Länge 0 0, 0 2 / 2 /, 0 2 / 2 / bilden ebenfalls eine Basis b 2 des R 3 sind ebenfalls paarweise orthogonal Haben ebenfalls Länge / 2 / 0 2 / 2 / Ist orthogonal und normiert (d.h. M T M - ) Ist Basiswechselmatrix von b nach b 2

21 Basiswechsel Sei V ein n-dimensionaler Vektorraum über Körper K mit Basen B{b,..., b n } und B {b,..., b n } Darstellung der Vektoren von B in B : Darstellung des Vektors v in B: Darstellung des Vektors v in B : v v n! i n! i b j x i b i x i 'b i ' n! i a ij b i ' v n n n n " n % n n! x j b j! x! j a ij b i '! $! x j a iji ' b ' i! c i b i '! x i 'b i ' j j i i # j & i i Computergrafik 2 SS20 2

22 Basiswechsel v n n n n " n % n n! x j b j! x! j a ij b i '! $! x j a iji ' b ' i! c i b i '! x i 'b i ' j j i i # j & i i Also: x i ' n! j x j a iji mit b j n! i a ij b i ' in Matrix-Notation:! # # # " x '! x n ' $! & # & # & # % " a " a n! #! a n " a nn $! &# &# & # %" x! x n $ & & & % Computergrafik 2 SS20 22

23 Anschaulich: Basisvektoren eines Bildes 0 0 * * + * + 0 * bilden eine Basis des R 4 sind paarweise orthogonal haben Länge Wahl anderer Basisvektoren è Transformation mittels Basiswechsel Basiswechselmatrix vom Rang der Pixelanzahl Computergrafik 2 SS20 23

24 Orthogonale Funktionen Seien f und f 2 Funktionen, die an N Stellen abgetastet sind (also N-dim. Vektoren) f und f 2 sind orthogonal, falls gilt: * N f f f ( k) f ( k) 2 k 0 2 D.h. das Skalarprodukt der zugehörigen Vektoren ist 0 N paarweise orthogonale Funktionen f f N bilden damit eine orthogonale Basis des N-dim. Raums Transformationen zwischen orthogonalen Basen sind immer umkehrbar 0 Computergrafik 2 SS20 24

25 Orthogonale Funktionen Computergrafik 2 SS20 25

26 Orthogonale Funktionstransformationen Betrachte abgetastete Funktionen wie Vektoren Finde neue geeignete orthogonalen Basis Üblicherweise Basisfunktionen, die Bedeutung bzgl. der betrachteten Eigenschaft haben Fourier-Basis: komplexe, periodische Funktionen Kosinusbasis: Kosinusfunktionen Transformiere Bild in diese Basis Bearbeite es dort Transformiere zurück y Ax x A y Computergrafik 2 SS20 26

27 Fourierbasis (. Versuch, nur cos) Ausgangspunkt: Bildzeile mit N Pixeln. Versuch: wähle N Kosinusfunktionen " cos$ 0! 2! # N % & ', cos " $! 2! # N % & ', cos " $ 2! 2! # N % & ',..., cos " $ (N ()! 2! # N % ' & Beispiel nächste Folie: N 5 Problem: abgetastete Funktionswerte gleich für i und i4 sowie i 2 und i 3 also keine Basis der Dimension N 5 Vektoren spannen nur 3-dim. Untervektorraum auf Computergrafik 2 SS20 27

28 0*2π/5 *2π/5 2*2π/5 3*2π/5 4*2π/5 5*2π/5 6*2π/5 7*2π/ Computergrafik 2 SS20 28

29 Fourierbasis (. Versuch, nur cos) N5, u i, u j 4 N u j Problem: falls u i N u j ist, sind die Abtastungen gleich è nur N/2 Funktionen verfügbar, keine Basis Siehe auch Shannon-Nyquist Theorem, Aliasing Computergrafik 2 SS20 29

30 Fourierbasis (. Versuch, nur cos) N 4 Computergrafik 2 SS20 30

31 0*2π/5 *2π/5 2*2π/5 3*2π/5 4*2π/5 5*2π/5 6*2π/5 7*2π/5 cos: sin: cos: sin: cos: sin: cos: sin: cos: sin: cos: sin: cos: sin: cos: sin: Computergrafik 2 SS20 3

32 Basisfunktionspaare (cos, sin) N 4 Computergrafik 2 SS20 32

33 Erinnerung: komplexe Zahlen Im Bereich der reellen Zahlen gibt es keine Lösung für x² - Einführung der imaginären Zahlen i: Lösung der Gleichung x² - Die Gruppe der reellen und imaginären Zahlen nennt man komplexe Zahlen Komplexe Zahl z: z a + i b, wobei a und b reell sind Computergrafik 2 SS20 33

34 Erinnerung: komplexe Zahlen Imaginäre Achse Realteil a r θ z Imaginärteil i*b Reelle Achse z iθ a + ib r e r(cos( θ) + i sin( θ )) Computergrafik 2 SS20 34

35 Komplexe periodische Funktionen Computergrafik 2 SS20 35

36 Komplexes Skalarprodukt Skalarprodukt zweier Vektoren mit komplexen Elementen! x b! N" N" # x i! y * i # Re(x i )+ iim(x i ) i0 i0 ( )( Re(y i )"iim(y i )) Zu x a + ib komplexkonjugierte Zahl ist x* a - ib Computergrafik 2 SS20 36

37 Fourierbasis (2. Versuch, komplexe Fn.) 2. Versuch: wähle komplexe Funktionen f cos( un) + isin( un) Wobei u ein ganzzahliges Vielfaches von u 0 2π/N à N verschiedene Funktionen Ist eine Basis Computergrafik 2 SS20 37

38 Repräsentation als Exponentialfunktion cos( α α i( x+ α ) x + ) + isin( x + ) e e ix e iα Computergrafik 2 SS20 38

39 D-Basisfunktionen 0 0 b 0 (n) [(, 0),(, 0),...,(, 0)] Computergrafik 2 SS20 39

40 2D-Basisfunktionen Frequenz: Richtungsvektor: r(u, v) f (u, v) u 2 + v 2 f (u, v)! # " Computergrafik 2 SS20 40 u v $ & %

41 2D-Fourier-Transformationspaar Transformationspaar für Bilder der Größe M N Transformation vom Ortsraum in den Frequenzraum F(u, v) ) M" m0) N" n0 # # f (m, n)! exp %"i2! % um M + vn $ $ N Transformation vom Frequenzraum in den Ortsraum f (m, n) MN ) M( m0) N( n0 && (( '' " " F(u, v)! exp$ i2! $ um M + vn # # N %% '' && Computergrafik 2 SS20 4

42 2D-Fourier-Transformationspaar Transformationspaar für Bilder der Größe N N Transformation vom Ortsraum in den Frequenzraum F(u, v) N ) N" m0) N" n0 # f (m, n)! exp %"i 2! $ N & ( um + vn) ( ' Transformation vom Frequenzraum in den Ortsraum f (m, n) N ) N( m0) N( n0 " F(u, v)! exp$ i 2! # N % ( um + vn) ' & Computergrafik 2 SS20 42

43 Phase und Amplitude Funktionswerte von F(u,v) a+ib sind komplexe Zahlen Betrag eines Funktionswerts: Amplitude F(u,v) sqrt(a 2 +b 2 ) Winkel zur reellen Achse: Phase tan - (b/a) Amplitude und Phase sind Parameter der jeweiligen Basisfunktion Computergrafik 2 SS20 43

44 Zweidimensionale Fouriertransformation Computergrafik 2 SS20 44

45 Beispiele für Amplitude FT FT Computergrafik 2 SS20 45

46 Darstellungsweise Original Amplitude (zentriert, d.h. von N/2 bis N/2) Amplitude (log. Skala) Amplitude (zentriert, log. Skala) Computergrafik 2 SS20 46

47 Beispiele Amplitude Phase Computergrafik 2 SS20 47

48 Einfluss von Amplitude und Phase Computergrafik 2 SS20 48

49 Translation Computergrafik 2 SS20 49

50 Computergrafik 2 SS20 50

51 Phasenverschiebung Computergrafik 2 SS20 5

52 Computergrafik 2 SS20 52

53 Periodizität und Symmetrie F(u) ) N" n0 # f (n)! exp "i2! un & % ( $ N ' x Computergrafik 2 SS20 53

54 Separabilität Computergrafik 2 SS20 54

55 Konvolution und Korrelation Konvolution und Korrelation sind zwei eng verwandte Filter-Operationen. Beide können im Ortsraum und im Frequenzraum ausgeführt werden. Die Operation im Frequenzraum ist eine einfache Multiplikation (Aufwand N 2 ). Achtung: Padding wegen Periodizität! P A + B - Computergrafik 2 SS20 55

56 Konvolution im Frequenzraum Computergrafik 2 SS20 56

57 Konvolution im Frequenzraum D-Konvolution f (x)! h(x) $ N# f (n)" h(x # n) n0 % F(u)" H(u) 2D-Konvolution M" # f (x, y)! h(x, y) f (m, n) $ h(x " m, y " n) m0# n0 % F(u, v)$ H(u, v) N" Computergrafik 2 SS20 57

58 Wraparound Error Padding: P A + B - R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS20 58

59 Padding R. C. Gonzalez & R. E. Woods, Digital Image Processing Computergrafik 2 SS20 59

60 FAST FOURIER TRANSFORM (FFT) Computergrafik 2 SS20 60

61 Vorgehensweise generell Vereinfachende Annahme: N2 k, k> Nutze Separabilität, um 2D-FT auf D zurückzuführen (O(N 4 ) à O(N 3 )) Teile Summe in zwei Teilsummen auf Finde Gemeinsamkeiten in den Teilsummen und berechne beide Teilsummen miteinander Betrachte die Teilsumme und unterteile rekursiv bis N (O(N 3 ) à O(N 2 log N) Computergrafik 2 SS20 6

62 Computergrafik 2 SS20 62 Separabilität ) ( 2 exp 2 )exp, ( 2 exp 2 exp 2 )exp, ( 2 exp 2 )exp, ( ) ( 2 )exp, ( ), ( N m u N m N n N m N n N m N n N m N n m F um N i N vn N i n m f N um N i N um N i vn N i n m f N N vn N i um N i n m f N vn um N i n m f N v u F π π π π π π π π Vorgehensweise: F u (m) für alle Spalten m berechnen und dann bei den Zeilen verwenden.

63 Computergrafik 2 SS20 63 Divide Schritt ) ( ) )( (2 ) )( (2 2 ) )( ( 2 ) )( ( ) ( 2 exp, 2 K n u n K K n nu K K n un K N n un N N W n f K W n f K W n f K W n f N u F N i W K N π ( ) u K odd even K n nu K odd K n nu K even W u F u F u F W n f K u F W n f K u F ) )( ( ) ( 2 ) ( ) )( (2 ) (, ) )( (2 ) ( Finde Gemeinsamkeiten in den Teilsummen Teile Summe in zwei Teilsummen auf

64 Ausnutzen der Periodizität ( W K ) u+n ( W K ) u,( W 2K ) u+k!( W 2K ) u " N 2K,W N exp $!i 2! # N % ' & ( ) 2 F u + K even ( ) + F odd ( u + K) ( W 2K ) u+k F u + K 2 F even u ( ) ( ( )! F odd ( u) ( W 2K ) u ) Also kann man F(u+K) mithilfe F(u) berechnen (einmal F even + F odd, einmal F even F odd ) Betrachte die Teilsumme [0 K-] und unterteile rekursiv bis K (O(n 3 ) à O(n 2 log n) Computergrafik 2 SS20 64

65 Fourier Transformation zum Anschauen exploratories/ Computergrafik 2 SS20 65

66 Überlagerung von Schwingungen: anschaulich Computergrafik 2 SS20 66