Bildverarbeitung. Modul TA.BA EBV

Transkript

1 Bildverarbeitung Modul TA.BA EBV Tobias Plüss 29. Juni 2013

2

3 Inhaltsverzeichnis 1 Mathematische Beschreibung von Bildern Histogramm Absolutes Histogramm Relatives Histogramm Kumulatives Histogramm Anwendung von Matlab oder GNU Octave Beispiele Farbräume Punktoperationen Homogene Punktoperationen Nichtlineare Grauwerttransformation Histogrammausgleich Detektion von Bewegungen Einfache Differenzbildung Hintergrundschätzung Filteroperationen Faltung und Korrelation Glättung (Tiefpass) Gaussfilter Rechteckfilter Kantendetektion Sobel-Filter Prewitt-Filter Gradientenfilter Laplace-Filter Nichtlineare Filter Median-Filter Minimum- und Maximumfilter Morphologie Dilatation Erosion Schliessung Öffnung Beispiele und Anwendungen der morphologischen Operatoren Fourier-Transformation Repetition: Eindimensionale diskrete Fourier-Transformation

4 4 Inhaltsverzeichnis 8.2 Zweidimensionale diskrete Fourier-Transformation Segmentierung und Merkmalsextraktion Automatische Schwellwertbestimmung nach Otsu Segmentierung

5 1 Mathematische Beschreibung von Bildern Graustufenbilder lassen sich als Matrizen darstellen mit M Zeilen und N Spalten. Hat man ein farbiges Bild, so kann dieses in die Komponenten rot, grün und blau zerlegt werden; diese einzelnen Komponenten lassen sich dann wieder genau gleich wie ein Graustufenbild behandeln. Darstellung als Matrix mit M Zeilen und N Spalten: i 11 i i 1N i 21 i i 2N I = i M1 i M2... i MN Ein konkreter Pixel kann mit i m,n dargestellt werden; in diesem Fall werden die Indizes klein geschrieben. Des Weiteren ist noch zu beachten: in Matlab gehen die Indizes m und n von 1 bis M bzw. N; üblicher ist aber eher, dass die Indizes im Bereich von 0 bis M 1 bzw. N 1 sind. In diesem Fall stimmt die Zählweise nämlich praktischerweise gerade mit Programmiersprachen wie C überein. 1.1 Histogramm Zur Charakterisierung eines Bildes eignet sich ein Histogramm. Hierbei werden auf der x-achse alle möglichen Grauwerte aufgeführt und auf der y-achse wird eingetragen, wie häufig der zugehörige Grauwert im Bild insgesamt vorkommt Absolutes Histogramm Beim Absoluten Histogramm wird auf der y-achse die absolute Häufigkeit jedes Grauwerts eingetragen. Man muss also die Pixel jedes einzelnen Grauwerts zählen, um den zugehörigen y-wert zu erhalten Relatives Histogramm Beim relativen Histogramm wird die relative Häufigkeit der einzelnen Grauwerte eingetragen. Dies heisst, die Anzahl der Pixel eines bestimmten Grauwerts wird ins Verhältnis zu der gesamten Pixelzahl gesetzt, sodass man beim relativen Histogramm auf der y-achse ablesen kann, welcher Prozentuale Anteil aller Pixel einen bestimmten Grauwert hat.

6 6 1 Mathematische Beschreibung von Bildern Kumulatives Histogramm Beim kumulativen Histogramm wird zu jedem Grauwert eingetragen, welcher Prozentuale Anteil aller Pixel genau diesem Grauwert, oder allen darunter liegenden Grauwerten entsprechen. Das kumulative Histogramm entspricht gerade der Fläche unter dem relativen Histogramm. Zwar erscheint diese Definition ein wenig unhandlich, jedoch lassen sich mit Hilfe des Kumulativen Histogramms einige Berechnungen einfacher durchführen. 1.2 Anwendung von Matlab oder GNU Octave Mit Matlab oder GNU Octave können auch Bildverarbeitungsalgorithmen implementiert und so sehr einfach getestet werden. Zunächst müssen die zu verarbeitenden Bilder als Matrizen geladen werden. Dies kann mit dem Befehl imread bewerkstelligt werden: % read the image file London.png into the matrix my_image my_image = imread( London.png ) Der Befehl erkennt das Bildformat automatisch, dekomprimiert ggf. komprimierte Bilder und lädt die Bild-Rohdaten in eine Variable, in diesem Fall my_image. Derart geladene Bilder lassen sich mit dem Befehl imshow anzeigen; mit imhist kann das Histogramm eines Bildes berechnet und angezeigt werden. Es ist auch möglich, nur die Rohdaten des Histogramms zu extrahieren, was z.b. für eine spätere Weiterverarbeitung nützlich ist. % show the histogram imhist(my_image); % use the following in octave: imhist(double(my_image)) % don t show the histogram but get the raw data (matlab or octave, respectively) [count, value] = imhist(my_image); [count, value] = imhist(double(my_image)); Sofern man Octave anstatt Matlab verwendet, muss für die Berechnung des Histogramms das Bild vorgängig noch in den Datentyp double konvertiert werden. Hat man ein Bild in Matlab oder Octave geladen, kann es angezeigt, mit Algorithmen bearbeitet und auch wieder gespeichert werden. Anzeigen und speichern von Bildern wird folgenermassen bewältigt: % show the image previously loaded to my_image imshow(my_image) % save the image to a file imwrite(my_image, my new image.png, png ); imwrite(my_image, another image.bmp, bmp ); Bei my_image handelt es sich um eine Matrix, die von der Dimension her mit den Abmessungen des Bildes übereinstimmt. Die Elemente der Matrix entsprechen dabei den Grauwerten der Pixel im Bild. Meist handelt es sich um 8 Bit Graustufen, es sind also 256 verschiedene Grauwerte darstellbar. Wird das Bild im Zuge der Verarbeitung mathematischen Operationen unterworfen, so können dabei u.u. Resultate entstehen, die den Maximalwert von 255 überschreiten, oder es kann auch ein Binärbild mit den Werten 0 und 1 resultieren. Um solche Bilder auch korrekt darstellen zu können, würd der Befehl imshow(my_image, []) verwendet. Das Argument [] besagt hierbei, dass das kleinste Element der Matrix my_image auf den Grauwert 0 abgebildet wird, während dasjenige Element mit dem grössten Wert auf den Grauwert 255 abgebildet wird. Dazwischen wird linear interpoliert. In den eckigen Klammern kann auch ein bestimmter Wertebereich angegeben werden:

7 1.2 Anwendung von Matlab oder GNU Octave 7 imshow(my_image, [10,20]). In diesem Fall werden Werte kleiner als 10 auf den Grauwert 0 abgebildet, während Werte grösser als 20 auf den Grauwert 255 abgebildet werden. Auch hier wird bei dazwischenliegenden Werten wieder linear interpoliert. Auch die Rohdaten eines Bildes können zur Weiterverarbeitung in anderen Programmen als Klartext exportiert werden: save rawdata.txt my_image -ascii

8 8 1 Mathematische Beschreibung von Bildern 1.3 Beispiele In Abbildung 1.1 ist ein Beispielbild dargestellt. Von diesem Bild werden nun nacheinander die einzelnen Histogramme gezeigt: Absolutes Histogramm in Abbildung 1.2 Relatives Histogramm in Abbildung 1.3 Kumulatives Histogramm in Abbildung 1.4 Abb Beispielbild für die Histogramme Häufigkeit Grauwert Abb Absolutes Histogramm

9 1.4 Farbräume % 3 % 2.5 % Häufigkeit 2 % 1.5 % 1 % 0.5 % 0 % Grauwert Abb Relatives Histogramm 100 % 90 % 80 % 70 % Häufigkeit 60 % 50 % 40 % 30 % 20 % 10 % 0 % Grauwert Abb Kumulatives Histogramm 1.4 Farbräume Zur Darstellung von Farben existieren verschiedene Farbräume. Für die Bildverarbeitung ist wohl RGB am gebräuchlichsten, jedoch gibt es noch andere Farbräume wie YCbCr oder CMYK. Mit Matlab oder Octave kann ein Bild zwischen verschiedenen Farbräumen konvertiert werden wie folgt: orig = imread( image.png ) % standard: RGB

10 10 1 Mathematische Beschreibung von Bildern ycbcr = rgb2ycbcr(orig); % YCbCr-image gray = rgb2gray(orig); % grayscale image Die Umrechnung von RGB in YCbCr erfolgt mit den folgenden Matrizen: Y R Cb = G Cr B Die Konvertierung nach CMYK ist etwas aufwendiger, da hier keine fertige Matlab-Funktion existiert. Die Konvertierung kann aber mit dem folgenden Skript durchgeführt werden: function c = rgb2cmyk(c) s = size(c); n = size(s,2); m = s(2+(n==3)); if ~( isnumeric(c) & any( n == [ 2 3 ]) &... any( m == [ 3 4 ] ) ) error( Input must be a RGB or CMYK Color Matrix. ); end if isempty(c) return end u8 = strcmp(class(c), uint8 ); if u8 c = double(c)/255; end sub = { : : }; sub = sub(1:(1+(n==3))); if m == 3 % RGB --> CMYK c = 1 - c; k = min(c,[],n); c = c - k(sub{:},[1 1 1]); c = cat( n, c, k ); else % CMYK --> RGB c = 1 - ( c(sub{:},[1 2 3]) + c(sub{:},[4 4 4]) ); end if u8 c = uint8(round(c*255)); end Die Anwendung geschieht dann wie folgt: orig = imread( image.png ) % RGB image cmyk = rgb2cmyk(orig); % convert to CMYK rgb = rgb2cmyk(cmyk); % convert back to RGB using the same function

11 2 Punktoperationen 2.1 Homogene Punktoperationen Punktoperationen, bei denen die Berechnungsvorschrift nicht von der Position der Pixel abhängt, heissen homogene Punktoperationen. Beispielsweise die Bildung des inversen Bildes ist eine homogene Operation. Man kann diese mit einer Lookup-Tabelle realisieren, wie folgt: f[0] = 255 f[1] = 254 f[2] = f[255] = 0 was man in der Sprache C sehr einfach mit einem eindimensionalen Array nachbilden kann. Anstatt die Pixel mit einer Tabelle zu transformieren, kann das Ergebnis auch berechnet werden: f[g] = 255 g; Abbildung 2.1 zeigt ein Beispiel: in Teilbild (a) ist das Originalbild dargestellt; Teilbild (b) zeigt das mit Hilfe einer LUT in Matlab berechnete inverse Bild gemäss obenstehendem Codefragment. Auch eine sogenannte Spreizung kann sehr einfach mit einer Lookuptabelle realisiert werden. Aus dem Histogramm zu Teilbild (a) in Abbildung 2.1 erkennt man, dass nur ein Teil aller möglichen Grauwerte im Bild vorkommt und das Bild daher auch einen schlechten Kontrast hat. Mit einer Spreizung lässt sich das Histogramm des Bildes über den gesamten Bereich aller Grauwerte ausdehnen; man erhält so das Teilbild (c). Die Histogramme zu diesen drei Beispielbildern sind in Abbildung 2.2 ersichtlich. Fasst man die Lookuptabelle als Funktion y = f[g] auf, dann lässt sich zu f jeweils ein Graph angeben. Ist der Graph genau eine Gerade mit Steigung 1, so symbolisiert dies die identische Abbildung, d.h. ein Bild wird mit dieser Lookuptabelle nicht verändert. Abbildung 2.3 zeigt die Funktionsgraphen der identischen Abbildung und der Spreizung.

12 12 2 Punktoperationen (a) Originalbild (b) Inverses Bild (c) Gespreiztes Bild Abb Homogene Punktoperationen Häufigkeit (a) Häufigkeit (b) Häufigkeit (c) Grauwert Abb Histogramme zu Abbildung Nichtlineare Grauwerttransformation Nebst linearen Funktionen, wie sie bisher gezeigt wurden, können die Grauwerte eines Bildes auch einer nichtlinearen Funktion unterworfen werden. Die Gammakorrektur ist ein Beispiel für eine solche nichtlineare Transformation. Für Bilder mit 8 Bit Graustufen kann sie wie folgt berechnet werden: ( g ) γ f[g] = Mit dem Parameter γ. Dies kann man direkt in Matlab oder Octave berechnen mit img_gamma = 255.* (my_image./ 255).^ gamma;

13 2.2 Nichtlineare Grauwerttransformation y = f[g] Identische Abbildung Spreizung g Abb Lineare Grauwerttransformation y = f[g] g γ = 1 γ = 0.25 γ = 0.5 γ = 1.5 γ = 1.75 Abb Gammakorrektur wobei die Punkte vor den Multiplikations- und Divisionszeichen beachtet werden müssen, da die Software sonst versucht, mit Matrizenalgebra zu rechnen (was in diesem Fall definitiv falsch ist und

14 14 2 Punktoperationen schief gehen wird). Abbildung 2.4 zeigt die Graphen fu r verschiedene Werte von γ; Ein Beispielbild fu r die Gammakorrektur ist in Abbildung 2.5 ersichtlich. Der Ursprung der Gammakorrektur liegt darin begru ndet, dass nicht alle Monitore und Kameras eine lineare Kennlinie aufweisen; mit der Gammakorrektur kann eine entsprechend gekru mmte Kennlinie eines Anzeigegera ts oder einer Kamera wieder korrigiert werden. (a) Original, γ = 1 (b) γ = 0.5 (c) γ = 2.0 Abb Beispiel fu r die Gammakorrektur 2.3 Histogrammausgleich Beim Histogrammausgleich ist das Ziel, ein Ausgangsbild mit ungleichma ssig verteilter Ha ufigkeit der Grauwerte in ein gleichma ssig verteiltes Bild umzurechnen. Das Histogramm wird also zu einer waagrechten Linie. Konzeptionell ist dies allerdings eher schwierig zu realisieren; deshalb betrachtet man eher die kumulierte Ha ufigkeit. Nach dem Histogrammausgleich hat das kumulative Histogramm die Form einer Geraden mit Steigung 1. Der Histogrammausgleich la sst sich fu r jeden Grauwert g wie folgt berechnen: f [g] = gmax g X p[i] i=0 In Abbildung 2.6 erkennt man die Auswirkung des Histogrammausgleichs auf das Bild. Im Teilbild (a) ist das Originalbild dargestellt; nach dem Histogrammausgleich erha lt man das Teilbild (b). Die zugeho rigen kumulativen Histogramme sind in Abbildung 2.7 ersichtlich. (a) vorher (b) nachher Abb Histogrammausgleich In Matlab oder Octave kann der Histogrammausgleich wie folgt vorgenommen werden:

15 2.3 Histogrammausgleich 15 % matlab directly operates on the uint8 data: img_eq = histeq(my_image); imshow(img_eq); % in octave, the conversion to double is necessary: img_eq = histeq(double(my_image)) imshow(img_eq); 100 % 80 % Häufigkeit 60 % 40 % 20 % 0 % Grauwert Teilbild (a) Teilbild (b) Abb Erläuterung zum Histogrammausgleich

16 3 Detektion von Bewegungen Ein sehr weit verbreitetes Anwendungsgebiet der Bildverarbeitung ist die Detektion von sich bewegenden Objekten. Ein Ansatz hierfür ist, zwei nacheinander aufgenommene Bilder zu vergleichen und die Unterschiede zu erkennen. 3.1 Einfache Differenzbildung Die Änderungen von einem Bild zum darauf folgenden Bild können sehr einfach durch die Bildung des Differenzbildes bestimmt werden. Unter dem Differenzbild versteht man das anschaulich nach folgender Vorschrift berechnete Bild: I = 1 2 (g max + I k+1 I k ) Hierbei ist g max der maximale Grauwert; d.h. bei Bildern mit 8 Bit Graustufen ist g max = 255, was der in der Praxis am häufigsten auftretende Fall sein wird. Des Weiteren ist I k+1 das zum späteren Zeitpunkt aufgenommene Bild und I k ist das zuerst aufgenommene Bild. Da sich die Grauwerte beider Bilder im Bereich von 0 bis g max bewegen können, kann nicht einfach direkt die Differenz der beiden Bilder berechnet werden, denn das Resultat könnte schlimmstenfalls dann im Bereich zwischen g max und +g max liegen. Daher muss durch die Verschiebung um g m ax und die Skalierung mit 1 2 noch sichergestellt werden, dass das Resultat der Differenzbildung auch wieder im Bereich von 0 bis g max liegt. Positive Differenzen gehen dann gegen weiss, während negative Differenzen gegen Schwarz gehen; sind die beiden Bilder völlig identisch, dann ist das Resultat genau in der Mitte ( gmax 2 ) und somit grau. In Abbildung 3.1 ist ein Beispiel dargestellt: Teilbild (a) wurde zuerst aufgenommen; die beiden Modellfahrzeuge bewegen sich, und nach einer gewissen Zeit wurde Teilbild (b) aufgenommen. Das Differenzbild ist in Teilbild (c) ersichtlich. Man erkennt deutlich, wie im Differenzbild in Teilbild (c) von Abbildung 3.1 nur noch die beiden beweglichen Objekte erkennbar sind. Für die weitere Verarbeitung der Bilder ist es oft zweckmässig, wenn die bewegten Objekte noch deutlicher hervorgehoben werden. Dies kann mit einer einfachen Schwellwertoperation geschehen, wie folgt: f[g] = { g max 0 sonst g max 2 k < g < gmax 2 + k Alle Grauwerte, die innerhalb eines gewissen Toleranzbandes liegen, werden auf weiss abgebildet; alles andere wird zu schwarz. So erhält man Teilbild (d) in Abbildung 3.1. Der unbewegliche Hintergrund verschwindet also. In diesem Beispiel funktioniert die Differenzbildung sehr gut; i.d.r. sind die Bilder aber einem gewissen Rauschen unterworfen und daher

17 3.2 Hintergrundschätzung 17 (a) Erstes Bild (b) Zweites Bild (c) Differenzbild (d) Schwellwert Abb Zwei Originalbilder und deren Differenzbild verschwindet auch der Hintergrund nicht immer so optimal. Ausserdem können mit dieser einfachen Differenzbildung Objekte, die aus grösseren, einfarbigen Flächen bestehen, nicht so gut erkannt werden. Dies zeigt sich im folgenden Beispiel. Es handelt sich um eine Bildsequenz von einer Autobahn. Der Lastwagen am unteren Bildrand in Abbildung 3.2 wird nicht sauber erkannt. Ein weiteres Problem dieses Verfahrens ist, dass ein bewegliches Objekt im Differenzbild immer zwei mal sichtbar wird. Abhilfe bei diesen Problemen schafft die sogenannte Hintergrundschätzung. 3.2 Hintergrundschätzung Bei der Hintergrundschätzung werden alle Bilder zunächst mit einem gleitenden Mittelwert gemittelt. Sofern sich die Objekte ausreichend oft bewegen und der Hintergrund damit an jeder Stelle einmal einsehbar ist, verschwinden durch die Mittelwertbildung die beweglichen Objekte und es bleibt nur der Hintergrund übrig. Hat man so ein Modell dieses Hintergrundes errechnet, dann wird einfach wieder die Differenz aus den unveränderten Bildern und dem Hintergrund gebildet. Um die Schätzung für den Hintergrund zu erhalten, wird der Hintergrund zunächst mit dem ersten Bild initialisiert. Danach wird für jedes weitere Bild die folgende Berechnung durchgeführt: B n = α B n 1 + (1 α) I n Hierbei ist I n das aktuelle Bild, B n 1 ist der zuletzt berechnete Hintergrund und B n ist der neu zu berechnende Hintergrund. Des Weiteren ist α eine beliebige Konstante mit 0 α < 1. Je näher

18 18 3 Detektion von Bewegungen (a) Erstes Bild (b) Zweites Bild (c) Differenzbild (d) Schwellwert Abb Probleme bei der Erkennung grösserer flächiger Objekte α bei 1 ist, umso länger dauert es, bis die Hintergrundschätzung in einem eingeschwungenen Zustand ist, dafür ist die Hintergrundschätzung besser. Mit Hilfe der z-transformation kann diese Berechnung auch wie folgt verdeutlicht werden: B = α B z 1 + (1 α) I = α B z 1 + I α I Damit lässt sich die Übertragungsfunktion dieses Hintergrundfilters angeben. Man erhält B α B z 1 = I α I B (1 α z 1) = I (1 α) und hieraus B I = 1 α 1 α z 1 Als Beispiel wurde eine Bildsequenz von einer Autobahn mit fahrenden Autos mit diesem Algorithmus verarbeitet. Abbildung 3.3 Teilbild (a) zeigt symbolisch, wie die Bildsequenz aussieht. Es handelt sich um einen Ausschnitt einer Autobahn mit darauf fahrenden Autos. Mit dem zuvor erläuterten Algorithmus wird nun bei jedem Bild der Sequenz der Mittelwert errechnet. Nach 100 Bildern erhält man ein Bild wie in Abbildung 3.3 Teilbild (b). Man erkennt: die fahrenden Autos werden durch den Mittelwert eliminiert, nur noch der Hintergrund (die Fahrspur) ist sichtbar. Nun wird für die Erkennung der Objekte das Differenzbild aus aktuellem Bild und dem Hintergrund berechnet. Das Resultat ist in Abbildung 3.3 dargestellt. Man erkennt, dass die Autos insbesondere der Lastwagen viel deutlicher hervortreten, als bei der vorhergehenden Methode. Schliesslich ist in Abbildung 3.3 noch das Schwellwertbild dargestellt. Problematisch bei dieser Methode ist allerdings, dass die beweglichen Objekte aufgrund der Mittelwertbildung auf dem Hintergrundbild eine Art Schleier hinterlassen, wie dies auch in Abbildung 3.3 Teilbild (b) ersichtlich ist. Der Grund dafür ist in Abbildung 3.4 ersichtlich. Hier wurden die Grauwerte eines einzelnen Pixels aud der Fahrspur der Autobahn aufgezeichnet, sowie der Mittelwert

19 3.2 Hintergrundschätzung 19 (a) Bildsequenz, Beispiel (b) Hintergrund (c) Differenzbild (d) Schwellwert Abb Erkennung beweglicher Objekte mit Hintergrundschätzung dieses Pixels. In Bild Nr. 480 fährt genau bei diesem Pixel ein dunkles Fahrzeug vorbei, daher springt der Grauwert kurzzeitig auf 0 herunter. Der Mittelwert folgt dann dieser Änderung unmittelbar, was eigentlich unerwünscht ist, denn der Mittelwert wird ja als Schätzung für den Hintergrund verwendet. Dieser soll sich aber bei der Vorbeifahrt eines Fahrzeugs nicht ändern. Daher muss der Algorithmus für die Berechnung der Hintergrundpixel dahingehend erweitert werden, dass sich eine Kurve ähnlich derjenigen Abbildung 3.4 ergibt (Adaptives Filter). Der Algorithmus funktioniert wie folgt: zunächst wird für den Hintergrund eifach einmal das erste Bild verwendet, unabhängig davon, ob dieses schon als Hintergrund brauchbar ist oder nicht. Beispielsweise könnte man den Hintergrund mit dem Teilbild (a) von Abbildung 3.3 initialisieren. Anschliessend rechnet man für jedes weitere Bild den gleitenden Mittelwert für den Hintergrund aus, sowie das Differenzbild aus aktuellem und Hintergrundbild. Man muss nun für jedes Pixel einen Zähler haben, der zählt, wie oft das Pixel um einen bestimmten Wert vom Hintergrund abweicht. Diesen Schwellwert muss man experimentell ermitteln. Wenn das Pixel in einer bestimmten Anzahl Bildern zu sehr vom Hintergrund abweicht, dann setzt man den Hintergrund-Grauwert einfach auf den aktuellen Grauwert dieses Pixels. Folgender MATLAB-Code zeigt dies: % make a backup copy of the original background image orig = BackGround; % estimate new background as sliding average BackGround = uint8(double(background) * alpha + (1 - AvgFactor) * double(newimage)); % calcuate forground estimate DiffImage = uint8(0.5 * (255 + (double(background) - double(imageact)))); % calculate the threshold image ThreshImage = abs(128 - double(diffimage)) > Threshold; % count how many times each pixel is out of range counter(threshimage == 1) = counter(threshimage == 1) + 1;

20 20 3 Detektion von Bewegungen counter(threshimage == 0) = counter(threshimage == 0) - 1; % restore pixels that are outside the range, but counter did not overflow BackGround(ThreshImage == 1) = orig(threshimage == 1); BackGround(counter > countlimit) = ImageAct(counter > countlimit); counter(counter > countlimit) = 0; Grauwert Mittelwert Aktueller Pixel Adaptiv Bild Nr. Abb Hintergrundschätzung mit adaptivem Filter Abbildung 3.4 zeigt den Grauwertverlauf eines einzelnen Pixels mitten auf der Fahrbahn. Die grüne Kurve zeigt für jedes Bild den aktuellen Grauwert, während die rote Kurve den mit dem gleitenden Mittelwert gefilterten Grauwert symbolisiert. Bei Bild Nr. 480 fährt nun ein dunkles Fahrzeug bei diesem Pixel vorbei, der Pixel wird vorübergehend völlig schwarz und der gleitende Mittelwert folgt dieser Änderung natürlich mit einiger Vezögerung. Das adaptive Filter hingegen behält einfach den zuletzt berechneten Grauwert. Dafür wird nun aber für diesen konkreten Pixel gezählt, wie oft er vom Mittelwert abweicht. Würde das dunkle Fahrzeug an Ort und Stelle stehen bleiben, dann würde dieser Zähler irgendwann seinen Schwellwert erreichen, und das Pixel wird dem Hintergrund zugerechnet. Man erkennt in Abbildung 3.5, dass mit diesem Filter nach einer Abb Mit dem adaptiven Filter errechneter Hintergrund gewissen Initialisierungsphase eine sehr akkurate Schätzung für den Hintergrund berechnet wird.

21 4 Filteroperationen Bei Filteroperationen werden, im Gegensatz zu den einfachen Punktoperationen, für die Berechnung des Grauwerts eines Pixels auch die Grauwerte der Nachbarpixel berücksichtigt. Allerdings kann man auch hier wieder zwischen homogenen und inhomogenen, linearen und nichtlinearen Filtern unterscheiden: bei homogenen Filtern wird für jedes Pixel unabhängig von seiner Position dieselbe Berechnung vorgenommen. bei inhomogenen Filtern geht die Position jedes Pixels noch in die Berechnung mit ein. bei linearen Filtern hängt das Ergebnis linear vom Pixel selbst und den Nachbarpixeln ab. bei nichtlinearen Filtern werden die Grauwerte der Pixel nichtlinear miteinander verrechnet. Für die Filteroperationen werden sogenannte Filtermasken verwendet. Hierbei handelt es sich prinzipiell um eine Matrix H, welche für jedes Pixel eine bestimmte Gewichtung angibt. 4.1 Faltung und Korrelation Die Filteroperation an sich lässt sich mit Hilfe der (diskreten) Faltung beschreiben. Die Faltung eines Bildes I mit der Maske H ist wie folgt definiert: I H = u v p= u q= v i m p,n q h p,q Hierbei bestimmen die Parameter u und v die Maskengrösse. Zum Beispiel erhält man bei einer 3 3-Maske: 1 p= p= 1 q= 1 I H = i m p,n q h p,q = (i m p,n+1 h p, 1 + i m p,n h p,0 + i m p,n 1 h p,1 ) = i m+1,n+1 h 1, 1 + i m+1,n h 1,0 + i m+1,n 1 h 1,1 + i m,n+1 h 0, 1 + i m,n h 0,0 + i m,n 1 h 0,1 + i m 1,n+1 h 1, 1 + i m 1,n h 1,0 + i m 1,n 1 h 1,1 Hiermit lässt sich für jeden Pixel i m,n ein neuer Pixel berechnen.

22 22 4 Filteroperationen Die Nummerierung der Pixel in der Filtermaske H ist bei dieser Variante allerdings etwas ungewöhnlich, da die positiven Indizes links sind und die negativen Indizes rechts. Daher verwendet man oft stattdessen die Korrelation, welche wie folgt definiert ist: u v I H = i m+p,n+q h p,q p= u q= v Hier sind die Pixel in der Filtermaske intuitiver indiziert. Die meisten in der Praxis verwendeten Filtermasken sind jedoch symmetrisch, daher spielt es dort keine Rolle, ob mit der Korrelation oder der Faltung gerechnet wird. Es gelten die folgenden Rechenregeln: a b = b a a (b c) = (a b) c a (b + c) = a b + a c (Kommutativität) (Assoziativität) (Distributivität) Besonders wichtig ist hierbei die Assoziativität. Wenn die Filtermaske selbst als Faltung zweier eindimensionalen Masken dargestellt werden kann (sog. separierbare Maske), dann kann die Faltung des Bildes mit der Maske auf die Faltung mit den beiden eindimensionalen Masken zurückgeführt werden. Auf den ersten Blick erscheint dies wenig sinnvoll, da man dann zwei Faltungen berechnen muss. Wenn man die Berechnung jedoch nachvollzieht, sieht man leicht, dass sich die Anzahl der notwendigen Multiplikationen wesentlich reduzieren lässt. Beispiel 1 : } {{ } A ( ) } {{ } B = } {{ } C Faltet man nun ein Bild mit der Maske C, dann benötigt man hierfür neun Multiplikationen pro Pixel. Man kann die Faltung mit C aber auch bewerkstelligen, indem man das Bild zunächst mit der Maske A (bzw. B) faltet und dann anschliessend mit der Maske B (bzw. A). In diesem Fall benötigt man nämlich nur noch sechs Multiplikationen. Die Einsparung an Multiplikationen ist jetzt in diesem Beispiel nicht so beeindruckend; bei grösseren Masken wird sie aber durchaus signifikant (z.b. 5 5 Maske: 25 Multiplikationen; separiert nur noch 10). Problematisch bei Filtern mit einer solchen Filtermaske sind immer die Randpixel: für die Pixel des Originalbildes, die ganz aussen am Rand liegen, ragt die Filtermaske im Prinzip über das Bild hinaus und die Pixel dort sind undefiniert. Abhilfe kann man diesem Problem auf zweierlei Art schaffen: die undefinierten Pixel werden als Grauwert 0 angenommen, d.h. schwarz. In diesem Fall entsteht entlang des Randes des Bildes zwangsläufig ein Bereich, wo die berechneten Pixel nicht exakt stimmen. Diese Variante wird im folgenden verwendet. die Randpixel werden gänzlich ignoriert. In diesem Fall verliert man bei jeder Filteroperation ein paar Randpixel; der Vorteil dafür ist, dass die berechneten Pixel alle auf wohldefinierten Daten beruhen. In MATLAB oder Octave kann eine Filtermaske sehr einfach auf ein Bild angewandt werden mit Hilfe des eingebauten Befehls imfilter. Dieser macht nichts anderes, als die Filtermaske Schrittweise über das gesamte Bild zu bewegen und für jeden Pixel die zuvor genannten Rechenschritte durchzuführen. Beispiel: % this is the filter mask A = [1; 2; 1] * [1 2 1]; % apply the filter mask to my_image image_filt = imfilter(my_image, A); 1 Eigentlich handelt es sich hier um gewöhnliche Matrizenmultiplikationen; der Einheitlichkeit halber wird im folgenden jedoch das symbol für die Faltung verwendet.

23 4.2 Glättung (Tiefpass) Glättung (Tiefpass) Ein Bild kann geglättet werden, indem man jeden Pixel mit dem Mittelwert aus dem Pixel selbst und seinen Nachbarpixeln ersetzt. Das Bild wird dadurch unscharf. Zwei Arten von Filtermasken sind hierfür gebräuchlich: Rechteck- und Gaussfilter Gaussfilter Gaussfilter sind wie folgt definiert (für ein 3 3 Filter): G = Es handelt sich hierbei um eine separierbare Filtermaske. Diese lässt sich wie folgt darstellen: G = ( ) Die Wirkung des Gaussfilters ist in Abbildung 4.1 ersichtlich anhand eines 7 7 bzw. eines Gaussfilters. (a) Originalbild (b) Gaussfilter 7 7 (c) Gaussfilter Abb Gaussfilter Gemäss der zuvor angegebenen Definition des Gaussfilters wirkt dieses stets in beide Richtungen. Es ist allerdings auch möglich, ein Gaussfilter nur in x- oder in y-richtung anzuwenden. Die Filtermaske lautet dann wie folgt: G x = 1 ( ) G y = Wendet man eine solche Filtermaske auf ein Bild an, dann erhält man eine sogenannte Bewegungsunschärfe. Das Bild sieht dann verwackelt aus, als ob es z.b. aus einem fahrenden Fahrzeug heraus aufgenommen worden wäre.

24 24 4 Filteroperationen Rechteckfilter Deren Definition lautet wie folgt (für ein 3 3 Filter): R = Mit der Separierung lässt sich diese wie folgt umschreiben: R = ( ) Wie sich ein Rechteckfilter auf ein Bild auswirkt, ist in Abbildung 4.2 anhand eines Beispiels ersichtlich. In MATLAB oder Octave kann ein Rechteckfilter sehr einfach erzeugt werden mit (a) Originalbild (b) Rechteck 7 7 (c) Rechteck Abb Rechteckfilter folgendem Code: % this is the filter mask dimension, e.g. 5x5 filter n = 5; % create a filter mask mask = ones(n) * 1/n^2; In Abbildung 4.3 ist der Grauwert-Verlauf einer einzelnen Zeile der gefilterten Bilder in Abbildung 4.1 bzw. Abbildung 4.2 sowie des Originalbilds dargestellt. Man erkennt, wie besonders mit dem Rechteckfilter die Schwankungen des Grauwerts geglättet werden.

25 4.2 Glättung (Tiefpass) Originalbild Gaussfilter 7 7 Rechteckfilter 7 7 Grauwert x-koordinate Abb Grauwertverlauf einer einzelnen Zeile

26 5 Kantendetektion In einem Bild können Kanten detektiert werden, indem man diejenigen Stellen des Bildes aufsucht, wo abrupte Änderungen des Grauwerts vorliegen. Die Änderungen können über die Ableitung bestimmt werden. Da ein Bild jedoch aus diskreten Pixeln besteht, die zudem auch noch diskrete Grauwerte aufweisen, handelt es sich nicht um eine gewöhnliche Ableitung, sondern es ist vielmehr eine diskrete Ableitng. Bekanntermassen ist die gewöhnliche Ableitung einer (kontinuierlichen) Funktion f(x) definiert wie folgt: f f(x + x) f(x) (x) = lim x 0 x Bei der diskreten Ableitung ist der Grenzübergang x 0 nicht möglich. Also wird einfach der kleinstmögliche Schritt verwendet, das ist in diesem Fall 1. Somit wird die diskrete Ableitung einer Funktion f[k] zu: f [k] := f[k + 1] f[k] Wenn man dies selbst nachvollzieht, merkt man jedoch leicht, dass die damit erhaltene Ableitung nicht besonders gut mit der realen Ableitung übereinstimmt. Um die Ableitung einer diskreten Funktion an einer Stelle k zu bestimmen, behilft man sich daher eines Tricks: f [k] := f[k + 1] f[k 1] 2 Im Folgenden wird diese Definition des diskreten Ableitung verwendet. Jedes Bild kann als Funktion zweier Variablen x und y aufgefasst werden. Die Grauwerte jedes Pixels des Bildes sind dann die Funktionswerte. Die Kanten können damit in zwei Richtungen bestimmt werden: in x- und in y-richtung. Dies geht wie folgt vor sich: I(x + 1, y) I(x 1, y) I(x, y) x 2 I(x, y + 1) I(x, y 1) I(x, y) y 2 Die Ableitung ist im Allgemeinen sehr anfällig für Störungen, also Rauschen, im Bild. Jedes Bild ist grundsätzlich verrauscht (Sensorrauschen), daher ist die Kantendetektion mit Hilfe einer diskreten Ableitung i.a. heikel. Um ein akkurates Resultat zu erhalten, wird daher üblicherweise nach dem Ableiten das Bild noch geglättet, z.b. mit Hilfe eines Gaussfilters. Wichtig bei der Berechnung der Filter-Ausgangswerte: Hat man ein Bild mit z.b. 256 möglichen Graustufen, dann kann im Extremfall, wenn zwei benachbarte Pixel die Grauwerte 0 und 255 das Resultat des Sobel-Filters den Wertebereich durchaus über- oder unterschreiten. Daher muss nach der Filterberechnung das Resultat wieder in den richtigen Bereich gebracht werden. In MATLAB bzw. Octave kann dies sehr einfach bewerkstelligt werden:

27 5.2 Prewitt-Filter 27 % filter mask for the sobel filter in x-direction sobel = [1; 2; 1] * [1 0-1]; % apply the sobel filter image_filt = imfilter(my_image, sobel); % determine the minimum and maximum values in image_filt min = min(min(image_filt)); max = max(max(image_filt)); % bring image_filt in the rang and convert it to uint8 image_filt = uint8((image_filt - min) * (255 / (max - min))); Mit der letzten Zeile wird erreicht, dass der kleinste vorkommende Wert im gefilterten Bild auf den Grauwert 0 abgebildet wird, während der grösste Grauwert auf den Wert 255 abgebildet wird. 5.1 Sobel-Filter Die diskrete Ableitung eines Bildes kann in x- bzw. in y-richtung mit den folgenden Filtermasken berechnet werden: ( ) x I = y I = 0 1 Möchte man noch eine Glättung mit einem einfachen Gaussfilter implementieren, dann ergibt sich eine Berechnung wie folgt: ( ) x I = = y I = ) (1 2 1 = In Abbildung 5.1 ist dargestellt, wie sich die Kantenberechnung mit dem Sobel-Filter in x- bzw. in y-richtung auf ein Bild auswirkt. 5.2 Prewitt-Filter Beim zuvor beschriebenen Sobel-Filter wurde das Bild nach dem Berechnen der diskreten Ableitung mit einem Gaussfilter geglättet. Wenn man stattdessen ein Rechteckfilter verwendet, dann wird aus dem Sobel-Filter ein Prewitt-Filter:

28 28 5 Kantendetektion (a) Originalbild (b) in x-richtung (c) in y-richtung Abb Kantendetektion in x- und y-richtung mit Sobel-Filter = ) (1 1 1 = ( ) x I = y I = 5.3 Gradientenfilter Mit Hilfe des aus der mehrdimensionalen Analysis bekannten Gradienten können auch gleichzeitig die Kanten in x- und y berechnet werden: ( grad I = di ) 2 ( ) 2 dr = I(x, y) + I(x, y) x y Der Gradient ist ein Vektor, der immer Senkrecht zu den Kanten im Bild steht. Der Winkel des Gradienten kann aus seinen Komponenten wie folgt berechnet werden: α = arctan y x I(x, y) I(x, y) Hierbei kann man die Kanten in x- und y-richtung mit dem Prewitt- oder auch mit dem Sobel-Filter berechnen. Abbildung 5.2 zeigt ein Beispiel. Teilbild (a) ist das Originalbild, während Teilbild (b) den Betrag des Gradienten darstellt. Dieser wurde auf den Bereich normiert. Der Winkel des Gradienten ist in Abbildung 6.2 ersichtlich. Für alle Pixel, die in Abbildung 5.2 Teilbild (b) einen bestimmten Schwellwert überschreiten (hier willkürlich auf 190 gesetzt), wurde in Abbildung 6.2 der Winkel des Gradienten eingetragen (in Radianten). 5.4 Laplace-Filter Zur Bildschärfung kann ein Laplace-Filter verwendet werden. Prewitt- und Sobel-Filter sind richtungsunabhängig; auf ein Gradientenfilter trifft dies zwar nicht zu, aber aufgrund der Wurzeln und Quadrate handelt es sich hierbei auch um ein nichtlineares Filter. Das Laplace-Filter hingegen ist linear, wie ein Sobel- oder Prewitt-Filter, und es ist richtungsunabhängig, wie ein Gradientenfilter. Es ist als die Summe zweier Ableitungen definiert:

29 5.4 Laplace-Filter 29 (a) Originalbild (b) Gradient Betrag Abb Kantendetektion mit dem Gradientenfilter daten/gradientenfilter.txt matrix y x Abb Winkel der Kanten 0 = 2 I(x, y) x I(x, y) y 2 Die partiellen Ableitungen werden wieder durch die diskreten Ableitungen ersetzt: Mit dem Laplace-Filter lassen sich nicht nur richtugsunabhängig die Kanten in einem Bild bestimmen, sondern es kann auch zur Bildschärfung eingesetzt werden. In diesem Falle wird folgendes gerechnet: I S = I + (I β ) Hierbei ist I S das geschärfte Bild, während I das Originalbild ist. Der Parameter β ist ein Skalar und bestimmt, wie stark das Bild geschärft wird. Abbildung 5.4 zeigt die Anwendung eines Laplace- Filters: Teilbild (a) ist das Originalbild; in Teilbild (b) sind nur die Kanten ersichtlich, die man mit I erhält. Schliesslich sind in den Teilbildern (c) und (d) noch die mit β = 0.8 und β = 1.8 geschärften Bilder ersichtlich.

30 30 5 Kantendetektion (a) Originalbild (b) Kanten (c) Scha rfung mit β = 0.8 (d) Scha rfung mit β = 1.8 Abb Anwendung des Laplace-Filters

31 6 Nichtlineare Filter 6.1 Median-Filter Hat man ein verrauschtes Bild, wo einzelne Pixel extreme Ausreisser im Grauwert aufweisen, so kann dies mit einem Median-Filter sehr effizient geglättet werden. Wenn das Bild mit einem Gaussoder Rechteckfilter geglättet wird, dann besteht das Problem darin, dass die einzelnen Ausreisser- Pixel den Mittelwert u.u. sehr ungünstig beeinflussen, während beim Median-Filter Ausreisser einfach ignoriert werden. Abbildung 6.1 zeigt ein Beispiel für das Median-Filter. Es wurde auf das Originalbild sogenannter salt & pepper noise angewandt. Teilbild (a) verdeutlicht dies. Im Teilbild (b) ist dann das Resultat zu sehen, wenn versucht wird, das Bild mit einem 7 7-Gaussfilter zu glätten. Man erkennt sofort, dass das Resultat unbrauchbar ist. Mit dem in Teilbild (c) ersichtlichen 3 3 Median-Filter hingegen wird ein durchaus brauchbares Resultat erzielt. (a) Originalbild (b) 3 3-Gaussfilter (c) 3 3-Median-Filter Abb Median-Filter im Vergleich zum Gaussfilter Das Median-Filter funktioniert folgendermassen: In einem Rechteckigen Bereich von z.b. 3 3 Pixeln werden die Grauwerte aller Pixel dem Grauwert nach sortiert. Danach wird der in der Mitte liegende Wert für den Pixel genommen; die anderen Werte werden verworfen. In MATLAB oder Octave kann das Salz- und Pfefferrauschen wie folgt erzielt werden: image_noise = imnoise(my_image, salt & pepper, 0.07); Hiermit wird 7 % Rauschen erzeugt. Es stehen noch diverse andere Rauscharten zur Verfügung. Das Filter kann dann mit folgenden Befehlen angewandt werden: % use the built-in median filter: image_filt = medfilt2(image_noise, ones(3)); % alternative: image_filt = ordfilt2(image_noise, 5, ones(3));

32 32 6 Nichtlineare Filter Die erste Variante wendet ein 3 3-Median-Filter auf das Bild an. Es wird immer der mittlere Wert der sortierten Pixel verwendet. Variante zwei ist ein wenig flexibler: hier wird ebenfalls ein 3 3-Filter angewandt, und es wird als Resultat jeweils der 5. Pixel aus den sortierten Grauwerten genommen Originalbild Gaussfilter Median-Filter Grauwert x Abb Grauwertverlauf einer Zeile aus Abbildung Minimum- und Maximumfilter Minimum- und Maximumfilter funktionieren ähnlich wie ein Medianfilter. Es werden mehrere benachbarte Pixel des Bildes ausgewählt und nach dem Grauwert sortiert. Beim Minimumfilter wird dann der kleinste Grauwert für das Resultat benutzt, beim Maximumfilter der grösste Grauwert. % use a maximum filter: image_max = ordfilt2(my_image, 9, ones(3)); % alternative: image_min = ordfilt2(my_image, 1, ones(3));

33 7 Morphologie Mit morphologischen Operationen können in einem Binärbild folgende Operationen vorgenommen werden: löschen kleiner Objekte schliessen von Löchern in Flächen zusammenfassen von nahe beieinander liegenden Objekten Reduktion eins Objekts auf das Skelett Für diese morphologischen Operationen wird jeweils ein sogenanntes Strukturelement benötigt, das einen definierten Referenzpunkt hat. Abbildung 7.1 zeigt eine Auswahl einiger Beispielhafter Strukturelemente. Abb Beispiele verschiedener Strukturelemente 7.1 Dilatation Bei der Dilatation wird anschaulich das Strukturelement über das Bild geschoben, und alle Positionen des Referenzpunktes markiert, wo das Strukturelement mit mindestens einem Pixel mit dem Originalbild überlappt. Die Dilatation eines Bildes I und dem Strukturelement S lässt sich mathematisch wie folgt schreiben: I S = Die Dilatation ist kommutativ und Assoziativ, also ist A B = B A A (B C) = (A B) C In Matlab bzw. Octave existiert hierzu der Befehl imdilate. for (y = 0; y < YMAX ; y ++) { for (x = 0; x < XMAX ; x ++) { res [y][x] =

34 34 7 Morphologie } } img [y -1][x - 1] img [y - 1][ x] img [y - 1][ x + 1] img [y][x - 1] img [y][x] img [y][x + 1] img [y + 1][ x - 1] img [y + 1][ x] img [y + 1][ x + 1]; Listing 7.1. Dilatation in C 7.2 Erosion Bei der Erosion wird das Strukturelement wieder übber das Bild geschoben. An allen Positionen des Referenzpunktes, wo das Strukturelement vollständig mit dem Bild überlappt, werden markiert. Die Erosion eines Bildes I und dem Strukturelement S lässt sich mathematisch wie folgt schreiben: I S = Für die Erosion gilt kein Kommutativ- oder Assoziativgesetz. Dafür gibt es die Kettenregel der Erosion: A (B C) = (A B) C In Matlab bzw. Octave existiert hierzu der Befehl imerode. for (y = 0; y < YMAX ; y ++) { for (x = 0; x < XMAX ; x ++) { res [y][x] = img [y -1][x - 1] && img [y - 1][ x] && img [y - 1][ x + 1] && img [y][x - 1] && img [y][x] && img [y][x + 1] && img [y + 1][ x - 1] && img [y + 1][ x] && img [y + 1][ x + 1]; } } Listing 7.2. Erosion in C 7.3 Schliessung Die Schliessung wird mit Hilfe einer Dilatation, gefolgt von einer Erosion, erreicht. Dabei werden Löcher im Bild geschlossen, die kleiner als das Strukturelement sind. Mathematisch wird eine Schliessung eines Bildes I mit dem Strukturelement S wie folgt beschrieben: Die Schliessung ist idempotent, das heisst: I S = (I S) S (A B) B = A B Dies bedeutet also, dass eine mehrfache Schliessung mit dem selben Strukturelement das Ergebnis nicht mehr beeinflusst. In Matlab bzw. Octave existiert hierzu der Befehl imclose.

35 7.5 Beispiele und Anwendungen der morphologischen Operatoren Öffnung Die Öffnung kann mmit einer Erosion, gefolgt von einer Dilatation, erreicht werden. Dabei werden Löcher im Bild vergrössert, zusammenhängende Objekte zerfallen so mitunter in einzelne kleinere Objekte. Mathematisch wird eine Öffnung eines Bildes I mit dem Strukturelement S wie folgt beschrieben: I S = (I S) S Auch die Öffnung ist, wie die Schliessung, idempotent, sodass ist. (A B) B = A B In Matlab bzw. Octave existiert hierzu der Befehl imopen. 7.5 Beispiele und Anwendungen der morphologischen Operatoren Abbildung 7.2 zeigt anhand einiger Beispielbilder, wie sich die einzelnen morphologischen Operatoren auf ein Bild auswirken. In Teilbild (a) ist das Originalbild ersichtlich. Dieses Bild wird dann mit dem in Teilbild (b) ersichtlichen Strukturelement einer Dilatation, einer Erosion, einer Schliessung und einer Öffnung unterworfen. Die Ergebnisse sind jeweils in den Teilbildern (c) bis (f) ersichtlich. (a) Originalbild (b) Strukturelement (c) Dilatation (d) Erosion (e) Schliessung (f) Öffnung Abb Beispiele für die vier Morphologischen Operatoren Mögliche Anwendungen der morphologischen Operatoren sind z.b. die Separierung sich berührender Objekte oder die Berechnung des Skeletts eines Objekts. Abbildung 7.3 zeigt, wie beispielsweise sich berührende Objekte separiert werden können. Teilbild (a) ist das Originalbild. Es handelt sich dabei um sich berührende Kugeln, die identifiziert werden sollen. Dazu wird zuerst wie in Teilbild (b) ersichtlich ein Binärbild erzeugt. Dieses Binärbild enthält allerdings noch Löcher, die nun mit einer Schliessung entfernt werden. Das hierfür verwendete Strukturelement muss ein wenig grösser sein, als die grössten Löcher. Das Resultat der Schliessung ist in Teilbild (c) ersichtlich. Schlussendlich kann mit einer Erosion das Resultat in Teilbild (d)

36 36 7 Morphologie (a) Originalbild (b) Schwellwert (c) Schliesung (d) Erosion Abb Separierung sich berührender Kugeln erzielt werden. Das Strukturelement für die Erosion muss ein wenig kleiner sein als die Kugeln, damit diese nicht vollständig entfernt werden. Anhand des Teilbilds (d) könnten nun z.b. die Kugeln gezählt werden, da hier für jede Kugel ein sauber abgegrenzter, weisser Punkt vorhanden ist.

37 8 Fourier-Transformation 8.1 Repetition: Eindimensionale diskrete Fourier-Transformation Die einseitige Fouriertransformation ist in einer Dimension wie folgt definiert: â[k] = N 1 n=0 a[n] e j 2 π n k N Die Inverse lautet: a[k] = 1 N 1 N â[k] e j 2 π k n N k=0 8.2 Zweidimensionale diskrete Fourier-Transformation Sie ist wie folgt definiert: während â i,k = M 1 N 1 m=0 n=0 a m,n = 1 M N M 1 i=0 a m,n e j 2 π ( i m M + k n N ) N 1 k=0 die inverse zweidimensionale Fourier-Transformation ist. â i,k e j 2 π ( i m M + k n N ) Abbildung 8.1 verdeutlicht, wie die zweidimensionale DFT funktioniert. In Teilbild (a) ist eine zweidimensionale Rechteckfunktion ersichtlich. Das Bild misst Pixel; das Rechteck misst Pixel. Mit der DFT wird daraus die in Teilbild (c) ersichtliche, zweidimensionale Kardinalsinus- Funktion. In Abbildung 8.2 schliesslich ist der Grauwert-Verlauf der Spalte bzw. der Zeile in der Mitte von Abbildung 8.1 dargestellt. Man erkennt den typischen Kardinalsinus-Verlauf. Man erkennt aus Abbildung 8.1 folgendes: die zweidimensionale DFT des Rechtecks ist das Produkt der beiden eindimensionalen DFTs. von der eindimensionalen DFT ist bereits bekannt: ein im Ortsraum breites Signal ist schmal im Frquenzraum und umgekehrt. Daher ist das Rechteck aus Abbildung 8.1 in der DFT um 90 gedreht. die Nullstellen der DFT haben voneinander jeweils den Abstand B b bzw. H h, wobei B und H die Breite bzw. Höhe des gesamten Bildes sind, während und b und h die Breite bzw. Höhe des Rechtecks.

38 38 8 Fourier-Transformation (a) Originalbild (b) 2D-DFT (c) FFT-Shift Abb Beispiel zur zweidimensionalen DFT Mittlere Zeile Mittlere Spalte 200 Grauwert Pixel Nr. Abb Grauwertverlauf der Zeilen bzw. Spalten in der Mitte Für die Berechnung der zweidimensionalen DFT steht in Matlab bzw. Octave der Befehl fft2 zur Verfügung. Da das Resultat allerdings i.a. komplex ist, kann daraus nicht direkt ein Bild erstellt werden, sondern es muss der Betrag gebildet werden, um reelle Zahlen zu erhalten. Des Weiteren sind beim Resultat der DFT die tiefen Frequenzen am linken bzw. oberen Rand, während die hohen Frequenzen am rechten bzw. unteren Rand sind. Dies geht aus Teilbild (b) der Abbildung 8.1 hervor. Zwar ist dies prinzipiell richtig, aber man kann die Frequenzen derart umordnen, dass die mittleren Frequenzen an den äusseren Rändern sind und die hohen bzw. tiefen Frequenzen in der Mitte. So entsteht Teilbild (c). Diese Umordnung kann man mit dem Befehl fftshift erzielen. my_image = imread( rechteck.png ); fft_image = abs(fft2(my_image)); fft_shift = fftshift(fft_image);

39 9 Segmentierung und Merkmalsextraktion 9.1 Automatische Schwellwertbestimmung nach Otsu Um in einem Bild Objekte erkennen zu können, muss zunächst aus dem Graubild ein binäres Bild erzeugt werden, wo die Objekte klar erkennbar sind. Dazu muss mit einem Schwellwert bestimmt werden, ob ein Pixel zu einem Objekt gehört oder ob es sich um einen Hintergrundpixel handelt. Einerseits kann der Schwellwert manuell bestimmt werden. Andererseits kann der Schwellwert aber auch automatisch mit dem Verfahren nach Otsu bestimmt werden. k ω 0 = p[g] ω 1 = g=0 g max g=k+1 µ 0 = 1 ω 0 µ 1 = 1 ω 1 p[g] k p[g] g g=0 g max g=k+1 p[g] g (a) Originalbild (b) Schwellwert (c) Schliessung Abb Automatische Schwellwertbestimmung nach Otsu 9.2 Segmentierung Mit der Segmentierung werden die Pixel eines Binärbildes einzelnen Objekten zugeordnet. In diesem Fall wird davon ausgegangen, dass die Objekte weiss sind, während der Hintergrund schwarz ist. Ein solches Binärbild kann z.b. mit dem Otsu-Verfahren erzielt werden.

40 40 9 Segmentierung und Merkmalsextraktion Häufigkeit Grauwert Abb Relatives Histogramm Die Segmentierung geht nun wie folgt vor sich. Das Bild sei die Matrix I. Um die Objekte zu Segmentieren, muss zunächst die gleich grosse Matrix R angelegt werden. Jedes Element von R muss den Wert 0 haben. Anschliessend iteriert man wahlweise zeilen- oder spaltenweise durch das Bild I. Immer, wenn man auf einen weissen Pixel trifft, vergibt man beim entsprechenden Pixel in R ein sogenanntes Label. I.d.R. fängt man bei 1 zu zählen an. Der 1. weisse Pixel bekommt also das Label 1. Ist der nächste Pixel, also der Nachbarpixel, noch immer weiss, gehört er zum selben Objekt und muss daher auch das Label 1 erhalten. Ist der Pixel jedoch schwarz, wird kein Label vergeben; dafür erhält der nächste Pixel, der wieder weiss ist, das Label 2. So kann man durch das gesamte Bild iterieren; am Schluss erhält man eine Matrix R, wo jedes Objekte in I gelabelt ist. Es kann bei diesem Algorithmus jedoch zu Problemen kommen; wenn ein Objekt Löcher aufweist, dann wird bei einer zeilenweisen Iteration für den linken Rand des Objekts z.b. das Label 1 und für den rechten Rand das Label 2 vergeben. Man erhält also bei löchrigen Objekten zwangsläufig Konflikte, also Objekte, die zwei oder mehr Labels haben. Deshalb muss nach der 1. Iteration durch das Bild I noch eine weitere Iteration vorgenommen werden, um die Konflikte aufzulösen und Label zusammenzufassen. Dies macht man so lange, bis keine Konflikte mehr im gelabelten Bild R vorhanden sind. In Matlab oder Octave kann für dieses Labeling die Funktion bwlabel benutzt werden.

41 9.2 Segmentierung 41 (a) Originalbild (b) Gelabeltes Bild Abb Segmentierung