STUDIENARBEIT. HOMOTOPIE-ERHALTENDE SKELETONS von cand. Ing. Daniel Ruijters Matr.-Nr.: Dipl.-Ing. Pablo Alvarado. zum Thema.

Transkript

1 RHEINISCH-WESTFÄLISCHE TECHNISCHE HOCHSCHULE AACHEN LEHRSTUHL FÜR TECHNISCHE INFORMATIK Prof. Dr.-Ing. Karl-Friedrich Krai STUDIENARBEIT zum Thema HOMOTOPIE-ERHALTENDE SKELETONS von cand. Ing. Daniel Ruijter Matr.-Nr.: Gutachter: Prof. Dr.-Ing. Karl-Friedrich Krai Betreuer: Dipl.-Ing. Pablo Alvarado Aachen, den 4. Oktober 2000

2 Hiermit verichere ich, daß ich die vorliegende Studienarbeit elbtändig und nur unter Benutzung der angegebenen Hilfmittel angefertigt habe. Alle Stellen, die wörtlich oder inngemäß au veröffentlichten und nicht veröffentlichten Schriften entnommen ind, ind al olche kenntlich gemacht. Aachen, den 4. Oktober 2000 (Daniel Ruijter)

3 Kurzfaung In dieer Arbeit wurde ein Anatz zur homotopie-erhaltende Skeletierung von Binärbildern unterucht, bei dem morphologichen Operatoren benutzt wurden. Der gewählte Algorithmu baiert auf einer Arbeit von Liang Ji und Jim Piper [Ji und Piper, 1992]. Im Rahmen de AXIOM-Projekte wurde der Algorithmu für die Benutzung mit Binärbilder in C++ implementiert. Abtract The objective of thi report i to preent an approach for extracting homotopy-preerving keleton out of binar image by uing morphological operator. The urveyed algorithmn i baed on contribution by Liang Li and Jim Piper [Ji und Piper, 1992]. A part of the AXIOM project, the conideration of Liang Li and Jim Piper have been adapted for the ue with binar image and were implemented in C++.

4 Inhaltverzeichni 1 Einleitung 1 2 Grundlagen Formmerkmalen Objekt Homotopie Erhaltung Skeleton Morphologie Morphologiche Operationen: Dilatation und Eroion Differenz Ditanz Tranformation (DT) Skeleton mittel Morphologie Der Algorithmu von Liang Ji und Jim Piper Da Verfahren Definitionen Der Algorithmu Die Kernel Die J-Punkte Implementierung Flußdiagramm ii

5 Inhaltverzeichni 4.2 Schnitttelle Eingabedaten Augabedaten Die Parameter Die apply-methoden Zuammenfaung und Aublick 14 Literaturverzeichni 15 iii

6 Abbildungverzeichni 2.1 N4 und N8 Nachbarn Homotopie Differenz Ditanz Beipiele für Skeleton Der Cityblock-kernel Der Cheboard-kernel Der euklidiche Kernel Formpunkte und J-Punkte Flußdiagramm der Prägnanzberechnung iv

7 1 Einleitung Da Projekt AXIOM (Adaptive Expert Sytem for Intelligent Object Mining) hat die optiche Erkennung großer Mengen dreidimenionaler Objekte zum Ziel. Al Untercheidungkriterium ollen lokale und globale optiche Merkmale der zu erkennenden Objekte dienen, die dem Sytem durch Kameraaufnahmen zugeführt werden. Für den Erkennungprozeß werden trainierbare Klaifikatoren verwendet, die in der Trainingphae die präentierten Objekte aufgrund der extrahierten Merkmale dikriminieren. Skeleton beinhalten fundamentale Informationen über die Form eine Objekte. Ihre Generierung etzt Kenntnie über die Zugehörigkeit eine Pixel zum Objekt oder zum Hintergrund vorau. In einer weiteren Stufe kann die Skeleton-Dartellung zur Extraktion von Formmerkmalen Anwendung finden. Skeleton Algorithmen ind in der Regel ehr Zeitaufwendig. In dieer Arbeit wird ein alternativer, von Liang Ji und Jim Piper vorgechlagener Anatz unterucht, mit dem da Skeleton mit Hilfe morphologicher Operatoren extrahiert wird. Diee Verfahren it weentlich chneller al klaiche Skeleton Algorithmen, die auf die Medial Axi Tranformation baieren [Ji und Piper, 1992] [Sonka, Hlavac und Boyle, 1998]. Im folgendem Kapitel werden die Motivation und die Grundlagen für den gewählten Anatz erläutert. In Kapitel 3 wird der Algorithmu von Liang Ji und Jim Piper im Detail bechrieben, in Kapitel 4 it die am Lehrtuhl enttandene C++ Implementierung mit allen wichtigen Schnitttellen und Modifikationen dokumentiert. Da fünfte Kapitel enthält Tetergebnie für augewählte Objekte und eine Dikuion der Reultate. Die Arbeit chließt mit einer Zuammenfaung und einem Aublick auf weitere Entwicklungen, owie mit einem Anhang mit Beweien und Informationen für Programmierer. 1

8 2 Grundlagen 2.1 Formmerkmalen In der Objekterkennung it e von großen Bedeutung Formmerkmalen au Objektaufnahmen zu extrahieren. Da die Skeleton weentliche Informationen über die Form eine Objekte kennzeichnen, können ie al Grundlage für die Merkmalberechnung dienen. Dabei it e von großen Vorteil für die Objekterkennung wenn die Homotopie eine Objekte nicht verloren geht Objekt Der Begriff Objekt wird hier definiert al eine Verammlung von Vordergrundpunkten die 8-Zuammenhängend ind. Da heißt: e gibt zu jede zum Objekt gehörende Pixel mindeten ein andere zum Objekt gehörende Pixel, daß 8-Verbunden mit it.. Kenntnie über die Zugehörigkeit eine Pixel zum Vorder- oder zum Hintergrund wird voraugeetzt. Dabei it:! #" $ % &(') *!+,+$ -.+/ " N4 N8 Abbildung 2.1: N4 und N8 Nachbarn 2

9 2.2. MORPHOLOGIE Homotopie Erhaltung Eine Tranformation heißt homotopie-erhaltend wenn ie nicht die kontinuierliche Beziehung zwichen verchiedene Regionen ändert. Diee Beziehung wird augedruckt durch den Homotopiebaum; die Wurzel korrepondiert mit dem Hintergrund, die Blätter auf der erte Stufe mit die Objekte, die Blätter auf der zweite Stufe mit den Löcher innerhalb die Objekte, uw. [Sonka, Hlavac und Boyle, 1998] 5 b 4a 4a 5 6 b c 3 d 6c 3 d Abbildung 2.2: Objekte und ihre Homotopiebaum Skeleton Der Begriff Skeleton it nicht eindeutig fetgelegt. Begriffe wie thinning, Medial Axi (MA) und Skeleton werden alle in der Literatur benutzt um die gleiche Gruppe von Algorithmen zu bechreiben. Die Grundlegende Bezeichnung eine Skeleton it: eine Verammlung von Punkten, wobei für jeden Punkt de Skeleton mindeten zwei Kantenpunkten eine Objekte exitieren mit den der Punkt äquiditant it. In dieem Arbeit wird diee Definition weiter al Formpunkte bezeichnet. Für Skeleton wird hier gehandhabt, daß ie zuätzlich auch noch die Homotopie eine Bilde erhalten müen. Eine weentliche Eigenchaft von Skeleton it da ie au dünne Linien aufgebaut it. Ob diee Linien nur ein Pixel breit ein dürfen oder nicht kommt auf die Anwendung und den Skeletonalgorithmu an. 2.2 Morphologie Skeleton Algorithmen ind dafür bekannt, daß ie relativ langam ind. Laut Literatur ind die Verfahren die auf morphologiche Operationen beruhen weentlich chneller al traditionelle Algorithmen [Ji und Piper, 1992]. 3

10 2.2. MORPHOLOGIE Morphologiche Operationen: Dilatation und Eroion Die zwei grundlegende Operationen in der Morphologie ind die Dilatation und die Eroion. Bei beide Operationen wird ein Kernel und ein Bild benutzt. Der Kernel, auch Structuring Element genannt, wirkt dabei auf die Objekte die im Bild erhalten ind. Seine Dimenionen ind in der Regel kleiner al die de Bilde. Einige Kernel werden im Abchnitt vorgetellt. Die Dilatation und Eroion baieren auf die Vektor-Addition [Sonka, Hlavac und Boyle, 1998], oder Minowki Satz Addition: 8792: ; 8< 2:BA=. Beide morphologiche Operationen ind nicht reveribel. Bei der Dilatation C wird da Bild D und den Kernel E mittel Vektor-Addition verknüpft. Die Dilatation DFCGE it der Satz von alle mögliche Vektor Additionen von Paare von Elemente au D und E : Nach die Operation ind die Objekte im Bild D 2D Raum. DHC.E > JI KMLN> O:PJ QDQ2:R SE " größer geworden. I K teht für den euklidichen Bei der morphologiche Eroion T wird da Bild D und den Kernel E mittel Vektor Subtraktion verknüpft. Die Eroion it die duale Operation von der Dilatation. Nach die Operation ind die Objekte im Bild D kleiner geworden. DUT.E > QI K L O:R QDWVX: E " Differenz Wenn Y und E zwei Binärbilder ind, dann wird der Differenz Z > Y/[+E definiert al \Z wenn ( ]Y und _^ ]E ). Man kann ich alo da Bild Z vortellen al Y mit E herau getanzt. A B Differenz Abbildung 2.3: Differenz A[ B zweier Figuren A und B Ditanz Tranformation (DT) Sei = die Ditanz Funktion [Ji und Piper, 1992], daß heißt = a` b, dc > für alle, e K und =f a>gb für alle he K. = it definiert al die Summe von Nachbarditanzen eine 4

11 r C Z T C Z 2.2. MORPHOLOGIE Punkte und einer $ Nachbarn. = it dann der kürzete Weg zwichen und. Wobei ein Weg eine Sequenz von benachbarten Pixeln it, und eine Länge die Summe von Nachbarditanzen vom jeden Punkt zum Nächten. Die Nachbarditanz braucht nicht unbedingt die metriche Ditanz zu entprechen, weil ie abhängig it vom benutzten Kernel. In Abbildung 2.4 ind einige Beipiele gegeben für verchiedene Kernel und ihre Nachbarditanzen. Die Ditanz Tranformation (DT) eine Punkte in einem Bild Z ei: i (>jnk@l 8=f m n m0 Z m it ein Punkt in da Komplement von Z, alo ein Hintergrundpunkt. Alo it i o der kleinte Abtand von zum Hintergrund. Ein Punkt it ein lokale Maximum genau dann wenn i o d= a` i Der Satz von lokale Maxima entpricht die Formpunkte. 8 für alle dc > p0 1 1 p qcityblock (N4) Kernel qcheboard (N8) Kernel Abbildung 2.4: Die Nachbarditanzen für zwei Kernel Skeleton mittel Morphologie ei eine Sequenz von Kernel. Jede Element rt it gekennzeichnet durch einem Durchmeer u > kwv%x. Alo hat da kleinte Element r y einen Durchmeer von u >{z, da nächte u >G uw. Z it ein Bild da ein oder mehrere Objekte enthält. Jetzt ei Z da Bild da mit rt erodiert wurde, Z > rt Z/T. Die k -te Hülle von da Orginalbild it dann } > ~fy [Z. Alo wenn man ich die Sequenz von Z anchaut, wird immer eine Hülle von 1 Pixel breit von die Objekte in Z entfernt. Bewertet man jede Hülle } mit k, dann erhält man die Ditanz Tranformation (DT) von Bild Z. ~fy Die Differenz von Z und die Dilatation von Z mit ein Kernel i liefert die lokale Maxima ) gehörend zu die Hülle }. Alo ) > ~fy i Z [9 8Z. Die Sequenz von alle ) entpricht alo die Formpunkte. Da Skeleton muß jetzt nur noch ergänzt werden mit die homotopieerhaltende Punkte, auch J-Punkte genannt. Wenn r eine trennbare Sequenz von Kernel it, kann Z viel effektiver berechnet werden [Ji und Piper, 1992]. r it eine trennbare Sequenz, wenn gilt rt~fy > rt r y, alo wenn man da nächte Element in der Sequenz berechnen kann durch eine Dilatation von da letzte Element ~fy mit dem erten Kernel. In dieen Fall it Z > r y. Man erhält einen weentlichen Gechwindigkeitgewinn weil man in jedem Iterationchritt nur mit dem kleinten Kernel erodiert, tatt mit einem immer wachenden Kernel. 5

12 2.2. MORPHOLOGIE Abbildung 2.5: Einige Objekte und ihre Skeleton 6

13 D Z } Z D ' C ' y y 3 Der Algorithmu von Liang Ji und Jim Piper Im vorhergehenden Kapitel wurden die Grundlagen erläutert auf den da Iterative Verfahren von Liang und Jim Piper aufbaut. In jedem Iterationchritt werden zuert Form Punkte mittel da morphologiche Skeletonverfahren geucht. Danach werden diee Formpunkte mittel ogenannte J-Punkte verbunden, um die Homotopie zu erhalten. 3.1 Da Verfahren Definitionen } > rt Z/T Z it da Orginalbild. In jedem Iterationchritt k wird eine Hülle von den Objekten im ƒ 9y Bild Z > [Z entfernt. Die wird olange wiederholt bi da Bild Z ~fy leer it. tellt die k -te Hülle dar von da Objekt. Die Sequenz von Hüllen liefert die Ditanz Tranformation (DT) von Z. ) > ~fy i Z [9 Z M-Punkte, oder Formpunkte. ) ind die Formpunkte die au die k -te Hülle gewonnen werden. Die Sequenz aller S tellt da eigentliche Skeleton dar. Die M-Punkte liefern aber nicht immer die gleiche Homotopie al da Orginalbild. Homotopie erhaltende Punkte. wird für jeden Iterationchritt neu berechnet. Diee verfahren it im Abchnitt 3.2 erklärt. > ƒ 9y ) D it leer. Nach durchlauf von alle Iterationen it D da Skeleton von Z. 7

14 D D ' ' C 3.2. DIE J-PUNKTE Der Algorithmu kˆ> repeat while Z compute Z compute Š > ƒ 9y kˆ> k "! lœ> k return (D ), } ) >G c and ) Die Kernel Die Kernel i und rm werden benutzt in den morphologichen Operationen. E handelt ich in dem Fall von rt dann um Sequenzen von Kernel, wobei die einzelnen Elemente in Abhängigkeit von ihren Durchmeer bechrieben werden können. Wichtig für die Gechwindigkeit der Algorithmu it dabei, ob eine Sequenz von Kernel trennbar it oder nicht (iehe auch Abchnitt 2.2.4). Eine Sequenz von Kernel it trennbar, wenn man da nächte Element durch eine Dilatation de vorgehenden Element mit dem erten Kernel in der Sequenz berechnen kann ( rt~fy > rt r y ). Die drei Sequenzen die im Rahmen dieer Arbeit benutzt wurden, werden in den Abilldungen kurz vorgetellt. In Prinzip funktioniert der Al- i Ž rt~fy entpricht. Im gorithmu mit jeder Sequenz von Kernel, die die Bedingung rt C Fall einer trennbaren Sequenz rm it diee Bedingung immer erfüllt wenn i ŽGr/y it [Ji und Piper, 1992]. Abbildung 3.1: Der Cityblock-kernel 3.2 Die J-Punkte J-Punkte dienen dazu die Homotopie eine Bilde zu erhalten. Sie ollten eingefügt werden wenn ont der Zuammenhang zwichen verchiedenen Regionen eine Objekte wegen die 8

15 [ ^ 3.2. DIE J-PUNKTE Abbildung 3.2: Der Cheboard-kernel Abbildung 3.3: Der eukidiche Kernel Eroion verloren gehen würde. Um die Verbindung wieder herzutellen werden owohl die ƒ 9y Skeletonpunkte die bereit gefunden ind, D, al auch die aktuelle Hülle } in betracht gezogen. ) E ei )}. Alo liegt auf die aktuelle Hülle, aber ohne die in dieen Iterationchritt gefundenen Formpunkte. Weiter ei > 'SD ƒ 9y. Da heißt, ind die 8- Nachbarn von, die zu den Formpunkten, oder zur aktuellen Hülle gehören. Jetzt it ein J-Punkt wenn gilt: 7o:<, h o daß 7 8: 2: h ^ 2< h 87 ^. Wenn e alo drei Punkte in % gibt die nicht 4-benachbart ind, dann it ein J-Punkt. Diee Verfahren liefert manchmal redundante Punkte, da heißt Punkte die, treng genommen, nicht für die Homotopie-erhaltung notwendig ind. Diee Punkte ändern aber nicht die Form de Skeleton, nur die Breite. 9

16 3.2. DIE J-PUNKTE Abbildung 3.4: Ein Objekt und ein Skeleton: Die Formpunkte ind chwarz, die J-Punkte grau. 10

17 4 Implementierung Der Algorithmu nach Ji und Piper wurde al Teil der LTILIB-Bibliothek de Lehrtuhl für Techniche Informatik objektorientiert in C++ implementiert. Die Auführung al Funktor mit einem integrierten Satz an Parametern ermöglicht eine Anpaung der Berechnung an verchiedene Anwendungfälle und Eingabedaten. 4.1 Flußdiagramm Da Flußdiagramm in Abbildung 4.1 tellt chematich den Ablauf de Algorithmu dar, wie er in der apply()-methode der Klae lti::keleton implementiert it. 4.2 Schnitttelle Eingabedaten Al Eingabe wird ein Bild da ein oder mehrere Objekte (iehe Abchnitt 2.1.1) enthält erwartet. Die Eingabedaten müen in Form von 1-Byte-Matrizen (lti::channel8) vorliegen. Da Bild wird al ein Binärbild verarbeitet. Da heißt da Pixeln mit den Wert 0 al Hintergrundpixeln betrachtet werden. Von Pixeln mit einem Wert unterchiedlich von 0 wird angenommen, daß ie zu einem Objekt gehören Augabedaten Da Augabedatum it ein Bild in der Form von einem 1-Byte-Matrix (lti::channel8). Da Bild enthält die Skeleton die zur Objekte au da Eingabebild gehören. 11

18 4.2. SCHNITTSTELLE Eingabe: x binäre Bild I x KernelTyp von E x Werte Form- und JPunkte Initialiierung von Kernel E und D E = E(1) i := 1 Bild I(i) it leer? ja nein Berechne I(i+1), M, S, JPunkte i := i - 1 X(i) = X(i-1) + M + JPunkte i := i + 1 Augabe: Skeleton X(i) Abbildung 4.1: Flußdiagramm der Prägnanzberechnung Die Parameter Die eingebettete Parameter-Klae lti::keleton::parameter hat folgende Datenfelder: 12

19 4.2. SCHNITTSTELLE enum ekerneltype { CityBlock, CheBoard, Euclidean }; ekerneltype kerneltype; int formpointvalue; int jpointvalue; Der Kerneltyp In die Implementation de Algorithmu die im Rahmen dieer Arbeit gechrieben wurde, wird für den Dilatationkernel i immer ein Cityblockkernel mit Durchmeer 3 eingeetzt. Für den Eroionkernel rt ind drei verchiedene Sequenzen von Kernel verfügbar: City- Block, Cheboard und euklidicher Kernel (iehe auch Abchnitt 3.1.3). Über den Parameter ekerneltype kerneltype wird angegeben welcher Kernel benutzt werden ollte Dartellung der Formpunkte und J-Punkte Über die Parameter int formpointvalue und int jpointvalue wird angegeben welcher Grauwert die Formpunkte und J-Punkte in da Augabebild haben werden. Standard ind beide auf den Maximalwert 255 eingetellt Die apply-methoden Die apply-methoden ind die Schnitttellen zur Benutzung de Algorithmu. E tehen zwei Funktionen für 8 bit integer-matrizen (lti::channel8) zur Verfügung. channel8& apply(channel8& rcdet) cont; channel8& apply(channel8& rc, channel8& det) cont; Die erte Variante ändert da Eingabebild in eine Skeleton. Die zweite Variante ändert da urprüngliche Bild nicht. Dafür benötigt ie eine zweite Variable zur Augabe. 13

20 5 Zuammenfaung und Aublick Der in dieer Arbeit unteruchte Skeleton-Algorithmu von Liang Ji und Jim Piper hat ich al geeignete Verfahren zur Erzeugung von Skeleton au Binärbildern erwieen. In einer weiteren Stufe kann die Skeleton-Dartellung zur Extraktion von Formmerkmalen Anwendung finden. Vorteil dieer Algorithmu it, daß bei geeigneter Wahl de Kernel (wenn die Sequenz der Eroionkernel trennbar it) (Abchnitt und 3.1.3) der Rechenaufwand zufriedentellend it. Die im Rahmen dieer Arbeit benutzte trennbare Sequenzen weien aber eine Rotationabhängigkeit auf. Da kann ein Nachteil ein. Der euklidiche Kernel weit zwar keine Rotationabhängigkeit auf, it aber nicht trennbar und dewegen bei einem Einatz zur längeren Rechenzeiten führt. In da Verfahren bechrieben durch [Ji und Piper, 1992] wird in jedem Iterationchritt die redundanten J-Punkte entfernt. Da da Verfahren owieo keine 1-Pixel breiten Skeleton liefert cheint e effektiver um die Entfernung redundanter Punkte in einem Schritt am Ende durchzuführen. Durch eine Paralleliierung de Algorithmu kann, beonder auf einem Mehrprozeorytem, die Gechwindigkeit weiter erhöht werden. Ein Einatz im AXIOM-Projekt ercheint gerechtfertigt, wenn man die Eigenchaften de Verfahren in Betracht zieht. 14

21 Literaturverzeichni [Ji und Piper, 1992] Ji, Liang und Piper, Jim (1992). Fat Homotopy-Preerving Skeleton Uing Mathematical Morphology IEEE Tranaction on Pattern Analyi and Machine Intelligence, Vol. 14, No. 6 june 1992, pp [Gonzale und Wood, 1992] Gonzale, Rafael C. und Wood, Richard E. (1992). Digital Image Proceing. Addion-Weley publihing company [Haan und Karam, 2000] Haan, Yain M.Y. und Karam, Lina J. (2000). Morphological Reverible Contour Repreentation IEEE Tranaction on Pattern Analyi and Machine Intelligence, Vol. 22, No. 3 march 2000, pp [Sonka, Hlavac und Boyle, 1998] Sonka, Milan, Hlavac, Vaclav und Boyle, Roger (1998). Image Proceing, Analyi, and Machine Viion. Brook/Cole Publihing Company 15