Unsupervised object discovery and categorization in 3D

Transkript

1 Research Collection Doctoral Thesis Unsupervised object discovery and categorization in 3D Author(s): Shin, Ji Won Publication Date: 2012 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 DISS. ETH. NO Unsupervised Object Discovery and Categorization in 3D A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by Jiwon Shin MSc ETH in Computer Science, ETH Zurich 22 February 1982 citizen of South Korea and U.S.A. accepted on the recommendation of Prof. Dr. Roland Y. Siegwart (ETH Zurich, thesis director) Prof. Dr. Paul Newman (University of Oxford, examiner) 2012

3 Abstract Autonomous learning opens doors to endless possibilities. Discovering and categorizing objects without supervision is an important step towards this goal because the ability to learn simple entities indicates the possibility to learn more complex concepts. Understanding objects without supervision, however, has received little attention so far. This thesis focuses on this task as it addresses the challenges of unsupervised object discovery and categorization from 3D laser scans. This thesis differentiates itself from existing work on unsupervised learning by requiring none of the following: pre-segmentation of foreground objects, one object class per image, or a particular object symmetry. It instead utilizes the re-occurrence of structurally-similar entities to discover and categorize objects. The proposed algorithm takes a 3D point cloud from a laser and performs segmentation, discovery, and categorization to extract and label objects in the scene. The segmentation step extracts object candidates from the point cloud by segmenting the input, extracting salient segments, and grouping together salient segments that are nearby. Once the algorithm extracts object candidates, it performs object discovery on the object candidates. This thesis presents two different object discovery methods. One method is based on joint compatibility of object candidates. The other method is based on conditional random fields that encode the interaction among object part candidates. The first method finds the set of object classes that maximize the joint probability of the object candidates and the object classes whereas the second method finds the most likely object class for each object part candidate. Once the algorithm detects the objects in each input scan, it assigns them globally-consistent category labels. Using a conditional random field, the object categorization method encodes the statistical dependency between the local object labels and the global category labels and infers the most likely category label for each local label. The main contribution of this thesis is an algorithm with the ability to discover and categorize objects without knowing where the objects are, what the objects are, and how many objects there are. For object segmentation, we propose a novel object candidate extraction method that utilizes the local structure as well as the global properties to compute saliency directly in 3D. This method frees us from pre-segmentation of foreground objects while providing potential object locations and shapes. For object discovery, the strength of the proposed algorithm lies in its ability to tolerate imperfections in the object candidates, infer the number of object classes implicitly, and assign a class label to each iii

4 iv ABSTRACT discovered object. The proposed categorization step determines the number of object categories implicitly, freeing itself from the necessity of having this number a priori. Moreover, the categorization step can correct incorrect labels of the discovery step. We evaluate the ability of the proposed algorithm on real data taken in four different offices, an apartment, and an office building. The evaluation at each step presents how the algorithm can handle imperfections of the previous step. Our evaluation indicates that the algorithm can discover and categorize different objects found in indoor settings while minimizing false positives. Through this thesis, we demonstrate the possibility of discovering and categorizing objects by detecting repeating entities.

5 Kurzfassung Autonomes Lernen öffnet die Türen zu endlosen Möglichkeiten. Die unbeaufsichtigte Erkennung und Kategorisierung von Objekten ist ein wichtiger Schritt zu diesem Ziel, weil die Fähigkeit einfache Einheiten zu lernen die Möglichkeit bietet komplexere Konzepte zu erlernen. Bis jetzt wurde dem unbeaufsichtigtem Verstehen von Objekten wenig Beachtung geschenkt. Diese Arbeit konzentriert sich auf diese Aufgabe, indem sie die unbeaufsichtigte Erkennung und Kategorisierung von Objekten anhand von 3D Laserabtastungen behandelt. Diese Arbeit unterscheidet sich von existierenden Arbeiten über unbeaufsichtigtes Lernen, indem sie keine der folgenden Annahmen macht: Vorsegmentierung der Objekte im Vordergrund, eine Objektklasse pro Bild oder eine bestimmte Objektsymmetrie. Stattdessen macht sich diese Arbeit das Wiederauftreten von strukturähnlichen Einheiten zunutze, um Objekte zu erkennen und zu kategorisieren. Der vorgeschlagene Algorithmus nimmt eine Menge von 3D Punkten von einem Laser und vollzieht Segmentierung, Erkennung und Kategorisierung, um Objekte aus der Szene zu extrahieren und zu beschriften. Die Segmentierung extrahiert Objektkandidaten aus der Menge von Punkten, indem sie die Eingabe segmentiert, hervorstehende Segmente extrahiert und anschliessend hervorstehende Segmente gruppiert, die nahe beieinander liegen. Sobald der Algorithmus Objektkandidaten extrahiert hat, vollzieht er Objekterkennung auf den Objektkandidaten. Diese Arbeit präsentiert zwei verschiedene Methoden zur Objekterkennung. Die Eine basiert auf gegenseitiger Kompatibilität von Objektkandidaten. Die Andere basiert auf bedingten Zufallsfeldern, die die Interaktionen zwischen Objektteilkandidaten enthalten. Die erste Methode findet die Menge von Objektklassen, die die gemeinsame Wahrscheinlichkeit von Objektkandidaten und Objektklassen maximiert, während die zweite Methode für jeden Objektteilkandidaten die wahrscheinlichste Objektklasse findet. Nachdem der Algorithmus in jeder Laserabtastung Objekte erkannt hat, weist er ihnen global konsistente Beschriftungen zu. Die Objektkategorisierungsmethode codiert mithilfe eines bedingten Zufallfeldes die statistischen Abhängigkeiten zwischen den lokalen Objektbeschriftungen und den globalen Kategorienbeschriftungen. Daraus schliesst sie die wahrscheinlichste Kategorienbeschriftung für jede lokale Beschriftung. Der Hauptbeitrag dieser Arbeit ist ein Algorithmus zur Erkennung und Kategorisierung von Objekten, wobei der Algorithmus nicht erfordert zu wissen wo v

6 vi KURZFASSUNG die Objekte sind, was die Objekte sind und wieviele Objekte es gibt. Für die Objektsegmentierung, schlagen wir eine neuartige Extrahierungsmethode für Objektkandidaten vor, die sowohl von der lokalen Struktur als auch von den globalen Eigenschaften Gebrauch macht, um die hervostehenden Elemente direkt in 3D zu berechnen. Diese Methode befreit uns von der Vorsegmentierung von Objekten im Vordergrund, während sie potentielle Positionen und Formen von Objekten liefert. Bei der Objekterkennung liegen die Stärken des vorgeschlagenen Algorithmus in dessen Fähigkeit Imperfektionen in den Objektkandidaten zu tolerieren, die Anzahl von Objektklassen implizit abzuleiten und jedem entdecktem Objekt eine Klassenbeschriftung zuzuweisen. Der vorgeschlagene Kategorisierungsschritt bestimmt die Anzahl von Objektkategorien implizit, was ihn davon befreit diese Anzahl vorgängig zu kennen. Weiterhin kann der Kategorisierungsschritt falsche Beschriftungen des Entdeckungschrittes korrigieren. Wir evaluieren die Fähigkeit des vorgeschlagenen Algorithmus anhand von echten Daten, die wir in vier verschiedenen Büros, einer Wohnung und einem Bürogebäude entnommen haben. F r jeden Schritt präsentiert die Evaluierung wie der Algorithmus mit Imperfektionen des vorangehenden Schrittes umgeht. Unsere Evaluierung zeigt, dass der Algorithmus Objekte im Innenbereich entdecken und kategorisieren kann, wobei er falsch positive Erkennungen minimiert. Durch diese Arbeit demonstrieren wir die Möglichkeit Objekte zu erkennen und zu kategorisieren, indem wiederkehrende Elemente entdeckt werden.