Technische Universität München Kamerabasierte Navigation im Inneren von Gebäuden Sebastian Hilsenbeck, Robert Huitl, Georg Schroth, Eckehard Steinbach
Outdoor vs. Indoor Im Freien In Gebäuden No GPS reception Sources: Google, Flickr 2
Nachteile bestehender Indoor-Positionierungssysteme Wi-Fi-basierte Lokalisierung Lokalisierung via Blitzlichter Ca. 6 Hotspots in Reichweite für eine raumgenaue Lokalisierung Personen, Türen, u.ä. führen zu großen Fehlern in der Position Keine Blickrichtung Hohe Investitions- und Wartungskosten Bild: Bytelight Lokalisierung via Magnetfelder Bild: http://www.extremetech.com/ 3
NAVVIS: Visuelle Lokalisierung wie der Mensch Anfrage (Aufnahme des Handys) Position und Blickrichtung der visuell ähnlichsten Referenzaufnahme Hörsaal 4200 Datenbank mit Referenzaufnahmen, deren Position bekannt ist 4
Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 5
Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 6
Outdoors: Referenzansichten via Google Street View Beinahe weltweite Verfügbarkeit Panoramas mit präziser Geo-Referenzierung Abstand der Panoramas: 12-17m Quelle: Google 7
Indoors sind Simultaneous Localization and Mapping Ansätze erforderlich R. Huitl, G. Schroth, S. Hilsenbeck, F. Schweiger, and E. Steinbach, TUMindoor: an extensive image and point cloud dataset for visual indoor localization and mapping, In International Conference on Image Processing, 2012. 8
NAVVIS Indoor Mapping Platform Video: www.youtube.com/watch?v=a1kvdfz3ddo
Technische Universität München Demo: Browserbasierter Indoor-Viewer Video: www.youtube.com/watch?v=bdidg5re3we 2/13/2013 10
Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 11
Beschreibung eines Bildes via Bag of Visual Words Feature descriptor 008 501 101 Visual word 203 12
Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 13
Text: von visuellen Wörtern zu visuellen Phrasen Texterkennung (OCR) würde das visuelle Erscheinungsbild nicht berücksichtigen Textzeichen werden wie gewöhnliche visuelle Merkmale behandelt und Deskriptoren berechnet Schriftzüge erzeugen Sequenzen von visuellen Merkmalen mit fester Reihenfolge Zusätzliche Information anhand dieser geometrischen Relationen G. Schroth, S. Hilsenbeck, R. Huitl, F. Schweiger, and E. Steinbach, Exploiting text-related features for content-based image retrieval, In International Symposium on Multimedia (ISM), Dana Point, CA, USA, December 2011. 14
Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 15
Metergenaue Lokalisierung und Orientierungsschätzung anhand von Virtuellen Referenzansichten 16
Metergenaue Lokalisierung und Orientierungsschätzung anhand von Virtuellen Referenzansichten Die Positionen der jeweils visuell ähnlichsten vier Referenzansichten werden durch rote, grüne, blaue, und gelbe Markierungen dargestellt Die Ground Truth wird durch ein schwarzes Quadrat markiert Die Orientierung wird robust (bis auf 22.5 ) bestimmt 17
Metergenaue Lokalisierung und Orientierungsschätzung anhand von Virtuellen Referenzansichten Video: www.youtube.com/watch?v=w6gmqjpniso 18
Datenfusion führt verfügbare Positionsinformationen zusammen 19
Das TUM Spin-off NavVis GmbH hat die Kartierungstechnik zu einem Produkt weiterentwickelt 20
Vielen Dank für Ihr Interesse http://www.navvis.lmt.ei.tum.de 21