Kamerabasierte Navigation im Inneren von Gebäuden Sebastian Hilsenbeck, Robert Huitl, Georg Schroth, Eckehard Steinbach

Transkript

1 Technische Universität München Kamerabasierte Navigation im Inneren von Gebäuden Sebastian Hilsenbeck, Robert Huitl, Georg Schroth, Eckehard Steinbach

2 Outdoor vs. Indoor Im Freien In Gebäuden No GPS reception Sources: Google, Flickr 2

3 Nachteile bestehender Indoor-Positionierungssysteme Wi-Fi-basierte Lokalisierung Lokalisierung via Blitzlichter Ca. 6 Hotspots in Reichweite für eine raumgenaue Lokalisierung Personen, Türen, u.ä. führen zu großen Fehlern in der Position Keine Blickrichtung Hohe Investitions- und Wartungskosten Bild: Bytelight Lokalisierung via Magnetfelder Bild: 3

4 NAVVIS: Visuelle Lokalisierung wie der Mensch Anfrage (Aufnahme des Handys) Position und Blickrichtung der visuell ähnlichsten Referenzaufnahme Hörsaal 4200 Datenbank mit Referenzaufnahmen, deren Position bekannt ist 4

5 Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 5

6 Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 6

7 Outdoors: Referenzansichten via Google Street View Beinahe weltweite Verfügbarkeit Panoramas mit präziser Geo-Referenzierung Abstand der Panoramas: 12-17m Quelle: Google 7

8 Indoors sind Simultaneous Localization and Mapping Ansätze erforderlich R. Huitl, G. Schroth, S. Hilsenbeck, F. Schweiger, and E. Steinbach, TUMindoor: an extensive image and point cloud dataset for visual indoor localization and mapping, In International Conference on Image Processing,

9 NAVVIS Indoor Mapping Platform Video:

10 Technische Universität München Demo: Browserbasierter Indoor-Viewer Video: 2/13/

11 Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 11

12 Beschreibung eines Bildes via Bag of Visual Words Feature descriptor Visual word

13 Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 13

14 Text: von visuellen Wörtern zu visuellen Phrasen Texterkennung (OCR) würde das visuelle Erscheinungsbild nicht berücksichtigen Textzeichen werden wie gewöhnliche visuelle Merkmale behandelt und Deskriptoren berechnet Schriftzüge erzeugen Sequenzen von visuellen Merkmalen mit fester Reihenfolge Zusätzliche Information anhand dieser geometrischen Relationen G. Schroth, S. Hilsenbeck, R. Huitl, F. Schweiger, and E. Steinbach, Exploiting text-related features for content-based image retrieval, In International Symposium on Multimedia (ISM), Dana Point, CA, USA, December

15 Herausforderungen der visuellen Positionierung 1. Referenzaufnahmen und Kartenmaterial? 2. Robuste Bildsignatur (Licht-, Blickwinkeländerungen, etc. )? 3. Unterscheidungskräftige visuelle Merkmale in texturarmen Umgebungen? 4. Metergenaue Positionierung und Blickrichtungsbestimmung? 15

16 Metergenaue Lokalisierung und Orientierungsschätzung anhand von Virtuellen Referenzansichten 16

17 Metergenaue Lokalisierung und Orientierungsschätzung anhand von Virtuellen Referenzansichten Die Positionen der jeweils visuell ähnlichsten vier Referenzansichten werden durch rote, grüne, blaue, und gelbe Markierungen dargestellt Die Ground Truth wird durch ein schwarzes Quadrat markiert Die Orientierung wird robust (bis auf 22.5 ) bestimmt 17

18 Metergenaue Lokalisierung und Orientierungsschätzung anhand von Virtuellen Referenzansichten Video: 18

19 Datenfusion führt verfügbare Positionsinformationen zusammen 19

20 Das TUM Spin-off NavVis GmbH hat die Kartierungstechnik zu einem Produkt weiterentwickelt 20

21 Vielen Dank für Ihr Interesse 21