Projektbericht Ersteinführung der Kinect am INF

Transkript

1 Projektbericht Ersteinführung der Kinect am INF Autor Fabian Saccilotto Interstaatliche Hochschule für Technik NTB Buchs Advisor Norbert Frei Datum 8. August 2012

2

3 Inhaltsverzeichnis 1. Sensor Spezifikationen Kinect RGB Kamera Infrarot Kamera - Tiefenbild Mikrofon Array Neigungsmotor D Beschleunigungssensor Motorstatus Asus Xtion Pro Treiber und Bibliotheken Funktionalitäten Umstellen der Treiber Anwendungsbeispiele Allgemein Navigation autonomer Systeme D Rekonstruktion Benutzerinteraktion Tutorials und eigene Anwendungen A. Anmerkungen Funktionstests 35 A.1. Testsysteme A.2. Installationsproblem OpenNI B. Experiment Tiefenbild 37 B.1. Eekte B.2. Tiefenauösung B.3. Bildauösung in Abhängigkeit der Distanz

4

5 1. Sensor Spezifikationen 1.1. Kinect "Der Kinect Sensor wurde von der Firma Microsoft in Zusammenarbeit mit der israelischen Firma PrimeSense entwickelt und erstmals am 1. Juni 2009 an der E3- Spielmesse vorgestellt. Es handelt sich dabei um ein Gerät, welches die berührungslose Steuerung (Bewegung und Sprache) der XBox Spielkonsole ermöglicht."[32]. Dieses Kapitel ist ein Zusammenzug aus ([29][23][12]). Der Sensor ist mit folgenden Elementen ausgestattet (siehe Abbildung 1.1): Farbbildsensor Infrarotbildsensor und projektor für die Berechnung eines Tiefenbilds Mikrofon Array Neigungsmotor 3D Beschleunigungssensor Status LED Abbildung 1.1.: Bestandteile des Kinect Sensors Ähnlich ausgestattete Sensoren werden bereits in anderen Disziplinen wie Virtual Reality eingesetzt. Der Massenmarkt der Spielkonsolen macht den Sensor preis- 5

6 1. Sensor Spezikationen wert 1. 8 Millionen verkaufte Geräte in den ersten 60 Tagen bescherten der Kinect einen Eintrag im Guinness Buch der Rekorde für das am schnellsten Verkaufte Konsumgüter-Elektronikgerät [33]. Die Kinect hat ein Sichtfeld (Field of View) von 43 vertikal und 57 horizontal in einer Distanz von 0.8 m bis 4 m (siehe Abbildung 1.2). Der Sensor hält Temperaturen von 5 C bis 35 C aus und hat eine Leistungsaufnahme von 12 W. Seit dem Release des Microsoft Kinect SDK Version 1.5 ist zudem die Kinect for Windows erhältlich, welche den Nahmodus unterstützt 2. Abbildung 1.2.: Reichweite des Kinect Sensors Der Nahbereich ist nur für Geräte des Typs Kinect for Windows verfügbar RGB Kamera Bilder werden mittels eines Bayer-Sensors in unterschiedlichen Auösungen übertragen (siehe Tabelle 1.1). Zur Verringerung der Datenmenge kann das YUV Format verwendet werden. Format Datenmenge per Pixel Auösung maximale Framerate srgb 32-Bit 640 x FPS 1280 x FPS YUV 16-Bit 640x FPS Tabelle 1.1.: Übertragungsarten der Farbinformationen 1 Die Kinect ist in der Schweiz für 139 CHF erhältlich (Stand Bei als Microsoft Kinect für PC geführt. 6

7 1.1. Kinect Infrarot Kamera - Tiefenbild Das Tiefenbild wird anhand der Verzerrung eines Punktemusters berechnet (siehe Abbildung 1.3)[28]. Der Infrarot Laser hat eine Wellenlänge von 830 nm und wird mit 60 mw gespiesen. Das Tiefenbild kann in den Auösungen , , oder Pixel mit einer maximalen Framerate von 30 Bilder pro Sekunde abgerufen werden. Die Tiefeninformation wird zusammen mit der Spieleridentikation in 16-Bit pro Pixel übertragen (siehe Abbildung 1.4) und wird jeweils senkrecht zur Kinect-Ebene angegeben (siehe Abbildung 1.5). Abbildung 1.3.: Punktemuster des IR-Projektors Abbildung 1.4.: Codierung der Tiefen- und Spielerinformation 7

8 1. Sensor Spezikationen Abbildung 1.5.: Ausgegebene Tiefeninformation Per Experiment wurde die Qualität des Tiefenbildes untersucht (siehe Anhang B). Störungen im Tiefenbild treten vor allem bei transparenten, reektierenden oder leuchtenden Oberächen auf. Der übersteuerte Sensor liefert an diesen Stellen meist den Maximalwert von = Soll ein Objekt mit einer bestimmten Genauigkeit erfasst werden, muss die Auösung bekannt sein. Anhand des Blickwinkels und der Sensorauösung lässt sich die theoretische Auösung des Bildes in mm bestimmen (Berechnung siehe Anhang Pixel B.3). Tabelle 1.2 zeigt die Auösungen der Bildpixel an den Bereichsgrenzen. Distanz 0.8 m 4 m Ausrichtung horizontal vertikal horizontal vertikal 1280x x x x Tabelle 1.2.: Theoretische Auösung der Bildpixel in mm Pixel Mikrofon Array Der Kinect Sensor ist mit vier örtlich verteilten Hochleistungsmikrofonen ausgestattet. Dies ermöglicht Schallquellenlokalisierung (Beamforming), Echokompensation und Rauschunterdrückung. Es werden horizontal elf Quellenpositionen im Bereich 50 bis 50 unterschieden. Akustische Signale werden über einen 24-Bit 8

9 1.1. Kinect Analog-Digital Konverter aufgenommen und sind als 16-Bit PCM 3 (Abtastrate 16 khz) verfügbar. Dies ermöglicht den Einsatz von Spracherkennungssoftware Neigungsmotor Der Fuss der Kinect lässt sich um 27 bis 27 schwenken. Die Ansteuerung des Winkels erfolgt gegenüber dem Horizont D Beschleunigungssensor In der Dokumentation des Microsoft Windows SDK for Kinect [23] wird kein Beschleunigungssensor erwähnt. Die Zerlegung des Sensors [29] sowie Treiber von Open Source Projekten (siehe Kapitel 2) bestätigen jedoch dessen Existenz. Abbildung 1.6 zeigt die Ausrichtung der Sensorachsen. Abbildung 1.6.: Ausrichtung der Sensorachsen Motorstatus Über USB können Geschwindigkeit, Beschleunigung (XYZ), Neigungswinkel sowie der Bewegungsstatus abgerufen werden (siehe Abbildung 1.7). 3 Mono Pulse Code Modulation 9

10 1. Sensor Spezikationen Weitere Angaben zur Implementierung des Treibers sind in [20] und [27] zu nden. 4 Abbildung 1.7.: Statusarray des Motors 1.2. Asus Xtion Pro Unter dem Namen Xtion Pro 5 verkauft die Firma Asus ein ähnliches Gerät der Firma PrimeSense mit folgenden Unterschieden (siehe Abbildung 1.8)[12][22]: Der Xtion liefert zusätzlich Tiefenbilder in Auösung 320x240 bei 60 Frames pro Sekunde Dem Xtion fehlt ein Neigungsmotor Der Xtion benötigt nur 2.25 W gegenüber 12 W der Kinect Abbildung 1.8.: Asus Xtion Pro Sensor 4 Besondere Vorsicht ist bei den Beschleunigungen geboten, einige Implementierungen liefern falsche Werte. Schnelltest: Auf horizontalem Grund sollte die Kinect in etwa folgende Werte ausgeben: X: 0, Y: 819, Z: 0. 5 Der Asus Xtion Pro ist in der Schweiz für 155 CHF erhältlich (Stand www. digitec.ch.) 10

11 2. Treiber und Bibliotheken 2.1. Funktionalitäten Für den Einsatz des Kinect Sensors sind unterschiedliche Bibliotheken verfügbar (siehe Tabelle 2.1) 1. Die meisten freien Bibliotheken, Wrapper und Anwendungen setzen OpenNI ein. An zweiter Stelle folgt OpenKinect. Anwendungen mit dem Kinect SDK for Windows sowie CLNUI sind nur wenige zu nden. OpenNI ist in Schichten aufgebaut und ermöglicht den Einsatz verschiedener Sensorsysteme (siehe Abbildung 2.1). Des Weiteren ist der Quellcode öentlich zugänglich, was die Fehlersuche und Anpassungen erleichtert. Sofern eine fortgeschrittene Gestenerkennung nötig ist, kann diese mittels der (proprietären) NITE Middleware von PrimeSense realisiert werden. Im Gegensatz dazu hat OpenKinect freie, quelloene Bibliotheken für Anwendungen der Kinect zum Ziel 2. Unter den Treibern bietet libfreenect zurzeit den grössten Funktionsumfang, die restlichen geplanten Bibliotheken fehlen jedoch noch. Das Microsoft Kinect SDK verwendet zur Spracherkennung die Microsoft Speech API, welche für den Einsatz mit der Kinect optimiert wurde[23]. Die System Speech API kann ebenfalls verwendet werden, ist aber für den Einsatz von Headsets optimiert. Des Weiteren unterstützt die System Speech API auch einen Diktiermodus. 3 1 Weitere Bibliotheken in diesem Zusammenhang sind OpenFrameworks sowie Robot Operating System ROS. 2 Auf der Roadmap stehen Teilsysteme wie Handtracking, Gestenerkennung, Rauschunterdrückung, 3D Rekonstruktion etc. 3 Zum Zeitpunkt der Implementierungsphase war die Sprachunterstützung der Microsoft Speech API nur für Englisch und einige asiatische Sprachen verfügbar. Inzwischen werden auch viele europäische Sprachen unterstützt. details.aspx?id=

12 12 Kinect SDK[23] OpenNI[11] OpenKinect[24] CLNUI[2] Treibername avin2/sensorkinect[1] libfreenect Color Image Depth Image Audio Array a (recording) Tilt Motor b Accelerometer b Status LED b Skeleton Tracking c (NITE) Gestures d e Speech Recognition f Face Recognition Plattform Windows Windows, Linux, Mac Windows, Linux, Mac Windows a b c d e f Das Audio Array kann unter Windows 7 als Mikrophon und zur Schallquellenlokalisierung verwendet werden.[27] Motor, Accelerometer und Status LED konnten in C++ und Java nachgebildet werden. Seit Version 1.5 des SDK ist ein sitzender Modus verfügbar. Unterstützung vom SDK nur für Swipe-Gesten. Zusätzliche Gestenerkennung kann mit [6] oder [4] realisiert werden. Die Erkennung von Gesten mit mehreren Händen (ohne Skelett) wird zurzeit nur in C++ unterstützt.[9] Unter Windows kann die Spracherkennung mit Hilfe der Java Speech API nachgebaut werden.[27] Tabelle 2.1.: Funktionalitäten der Bibliotheken 2. Treiber und Bibliotheken

13 2.2. Umstellen der Treiber 2.2. Umstellen der Treiber Abbildung 2.1.: OpenNI Architektur Falls unter Microsoft Windows mehrere Treiber verwendet werden, muss der Treiber vor dem Einsatz erneut registriert werden. Dabei ist folgendermassen vorzugehen: 1. Kinect muss angeschlossen sein 2. Gerätemanager (Devicemanager) önen 3. Alle Kinect spezischen Treiber deinstallieren. Zusätzlich den Haken Die Treibersoftware für dieses Gerät löschen aktivieren. Die Treiber benden sich unter der Bezeichnung Microsoft Kinect und PrimeSense (Motor, Camera, Security, Audio Control). 4. Nach geänderter Hardware suchen oder Kinect aus- und wieder einstecken. 5. Neue Treiber installieren. Beim Kinect SDK for Windows genügt es die Treibersoftware manuell zu aktualisieren und den Pfad C:/Programme/Microsoft Kinect Drivers/Drivers anzugeben. Der OpenNI Treiber muss über Programme hinzufügen und entfernen deinstalliert und erneut installiert werden. 6. Basis-Funktionstest. Kinect Explorer aus dem Microsoft Kinect Toolkit OpenNI Beispiele aus C:/Programme/OpenNI/Samples/Bin 13

14

15 3. Anwendungsbeispiele Realisierte Projekte dienen als Inspirationsquelle für eigene Anwendungen. Suchthemen waren allgemein Anwendungen mit der Kinect sowie die Navigation autonomer Systeme (SLAM), 3D Rekonstruktion und Benutzerinteraktion (Hand-, Finger-, Gestenerkennung). Weitere Auistungen interessanter Implementierungen und Projektideen nden sich unter [21] und [16] Allgemein Abbildung 3.1.: Fast Face Recognition[3] Max Planck Institut für biologische Kybernetik der Unviersität Tübingen 15

16 3. Anwendungsbeispiele Abbildung 3.2.: Fusion 4D[5] Fusion 4D verwendet Sprachkommandos um den Modus zu ändern und Handpositionen des Skeletts um das Objekt respektive den Cursor zu bewegen. Abbildung 3.3.: Medical Training - Augmented Reality[8] Projektion von 3D Organen auf das Skelett des Benutzers 16

17 3.1. Allgemein Abbildung 3.4.: Remote Presence[10] Nuvixa StagePresence benutzt die Skeletonerkennung um den Benutzer in anderen Content einzubetten und über das Internet zu übertragen. Abbildung 3.5.: Objektklassikation[30] Segmentierung aufgrund Farb- und Tiefeninformation Matlab Toolbox erhältlich 17

18 3. Anwendungsbeispiele 3.2. Navigation autonomer Systeme Abbildung 3.6.: Quadrokopter Collision Avoidance - UC Berkley STARMAC[15] Schnelle Reaktion durch geeignete Reduktion der Datenmenge Abbildung 3.7.: Roomba SLAM[18] Aufbauend auf ROS und RGBDSLAM D Rekonstruktion Aufgrund der hohen Relevanz für das Institut INF wurden Projekte zur 3D Rekonstruktion genauer untersucht. Die folgenden Projekte wurden auf verschiedenen 18

19 3.3. 3D Rekonstruktion Systemen (Anhang A.1) ausgetestet und verglichen (siehe Tabelle 3.1) 1. Die Performanz ist in erster Linie durch den Arbeitsspeicher der Grakkarte gegeben. Aus diesem Grund ist bei der Ausführung darauf zu achten, andere grakintensive Programme zu schliessen. RGBD SLAM Skanect ReconstructMe Plattformen Linux Mac Windows Windows Frameworks ROS OpenNI OpenNI OpenNI Kinect SDK Lizenz GPL Free Proprietär Community-Ed. Quellen Bedienung experimentell Kommandozeile GUI Kommandozeile Performanz Laptop mittel schlecht nicht lauähig Desktop - eher gut mittel Desktop 512 MB GPU - gut gut Tabelle 3.1.: Vergleich von Applikationen zur 3D Rekonstruktion Offizielle Bilder Da mit den verfügbaren Systemen keine hochwertigen Resultate erzielt werden konnten, sind folgend Bilder der Herausgeber aufgeführt. 1 RGBD SLAM der TU Freiburg ist nur unter Linux lauähig. Der Test erfolgte deshalb nur auf dem Laptop. 19

20 3. Anwendungsbeispiele Abbildung 3.8.: RGBD SLAM - TU Freiburg[19] 3D Photogrammetry erweitert um Tiefendaten - Open Source Abbildung 3.9.: Skanect Room Scanner[25] Erweiterung von RGBD SLAM um Detektion von Ebenen Flächen (Wände, Boden) - Teile Open Source[14] 20

21 3.3. 3D Rekonstruktion Abbildung 3.10.: ReconstructMe - proprietär, Community Edition[13] Intensiver Gebrauch von Grakprozessoren, hochauösenden Tiefenbildern und Scan Volumen Beschränkung Eigene Resultate Auf den verfügbaren Testsystemen überzeugt keine Anwendung. Es konnte nie das gesamte Objekt beziehungsweise. Zimmer aufgenommen werden. Für gute Resultate ist einerseits Übung im Scannen gefragt, andererseits wird eine (noch) bessere Grakkarte benötigt. Es wurden jeweils die mitgelieferten Standardkalibrationen für die Kinect Kameras verwendet. RGBD Slam liefert trotz Ausführung auf dem Laptop, erstaunlich gute Resultate (siehe Abbildung 3.11). Skanect eignet sich gut für den Scan von Räumen, kann aber auch für andere Objekte eingesetzt werden (siehe Abbildung 3.13). Der Scan eines Zimmers schlug mit ReconstructMe fehl, Objekte hingegen erzielten gute Resultate (siehe Abbildung 3.12). Die von Skanect erzeugten Dateien sind um ein Vielfaches grösser, enthalten jedoch auch Texturen (Objektvolumen 0.5 m 3 : Skanect 120 MB, ReconstructMe 6 MB). 21

22 3. Anwendungsbeispiele Abbildung 3.11.: RGBD Slam Notebook Abbildung 3.12.: ReconstructMe Desktop 512 MB GPU 22

23 3.3. 3D Rekonstruktion Abbildung 3.13.: Skanect Desktop 512 MB GPU 23

24 3. Anwendungsbeispiele 3.4. Benutzerinteraktion Candescent NUI ist eine Anwendung, welche Hand- und Fingertracking verknüpft 2. Dadurch ist es beispielsweise möglich Bilder mit den Fingern zu drehen und zu skalieren (siehe Abbildungen 3.14, 3.15). Anschaulich erklärte theoretische Grundlagen und Demonstrationen zum Fingertracking sind in [26] zu nden. Problematisch sind vor allem Schatten und Löcher im Tiefenbild, ein robustes Bedienkonzept ist deshalb unabdinglich. Abbildung 3.14.: Fingertracking - Open Source 2 Candescent NUI baut auf OpenNI und NITE auf und ist in C#.NET geschrieben. 24

25 3.4. Benutzerinteraktion Abbildung 3.15.: Imagemanipulation 25

26 3. Anwendungsbeispiele Das Flexible Action and Articulated Skeleton Toolkit FAAST ermöglicht es, bestehende Applikationen um skeletonbasierte Interaktionen zu erweitern [4]. Kon- gurierbare Bedingungen (Abbildung 3.16) auf dem Status des Skeletts lösen bei Aktivierung Standardevents aus (Abbildung 3.17). Pro Kontra FAAST ermöglicht innert kurzer Zeit eine bestehende Applikation um natürliche Benutzerinteraktionen zu erweitern 3. Unterstützt Microsoft Kinect SDK und OpenNI Keine Unterstützung von Tastenkombinationen Keine Unterstützung eines Mauszeigers (kontinuierliche Positionsübernahme) Keine kontinuierlichen Events 4 Nur Bedingungen auf dem Skelett möglich, kein Hands-Only Externe Behandlung von Status und Bedienungsmodus nötig Fehlbedienung bei Fokusverlust Abbildung 3.16.: Intuitiv kongurierbare Bedingungen 3 Rudimentäre 3D Objektmanipulation in ClassCAD innert fünf Minuten. 4 Bei Erreichen der Bedingung wird der Event ein Mal ausgelöst. Für eine erneute Auslösung muss die Bedingung zwischenzeitlich nicht eintreen. 26

27 3.5. Tutorials und eigene Anwendungen Abbildung 3.17.: Auslösbare Standardevents 3.5. Tutorials und eigene Anwendungen Um die Anwendung der Kinect zu üben wurden Tutorials erarbeitet und Beispielprogramme erweitert. Besonders hilfreich war dabei das Buch Kinect Open Source Programming Secrets [27], welches den OpenNI Java-Wrapper einsetzt. Mit Simple- OpenNI [17] konnte erfolgreich eine Verbindung zur Grakbibliothek Processing hergestellt werden. Am Beispiel von RGBD SLAM [19] konnten Erfahrungen im Einsatz von ROS gesammelt werden. OpenFrameworks wurde von den Beispielen für Fingertracking [31] und automatischer Bildausrichtung [7] benötigt. Auf der Grundlage von [27] wurde ein Viewer für die Beschleunigungen (Abbildung 3.18), eine Gestenerkennung (Abbildung 3.19), sowie eine Kameranavigation 5 implementiert. Abbildung 3.18.: Darstellung der Beschleunigungen des Sensors 5 Der Kopf des erkannten Benutzers wird als Kameraposition verwendet. Das zu betrachtende Objekt liegt jeweils im Ursprung. So kann der Benutzer das Objekt betrachten indem er sich darum herum bewegt. 27

28 3. Anwendungsbeispiele Abbildung 3.19.: Momentaufnahme der Gestenerkennung Homeguard - eine Heimüberwachungsapplikation - baut auf dem Microsoft Kinect SDK auf. Der Benutzer kann das System über Sprachkommandos steuern. Ist die Überwachung aktiviert, alarmiert es bei Erkennen einer Person die Polizei. Hat der Benutzer die Alarmierung deaktiviert kann er im Notfall die Kinect um Hilfe rufen um einen Notruf auszulösen (siehe Abbildung 3.20).6 Zum Zeitpunkt der Implementierung unterstütze die Microsoft Speech API die Sprache Deutsch noch nicht. Aus diesem Grund sind die Sprachkommandos in englischer Sprache. Inzwischen ist die API um viele Sprachen, darunter auch Deutsch, reicher. Abbildung 3.20.: Homeguard Fazit: Ob OpenNI-Wrapper oder Microsoft Kinect SDK - bei Anwendungen der Sensorfunktionalitäten führen beide Bibliotheken schnell zum Erfolg. Gilt es jedoch Gesten auszuwerten oder Hände (ohne Skelett) zu verfolgen, so ist OpenNI mit NITE besser geeignet als das Microsoft Kinect SDK. Beim Einsatz auf Ro6 Der Kinect Explorer aus Version 1 des SDK wurde umgebaut um die Funktionalitäten des Sensors zu entkoppeln. Diese Arbeit wurde jedoch abgebrochen, weil in Version 1.5 diese Designschwäche behoben wurde. 28

29 3.5. Tutorials und eigene Anwendungen botersystemen kann mit Hilfe von ROS auf zusätzliche Bibliotheken in diesem Umfeld zugegrien werden. Die Installation ist sehr gut beschrieben und hat reibungslos geklappt 7. Auch bei Problemen mit dem Einsatz der neusten Version war die Community innert Kürze zur Hilfe. Das OpenFrameworks Fingertracking Beispiel verwendet eine alte Version 8 des Frameworks und musste aufgrund inkompatibler Versionen umgeschrieben werden. OpenFrameworks scheint - ähnlich wie Processing für Java - eine gute Basis für Experimente im C++ Bereich zu sein. Sonstige Anmerkungen RGBDemo, der Unterbau von Skanect, war nur mit folgenden Parametern funktionsfähig: rgbd-reconstructor --libfreenect --calibration../../data/kinect_calibration.yml Beispiel verwendet Version 056, aktuell ist

30

31 Literaturverzeichnis [1] avin2/sensorkinect GitHub. visited [2] Code Laboratories > CL NUI Platform - Kinect Driver/SDK. codelaboratories.com/nui. visited [3] Fast Face Recognition. visited [4] Flexible Action and Articulated Skeleton Toolkit (FAAST). projects.ict.usc.edu/mxr/faast/. visited [5] Kinect Fusion 4D. visited [6] Kinect SDK Dynamic Time Warping (DTW) Gesture Recognition. http: //kinectdtw.codeplex.com/. visited [7] Kinect video rotation with accelerometer. v=jsjv1y1ec8m. visited [8] Medical training with Augmented reality. v=vycvec8tl7i. visited [9] Multi Hand Cursor with Kinect. visited [10] Nuvixa StagePresence. visited [11] OpenNI. visited [12] PrimeSense Sensor Data Sheet. visited [13] Reconstruct your world with ReconstructMe. visited

32 Literaturverzeichnis [14] RGBDemo Open Kinect. Main/About. visited [15] ROS OpenNI 3D Contest: Quadrotor Altitude Control and Obstacle Avoidance. visited [16] ROS OpenNI 3D Contest: Umgesetzte Projekte mit Kinect, OpenNI und ROS. visited [17] Simple-Openni: A simple OpenNI wrapper for processing. google.com/p/simple-openni/. visited [18] SLAM on a robot with Kinect. 17/hacked-irobot-uses-xbox-kinect-to-see-the-world-obey-yourcommands-video/. visited [19] SLAM with ROS and OpenNI. Contests/ROS3D/RGBD-6D-SLAM. visited [20] Kinect Protocol Documentation. Documentation#Reading_Joint_State. Version: visited [21] OpenKinect: Project ideas. Version: visited [22] ASUS Xtion PRO. Xtion_PRO/#specifications. Version: visited [23] Microsoft Kinect SDK. kinectforwindows/develop/. Version: visited [24] OpenKinect. Version: visited [25] Skanect: Scan your room with kinect. Version: visited [26] Ambrus, Tony ; Mohammed, Shammi: Kinect Hands: Finger Tracking and Voxel UI. id= Version: visited [27] Davison, Andrew: Kinect open source programming secrets: Hacking the Kinect with OpenNI, NITE, and Java. New York : McGraw-Hill, ISBN

33 Literaturverzeichnis [28] Freedman, Barak ; Shpunt, Alexander ; Machline, Meir ; Arieli, Yoel: Depth Mapping using projected patterns - Patent US 2010/ A1. Version: US_2010_ _A1/en/ [29] ifixit: Microsoft Kinect Teardown. Microsoft-Kinect-Teardown/4066/1. visited [30] Silbermann, Nathan: NYU Depth V2: Classication of Objects with Kinect. visited [31] Van Cleave, Jason: Hand and nger tracking using the Kinect. freenect.com/hand-and-finger-tracking-using-the-kinect. visited [32] Wikipedia: Kinect Version: visited [33] Wikipedia: Kinect. Kinect&oldid= Version: visited

34

35 A. Anmerkungen Funktionstests A.1. Testsysteme 1. Laptop Windows Dell Inspiron 1520, Windows 7 Professional 32-Bit, Intel Core 2 Duo 2 GB RAM, GeForce 8400M GS 256 MB 2. Laptop Linux Dell Inspiron 1520, Linux Ubuntu Bit, Intel Core 2 Duo 2 GB RAM, GeForce 8400M GS 256 MB 3. Desktop Windows Dell Optiplex 780, Windows 7 Enterprise 64-Bit, Intel Core 2 Quad 8 GB RAM, GeForce 9300 GE 256 MB 4. Desktop Windows GPU Acer Aspire M3910, Windows 7 Home Premium 64-Bit, Intel Core 4 GB RAM, GeForce MB A.2. Installationsproblem OpenNI Bei der Installation von OpenNI ist darauf zu achten die richtige Version (Stable/Unstable) der Komponenten zu wählen. Weiter kann der PrimeSense Treiber für Windows (Für Asus Xtion Pro) leicht mit dem Avin2/SensorKinect Treiber verwechselt werden. Letzterer muss über [1] bezogen werden. Bei der Verwendung von mehreren NITE JAR-Archiven trat zudem folgender Fehler auf: java.lang.nosuchmethoderror: org.openni.nativemethods... Problematik: Im Installationsordern von NITE bendet sich die Datei OpenNI.jar, welche sich jedoch schon in ebenfalls im Installationsordner von OpenNI bendet. Die Lösung bestand darin, die Datei aus der NITE Installation zu löschen. Falls ein ähnlicher Fehler mit anderen Klassen auftritt kann mit folgendem Code der Pfad der geladenen DLL ausndig gemacht werden: <Klasse>.class.getProtectionDomain().getCodeSource().getLocation(); 35

36

37 B. Experiment Tiefenbild B.1. Effekte Mit Hilfe des Kinect Explorers aus dem Microsoft Kinect SDK wurde das Tiefenbild während dem herum schwenken in verschiedenen Zimmern analysiert. Aufgrund der Infrarot Funktionsweise wurde zusätzlich der Einuss von Licht- und Wärmequellen sowie Reexionen untersucht. In der Bilderserie B.1 bis B.3 sind Störeekte zu sehen, verursacht durch: Reflexionen Bildschirm, Hochglanzoberäche von Druckern, Glasscheiben von Bildern, Handydisplays Transparenz Flüssigkeit, Pet-Flaschen, Fenster Lichtquellen Kerze Abbildung B.1.: Störeekt von Bildschirmen 37

38 B. Experiment Tiefenbild Abbildung B.2.: Störeekt transparenter Objekte - Fenster Abbildung B.3.: Störeekt von Lichtquellen und reektierenden Objekten 38

39 B.2. Tiefenau ösung Abbildung B.4.: Störe ekt transparenter Objekte - Flüssigkeiten Wärmequellen hatten keinen sichtbaren Ein uss (siehe Abbildung B.5). Abbildung B.5.: Ein uss von Wärmequellen Identische Tassen, links 60 C, rechts Zimmertemperatur B.2. Tiefenauflösung In verschiedenen Abständen zwischen 0.75 m bis 8 m wurde mit Hilfe des Kinect Studio der Tiefenwert eines per Massstab positionierten Pappkartons ausgelesen (Versuchsaufbau siehe Abbildung B.6, Messwerte siehe Tabelle B.1). Aufgrund des Infrarot-Patterns wurden vier Testzonen de niert (siehe Abbildung B.7). Platzverhältnisse und Infrastruktur liessen eine vollständige Untersuchung jedoch nicht zu. Der Pappkarton wurde mit einer Genauigkeit von ± 1 mm positioniert und die Tiefenwerte jeweils an den Ecken des Kartons abgelesen. Es wurde der jeweils höchste und tiefste Wert notiert. Im Zentrum wurden nachträglich weitere Mes- 39

40 B. Experiment Tiefenbild sungen vorgenommen um eine bessere Abdeckung des Wertebereichs zu erhalten. Abbildung B.6.: Testaufbau und Tools Abbildung B.7.: Testzonen Für eine genaue Aussage sind zu wenig Messungen vorhanden, dennoch lässt sich anhand der Varianzanalyse folgendes feststellen (siehe Abbildungen B.8, B.9): Der Tiefenwert wird in Millimetern übertragen, wodurch die maximale Genauigkeit gegeben ist. Es wird nicht der gesamte Wertebereich von 13 Bit [0-8191] verwendet, ab vier Metern wird der Wert begrenzt. Im Bereich von 0.8 m bis 2.5 m scheint die Messabweichung systematisch und liesse sich modellieren, danach treten starke Schwankungen auf. 40

41 B.2. Tiefenauösung Depthaccuracy Overview Center Measured Distance [mm] Border Nominal Distance [mm] Depthaccuracy Center Measured Distance [mm] Border Nominal Distance [mm] Abbildung B.8.: Messreihe - Übersicht und Detailausschnitt 41

42 B. Experiment Tiefenbild Measure variance Differences while measuring [mm] Center Border Nominal Distance [mm] Measure variance Differences while measuring [mm] Center Border Nominal Distance [mm] Abbildung B.9.: Varianzanalyse - Übersicht und Detailausschnitt 42

43 B.2. Tiefenauösung Soll Rand (Zone 3) Zentrum (Zone 2) Min Max Min Max Tabelle B.1.: Tiefenmessung 43

44 B. Experiment Tiefenbild B.3. Bildauflösung in Abhängigkeit der Distanz Zur Berechnung der Auösung pro Pixel wird vereinfacht angenommen die Szene bende sich auf einer Ebene senkrecht zum Kinect Sensor (siehe Bild B.10). Mit Hilfe von Formel (B.1) lässt sich die Bildauösung in Abhängigkeit der Tiefe, des Blickwinkels und der Sensorauösung in horizontaler und vertikaler Richtung bestimmen (siehe Abbildung B.11). r Bild = 2 d tan( ϕ 2 ) r Sensor r Bild : Bildauösung d : Abstand zum Sensor ϕ : Blickwinkel, Field of View r Sensor : Sensorauösung (B.1) Abbildung B.10.: Bildauösung in Abhängigkeit der Distanz 44

45 7 6 Image Resolution at 1290x960 horizontal vertical Image Resolution at 640x480 horizontal vertical Resolution [mm/pixel] Resolution [mm/pixel] Resolution [mm/pixel] Distance from sensor [mm] Image Resolution at 320x240 horizontal vertical Distance from sensor [mm] Resolution [mm/pixel] Distance from sensor [mm] Image Resolution at 80x60 horizontal vertical Distance from sensor [mm] Abbildung B.11.: Bildauösung abhängig der Sensorauösung und der Distanz B.3. Bildauösung in Abhängigkeit der Distanz