Kinect-Programmierung

Transkript

1 Kinect-Programmierung Yvonne Mußmacher Mario Haustein UNIX-Stammtisch der TU Chemnitz 29. Januar 2013 Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

2 Gliederung Kinect Programmierung 1. Einleitung 2. Funktionsweise 3. libfreenect 4. Tiefenbildlokalisierung 5. OpenNI 6. Gestenerkennung Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

3 Einleitung Allgemein Was ist die Kinect? Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

4 Allgemein Kinect? Einleitung Steuereinheit XBox 360 (Microsoft) Multifunktionaler Sensor Gerätelose Interaktion mit Spielekonsole möglich Außerhalb der XBox-Umgebung durch verschiedene Frameworks nutzbar Kinect for Windows (Microsoft) libfreenect (OpenKinect) OpenNi Framework (OpenNi Organisation) Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

5 Technische Daten Einleitung Tiefenkamera Farbkamera 58,8 45,6, , 30 Hz Arbeitsbereich [1,2 m, 3,5 m] 1 [50 cm, 8 m] 2 Auflösung 1 mm 62,0 48,6, , 30 Hz 1 laut Hersteller 2 eigene Versuche Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

6 Technische Daten Einleitung Mikrofon-Array IR-Laser RGB-Kamera IR-Kamera Motorisierte Montierung Tiefenkamera Farbkamera 58,8 45,6, , 30 Hz Arbeitsbereich [1,2 m, 3,5 m] 1 [50 cm, 8 m] 2 Auflösung 1 mm 62,0 48,6, , 30 Hz 1 laut Hersteller 2 eigene Versuche Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

7 Einleitung Projekte Beispiele Minority Report (Freenect) Sandkasten (UC Davis) kinect-powered-augmented-reality-sandbox / Projektideen (OpenKinect) Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

8 Funktionsweise Funktionsweise Wie funktioniert s? Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

9 Funktionsweise Funktionsweise Abbildung : RGB-Bild Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

10 Funktionsweise Funktionsweise Abbildung : Infrarot-Bild Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

11 Funktionsweise Funktionsweise Abbildung : Tiefenbild Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

12 Funktionsweise Punktmuster Das Punktmuster ist wiederholungsfrei. Ein kleiner Ausschnitt lässt sich im Gesamtmuster eindeutig wiederfinden. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

13 Funktionsweise Punktmuster Das Punktmuster ist wiederholungsfrei. Ein kleiner Ausschnitt lässt sich im Gesamtmuster eindeutig wiederfinden. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

14 Tiefenberechnung Funktionsweise Die Lage des Musters hängt von der Tiefe der Projektionsfläche ab. Kamera Laser Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

15 Tiefenberechnung Funktionsweise Die Lage des Musters hängt von der Tiefe der Projektionsfläche ab. Kamera Laser p Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

16 Tiefenberechnung Funktionsweise Die Lage des Musters hängt von der Tiefe der Projektionsfläche ab. d d ref Kamera Laser p Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

17 Tiefenberechnung Funktionsweise Die Lage des Musters hängt von der Tiefe der Projektionsfläche ab. d d ref Kamera Laser p Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

18 Tiefenberechnung Funktionsweise Die Lage des Musters hängt von der Tiefe der Projektionsfläche ab. x ref x s d d ref Kamera Laser p Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

19 Berechnung von d aus s Funktionsweise s geg.: d ref, p (bekannt) s (messbar) ges.: d d d ref Strahlensatz: p d = s d = p d ref d d ref s p p Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

20 Funktionsweise Messung von s x und x ref lassen sich in Pixelkoordinaten umrechnen. = s = x ref x durch Pixel-Differenz berechenbar. I ref (X, Y )... Bitmap des Punktmusters in Referenzentfernung. I(X, Y )... Bitmap des Punktmusters der aktuellen Szene. C(X, Y, S) = Y +n X+n η=y n ξ=x n I(ξ S, η) I ref (ξ, η) Suchen S, für dass C(X, Y, S) maximal ist. = S ist Pixelversatz an Koordinate (X, Y ). = n ist Größe des Korrelationsfensters. I.d.R. einstellig 3. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

21 Genauigkeit Funktionsweise 50 Q 90% Q 50% Q 10% Q 50% [mm] ,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 5,000 d [mm] Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

22 libfreenect Programmieren Freenect Low Level API Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

23 libfreenect Über libfreenect Im Rahmen der OpenKinect-Community entstanden. Ermöglicht Zugriff auf Low-Level Funktionen der Kamera. Grundlage bildet eine C-Bibliothek. Wrapper für Python, C++, Actionscript, C#, Java JNI, Java JNA, Javascript, Common Lisp,... Dokumentation = libfreenect.h Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

24 Prinzip libfreenect 1. Initialisierung der Kamera Aufbauen der USB-Verbindung Registrieren von Callback-Handlern Auswahl der Video-Modi Starten der Streams (RGB-Bild und/oder Tiefenbild) 2. Aufruf der Eventhandler-Funktion 3. Event-Handler ruft Callback für jeden empfangenen Frame auf. 4. Deinitialisierung Ansteuerung der LED s bzw. Motoren erfolgt synchron. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

25 libfreenect Die libfreenec-api Initialisierung #i n c l u d e < libfreenect / libfreenect.h> freenect_context * ctx ; freenect_device * dev ; freenect_frame_mode mode ; v o i d cbfunc ( freenect_device *dev, v o i d * depth, uint32_t t) { } i n t init () { freenect_init (& ctx, NULL ); i f ( freenect_num_devices ( ctx ) < 1) r e t u r n -1; freenect_select_subdevices (ctx, FREENECT_DEVICE_CAMERA ); freenect_open_device (ctx, &dev, 0); freenect_set_depth_callback (dev, cbfunc ); mode = freenect_find_depth_mode ( FREENECT_RESOLUTION_MEDIUM, FREENECT_DEPTH_REGISTERED ); freenect_set_depth_mode (dev, mode ); freenect_start_depth ( dev ); } r e t u r n 0; Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

26 Die libfreenec-api Weitere Initialisierungsfunktionen libfreenect Fähigkeiten der Hardware auslesen. int freenect_supported_subdevices(void) Gerät anhand Seriennummer öffnen. int freenect_open_device_by_camera_serial(freenect_context *ctx, freenect_device **dev, const char* camera_serial) Eigenen Frame-Puffer festlegen. int freenect_set_depth_buffer(freenect_device *dev, void *buf) Funktionen des RGB-Datenstroms void freenect_set_video_callback(freenect_device *dev, freenect_video_cb cb) int freenect_set_video_buffer(freenect_device *dev, void *buf) int freenect_start_video(freenect_device *dev) int freenect_stop_video(freenect_device *dev) Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

27 Die libfreenec-api Modi der Tiefenkamera libfreenect FREENECT_DEPTH_11BIT, FREENECT_DEPTH_10BIT Rohdaten. 16 Bit pro Pixel Wertebereich: {0,..., 2048} 2047 = Datenlücke FREENECT_DEPTH_11BIT_PACKED, FREENECT_DEPTH_10BIT_PACKED Rohdaten. Nur Signifikante Bits im Puffer. FREENECT_DEPTH_MM Tiefenangabe in Millimeter. Wertebereich: {50,..., 10000} 0 = Datenlücke FREENECT_DEPTH_REGISTERED Wie FREENECT_DEPTH_MM. Tiefenbild wird auf RGB-Bild umprojiziert. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

28 libfreenect Die libfreenec-api Hauptschleife #i n c l u d e < libfreenect / libfreenect.h> freenect_context * ctx ; i n t die = 0; v o i d mainloop () { w h i l e (! die ) freenect_process_events ( ctx ); } Der Handler wird durch freenect process events() abearbeitet. freenect process events() kann auch zurückkehren ohne irgendeinen Handler aufzurufen. Timeout-Variante int freenect_process_events_timeout(freenect_context *ctx, struct timeval* timeout) Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

29 libfreenect Die libfreenec-api Verarbeitung der Frames #i n c l u d e < libfreenect / libfreenect.h> freenect_frame_mode mode ; /* Modus : FREENECT_DEPTH_REGISTERED */ s t a t i c void cbfunc ( freenect_device *dev, void * depth, uint32_t t) { unsigned i n t x, y, offset ; uint16_t dist ; printf (" Zeitstempel : %12u:\ n", t); x = /*... */ ; y = /*... */ ; offset = (y * mode. width + x) * ( mode. data_bits_per_pixel + mode. padding_bits_per_pixel ) / 8; dist = *( uint16_t *)( depth + offset ); } i f ( dist ) printf (" Pixel (%u, %u) liegt %u mm vor der Kameraebene.\ n", x, y, dist ); e l s e printf (" Distanz von Pixel (%u, %u) ist nicht bestimmbar.\ n", x, y); Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

30 Die libfreenec-api Deinitialisierung, weitere Features libfreenect #i n c l u d e < libfreenect / libfreenect.h> freenect_context * ctx ; freenect_device * dev ; freenect_frame_mode mode ; v o i d deinit () { freenect_stop_depth ( dev ); freenect_close_device ( dev ); freenect_shutdown ( ctx ); } Weitere Features Zugriff auf Schwerkraftssensor (zur Bestimmung des Neigungswinkels) Ansteuerung Motoren in der Montierung Ansteuerung der LED an der Frontblende Siehe libfreenect.h Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

31 Tiefenbildlokalisierung Objekt-Lokalisierung Positionsbestimmung durch Tiefenbildanalyse Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

32 Tiefenbildlokalisierung Tiefenbildauswertung 1. Objekterkennung Trennung der Objekte (Vordergrund) vom Hintergrund. Zunächst mangels besseren Wissens alles als Hintergrund betrachten. Hintergrundttiefe kann nur nach hinten korrigiert werden. D M d := D + t(b) < B M f := mfilter(m d ) D min := min(d ( 4),..., D (0) ) B := max(b, D min ) D Tiefenbild B Hintergrundtiefe M d, M f Objektmasken t( ) Schwellwertfunktion mfilter( ) Maskenfilter Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

33

34 Tiefenbildlokalisierung Objekterkennung Schwellwertfunktion Aus Genauigkeitsbetrachtung der Tiefendaten heraus: Empirisch ermittelt: t(x) = a x 2 + b x + c a = mm 1 b = 0 c = 5 mm x [mm] t(x) [mm] Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

35 Tiefenbildlokalisierung Objekterkennung Maskenfilter Pixel an Unstetigkeitsstellen weisen eine hohe Varianz auf. = Werden auch im stationären Zustand als Vordergrund erkannt. Filteroperationen abtragen Pixel mit schwarzen Nachbarn werden schwarz. erweitern Pixel mit weißem Nachbarn werden weiß. M f := mfilter(m d ) 1. 1 abtragen Kanten löschen erweitern Lücken füllen abtragen Rand entfernen. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

36 Tiefenbildlokalisierung Maskenfilter Beispiel Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

37 Tiefenbildlokalisierung Maskenfilter Beispiel Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

38 Tiefenbildlokalisierung Filter zur Objekttrennung D D := fill(d) M f O m := M f maskiert D C := contour(o m) C := dilate(c) O s := C maskiert O m D O m Tiefenbild (Datenlücken ergänzt) Tiefenbild (Objekte evt. zusammenhängend) C Objektkanten C O s Kantenmaske Tiefenbild (Objekte getrennt) fill( ) Datenlücken interpolieren contour( ) Kantenerkennung dilate( ) Maske erweitern Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

39 Tiefenbildlokalisierung Tiefenbildauswertung 2. Objekttrennung Beispiel Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

45 Tiefenbildlokalisierung Tiefenbildauswertung 3. Vektorisierung 1. Konturenerkennung für die getrennte Objektmaske. 2. Vereinfachung der Konturenzüge. 3. Alle nicht geschlossenen Konturen löschen. 4. Alle Polygone unterhalb einer Mindestfläche löschen. = Letzte Rauschartefakte filtern. 5. Alle Polygone löschen, die innerhalb eines anderen Polygons liegen. = Löcher entfernen. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

46 Tiefenbildlokalisierung Tiefenbildauswertung 4. Tracking Bisher nur Menge von Randpolygonen pro Frame. = Korrelation notwendig. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

47 Tiefenbildlokalisierung Tiefenbildauswertung 4. Tracking Bisher nur Menge von Randpolygonen pro Frame. = Korrelation notwendig. Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

48 Tiefenbildlokalisierung Tracking Ähnlichkeitsnorm Eigenschaften: Nicht translationsinvariant Nicht rotationsinvariant Nicht skaleninvariant Je kleiner C 1, C 2 um so ähnlicher sind C 1 und C 2. Naiver Ansatz (berücksichtigt nicht die Form eines Objekts): C 1, C 2 = (x(c 1 ) x(c 2 )) 2 + (y(c 1 ) y(c 2 )) 2 + Ω(C 1 ) Ω(C 2 ) C 1, C 2 Objektkonturen x(c), y(c) Schwerpunkt von C Ω(C) Raumwinkel von C Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

49 OpenNI Programmierung OpenNi High Level Programmierung? Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

50 OpenNI Über OpenNi Framework erlaubt Integration verschiedener Natural User Interfaces (NUI) Middelware für Kinect Sensor (PrimeSense NITE) Neben C++, Java und C# mit PyOpenNi Wrapper für Python Dokumentation und Information = Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

51 OpenNi Prinzip OpenNI OpenNi Framework installieren Aktuelle Version herunterladen = Datei entpacken Installer ausführen PyOpenNi Installieren Installationanleitung unter = Installation mit /PyOpenNI-build$ make abschließen Kopiere /PyOpenNI-build/lib/openni.so nach /usr/local/lib/ python version /dist-packages Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

52 Gestenerkennung Gestensteuerung Was ist möglich? Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

53 Gestenerkennung Demonstration Gestenerkennung mit OpenNi Die Idee Kamerasteuerung am Videokonferenzsystem mit Hilfe der Kinect zur gerätelosen Interaktion. 1. Personentracking 2. Interaktionsbereiche 3. Verwendung von Realweltkoordinaten 4. Einfache Gesten = einfache Funktionen Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

54 Demonstration Gestenerkennung Demo! Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

55 Demonstration Gestenerkennung Skeletton eines Nutzers Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

56 Ende Fragen? Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41

57 Ende Fragen? Vielen Dank für Ihre Aufmerksamkeit! Mußmacher, Haustein (UNIX-Stammtisch, TUC) Kinect-Programmierung 29. Januar / 41