Informatik Oliver Jorkisch Robuste Handkonturerkennung Initialisierung eines Handtrackingverfahrens Diplomarbeit
Bibliografische Information der Deutschen Nationalbibliothek: Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de/ abrufbar. Dieses Werk sowie alle darin enthaltenen einzelnen Beiträge und Abbildungen sind urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsschutz zugelassen ist, bedarf der vorherigen Zustimmung des Verlages. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen, Auswertungen durch Datenbanken und für die Einspeicherung und Verarbeitung in elektronische Systeme. Alle Rechte, auch die des auszugsweisen Nachdrucks, der fotomechanischen Wiedergabe (einschließlich Mikrokopie) sowie der Auswertung durch Datenbanken oder ähnliche Einrichtungen, vorbehalten. Copyright 2006 Diplomica Verlag GmbH ISBN: 9783836605359 http://www.diplom.de/e-book/229008/robuste-handkonturerkennung
Oliver Jorkisch Robuste Handkonturerkennung Initialisierung eines Handtrackingverfahrens Diplom.de
Diplomarbeit ISBN: 978-3-8366-0535-9 Oliver Jorkisch Robuste Handkonturerkennung Initialisierung eines Handtrackingverfahrens Diplom.de
Oliver Jorkisch Robuste Handkonturerkennung Initialisierung eines Handtrackingverfahrens ISBN: 978-3-8366-0535-9 Druck Diplomica Verlag GmbH, Hamburg, 2007 Zugl. Rheinische Friedrich-Wilhelms-Universität Bonn, Bonn, Deutschland, Diplomarbeit, 2006 Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtes. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Die Informationen in diesem Werk wurden mit Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen werden, und die Diplomarbeiten Agentur, die Autoren oder Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für evtl. verbliebene fehlerhafte Angaben und deren Folgen. Diplomica Verlag GmbH http://www.diplom.de, Hamburg 2007 Printed in Germany
Inhaltsverzeichnis 1. Einleitung...3 1.1. Überblick über verschiedene Handtrackingverfahren...4 1.2. Das Handtrackingsystem der Uni Bonn...6 1.3. Zielsetzung dieser Arbeit...10 2. Instrumente für die Segmentierung von Bildern...13 2.1. Snakes...15 2.2. Diffusion Snakes...17 2.3. Simplified Diffusion Snakes...19 2.4. (Simplified) Diffusion Snakes mit Vorabinformationen...20 3. Der Minimierungsprozess...22 3.1. Aktualisierung der Approximationsfunktion...23 3.1.1. Diffusion Snake...24 3.1.2. Cartoon Limit...28 3.2. Aktualisierung der Kontur...28 3.2.1. Diffusion Snake...29 3.2.2. Cartoon Limit...32 4. Erstellung der Trainingsdaten...33 4.1. Hautfarbesegmentierung...34 4.1.1. Konvertierung von RGB nach HSV...36 4.1.2. Trainieren der Hautfarbesegmentierung...37 4.2. Erkennung von Handfeatures in Binärbildern...39 4.3. Ausrichtung der B-Splines...42 4.4. Berechnung der Kovarianzmatrix für das Trainingsset...44 5. Die Priorenergie...47 5.1. Zentrierung der Kontrollpunkvektoren...48 5.2. Ausrichtung mit Hilfe der Frobenius Norm...49 5.3. Berechnung der Priorenergie...51 6. Ergebnisse...53 6.1. Ellipse...53 6.1.1. Cartoon Limit...54 6.1.2. Diffusion Snake...58 6.2. Hand...61 6.2.1. Cartoon Limit...63
6.2.2. Diffusion Snake...67 7. Fazit & Ausblick...70 7.1. Fazit...70 7.2. Ausblick...72 8. Appendix A: Bestimmung des optimalen Winkels bei der Ausrichtung zweier Konturen...73 9. Appendix B: Ableitung des zweiten Terms der Priorenergie...75 10. Appendix C: Die Euler-Lagrange Gleichung im Zweidimensionalen...76 11. Appendix D: Die Frobenius Norm...79 12. Literaturverzeichnis...80 13. Abbildungsverzeichnis...82 2
1. Einleitung Die Hand wird in der Informatik als Interaktionsinstrument zunehmend wichtiger. Schon heute gibt es einige Systeme bei denen der Benutzer seine Eingaben nicht mehr mit Maus und Tastatur, sondern mit Hilfe seiner Hände vornimmt. Der große Vorteil hiervon ist, dass man Objekte wie in der realen Welt manipulieren kann. Z.B. ist es nicht ganz klar, wie man ein 3D-Objekt wie eine Tasse mit Maus und Tastatur greift. Mit der Hand ist diese Aufgabe ganz natürlich ausführbar und muss nicht extra erlernt werden. Um eine solche Interaktion zu unterstützen ist ein Handtracking notwendig. Man unterscheidet hierbei zwischen einem System zur Erkennung vorher festgelegter Gesten und einem Tracking aller möglichen Handstellungen. Bei der Gestenerkennung können nur solche Gebärden erkannt werden, die dem auch System bekannt sind. Diese Menge ist beschränkt und muss vor dem Tracking festgelegt werden. Das Verfahren kann man daher auch als eine Klassifizierungsaufgabe betrachten. Im Gegensatz dazu steht das volle Handtracking, bei dem es typischerweise gilt 27 Freiheitsgrade zu optimieren. Diese Anzahl setzt sich folgendermaßen zusammen: Je 3 Freiheitsgrade für die globale Position und Rotation der Hand Je 4 Freiheitsgrade für die 4 Finger 5 Freiheitsgrade für den Daumen Das volle Handtracking ist weitaus komplexer als die Erkennung einer bestimmten Anzahl von Gesten, ist dafür aber auch in der Lage jegliche Position der Hand ohne Einschränkungen zu erkennen. Die Aufgabe ausschließlich bestimmte Gesten zu erkennen bildet eine Teilaufgabe des vollständigen Handtrackings. Diese Aussage lässt sich anhand der nachfolgenden Betrachtung überprüfen: Nach einem erfolgreich durchgeführten Handtracking besitzt man Kenntnis über den Zustand sämtlicher Gelenkwinkel. Mit dieser Kenntnis ist die Erkennung von Gesten eine einfache Klassifizierungsaufgabe, da dazu lediglich der aktuelle, vollständig bekannte, Handzustand mit sämtlichen zu erkennenden Gesten verglichen werden muss. Daher kann man sagen, dass man das Problem der Gestenerkennung ebenfalls gelöst hat, wenn das volle Handtracking funktioniert. An dieser Stelle sollte man erwähnen, dass die Gestenerkennung dennoch durchaus ihre Daseinsberechtigung hat [16, 17, 18, 19, 20]. Bei einigen Anwendungsgebieten reicht die Detektion einer beschränkten Anzahl von Gebärden völlig aus, und daher braucht dort kein vollständiges Handtracking eingesetzt zu werden. Dieses bringt aufgrund seines breiteren Einsatzbereiches auch eine höhere Komplexität, und somit eine niedrigere Geschwindigkeit mit sich. Auch aus Gründen einer höheren Stabilität sollte man in solchen Szenarios eine Gestenerkennung zum Einsatz bringen. 3