Bewertung des Potentials von Motion Capturing Lösungen aus dem Videospielebereich für den Einsatz bei der Menschsimulation

Transkript

1 Bachelorarbeit Bewertung des Potentials von Motion Capturing Lösungen aus dem Videospielebereich für den Einsatz bei der Menschsimulation Verfasser: Sebastien Menard Studiengang: Produktion und Automatisierung PAB7 Matrikelnummer: Betreuer an der Hochschule München: Herr Prof. Dr Ing S. Linner Dauer der Bachelorarbeit: bis

2 Abstrakt Im Labor für Digitale Fabrik und Arbeitswissenschaften wird momentan ein Arbeitsplatz zur Planung und Simulation von Arbeitsprozessen aufgebaut. An diesem Arbeitsplatz soll, durch Übertragung von Körperbewegungen mittels der Kinect Sensorkonsole, die Steuerung von 3D- Menschmodellen erfolgen, um so Arbeitsprozesse darzustellen und zu simulieren. Die Aufgabenstellung beinhaltet die Durchführung einer Planungsaufgabe und die Evaluierung des Arbeitsplatzes im Vergleich mit Arbeitsplätzen mit herkömmlichen Mensch-Computer- Schnittstellen. In the laboratory of digital manufacturing and ergonomic analysis, a work station is being built for the planning and simulation of work process. In this station, a 3D model of a man is controlled through the transmission of a human body's movement with motion capture camera Kinect in the aim to simulate and constitute a virtual work process. The assignment involves the execution of planning tasks and an evaluation of this work station compared to the conventional work station of man-computer-interface. 2

3 Danksagung Herrn Linner möchte Ich ganz herzlich danken, weil er mir die Möglichkeit gegeben hat, diese Bachelorarbeit absolvieren zu dürfen und mir erlaubt hat dieses interessante Thema bearbeiten zu können. Vielen Dank auch, für die Zeit, die er genommen hat, um alle meine Frage zu beantworten. Dann, möchte Ich auch Herrn Brunner danken, weil er mir Informationsmaterial zur Verfügung gestellt hat und mir damit die Möglichkeit gegeben hat, die Funktionsweise der Kinect zu verstehen. Ich bin auch Ihm sehr dankbar. Er hat mich während der ganzen Zeit unterstützt und ermutigt. 3

4 Inhaltsverzeichnis 1 Einleitung Hauptteil Theorie Theoretische Hinführung Grundfunktion von Process Simulate Eine Lösungsalternativ : die Kinect Praxis Einleitung Versuchsaufbau Ablauf des Versuches Ergebnisanalyse Zusammenfassung Schlusswort Abbildungsverzeichnis Tabelleverzeichnis Quellen

5 1 Einleitung Ausgangssituation der Bachelorarbeit Seit einigen Jahren müssen die Unternehmen immer mehr neuen Herausforderungen meistern, dies aufgrund einer komplexen Weltglobalisierung und einem immer schwierigeren Wettbewerb. Die ständige Entwicklung des Markts verursacht eine Gleichgewichtveränderung zwischen Angebot und Nachfrage. Dies dementsprechend, wird die Art und Weise der Fabrikation verändern. Zum Beispiel kann sich die Fabrikation von einem kleinen Spektrum von Massprodukten zu einer Produktion von Spezialprodukten, die in kleineren Mengen hergestellt werden, verschieben. Dieses Bedürfnis entsprechend, müssen die Unternehmen neuen Problemstellungen beantworten können. Die Produktionszyklen werden immer kürzer, die nachgefragte Qualität wird immer höher aber die Herstellungskosten sollen immer niedrig bleiben. Neue Wege werden untersucht, um diese drei voneinander abhängenden Einflussfaktoren optimal zu steuern. Ein wichtiger Punkt ist es, frühzeitig die Produktionsprozessen und die entsprechenden Kosten zu visualisieren. Dafür ist die Digitale Fabrik zuständig. Die Digitale Fabrik ist ein Oberbegriff für ein umfassendes Netzwerk von digitalen Modellen und Methoden unter anderem der Simulation und 3D-Visualisierung. Ihr Zweck ist die ganzheitliche Planung, Realisierung, Steuerung und laufende Verbesserung aller wesentlichen Fabrikprozesse und Ressourcen in Verbindung mit dem Produkt [I] Unter den Worten Simulation und 3D-Visualisierung werden allen digitalen Bearbeitungen von Prozessen oder Situationen, die ermöglichen, frühzeitig die Funktionsweise dieses Prozesses zu testen oder die Probleme zu visualisieren, verstanden. Um realen Situationen simulieren zu können, wird die Menschsimulation immer häufiger eingesetzt. Menschsimulation besteht aus Simulation von modellierten Menschen im Rahmen der Industrie wie zum Beispiel Arbeit des Menschen in laufenden Prozessen (Zugänglichkeit, Erreichbarkeit, usw.). Heutzutage werden diese Simulationen durch Software durchgeführt. Diese Lösungen sind allerdings zeitaufwändig. Deshalb, werden neuen Technologien benutzt, um die Realität mit der Virtualität zu kombinieren, wie zum Beispiel die Technologien Virtual Reality und die Augmented Reality. Der Aufwand von diesen neuen Technologien ist immerhin sehr hoch, weil die Geräte die eingesetzt werden, wie zum Beispiel Vollkörper Motioncapture, Großbildeinwände oder Head-Mounted Display sehr viel kosten. Die Problemstellung besteht darin, mit diesen Technologien Zeit zu sparen. Unter diesem Gesichtspunkt entwickelt Siemens eine Lösung als Menschsimulation, die in Verbindung mit ihren Software Process Simulate eine einfache Lösung bietet. Die Software Process Simulate bietet ein breites Funktionsspektrum, mit dem die Simulation von Menscharbeit in der Industrie realistisch modelliert werden kann. Simulationen von Menschenbewegungen sind allerdings schwer zu tun, aufgrund der Komplexität des menschlichen Körpers (Steuerung von vielreichen Gelenk- und Körperteilanzahlen,...). 5

6 Die Lösung, die wir von Siemens bearbeiten, besteht aus einer Kamera, die mit der Software verbunden ist. Diese Lösung nennt sich die Kinect Sensorkontrolle. Die Kinect erlaubt die Steuerung des modellierten Menschen durch die Aufnahme von Bildern und die Übertragung der dementsprechenden Simulantsbewegungen an der Software. Thema und Ziel der Bachelorarbeit Im Labor für Digitale Fabrik und Arbeitswissenschaften wird momentan ein Arbeitsplatz zur Planung und Simulation von Arbeitsprozessen aufgebaut. An diesem Arbeitsplatz soll, durch Übertragung von Körperbewegungen mittels der Kinect Sensorkonsole, die Steuerung von 3D-Menschmodellen erfolgen, um so Arbeitsprozesse darzustellen und zu simulieren. Die Aufgabenstellung beinhaltet die Durchführung einer Planungsaufgabe und die Evaluierung des Arbeitsplatzes im Vergleich mit Arbeitsplätzen mit herkömmlichen Mensch-Computer-Schnittstellen. Methode In erster Linie beruht meine Bachelorarbeit auf dem Verständnis und der Anwendung einer Software. Es soll dadurch die Beherrschung der Software von Siemens-PLM Process Simulate erzielt werden. Anschließend soll die Anwendung der Maus mit der Anwendung der Kinect verglichen werden. Es wird dafür eine Studie entworfen, mittels welcher die beiden unterschiedlichen Methoden durchgeführt werden könnten. Der Hauptteil der Arbeit besteht aus dem Ablauf der Studie vorerst mit der Standardmethode und anschließend mit der Alternativmethode. Die Standardmethode beruht auf dem Ablauf des Prozesses nur mit Hilfe der Maus, die Alternativmethode hingegen auf der Durchführung des Prozesses mittels der Kinect. 6

7 2 Hauptteil 2.1 Theorie Theoretische Hinführung Digitale Fabrik Der Begriff Digitale Fabrik ist seit den 90er Jahren bekannt. Aus der VDI Richtlinie ergeben sich unterschiedliche Definitionen und damit verbunden verschiedene Vorstellungen. Besonders Konzerne aus der Automobil- und Luftfahrtindustrie profitieren seit einigen Jahren von Vorteilen in den Bereichen Zeit, Qualität und Kosten durch den Einsatz der Digitalen Fabrik. Die Digitale Fabrik ermöglicht die Verbindung von Ressourcen, Prozess und Produkt. Die Methoden und Werkzeuge der Digitalen Fabrik haben sich vor allem in den Bereichen der Fabrikplanung und des Fabrikbetriebes als sehr effizient erwiesen. Während der Planungsphase werden mithilfe der Digitalen Fabrik die Hauptbetriebskosten festgelegt. Die Ziele der Digitalen Fabrik können in sechs Gruppen eingeteilt werden: Verbesserung von Wirtschaftlichkeit Verbesserung von Planungsqualität Verkürzung der Produkteinführung Transparente Kommunikation Standardisierte Planungsprozesse Kompetentes Wissensmanagement [II] Durch den Einsatz von verschiedenen Werkzeugen und Methoden wie Simultaneous Engineering, ergeben sich aus diesen Zielen aus Simulationen, Anlaufsimulation und Computer Aided Office verschiedene Vorteile. Beispielsweise eine Verkürzung der Time-to-Market, weniger Korrekturschleifen und weniger Planungsfehler. Die Wiederverwendung von Lösungen sind als Best-Practice Katalog in der Datenstruktur indexiert. Es erlaubt, schneller und günstiger Lösungen für Aufgaben zu finden. Tecnomatix und Siemens PLM Tecnomatix ist der Name von dem Softwarepaket für Digitale Fabrik von Siemens. Es besteht aus verschiedenen Lösungen für die Planung der Produktionsprozesse, die Raumaufteilung, die Optimierung, die Simulation, usw. Da steht die Definition von Siemens für ihre Software. Tecnomatix ist ein umfassendes Portfolio von Digitalen Manufacturing-Lösungen, die Innovationen ermöglichen, indem sie alle Fertigungsbereiche mit der Produktentwicklung verbinden. Von der Prozessdefinition und -planung über die Simulation und Überprüfung bis zur 7

8 tatsächlichen Fertigung. Tecnomatix ist auf einem Fundament für Product Lifecycle Management (PLM) aufgebaut, dem Teamcenter Manufacturing Backbone und umfasst heute eine vielfältige Palette an Fertigungslösungen. [III] Siemens PLM ist die Strategie des Produktlebenszyklus von Siemens und erzeugt eine globale Datenstruktur. Es erlaubt in dem ganzen Unternehmen, alle Abteilungen von der Entwicklung bis zu der Produktion integrieren zu können. Die Datenstruktur ermöglicht die Informationszentralisierung. Process Simulate Heute sucht man nach Lösungen, um die Risiken von Produktionsveränderungen oder die ersten Versuche neuer Produktionslinien zu minimieren. Process Simulate erzeugt Montagesimulation vor dem Start der Produktion virtuell, um Montagekonzepte zu validieren. Mit der 3D Simulation von Produkten und Ressourcen können die Inbetriebnahme komplizierter Fertigungsprozesse optimiert werden, und schneller mit einer höheren Produktionsqualität eingeführt werden. Das Durchführen eines Prozesses und der Kollisionsspielraum können mit Process Simulate durch die Simulation der Montagesituationen des Produkts überprüft werden. Die Produktivität des Planungsprozesses wird mithilfe des automatischen Erstellens von Montagesequenzen verbessert. Werkzeuge wie Messungen, Abschnitte oder Kollisionserkennung ermöglichen die detaillierte Prüfung und Optimierung von Montageprozessen. Process Simulate Human: Jack In zahlreichen Branchen verschiedener Fertigungsunternehmen ist man mit folgenden Problemen konfrontiert: Der Mensch wird sowohl bei der Entwicklung, als auch bei der Montage und bei der Wartung von Produkten nicht früh genug oder angemessen umfangreich berücksichtigt. Von Menschen gesteuerte Produkte von Tecnomatix können die Ergonomie eines Produktdesigns verbessern und betriebliche Aufgaben in den frühen Phasen des Entwicklungsprozesses schon verfeinern. Digitale Umgebung kann mit virtuellen Menschen bevölkert werden, sodass diese der Anzahl an gewünschten Arbeitern entspricht. Zahlreiche menschliche Faktoren wie Verletzungsrisiko, Benutzerkomfort, Erreichbarkeit, Sichtfelder, Energieausgaben oder Ermüdungsgrenzen können geprüft werden. Diese Produkte machen Kosten- und Zeitersparnisse leichter, indem sie während der gesamten Entwicklung Designs unterstützt, die benutzerfreundlicher sind Grundfunktion von Process Simulate Um Prozesse zu simulieren, müssen zunächst ein Arbeitsraum beziehungsweise die entsprechenden Koordinatensysteme definiert werden. Die Umgebung soll je nach dem erwünschten Versuch aufgebaut werden. Werkzeuge, Teile, Arbeitsplätze, usw. müssen vor der Simulation mittels CAD- Software modelliert werden. 8

9 Das Koordinatensystem dient der Bezeichnung der Position von Punkten und Objekten im geometrischen Raum. In Process Simulate erlauben sogenannte Koordinatensysteme die präzise Ermittlung definierter Positionen, um z. B. Objekte zu verschieben. Objekte können im Raum frei depositioniert werden. Sie können auf den drei Achsen X, Y, und Z verschoben und um diese gedreht werden. Die Depositionierung ist nicht sehr präzise aber dafür schnell durchgeführt. Process Simulate erlaubt durch die Funktion Snapshot, ein Bild des Aufbaus zu speichern. Die gespeicherten Bilder stellen die aufeinanderfolgenden Schritte dar. Mittels der Snapshot-Funktion können vorangegangene Schritte aufgerufen werden, sodass u.a. die View oder die Objektpositionierung nachgeholt werden können. Die Software dient auch der Kollisionserkennung zwischen zwei Objekten im Raum. Zuerst soll ein Kollisionsset zwischen den beiden Objekten erstellt werden. In zweiter Linie muss die Kollisionserkennung eingeschaltet sein, sodass die Objekte in Rot dargestellt werden, sobald sie miteinander in Kontakt sind. Die Sequence Editor Funktion ist ein Schwerpunkte der Software. Sie dient der Anordnung aller Operationen. Durch dieses Fenster kann eine Simulation des Prozesses durchgeführt werden. Alle Operationen sind darin miteinander verbunden und werden reihenweise ausgeführt. Es kann die Dauer und der Startpunkt einer Operation eingestellt werden. In Process Simulate werden Simulationen eines Prozesses mit Hilfe einer Humansteuerung durgeführt. Jack ist die Menschmodellierung von Process Simulate und ermöglicht eine realere Simulation des Prozesses. Durch eine Modellierung des vollständigen Skeletts erlaubt Jack eine realistische Visualisierung der Möglichkeiten eines Menschen in der Arbeitssimulation. Die Steuerung des Körpers von Jack ist durch das Posture Fenster möglich. Aller Körperhaltungen sind durch Gelenke und Verschiebungen aller Teile des Körpers realisierbar. Um eine wirksame Simulation durchzuführen, ist auch die Bewegung des Menschen im Raum nötig. Dafür existiert die Funktion Path creator. Alle Bewegungen sind durch Pfade im Raum realisierbar. Für eine Simulation im Rahmen der Industrie müssen Werkzeuge oder Teile gegriffen werden. Somit gibt es eine Funktion für das Greifen und das Loslassen eines Gegenstandes. Wenn beide Funktionen kombiniert werden, bewegt sich Jack mit einem Gegenstand, um diesen an den gewünschten Ort zu bringen. Für eine bessere Steuerung des Menschen ist ein Vision Windows des Mitarbeiters verfügbar. Durch diese Fenster kann die Sicht von Jack visualisiert werden. Es führt zu einem besseren Verständnis der Erreichbarkeit des Menschen im Raum. Den Analysis Tools stehen mehrere Werkzeuge zur Verfügung, um die Ergonomie bei der Arbeit zu messen. Beispielsweise die Anstrengung, schwere Lasten zu heben oder Rückenschmerzen bei falschen Positionierungen des Körpers. Die Bemessung wird mit einer Farbskala bewertet. Farben (von keine bis Rot) werden direkt am Menschen dargestellt und in einem Legendfenster erklärt. 9

10 2.1.3 Eine Lösungsalternativ : die Kinect Betrieb der Kinect Überblick Abbildung 2-1 : Überblick der Kinect Technische Daten Sensor Tiefensensor: - von der Firma PrimeSense - Kombination aus Infrarot-Laser-Projektor und CMOS-Sensor - 30 Hz Wiederholrate Pixel Ortsauflösung mit 11-bit Tiefenauflösung (also 2,048 Quantisierungsstufen) - Tiefe des Messvolumens: m ( ft) Funktionsweise des Tiefensensors : aktive Triangulation, ähnlich wie gängige Structure-Light- Verfahren und Projektion von pseudo-zufälligen Punktmustern zur Lösung des Korrespondenzproblems Farbkamera: Pixel Ortsauflösung mit 8-bit Farbauflösung (sogenannter Bayer-Sensor ) - 30 Hz Wiederholrate [IV] Mikrophon 10

11 Sehfeld Horizontales Sichtfeld : 57 Vertikales Sichtfeld : 43 Neigungsmöglichkeiten des Sensors : 27 Reichweite des Sensors : 1,2m-3,5m Datenfluss 320x bits à 30 FPS 640x bits à 30 FPS 16 bits audio à 16 Khz Schnittstelle Aufnahmesystem des Skeletts: - Kann bis 6Personen aufnehmen - Erfasst bis 20 Gelenke einer Person Audiosystem : - Aufnahme der Stimme - Echolöschen-System erleichtert die Aufnahme der Stimme und der Schall Funktionsweise der Kinect PrimeSense 3D ermöglicht digitalen Geräten, eine Szene in drei Dimensionen darzustellen. Es überträgt diese Darstellungen in synchronisiertem Bildfluss (Tiefe und Farbe) und überträgt diese synchronisierten Bilder in Informationen wie z. B.: Identifikation von Personen, ihre Körpereigenschaften, -bewegungen, und -gestik. Erkennung von Objekten wie z. B. Möbeln Erkennung der Umgebung wie z. B. Mauer und Boden Abbildung 2-2: Prinzip der Kinect 11

12 Die PrimeSense Technologie erlaubt eine 3D Tiefenerkennung. Das Grundprinzip besteht aus der Kodierung einer Szene mit Infrarotstrahlung, die unsichtbar für Mensch ist. Der IR Sensor ist mit einem standardisierten CMOS Sensor verbunden, um die kodierte Beleuchtung aus der Szene zu lesen. Die CMOS Technologie führt ein Erfassungsprozess aus, sodass die Farben- und die Tiefeninformationen richtig angepasst werden. Die kodierten Beleuchtungen sind entschlüsselt, mit dem Ziel ein VGA Bildformat von der Szene zu bekommen. Das Ergebnis ist ein Video mit Tiefe und Audioinformationen. Abbildung 2-3: Prinzip der PrimeSense Die Kinect zur dienst der Simulation Die Kinect dient der Erkennung von Körperbewegungen, womit die Simulation bei Process Simulate vereinfacht wird. Die Simulation erfolgt durch eine Schnittstelle, die verschiedenen Funktionen bietet. Die erste Funktion ist die Steuerung des Videos durch die Darstellung des Skeletts und die Visualisierung der Umgebung, die gefilmt wurde. Dadurch könnten alle Bewegungen auf Jack übertragen werden und somit eine komplette Kontrolle über die Körperhaltung des modellierten Menschen erreicht werden. 12

13 Abbildung 2-4: Oberfläche der visuellen Übertragung der Kinect Eine zweite Funktion ermöglicht die Steuerung von Jack durch die Stimme mit Hilfe vorgegebener Befehle. Es wird damit die Kontrolle Jacks in der Umgebung ermöglicht, wie z.b. die Kamera im richtigen Winkel einzustellen, das Greifen oder das Loslassen eines Gegenstandes, Jack zu drehen, usw. Die Menschmodellierung wird mit der Kinect gesteuert, sodass Jack die Person vor der Kamera nachahmt. Zusätzlich wird die Steuerung Jacks mit der Sprache geführt, um die verschiedenen Befehle durchzuführen. Die kinect bietet verschiedene Befehle, um den Menschen zu kontrollieren. Im folgenden Bild kann man diese Befehle mittels eines Fensters visualisieren. Abbildung 2-5: Fenster der Sprachsoftware der Kinect 13

14 2.2 Praxis Einleitung Die Anwendung der Software Process Simulate ist teilweise schwierig. Aufgrund einer komplizierten Skelettmodellierung des Menschen wird das Design eines Arbeitsprozesses zeitaufwändig. Die Positionierungen des Menschen je nach Tätigkeit der Arbeit sind schwierig zu realisieren. Hierfür muss jedes Gelenk und jedes Körperteil eingestellt werden, sodass die Modellierung realistisch ist. Die Schwierigkeit stellt sich außerdem in der gegenseitigen Beeinflussung der Körpersteile untereinander. Siemens beschäftigt sich derzeit mit der Entwicklung eines neuen Zusatzes für die Software, um die Modellierung eines Prozesses zu vereinfachen. Das Prinzip dieses Zusatzes beruht auf der Benutzung eines Kamerasensors, der die Bewegungen einer Person erkenn und so Befehle an die Software überträgt. Ziel der Arbeit ist es, den Nutzeneffekt dieses zusätzlichen Gerätes an der Software Process Simulate zu evaluieren. Es werden Standardweise und die Technik mit der Kinect miteinander verglichen, um so ein Ergebnis über die Vorteile, Nachteile und Unmöglichkeiten der Kinect zu bekommen. Dafür wird ein Versuch aufgebaut, in dem häufigsten Bewegungen und Tätigkeiten in der Industrie simuliert werden. Der Versuch wird mit Hilfe der MTM Grundbewegungen der Industrie erstellt. Um den Vergleich zu erlangen, wird die Studie mit der Maus und mit der Kinect durchgeführt Versuchsaufbau Vorbereitung des Versuches Die Studie besteht aus aufeinanderfolgenden Schritten, in den verschiedene Aktionen simuliert werden. Im Versuch wird ein Prozess allgemeiner Tätigkeiten und Grundbewegungen dargestellt, mit dem Ziel, die häufigsten Arbeitsfälle zu modellieren und in jeder Industrierichtung anwenden zu können. Somit soll der Versuch in der Absicht aufgebaut werden, vielfältige Handlungen der Arbeitswelt durchzuführen. Die Benutzung der Kinect im Vergleich zur Maus wird mehreren Fällen getestet. Dafür wird der Aufbau so gewählt, dass zuerst alle Bewegungen nach der MTM Methode klassifiziert werden. Die verwendeten Körperhaltungen werden je nach der Häufigkeit, mit der sie in der Industrie auftreten, eingeordnet. Die Einteilung der Bewegungen erfolgt in zwei Kategorien. Die erste stellt die unterschiedlichen Körperhaltungen dar, die zweite fasst mit Hilfe der MTM- Grundbewegungen die allgemeinen Bewegungsmöglichkeiten zusammen. Unter der Körperhaltung versteht man alle Positionierungen des Körpers im Arbeitsplatzt, wie z.b. hinlegen, Knien, Kriechen, usw. Mit Hilfe der MTM-Grundbewegungen werden manuelle Abläufe beschrieben, die sich immer aus fünf Grundbewegungen zusammensetzen. 14

15 Anschließend werden alle Fälle der Bewegungen in grobe, mittlere, und feine Handlung eingeteilt. Da die Präzision des MTM Grundbewegungenverfahrens für unsere Fragestellung zu genau ist, wird die Einteilung der Fälle in grobe, mittlere und feine vereinfacht. Grundbewegungen Die Methode der Grundbewegungen dient der Ermittlung der benötigten Zeit für die Ausführung eines Arbeitsvorganges. Für die Planung von Arbeitssystemen bietet sich die Anwendung der Systeme Vorbestimmter Zeiten, MTM, an. MTM bedeutet Methods Time Measurment und ist als Verfahren definiert, mit welchem Soll-Zeiten für das Ausführen von Vorgangselementen bestimmt werden können. Das Prinzip basiert darauf, jeden manuellen Ablauf mittels der Grundbewegungen zu beschreiben und für jede Grundbewegung einen konstanten Normzeitwert zu bestimmen. Für den hier beschriebenen Versuch werden die Zeitwerte nicht gebraucht, sondern nur die Grundbewegungen. MTM unterscheidet acht Grundbewegungen der Hand und der Finger, zwei Blickfunktionen, sowie eine Anzahl von Körper-, Bein-, und Fußbewegungen. Es werden alle Einflüsse, wie z.b. Länge einer Bewegung, Lage, Form, Größe und Gewicht eines Gegenstandes berücksichtigt. Die fünf häufigsten Grundbewegungen werden benutzt, um 80-85% der bei einem Arbeitsablauf benötigten Bewegungszyklen zu beschreiben. Diese fünf Grundbewegungen sind Hinlangen, Greifen, Bringen, Fügen und Loslassen. Hinlangen ist die Grundbewegung, um die Finger oder die leere Hand zu einem bestimmten oder unbestimmten Ort zu bewegen. Einflussfaktoren sind die Bewegungslänge, der Bewegungsfall (abhängig von der Startposition und Endposition des gegriffenen Gegenstandes) und der Bewegungsverlauf. Greifen ist die Grundbewegung, die ausgeführt wird, um mit den Fingern oder der Hand eine ausreichende Kontrolle über einen oder mehrere Gegenstände zu erhalten. Einflussfaktoren sind die Art des Greifens, die Lage des Gegenstandes (allein, zusammengesetzt mit anderen Teilen, usw.) und die Beschaffenheit des Gegenstandes (Form, Gewicht, Abmessung des Teils). Bringen ist die Grundbewegung, die ausgeführt wird, um einen oder mehrere Gegenstände mit den Fingern oder den Händen zu einem Bestimmungsort zu transportieren. Wie beim Hinlangen sind die Bewegungslänge, der Bewegungsfall und der Bewegungsverlauf zu beachten. Aber auch der Kraftaufwand, wenn das Gewicht des Gegenstandes höher als 1Kg ist, spielt eine Rolle. Fügen ist die Grundbewegung, die von den Fingern oder der Hand ausgeführt wird, um einen Gegenstand in einen anderen einzusetzen oder an einem anderen anzulegen. Hierbei gibt es zwei Arten: Anfügen (ein Teil wird an ein anderes herangeschoben) und einfügen (ein Teil wird in ein anderes hineingeschoben). Die Einflussgrößen sind dabei die Zielgenauigkeit und die Schwierigkeit der Handhabung (einfach oder schwierig). 15

16 Loslassen ist die Grundbewegung, die ausgeführt wird, um die mit den Fingern oder der Hand ausgeübte Kontrolle über einen Gegenstand aufzuheben. In diesem Fall ist die Art des Loslassens zu beachten. Es existieren verschiedene Fälle für jede Grundbewegung, die wie schon erklärt, nach grober, mittlerer und feiner Handlungen eingeordnet werden. Die Fälle werden in der Tabelle mit einer kurzen Beschreibung versehen und durch die Einordnung vereinfacht. Bewegungen des Hand- Arm-Systems Grob Mittlere Fein Hinlangen Fall A, B,C Fall C Fall D Greifen G1 G5 G2 G3 G4 Bringen Fall A Fall B Fall C Fügen Easy (kein G2) Difficult (G2) Loslassen RL1 RL2 Tabelle 2-1: Klassifizierung der verschiedenen Fälle der Grundbewegungen des Hand-Arm-Systems nach feiner, mittlerer und grober Handlungen Hinlangen Greifen Bringen Fügen Loslassen Körperhaltungen und Bewegungen Fall A: zu bestimmten Ort; Fall B: zu anderem Ort; Fall C: mit gleichen Teil; Fall D: Teil sehr klein. G1 : Aufnahmegriff; G2: Nachgreifen; G3 : Übergabegriff; G4: Auswählgriff; G5: Berührungsgriff Fall A; B; C : geringer; mäßiger; hoher Kraftaufwand Einfach oder schwierig RL1 : mit offenen Fingern, RL2 Aufheben des Kontakts Tabelle 2-2: Fälle der Grundbewegungen des Hand-Arm-Systems Die allgemeinen Körperhaltungen am Arbeitsplatz sind u.a. Knien, Kriechen, Beugen, usw., um einen Punkt im Raum zu erreichen oder um hoch zu greifen oder einen Gegenstand hineinzustecken. Bezüglich der Körperhaltungen interessieren in dieser Studie nur komplizierte Fälle. Hierbei soll der Nutzeneffekt der Kinect evaluiert werden. Gesucht wird außerdem eine Art der Klassifizierung der Bewegungen in der Umgebung. Es werden drei Referenzpositionierungen analysiert, die drei übliche Situationen in der Industrie darstellen. Um diese Positionierungen zu modellieren, werden verschiedene einfache Körperhaltungen kombiniert. 16

17 Körper-,Bein- und Fußbewegungen Nicht verlagern Verlagern Neige Bein-Bewegung Fußbewegung Seitenschritt gehen Umdrehen Beugen Bücken Knien Setzen Tabelle 2-3: Grundbewegungen der Körper-,Bein- und Fußbewegungen Es soll im Versuch eine Überkopfbewegung, ein Vorbeugen und eine Bodenhandlung simuliert werden. Dafür werden entsprechende Körperhaltungen eingestellt. Bei der Bodenhandlung sollen das Knien und das Bücken genauer betrachten werden. Siehe Abbildung [6] und [7] Abbildung 2-6: kniende Körperhaltung Abbildung 2-7: kniende Körperhaltung Es wird durch die Überkopfhandlung die Sicht des Mitarbeiters in dieser Situation analysiert. Siehe Abbildung [8] und [9] Abbildung 2-8: Vorderansicht der Überkopfhandlung Abbildung 2-9: Hinteransicht der Überkopfhandlung Mit dem Vorbeugen wird die Erreichbarkeit von schwierigen Stellen getestet. Siehe Abbildung [10] und [11] 17

18 Dadurch werden die Vorteile und Nachteile der Maus sowie der Kinect bei der Körperhaltung in Process Simulate untersucht Der Versuch Der Versuch beruht auf der Bewegung des modellierten Menschen sowie der Depositionierung von Objekten in der Umgebung. Er besteht aus verschiedenen Handlungen wie das Fassen oder das Zusammenfügen von Objekten. Außerdem weist der Versuch drei komplexe Körperhaltungen auf. Für den Versuch werden ein Schaltgestänge und ein Lenkrad benötigt. Das Schaltgestänge wird zuerst am Boden in die Scheibenbremse eingefügt und dann von unten, wenn der Buggy nach oben gezogen wird, in den Motor eingefügt. Das Lenkrad wird um die an der Lenksäule befestigt. Dafür werden das Schaltgestänge und das Lenkrad am jeweiligen Tisch abgestellt. Schritt 1 besteht aus einer Bewegung zum Tisch und einem MTM Zyklus, wobei Jack das Schaltgestänge nach vorne rechts des Buggys bringt. Das Schaltgestänge wird in der Scheibenbremse eingefügt. Beschreibung : Bewegung zum Tisch MTM Zyklus - Hinlangen Grob - Greifen mittlere - Bringen mittlere - Fügen fein - Loslassen Grob Körperhaltung: Laufen, knien und bücken 18

19 Schritt 2 beruht auf dem Ziehen des Buggys nach oben und der Einfügung des Schaltgestänges in den Motor durch eine Überkopfhandlung. MTM Zyklus - Hinlangen Fein - Greifen fein - Bringen Fein - Fügen Fein - Loslassen Grob Körperhaltung: Überkopf-Körperhaltung, drehen Schritt 3 besteht aus einer Bewegung zum anderen Tisch, um das Lenkrad zu greifen und einem MTM Zyklus, wobei Jack das Lenkrad zum Lenkungsraum bringt. Das Lenkrad wird an die Lenksäule angefügt. Beschreibung: Bewegung zum zweiten Tisch MTM Zyklus - Hinlangen Grob - Greifen Grob - Bringen mittlere - Fügen mittlere - Loslassen Grob Körperhaltung: Laufen, vorbeugen, drehen Ablauf des Versuches Der Versuch wird in verschiedene Schritte unterteilt und wird sowohl mit der Kinect als auch mit der Maus durchgeführt. Ziel ist es, beide Durchführungsarten Schritt für Schritt zu vergleichen Vorbedingung Als Vorbedingung muss der Raum vorbereitet werden. Hierfür werden die benötigten Objekte modelliert und an den erwünschten Ort gebracht.außerdem werden Koordinatensysteme erstellt, um so Referenzpunkte zu erhalten. Abbildung [12] und [13] zeigen die Fenster, um Koordinatensystem zu erstellen bzw., um Objekte zu depositionieren. 19

20 Abbildung 2-10: Fenster für die Koordinatensystemerstellung Abbildung 2-11: Fenster für die Objektdepositionierung Die zwei manipulierten Objekte sind das Lenkrad und das Schaltgestänge. Das Lenkrad besteht aus einem Rad und eine Verknüpfung mit der Lenksäule. Das Schaltgestänge besteht aus einem Zylinder und zwei Gelenken. Ein erstes Koordinatensystem dient als Referenzpunkt, um die Schaltgestänge in ihrer ursprünglichen Position in die Scheibenbremse einzufügen. Ein zweites wird für das Lenkrad auf die Lenkradsäule benötigt. Die Gelenke werden mit dem Zylinder verbunden, mit dem Ziel, das Teil am Stück auslagern zu können. Mit dem Lenkrad und der Verknüpfung wird auf dieselbe Weise verfahren. Die zwei zu bewegenden Objekte werden auf den entsprechenden Tisch ausgelagert. Somit ist die Umgebung für den Versuch vorbereitet. Siehe Abbildung [14] Abbildung 2-12: Umgebung des Versuchs 20

21 Schritt 1: Einfügen des Schaltgestänges in die Scheibenbremse am Boden Beschreibung der Durchführung mit der Maus Laufen Um das Schaltgestänge einzufügen, muss der Mensch das Schaltgestänge vom Tisch greifen. Dafür wird ein Pfad durch die Funktion Path creator erstellt(siehe Abbildung [15]. Die aufeinanderfolgenden Phasen des Pfades werden gespeichert. Der Mensch muss ausreichend nah am Tisch sein, um das Teil greifen zu können, jedoch nicht zu nah, sodass er an den Tisch stößt. MTM-Zyklus Hinlangen Abbildung 2-13: Fenster für die Pfaderstellung Der Mensch steht jetzt am Tisch(siehe Abbildung [16]), bereit, um das Schaltgestänge zu greifen. Damit die Kollision zwischen Tisch und Mensch vermieden wird, muss die Kollisionserkennung zuerst parametriert und eingeschaltet werden. Die Positionierung des Menschen wird so eingestellt, dass die Arme nicht mit dem Tisch in Berührung kommen. (siehe Abbildung [17]) Abbildung 2-14: Kollision zwischen dem Menschen und dem Tisch Abbildung 2-15: Vorposition (um das Schaltgestänge ohne Kollision mit dem Tisch zu greifen) 21

22 Für die Kollisionserkennung wird ein Kollisionsset zwischen den beiden erwünschten Teilen erstellt. Anschließend muss die Positionierung der Arme parametriert werden, sodass sich diese über dem Tisch befinden und nicht darauf aufliegen. Somit kann die nächste Etappe korrekt durchgeführt werden, beim Greifen des Teils kann aufgrund der richtigen Position der Arme keine Kollision auftreten. Greifen Die Art und Weise des Greifens kann mittels der Funktion Grasp wizard eingestellt werden (siehe Abbildung [18]). Es wird die Orientierung der Hand parametriert, die rechte oder linke Hand ausgewählt, mit der das Teil gegriffen wird, und schließlich die Position der Hand gewählt, wie z.b. mit geschlossener Hand um das Teil, mit dem Ende der Finger oder mit der flachen Hand. Bringen( durch Gehen und Umdrehen) Abbildung 2-16: Fenster für die Handposition beim Greifen Die nächste Etappe ist die Depositionierung des Objektes durch den Menschen. Dies erfolgt durch die Funktion place Object. Die Funktion Place Objekt besteht aus der Bewegung des Objektes, wobei dieses auf den drei Achsen X, Y, und Z verschoben und um die Achsen gedreht wird. Ziel ist es, dass der Mensch die Bewegung des Teiles verfolgt (siehe Abbildungen [19] und [20]). Die Steuerung des Menschen wird durch die Verschiebung auf dem und durch die Umdrehung um das Koordinatensystem erzielt. Das Objekt muss jedoch zuvor der Handlung gegriffen werden. Abbildung 2-17: Bringen des Schaltgestänges Abbildung 2-18: Bringen des Schaltgestänges Der Mensch bringt das Teil vorn rechts an den Buggy. Anschließend fügt der Mensch das Schaltgestänge in die Scheibenbremse ein. Dafür muss er auf Höhe der Scheibenbremse knien und sich bücken, um das Schaltgestänge richtig einfügen zu können. 22

23 Fügen (mit Körperhaltung: Knien und Bücken) Hierfür wird die Funktion place object benutzt. Der Mensch fügt das Schaltgestänge langsam in die Scheibenbremse ein. Dazu muss die Körperhaltung Knien und Bücken verwendet werden. Mittels des Fensters Human Posturing kann die Körperhaltung parametriert werden. Es wird die untere Torso gesteuert, mit dem Ziel, dass der Mensch kniet. Anschließend muss er sich bücken, damit er den Gegenstand genau einfügen kann. Siehe Abbildungen [21] und [22] Abbildung 2-19: Einfügen des Schaltgestänges Abbildung 2-20: Einfügen des Schaltgestänges Loslassen Diese Etappe erfolgt, in dem der Mensch an die Anfangsposition zurück kehrt. Dafür muss der Mensch aufstehen. Hierfür wird die Funktion default Posture genutzt. Probleme oder Schwierigkeiten Es entstanden Probleme unterschiedlicher Art, wie beispielsweise das Bringen des Teiles an den Arbeitsplatz, die Parametrierung der Positionierung des Menschen sowie die Bestimmung des richtigen Arbeitsplatzes. Die Depositionierung des Objektes erweist sich als schwierig, da die Bewegung weniger genau als erwartet war. Es muss beachtet werden, dass die Depositionierung des Teils im Raum durch den Menschen präzise und einfach erfolgt. D.h., es müssen die richtigen Gelenke des Menschen parametriert werden, sodass die Bewegung störungsfrei abläuft. Als Störung ist am häufigsten eine falsche Orientierung oder Position der Gelenke oder Körperteile zu nennen. Dies kann durch eine falsche Parametrierung der Körperhaltung entstehen. Um eine Bewegung richtig durchzuführen, muss die Beschränkung zwischen Körpereilen und Gelenken beachten werden. Was das Bringen des Teiles an den Arbeitsplatz angeht, so war eine Schwierigkeit, den Mensch mit dem Objekt zu drehen. Außerdem hat sich das Teil während der Bewegung in den Händen des Menschen verschoben. Siehe Abbildungen [23]und [24]. 23

24 Abbildung 2-21: Kollision zwischen der Hand und dem Objekt Abbildung 2-22: Verschiebung des Objektes in den Menschhänden Die Positionierung des Menschen erweist sich als schwierig aufgrund der präzise Adjustierung des Skeletts. (Siehe Abbildungen [25] und [26]) Es muss beachtet werden, dass die Parametrierung der Gelenke adäquat eingestellt ist. Das bedeutet, die gewünschten Gelenke müssen fixiert werden, um die entsprechende Position zu erhalten.. Abbildung 2-23: Falsche Positionierung des Menschen Abbildung 2-24: Richtige Positionierung des Menschen Als Fehler bei der Positionierung sind die Verschiebung des Teiles in den Händen des Menschen zu nennen sowie die falsche Positionierung des Menschen. Außerdem ist es schwierig, die richtige Körperhaltung einzustellen. Die Gelenke müssen genau kombiniert und die Einschränkung der Körperteile berücksichtigt werden. Auch wenn Hände und Füße blockiert werden, können immer noch Störungen der Körperhaltung aufgrund der Position der Arme oder des restlichen Körpers auftreten. Das Ergebnis hängt vom Zufall ab. Außerdem ist es schwierig, den richtigen Ort zu bestimmen. Es ergeben sich beispielweise Schwierigkeiten beim Einfügen, wenn der Mensch zu nah am Arbeitsplatz kniet. Die Position der Arme ist in dieser Situation falsch, sodass kein sauberes Einfügen des Teiles möglich ist, da der Bewegungsraum eingeschränkt ist. 24

25 Wenn der Mensch hingegen zu entfernt positioniert ist, muss er sich dem Arbeitsplatzt erneut nähern, dazu steht er auf, und die kniende Körperhaltung geht verloren. Es gibt keine Möglichkeit, der Mensch im Knien zu bewegen. Lösungen Um diese Probleme zu vermeiden, müssen die Operationen sehr präzise erstellt werden. An erster Stelle sollten die Operationen möglischst kurz sein, um die Fehleranzahl zu verringern. Für komplizierte Operationen müssen unterschiedliche Funktionen kombiniert werden, um ein präzises Ergebnis zu erhalten. Um den Menschen zu drehen, muss bei der Funktion Placement manipulator die Referenzumgebung working frame ausgewählt werden. Ein Kreis erscheint und ermöglicht es, den Menschen in die gewünschte Richtung zu drehen. Siehe Abbildung [27]. Abbildung 2-25: Fenster Placement Manipulator (um den Menschen zu drehen) Um das Problem von Verschiebungen der Objekte in der Hand zu vermeiden, gibt es keine andere Lösung, als sehr kleine Operationen zu erstellen. Um die Körperhaltung zu optimieren, müssen die Funktionen place Object und Human posturing eröffnet und kombiniert werden. Die Kombination ermöglicht gleichzeitig die Parametrierung der Gelenke des Körpers (Beibehaltung der knienden Körperhaltung) sowie die Einführung des Schaltgestänges. Siehe Abbildung [28] Abbildung 2-26: Die Funktionen Human Posturing und Place Object werden kombiniert 25

26 Auswertung (Qualitativ) Genauigkeit Geschwindigkeit Bewegung Körperhaltung Zusammenfügen Bei der Bewegung ist die Bei der Körperhaltung ist die Genauigkeit sehr hoch. Die Genauigkeit des Ergebnisses Genauigkeit beim Greifen eine mittlere. Das Ergebnis während der Bewegung hängt vom Zufall ab. erfolgt durch den Befehl "Place Objekt". Es ist außerdem zu beachten, dass sich das Objekt in den Händen nicht verschiebt. Endposition Die Bewegung wird recht schnell durchgeführt. Die Funktion ist einfach und effizient. Es benötigt etwas Zeit, den Menschen mit dem Teil zu bewegen und zu drehen. Die Durchführung soll in kleinen Schritten erfolgen. Es ist zeitaufwändig, die Position zu parametrieren, besonders, wenn eine hohe Genauigkeit erwartet wird. Die richtige Kombination der Gelenke und der Körperteile muss intuitiv erfassen werden. Beim Einfügen ist die Genauigkeit nicht perfekt, aber ist völlig ausreichend. Wichtig ist in diesem Fall, den Menschen am richtigen Abstand der Achse knien zu lassen, sodass er sich weder zu nahe noch zu weit von der des Schaltgestänges befindet. Der Abstand kann nicht ermessen werden, sondern muss durch wiederholte Durchführung ermittelt werden. Das Zusammenfügen gestaltet sich zeitaufwändig. Um den Arbeitsort genau zu bestimmen, muss exakt parametriert werden und das Einfügen in möglichst kleinen Handlungsschritten erfolgen.(kollisionsvermeidung) Methode Die Funktionen sind einfach, effizient und vielfältig. Dadurch gelingt ein präzises und schnelles Ergebnis. Außerdem können verschiedene Fälle gelöst werden. Zufällig. Durch die gleichen Parametrierungen können unterschiedliche Ergebnisse auftreten. Mit der Maus müssen mehrere Funktionen kombiniert werden, um ein korrektes Ergebnis zu erzielen. Diese Methode ist schwierig, zu beherrschen. (Körperhaltung muss gleichzeitig mit der Depositionierung von Objekten parametriert werden) Beschreibung der Ausführung mit der Kinect Tabelle 2-4: qualitative Auswertung des Schritts 1 mit der Maus Laufen Die Kinect ermöglicht mittels zwei Verfahren eine Bewegung des Menschen im Raum. Es gibt einen Befehl, der nur die Sprache verwendet. Durch die Befehle Turn und Step kann der Mensch umdrehen und laufen. Der Befehl Turn kann nach links und rechts gerichtet werden. Der Befehl Step kann sowohl vorwärts als auch rückwärts verwendet werden. Das zweite Verfahren nennt sich Explore. Es besteht aus einer Exploration des Raumes, die vom Arm des Simulanten geleitet wird. Wenn der Arm gerade nach oben gerichtet ist, läuft der Mensch 26

27 vorwärts. Wenn der Arm nach unten gerichtet ist, bleibt der Mensch stehen. Wenn der arm horizontal nach Links gerichtet ist, dreht sich der Mensch nach links um. Analog nach rechts. Der Unterschied liegt in der Endposition des Menschen nach der Bewegung. Beim Turn und Step Verfahren bewegt sich der Mensch wie ein Objekt. Er wird nur an den gewünschten Ort verschoben. Siehe Abbildung [30]. Beim Explore Verfahren läuft der Mensch. Der Unterschied wird in den folgenden Bildern dargestellt. Siehe Abbildung [29]. Abbildung 2-27: Abbildung 2-28: Bewegung mittels der Funktion Explore Bewegung mittels der Funktion Step und Turn MTM Zyklus Hinlangen Es wird hier der Befehl Posture benutzt, um den Menschen so zu positionieren, dass er das Schaltgestänge greifen kann. Der Befehl Posture ermöglicht die Steuerung des Menschen durch den Simulanten. Alle Bewegungen und die Position des Simulanten werden an den modellierten Menschen der Software übertragen. Siehe Abbildung [31] und [32]. Abbildung 2-29: Positionsübertragung der Kinect 27

28 Abbildung 2-30 : Positionsübertragung der Kinect Greifen Das Greifen erfolgt durch die Kombination der Befehle Enable Grasping und Grasp. Der Befehl Enable grasping erlaubt dem Menschen ein Objekt in seiner Umgebung zu greifen. Wenn die Hand des Menschen in Berührung mit dem Objekt kommt, verfärbt sich das Objekt gelb. Mittels des Befehles Grasp kann das Objekt von der linken, der rechten oder von beiden Händen gegriffen werden. Das Objekt verfärbt sich violett, wenn es gegriffen wurde. Siehe Abbildung [33] Bringen Abbildung 2-31: Das Greifen mit der Kinect Die nächste Etappe ist die Depositionierung des Objektes vom Menschen. Diese erfolgt durch die Funktion Explore oder Turn und Step. Die Depositionierung eines Objektes wird durch eine Bewegung des Menschen, der das Objekt greift, im Raum durchgeführt. Der Mensch läuft nach vorne rechts des Buggys. Fügen (mit Körperhaltung: Knien und Bücken) Das Schaltgestänge wird zur entsprechenden Stelle gebracht. Es soll in die Scheibenbremse eingefügt werden. Langsam hebt der Simulant seinen Arm, mit dem er das Objekt greift, und bewegt ihn zur richtigen Stelle. Siehe Abbildungen [34] und [35]. 28

29 Abbildung 2-32: Das Fügen mit der Kinect durch Vision Window Abbildung 2-33: Das Fügen mit der Kinect Loslassen Das Loslassen erfolgt durch den Befehl Release object. Damit wird das Objekt losgelassen. Durch den Befehl Relax wird der Mensch zur Anfangsposition zurückgebracht. Probleme oder Schwierigkeiten Das Hauptproblem mit der Kinect entsteht durch die Überlagerung von Körperteilen. Wenn die Arme sich vor dem Torso befinden, hat die Kinect Schwierigkeiten, die Lage korrekt zu erkennen. Folgendes Bild stellt dar, was die Kinect als Skelett anhand der Simulantenposition erkennt. Der linke Arm des Simulanten liegt gerade vor ihm, die Kinect erkennt die Lage jedoch anders. Siehe Abbildung [36]. Abbildung 2-34: Unterschied zwischen Simulantenposition und Kameraaufnahme Durch die Übertragung dieses Skeletts wird der Mensch in der Software in eine falsche Position gebracht, wie das folgende Bild zeigt. (Abbildung [37]) 29

30 Abbildung 2-35: Falsche Position des modellierten Menschen wegen schlechter Erkennung der Kinect Und damit ergeben sich Schwierigkeiten, die Objekte korrekt zu platzieren und einzufügen. Ein weiteres Problem folgt aus gleichem Grund. Die unpräzise Positionsübertragung verursacht eine Ungenauigkeit der Bewegung der Arme und dadurch eine Schwierigkeiten, Objekte zu greifen. Bild [38] zeigt die Ungenauigkeit beim Greifen: Wegen des Zitterns des Menschen werden Objekte seiner Umgebung wechselweise zufällig gelb, d.h. bereit, gegriffen zu werden. Abbildung 2-36: Schwierigkeiten beim Greifen wegen des Zitterns 30

31 Auswertung(Qualitativ) Genauigkeit Geschwindigkeit Methode Bewegung Körperhaltung Zusammenfügen Die Einfachheit der Befehle Bis auf wenige Ausnahmen Beim Einfügen ist die zum Laufen ermöglicht eine ist die Genauigkeit gut, Genauigkeit ungenügend. perfekte Bewegung im außer wenn die Körperteile als Grund hierfür ist Raum des Simulanten überlagert ebenfalls die Überlagerung sind. der Körperteile zu nennen. Diese verursacht ein schlechtes Greifen der Objekte sowie ein ungenaues Zusammenfügen. Sehr schnell durch die Steuerung des Menschen mittels der Sprache. Durch die Stimme oder durch die Position der Arme ist die Methode für Bewegungen sehr einfach Tabelle 2-5 : qualitative Auswertung des Schritts 1 mit der kinect Sehr schnell durch die Steuerung des Menschen mittels seines eigenen Körpers (der des Simulanten). Der Befehl Posture ermöglicht ein leichtes Verfahren, um die Körperhaltung zu parametrieren. Sehr schnell durch die Steuerung des Menschen mittels Bewegungen des Simulanten in der Realität. Die Methode etwas zu greifen und zu fügen ist sehr einfach, da die Methode intuitiv durch die Steuerung mit der Stimme und dem Körper erfolgt. 31

32 Vergleich zwischen der Maus und der Kinect Maus Kinect Genauigkeit Zeitaufwand für die alleinige Parametrierung der Körperhaltungen: jeweils 10 Min. wenige Sekunden um den Befehl "Posture" mittels der Sprache auszuführen und die erwünschte Position zu erhalten Geschwindigkeit (Zeitaufwand) Zeitaufwand für Parametrierung des Pfades, der Vorposition (um Kollision mit dem Tisch zu vermeiden), des Greifens des Schaltgestänges (Position der Hände um das Objekt ) und Bewegung nach vorne rechts des Buggys mit dem Schaltgestänge : 30 Min Laufen zum Tisch, Greifen und Bringen das Schaltgestänges nach vorne rechts des Buggys : 7 Min Methode Zeitaufwand für Parametrierung des Fügens durch die Körperhaltung Knien und Bücken und für das korrektes Einfügen des Objektes (fein) : 35 Min Die Methode mit der Maus ist schwierig und zeitaufwendig. Die Körperhaltungen sind zufällig und lassen sich langsam parametrieren. Mit der Maus ist es nötig, mehrere Funktionen zu kombinieren. Um das Schaltgestänge in die Scheibenbremse einzufügen, muss gleichzeitig die Körperhaltung sowie auch die Bewegung des Objektes Schritt für Schritt des Objekts parametriert werden. Tabelle 2-6 : Vergleich des Versuches mit der Maus mit diesem mit der Kinect Zeitaufwand für Simulation des Fügens (Grob) : 5 Min Die Methode mit der Kinect ist im Gegensatz dazu einfacher, da sie intuitiv erfolgt. Die Kombination der Stimme und der Übertragung der Körperbewegungen ermöglicht eine schnelle und einfache Simulation. Die Kinect erlaubt die Bewegung mit dem Objekt, während der Mensch und der Simulant noch kniet und gebückt ist. Mit der Maus kann sich der Mensch nicht auf diese Weise bewegen. 32

33 Mit der Maus ist das Objekt perfekt ergriffen. Die Händeposition entspricht genau der Objektform wegen der präzisen Parametrierung von der Funktion grasp wizard. Diese Funktion erfolgt durch die Positionierung der Hand auf dem Objekt. Die Genauigkeit dieser Funktion erlaubt, die Form des Objekts zu berücksichtigen. Mit der Kinect kann eine solche Genauigkeit nicht erreicht werden. Die Kinect erlaubt nur eine Armsteuerung und keine Handsteuerung und daher ist das Greifen des Objekts viel ungenauer. Mit der Maus kann man das Objekt an der gewünschten Stelle angreifen. Mit der Kinect ist es nicht möglich, weil das Greifen zufällig passiert. Für eine solche präzise Bewegung ist die Verwendung der Kinect schlecht und daher zittert der modellierte Mensch. Die Überkreuzung von Körperteilen verursacht eine schlechte Bewegungserkennung von der Kinect und damit eine schlechte Positionierung des Objekts in die Scheibenbremse. Die Ausführung mit der Maus beansprucht viel Zeit, weil verschiedenen Funktionen kombiniert werden müssen, so dass Jack mit dem Objekt zu dem gewünschten Punkt lauft, sich knien muss um das Objekt zu greifen. Die Körperhaltung muss parametriert werden und das Objekt muss gleichzeitig eingefügt werden. Die Parametrierung besteht aus der Festlegung aller Gelenken, die nicht gebraucht werden. Hier werden das Knien parametriert. Dann wird ein Körperteil zufällig gewählt, um den Menschen nach unten auf der Achse Z zu ziehen. Mit der Kinect kann jeder Befehl mit der Stimme stattfinden und die Bewegungsübertragung kann direkt durchgeführt werden. Vor der Versuchsausführung habe Ich die Körperhaltung unabhängig von der Umgebung parametriert, um die Zeit und die Schwierigkeiten auszuwerten und um die Methode zu optimieren. Für jede Körperhaltung hat es 10 Minuten gedauert, weil die Parametrierung von jedem Körperteil zeitaufwändig ist. Mit der Kinect hat es mir nur wenigen Sekunden gekostet. Der komplett Versuch hat mit der Maus eine Stunde gedauert und mit der Kinect 15 Minuten. Die sehr schwere Methode mit der Maus erfordert, verschiedene Aktionen gleichzeitig durchzuführen. Dadurch ist die Parametrierung langsam, zufällig und schwierig. Mit der Kinect ist die Methode einfach und intuitiv und daher ist der Zeitaufwand sehr kleiner. 33

34 Schritt 2: Das Schaltgestänge von unten in den Motor einfügen. Beschreibung der Ausführung mit der Maus Laufen Ziel dieses Schrittes ist es, eine Handlung mit den Armen über den Kopf zu realisieren. Hierfür wird für die Logik der Studie der Buggy nach oben gezogen, sodass der Mensch darunter steht und von unten arbeiten kann. Hier wird eine Lauf-Bewegung benutzt, mit dem Ziel, den Mensch unter dem Buggy zu platzieren. Anstatt die verschiedenen Etappen des Pfades zufällig zu speichern, werden in diesem Fall bestimmte Koordinaten eingetragen. Dadurch wird der Mensch genau unter der Achse positioniert. Abbildung 2-37:Hinteransicht des Einfügens des Schaltgestänges MTM Zyklus Hinfassen (mit Körperhaltung überkopf) Der Mensch befindet sich jetzt unter der Achse, bereit, das Schaltgestänge zu greifen. Um die Kollision zwischen den Elementen der Achse und dem Menschen zu vermeiden, wird zuerst die Kollisionserkennung parametriert und eingeschaltet. Anschließend wird die Körperhaltung des Menschen so eingestellt, dass die Arme nicht mit einem der Elemente zusammenstoßen. Dafür wird Schritt für Schritt die Position bestimmt. Das Bewegungsprinzip mit der Funktion Sequence Editor beruht darauf, direkt vom Startpunkt bis zum Endpunkt zu laufen. Deswegen sollen die Positionen so parametriert werden, dass während des Ablaufs kein Hindernis im Weg steht. Unter diesem Gesichtspunkt werden somit die Arme mit verschiedenen Höhen und Abständen auf X- und Y-Achse positioniert. 34

35 Abbildung 2-38: Positionierung der Arme Greifen Die Arme sind positioniert, um das Schalgestänge richtig zu greifen. Es wird für eine präzise Handhabung die Funktion Grasp Wizard benutzt, welche die Weise des Griffs einstellbar macht. Bringen-Fügen Abbildung 2-39: Greifen des Schaltgestänges mit der Maus Das Schaltgestänge wird von beiden Seiten gegriffen und von unten angefügt. Das Fügen in diesem Schritt ist nicht kompliziert, weil es lediglich eine Verschiebung um eine Achse im Motor darstellt. In diesem Fall wird keine Bewegung im Raum sowie kein anspruchsvolle Auslagerung des Teils in der Umgebung umgesetzt. Damit hat der Mensch keine schwierige Position zu parametrieren. Loslassen Das Loslassen ist eine Bewegung der Arme, die aus verschiedenen einzelnen Körperhaltungen besteht. Die Armen werden schrittweise vom Schaltgestänge entfernt. Dadurch werden Kollisionen vermeiden. 35

36 Probleme oder Schwierigkeiten Zwei Probleme sind aufgetreten: Zunächst war der Mensch an die richtigen Position zu bewegen, um eine ausreichende Erreichbarkeit zu erzielen und den Buggy an die Kopfebene des Menschen anzunähern (dies wird anders herum realisiert, d.h. der Mensch wird herunter bewegt). Die Körperhaltung war gut parametrierbar, jedoch konnte mit dem Tool Sichtfeld des Menschen festgestellt werden, dass der Mensch den Handhabungsvorgang nicht sehen kann. Deshalb ist er nicht gut positioniert und die Erreichbarkeit nicht getestet. Desweiteren ist die Bewegung beim Laufen unter den Buggy nicht ganz fehlerfrei. Zwar macht der Mensch eine Runde, bevor er sich hinunter bewegt. Deshalb war es nicht möglich, ihn direkt auf den Z-Achse zu bewegen, weil er zunächst auf der X-Achse und erst danach auf der Z-Achse läuft. Lösungen Für die falsche Positionierung des Menschen wird eine neue Position parametriert, in der die Hindernisse der Umgebung berücksichtigt werden. In diesem Fall würde einfach die Position verschoben. Die gleiche Lösung bietet sich für die Bewegung an: Es wird berücksichtigt, dass es nicht möglich ist, direkt auf der Z-Achse zu laufen und statt dessen ein neuer Weg programmiert. Auswertung Genauigkeit Geschwindigkeit Methode Bewegung Körperhaltung Fügen Bewegung ist nicht sehr Die Körperhaltung ist In diesem Schritt entstehen genau wegen der einfach parametriert und keine Probleme. Die Frage Unmöglichkeit, sich auf der verfügt über eine hohe der Genauigkeit wird nur Z-Achse zu bewegen. Der Genauigkeit. Die Arme und bei der Endposition gestellt, Mensch irrt umher, bevor er die Haltung sind präzise jedoch ist die Endposition runtergeht. positioniert. nicht sehr deutlich zu erkennen. Sehr schnell durchgeführt. Ziel ist, Koordinaten einzutragen. Methode ist einfach: Funktion "Path Creator" öffnen und damit Pfade kreieren. Es wird schnell parametriert wegen der einfachen Einstellbarkeit. Keine Schwierigkeit in diesem Schritt. Sehr einfach. Es wird die Funktion "Human Posturing" benutzt. Die Körperhaltung wird nur mit der Bewegung der Arme erzielt. Schnell, da das Fügen sehr kurz und einfach ist. Das Fügen besteht aus einer kurzen Verschiebung des Schaltgestänges auf der Y- Achse. Dadurch ist die Methode sehr einfach. Tabelle 2-7: qualitative Auswertung des Schritts 2 mit der Maus 36

37 Beschreibung der Ausführung mit der Kinect MTM Zyklus Hinfassen (mit Körperhaltung überkopf) Dafür wird die Körperhaltung des Simulants mit der Kinect übertragen. Er wird mit seinen Armen über seinem Kopf das Schaltgestänge handhaben, um es in dem Motor einzufügen. Greifen Der Simulant erreicht das Fügen durch den Befehl Enable grasping und Grasp. Die Sichtfeld- Ansicht erlaubt dem Simulant zu visualisieren, was der modellierte Mensch sieht. Es erlaubt auch, die Erreichbarkeit oder Kollisionen mit der Umgebung zu testen. Bild[42] zeigt die Sichtfeld-Ansicht. Bringen-Fügen Abbildung 2-40: Einfügen des Schaltgestänges in den Motor (Jacks Ansicht) Das Schaltgestänge wird gegriffen und von unten angefügt Abbildung 2-41: Einfügen des Schaltgestänges in den Motor 37

38 Loslassen Das Loslassen erfolgt durch den Befehl Release Object. Der Mensch wird in seine originale Position (Bodenebene) zurückgebracht. Probleme oder Schwierigkeiten Dieser Schritt war schnell und einfach auszuführen. Das Loslassen und das Fügen sind jedoch etwas ungenau. Sonst hat dieser Schritt keine Probleme bereitet. Auswertung (Qualitativ) Genauigkeit Geschwindigkeit Methode Körperhaltung Fügen Diese Körperhaltung besteht Das Fügen ist nicht sehr genau wegen des ungenauen nur aus der Bewegung der Loslassens und des kleinen Raums, in dem der Simulant Arme über den Kopf. das Schaltgestänge manipulieren muss. Deswegen ist die Position Die Sichtbarkeit ist ebenfalls nicht optimal. (Sichtfeld einfach zu simulieren. eingeschränkt). Es wird schnell simuliert. Die Methode ist intutiv. Die Körperhaltung erfolgt durch die Übertragung der Bewegungen des Simulanten. Tabelle 2-8: qualitative Auswertung des Schritts 2 mit der kinect Es wird schnell simuliert. Die Methode ist einfach für grobes Fügen. Für komplizierteres Fügen ist die Methode nicht mehr ausreichend. Die Ungenauigkeit des Sensors der Kamera ermöglicht kein präzises Fügen (Handsteuerung nicht möglich, Überlagerung der Körperteile). Vergleich zwischen Steuerung mit der Maus und der Kinect Maus Kinect Genauigkeit Geschwindigkeit (Zeitaufwand) Zeitaufwand für Parametrierung des Pfades, der Körperhaltung und des Fügens : 35 Min Zeitaufwand für Aufnahme der Bewegung, Körperhaltung und Fügen : 7 Min Methode Die Methode mit der Maus bringt gute Ergebnisse bezüglich der Genauigkeit. Die Funktion Human Posturing ermöglicht Schritt für Schritt kollisionsfreies Greifen. Im Gegensatz zur Verwendung der Kinect langsam. Tabelle 2-9 : Vergleich des Versuches mit der Maus mit diesem mit der Kinect Die Befehlskombination erlaubt eine einfache und schnelle Simulation. 38

39 Die Ausführung mit der Maus erlaubt ein sehr präzises Einfügen durch ein perfektes Greifen. Die Maus erlaubt die Parametrierung von den Armen, sodass sie schrittweise zu der gewünschten Position geführt, ohne die Umgebung kollidieren. Die Armen werden auf jede Seite gebracht und die Hände werden so eingesetzt, dass sie die Schaltgestänge perfekt greifen werden. Das Einfügen in den Motor ist einfach. Es ist nur eine Verschiebung in einer Richtung. Das Ergebnis ist sehr gut, weil die Körperhaltung und das Einfügen nicht sehr schwierig zu parametrieren waren. Mit der Kinect ist das Greifen nicht so genau als mit der Maus. Die Hände können nicht kontrolliert werden, und daher passt die Händeposition nicht mit der Form des Objekts an. Das Ergebnis ist auch unpräzis. Das Einfügen war einfach mit der Maus wegen der Bewegungsart, die nur eine Verschiebung in einer Richtung ist. Mit der Maus ist die Verschiebung sehr einfach aber mit den Armen vor der Kamera nicht so intuitiv. Mit der Maus wird es einfach, die Kollision zu vermeiden. Mit der Kinect werden die Armen mit der Umgebung zusammenstoßen. Die Parametrierung mit der Maus beansprucht viel mehr Zeit als mit der Kinect. Mit der Maus dauert die Parametrierung 35 Minuten und mit der Kinect 7 Minuten. Die Simulation mithilfe der Kamera ist sehr schnell und damit sind die Körperhaltung und das Fassen intuitiver. Die Parametrierung der Maus erlaubt ein kollisionsfreies Fassen. Die Funktion Vision Window in Verbindung mit der Kinect erlaubt eine bessere Sicht über die Situation. Der Simulant sieht die Situation von oben und die Mitarbeitersicht und damit können Kollisionen vermieden werden, und das Schaltgestänge besser in den Motor eingefügt werden. 39

40 Schritt 3: In dem Lenkungsraum sich vorbeugen, in der Absicht das Lenkrad hinzufügen. Beschreibung der Ausführung mit der Maus Laufen Um das Lenkrad hinzuzufügen, soll der Mensch das Teil an dem anderen Tisch greifen. Dafür wird ein neuer Pfad durch die Funktion Path creator hergestellt. Die aufeinanderfolgenden Phasen des Pfads werden gespeichert. Der Mensch muss genügend nah am Tisch sein, um das Teil einfach greifen zu können, aber nicht so nah, dass er gegen den Tisch nicht prallt. In diesem Fall wird, wegen der Größe des Teils, das Lenkrad an der Tischecke abgelegt. Somit wird das Greifen einfacher. MTM-Zyklus Hinlangen Der Mensch steht jetzt vor dem Tisch, bereit, das Lenkrad zu greifen. Wie in dem ersten Fall wird ein Kollisionsset erstellt und eingeschaltet, um die Kollision zwischen dem Mensch und dem Tisch zu vermeiden. Dann wird die Positionierung des Menschen so eingestellt, dass die Arme nicht mit dem Tisch zusammenstoßen. Die Arme werden schrittweise in die Nähe des Lenkrades bewegt. Die Näherung wird wie die vorangehenden Schritte sehr langsam parametriert, und ermöglicht den Armen durch verschiedene Höhen und Verschiebungen auf der X- und Y-Achse den gewünschten Ort ohne Kollision zu erreichen. Greifen Das Greifen erfolgt durch die Funktion Grasp wizard. Es wird das volle Handgreifen angewählt (Siehe Abbildung [44]), um ein wirksames Greifen zu ermöglichen. Bevor der Mensch das Teil an den Arbeitsplatz bringt, wird er das Lenkrad anheben. Dadurch wird die Depositionierung einfacher und das Tragen ergonomischer. Abbildung 2-42: Greifen des Lenkrads mit der Maus 40

41 Bringen (durch Gehen und Umdrehen) Die nächste Etappe ist die Depositionierung eines Objektes über Bewegungen des Menschen. Es erfolgt durch die Funktion place Object. In diesem Fall wird es probiert, das Umdrehen auf eine andere Weise durchzuführen. Alle Gelenke des Oberkörpers werden durch die Funktion Human Posturing festgelegt, so dass die Beine und Füße der Bewegung des Torsos folgen werden. Siehe Abbildung [45]. Abbildung 2-43: Kombination der Funktionen «Human Posturing» und «Place Objekt» Der Mensch wird so das Teil zum Lenkungsraum des Buggys bringen. Jetzt soll der Mensch das Lenkrad auf die Lenksäule anfügen. Dafür soll er sich nach vorne beugen bis zur Höhe der Lenksäule, und sich umdrehen, bis er die Lenksäule erreicht. Fügen (mit Körperhaltung: vorbeugen) Es wird die Funktion Place Object benutzt. Langsam wird der Mensch mit dem Lenkrad an die Lenksäule heran kommen. Dafür wird er sich vorbeugen. In dem Fenster Human Posturing wird die Körperhaltung parametriert. Es wird der obere Torso gesteuert, mit dem Ziel, den Menschen nach vorne zu beugen. Danach soll er sich so umdrehen, dass er genau platziert ist, um das Fügen durchzuführen. Die Abbildungen [46] und [47] stellen diese Position dar. Abbildung 2-44:Hinteransicht der Position des Fügens Abbildung 2-45: Vorderansicht der Position des Fügen 41