Feedback Devices. Sebastian Mundry Benjamin Gorny Gregor Stanik Nico Thiemann

Transkript

1 Autoren: Maren Schröter Sebastian Mundry Benjamin Gorny Gregor Stanik Nico Thiemann

2 Gliederung Allgemeines/Definition Haptik Entwicklung/Forschung Medizin Entertainment 2

3 Allgemeines/Definition Sebastian Mundry

4 Allgemeines Definition "" Visuelles Feedback Akustisches Feedback Haptisches Feedback Entwicklung des haptischen Feedbacks de/~tpfeiffe/lehre/virtualreality/virtuelle_realitaet_ws2011/images/04 Sensable_Phantom_OMNI.jpg de/p/230x230/o/samsung_ga 4

5 Definition "" Geben dem Nutzer Reaktionen auf seine Eingaben Reaktion kann akustischen, visuell oder haptischen sein 5

6 Visuelles Feedback Mithilfe von Displays werden die Reaktionen in Form von Text Bildern oder Animationenen dargestellt Displays: Fernseher, Head-Mounted Displays PC-Bildschirme u.a. org/wikipedia/commons/b/bd/emaginz jpg de/p/230x230/v/samsung_syncmaster 6

7 Akustisches Feedback passende Geräusche werden durch Lautsprecher oder Kopfhörer an den Nutzer weitergegeben 7

8 Haptisches Feedback auch "Force Feedback" Fühlen von Kräften in der virtuellen Realität zwei Arten des haptischen Feedbacks kinästhetische Feedback Simulation von Kräften taktile Feedback mithilfe von Vibrationen de/p/230x230/o/samsung_ga de/p/450x450/n/thrustmaster_ png 8

9 Entwicklung des haptischen Feedbacks Seit frühem 20. Jh erforschen Psychophysiker die Berührungsformen des Menschen 70er/80er: Entwicklung von Robotern forciert den Wissensdrang 1993: MIT entwickelt PHANToM org/wikipedia/commons/e/ea/psychophysik.svg de/~tpfeiffe/lehre/virtualreality/virtuelle_re alitaet_ws2011/images/04 Sensable_Phantom_OMNI.jpg 9

10 Haptik in der Virtual Reality (VR) Nico Thiemann

11 Haptische Wahrnehmung in VRs unterteilt in 1. Berührungswahrnehmung (touch feedback) 2. Kraftwahrnehmung (force feedback) 11

12 Definition Berührungswahrnehmung Übermitteln von Echtzeit-Informationen bei Kontakt mit einem virtuellen Objekt seiner geometrischen Beschaffenheit, Struktur und Temperatur. Dabei fühlt der Nutzer keinen Widerstand, wenn er ein Objekt berührt und deshalb kann auch nicht verhindert werden, dass er durch die Oberfläche des virtuellen Objektes dringt 12

13 Definition Kraftwahrnehmung Übermitteln von Echtzeit-Informationen eines virtuellen Objektes über dessen Vorhandensein, seinem Gewicht oder auch seiner physikalischen Trägheit. Der Nutzer spürt einen Widerstand und kann bei starken Force-Feedback-Geräten sogar in seiner Bewegung gestoppt werden. 13

14 Haptische Wahrnehmung beim Menschen umfasst: Taktile Wahrnehmung Kinästhetische Wahrnehmung Temperaturwahrnehmung Schmerzwahrnehmung 14

15 Taktile Wahrnehmung Erklärung: Wahrnehmung von Reizen auf der Haut Übertragung: durch elektrische Signale (Impulse) die von Tastrezeptoren in den oberen Hautschichten an das Gehirn übermittelt werden 15

16 Kinästhetische Wahrnehmung Erklärung: Wahrnehmung von Bewegungen des menschlichen Körpers und seiner Lage im Raum bzw. der Position und Bewegung einzelner Körperteile Übertragung: durch elektrische Signale (Impulse) die von Propriozeptoren in Gelenken, Muskeln und Sehnen an das Gehirn übermittelt werden 16

17 Temperaturwahrnehmung Erklärung: Wahrnehmung der Umgebungstemperatur und der Körpertemperatur Übertragung: durch Thermorezeptoren in der Oberhaut (Kälte) und der Lederhaut (Wärme), die elektrische Impulse an das Gehirn übermitteln 17

18 Schmerzwahrnehmung Erklärung: Wahrnehmung von eintretenden oder drohenden Verletzungen des Körpergewebes Übertragung: durch elektrische Signale (Impulse) von Nozirezeptoren zum Gehirn, die als freie Nervenendigungen überall im menschlichen Körper auftreten 18

19 Wofür Geräte für haptisches Feedback in der VR? um wichtige sensorische Informationen an den Nutzer zu übermitteln, die ihm helfen Form, Gewicht und Beschaffenheit eines virtuellen Körpers zu ermitteln und ihn im Raum zu bewegen, um bestimmte Aufgaben zu lösen Verstärkung des realistischen Eindruckes einer Simulation hat besondere Bedeutung bei Einschränkungen der visuellen Wahrnehmung 19

20 Gerätebeispiel für taktile Wahrnehmung CyberTouch von CyberGlove Systems LLC mit Hilfe von vibro-taktilen Aktoren an jedem Finger und am Daumen können virtuelle Objekte erfühlt und bedient werden 20

21 Gerätebeispiel für taktile Wahrnehmung Touchscreen mit Textur Panel aus transparenten Elektroden auf Glas mit Isolationsschicht an der Fingerposition wird periodisch Spannung an die Elektroden angelegt, so dass der Nutzer das Gefühl hat er betätigt bspw. wirklich einen Knopf durch unterschiedliche Frequenzen werden verschiedene Texturen simuliert 21

22 Gerätebeispiel für Force Feedback PHANTOM DESKTOP von Geomagic, Sensable group mit diesem Gerät kann der Nutzer virtuelle Objekte auch in 3D bearbeiten. z.b. zur Erstellung von Prototypen, molekularer Modelle oder um den Zusammenbau einer Maschine etc. im virtuellen Raum zu trainieren 22

23 Entwicklung und Forschung Benjamin Gorny

24 3D Modelle mit FreeForm I 24

25 3D Modelle mit FreeForm II 35

26 Entwicklungs-APIs Chai3D (C++ Bibliotheken) H3DAPI (X3D, Python) OpenHaptics Tools von Sensable (Phantom) 26

27 in der Medizin Maren Schröter

28 in der Medizin Vorstellung von: Simulationen zur medizinischen Aus- und Weiterbildung Robotic Surgery Biofeedback 28

29 Simulationen zur medizinischen Aus- und Weiterbildung Gründe für die Notwendigkeit von Simulationen: Großer Wissenszuwachs im medizinischen Bereich Hohe Anzahl von Medizinstudenten Notwendigkeit von Trainingsstunden Training erhöht die Qualität Einfacher am Simulator zu Üben als am lebenden Objekt 29

30 VR-Trainingssimulators für Lumbalpunktionen mit elastischer Nadelverbiegung Normal erlernen der Technik am Patienten, unter Aufsicht eines Facharztes Erhöhtes Risiko für Patienten Erhöhter Stress für den Studenten Simulator hat haptisches Ein- und Ausgabegerät zur Steuerung von einer virtuellen Nadel Auskunft über Güte seiner Punktion 30

31 GUI des Trainingssimulator 31

32 Laerdal's Virtual IV 32

33 Robotic Surgery Möglichkeiten zur minimal invasiven Chirurgie Arzt sieht 3D High Definition-Bild des zu operierenden Gebietes aus dem Inneren des Patienten Bedient ein haptisches Feedback-Gerät Bewegungen werden von Software übersetzt und an den Slave weitergegeben Durchführung von Sicherheits-Checks OP-Instrumente haben größeren Freiheitsgrad 34

34 Da Vinci Surgical System Seite

35 Remote Surgery Der Operateur und sein Patient befinden sich nicht im selben Raum Für spezielle Operationen, die nur wenige Ärzte durchführen können Ersparnis von Reisen und Kosten Erstmals eingesetzt, als ein Ärzteteam in New York 2001 einer Frau in Strasbourg die Gallenblase entfernte 35

36 Biofeedback Körperliche Folgen von Stress laufen in der Regel ab, ohne dass die Betroffenen diese körperlichen Veränderungen bewusst wahrnehmen Dem Patienten werden eigene Körpersignale durch Computereinsatz zurückgemeldet Ziel ist gezielte Wahrnehmung und Beeinflussung körperlicher Prozesse 36

37 Beispiel Bluthochdruck Niemand kann Blutdruck bewusst wahrnehmen Wichtig für Patienten Blutdruck zu senken und Blutdruckspitzen zu vermeiden Durch Visualisierung kann gelernt werden, welche Methoden für den Patienten wirkungsvoll sind und welche nicht 37

38 Entertainment Gregor Stanik

39 Force Feedback Simulation eines Gefühls bei Interaktion mit einem Gegenstand Feedback über Widerstand oder Gegensteuern Anwendung: Joystick in Flugsimulator Lenkrad in Rennspiel 39

40 Beispiel Lenkrad Anpassung des Widerstands an Geschwindigkeit und Untergrund Kollision mit Gegner oder Hindernis führt zu Gegensteuern Durch Anpassen des Lenkwiderstands kann Unter- und Übersteuern simuliert werden Widerstand wird durch Motoren und Zahnräder realisiert Anpassen des Widerstands von Gas- und Bremspedalen an Spielsituation 40

41 Vibration Vibration bei Kollisionen mit Hindernissen und Gegnern Kann zur Nachbildung der Untergrundbeschaffenheit genutzt werden Vibration bei Schotterpiste, Kopfsteinpflaster, Verlassen der Strecke Dadurch realistischeres Spielgefühl 41

42 Vibration bei Controllern von Spielekonsolen In Controllern von Spielekonsolen als Standard etabliert: PlayStation 3: DualShock 3 Xbox 360 Controller Wii Remote com/images/1093/iqeizbdefleq.jpg org/wikipedia/commons/thumb/a/a9/ Wiimote.png/250px-Wiimote.png com/2012/06/xbox-360-controller.jpg Fußballspiel FIFA: Latten- und Pfostentreffer Vibration des Gamepads Beat em ups: Vibration bei Treffern 42

43 Touchscreen-Tastaturen bei Smartphones Vibration und Tippgeräusche signalisieren erkannte Bedienung Auditives und haptisches Feedback als Ersatz für physisch vorhandene Tasten Animationen unterstützen Feedback auf visueller Ebene Smartphones kombinieren haptisches auditives und visuelles Feedback 43

44 On Screen Displays Visuelles Feedback bei erfolgter Eingabe Zeigen nach Eingabe ausgeführte Aktion Lautstärkeänderung: Darstellung eines Balkens zur grafischen Darstellung der gewählten Lautstärke Kanalwechsel: Anzeige des laufenden Programms und Laufzeit Starten einer Aufnahme: Symbol für laufende Aufnahme wird eingeblendet 44

45 Simulator für Battlefield 3 Igloo Dome: 4m Hoch, 9m Durchmesser 45

46 Simulator für Battlefield 3 5 Beamer für 360 Projektion (180 sichtbar) 46

47 Simulator für Battlefield 3 Omnidirectional Treadmill zur Steuerung der Bewegung des Spielers im Raum se/resources/styles/nyhetsbild/public/nyhet/_dsc0101_omnidirectional_tread mill_1.jpg 47

48 Simulator für Battlefield 3 Erkennung von Bewegungen wie Springen, Ducken und Hinlegen über die Xbox Kinect Kamera 48

49 Simulator für Battlefield 3 Ambiente LED Lighting System : erkennt Farbänderungen der Anzeige und passt Beleuchtung an (800 LEDs) Beobachtet bestimmte Bildbereiche um Treffer zu erkennen 49

50 Simulator für Battlefield 3 Bei Treffern wird eine Paintballwaffe auf den Spieler abgefeuert je 3 aus 4 Richtungen Feedback bei Treffern Zu sehen unter: 50

51 Vielen Dank für die Aufmerksamkeit!

52 Quellen I (letzter Aufruf der Quellen: ) 52

53 Quellen II Grigore.C Burdea, Philippe Coiffet:"Virtual Technology, Second Edition", 2003 (letzter Aufruf der Quellen: ) 53

54 Quellen III Manfred Brill: "Virtuelle Realität", (letzter Aufruf der Quellen: ) 54