Augmentierte und virtuelle Realität - Weiterbildung und Training -

Transkript

1 Augmentierte und virtuelle Realität - Weiterbildung und Training - 1 / 33

2 Agenda für die 15:30 15:45 Begrüßung und Vorstellungsrunde (CITEC Raum 1.204) 15:45 16:30 Vortrag Virtuelle Realität für Weiterbildung und Training (CITEC Raum 1.204) 16:30 16:45 Kaffeepause 16:45 17:30 HandsOn Trainingssimulationen im Labor für Virtuelle Realität (0.113) 17:30 18:00 Diskussionsrunde Chancen und Einsatz von VR in der Weiterbildung 2 / 33

3 3 / 33

4 Überblick Virtuelle und Erweiterte Realität breitflächig verfügbar Immersives Storytelling 360 Videos 360-3D Videos 3D Simulationen für Virtuelles Training Beispiel SkillsLab Augmented Reality Handson Diskussion 4 / 33

5 Definition Virtuelle Realität Interaktiv erzeugte multimodale Sinneseindrücke 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden. - Thies Pfeiffer, 2017 Ziele Simulation von realen Umgebungen z.b. zum Training, zur Planung Simulation von virtuellen Prototypen z.b. zur Demonstration von Montage- oder Bedienprozessen Mehrbenutzersimulationen z.b. für virtuelle Meetings, lernen in Gruppen Entertainment/Edutainment 5 / 33

6 Definition Augmentierte/Erweiterte Realität Interaktiv erzeugte Synthese von multimodalen Sinneseindrücken 1. und 2. Ordnung, die von Menschen als solche 1. Ordnung wahrgenommen werden. - Thies Pfeiffer, 2017 Definition Kontextsensitive Systeme Systeme, die auf Basis verschiedener Sensoren und Datenquellen den aktuellen Nutzungskontext erkennen und ihr Verhalten entsprechend anpassen. - Thies Pfeiffer, 2017 Ziele Darstellung von virtuellen Prototypen (z.b. Designreview, Vertrieb) Darstellung von Arbeitsschritten am Objekt (z.b. Service, Bedienung) Erweiterung realer Objekte (z.b. durch Informationen/Anleitungen) Edutainment 6 / 33

7 Technologien Anzeige Oculus Rift CV1 HTC VIVE Google Cardboard Samsung GearVR Vuzix M100 Microsoft HoloLens Google Glass CAVE / L-Shapes 7 / 33 Epson Moverio BT-200 Meta 2 DK

8 Technologien Interaktion Tiefensensoren Motion Capturing Blickbewegung Spracherkennung Hand Tracking 3D Eingabegeräte Bildverarbeitung Texteingabe 8 / 33

9 Immersives Storytelling 9 / 33

10 Virtuelle Exkursionen Google EXPEDITIONS Wired, 15. November / 33

11 Virtuelle Exkursionen Google EXPEDITIONS Wired, 15. November / 33

12 360 Materialien erstellen Kompakte 2D 360 -Kamerasysteme sind im Konsumer-Bereich angekommen Bieten One-Shot Lösung Alternative: Apps, wie z.b. Cardboard Camera Vorteile Kein Kameramann notwendig, geringer technischer Aufwand Samsung Gear 360 Ricoh Theta S 12 / 33

13 Beispiel Panorama-Bild 13 / 33

14 3D Materialien erstellen CITEC Kamera-Rigg Marke Eigenbau 12 Kameras horizontal, Typ Xiaomi Yi Je 2 Kameras für Decke/Boden Paarweise Anordnung für Stereo-Effekt Pro Kamera 4:3 Auflösung 1600x1200 Panorama-Auflösung Theoretisch: 7200x3600 Praktisch: 3840x1920 Sinnvoll: 60 Hz wg. geringerem Versatz Nokia Ozo Beispiele CITEC 3D-360 Rigg Dreh 360 Karat 14 / 33

15 Einsatzbeispiele Cockpit-View SWISS Airbus A320 Virtuelle Touren Produktmarketing / Erklärfilm Eventfilm CITEC Workshop Virtuelle und Erweiterte Realität Interaktive Filmstory Nichtlinearer Film erlaubt die Abbildung von Entscheidungssituationen 15 / 33

16 3D Simulationen für Virtuelles Training 16 / 33

17 Fallbeispiel SkillsLab Ausgangspunkt Training in der realen Umgebung mit den realen Materialien und Geräten ist unabdingbar Training in der realen Umgebung ist aufwändig (Zeit, Ressourcen) Traditionelle Lernmaterialien können auf die Praxis nur bedingt vorbereiten Ziele Reduzierung der Ressourcennutzung Verbesserung der Flexibilität der Lernenden Erhöhung des Trainingsumfangs, z.b. Störfälle, mehr Varianten Ein Projekt von CITEC/Zentral Facility Labs und der FH Bielefeld/Pflege & Gesundheit. Ansatz Virtualisierung der Trainingsumgebung Vortraining der Prozesse (Handlungsschritte und abfolge) und der Entscheidungen 17 / 33

18 Fallbeispiel SkillsLab - Vorgehen Beteiligte Personen Fokusgruppe 3D Modellierer VR Spezialistin Lehrende P&G Student P&G Student P&G 18 / 33

19 Fallbeispiel SkillsLab Auswahl der Technologie Ziele Trainingszeit der Studierenden im SkillsLab für die Vorbereitung einer Infusion von 2-3h/Studierenden auf <1h reduzieren Kostengünstige Lösung angestrebt Flexible Lernzeiten ermöglichen Auswahl Virtuelle Realität, da so keine Präsenz im Labor notwendig ( Das SkillsLab für die Hostentasche ) Samsung GearVR oder Google Cardboard als VR-System Kostengünstig Apps könnten über Store verteilt werden Studierende nutzen das eigene Smartphone Samsung GearVR Google Cardboard 19 / 33

20 Fallbeispiel SkillsLab 20 / 33

21 Fallbeispiel SkillsLab Konzept 3D Modellierung 21 / 33

22 Fallbeispiel SkillsLab - Storyboards 22 / 33

23 Fallbeispiel SkillsLab Detailbeschreibung der Arbeitsschritte 23 / 33

24 Fallbeispiel SkillsLab Fertige Simulationsumgebung 24 / 33

25 Fallbeispiel SkillsLab Nutzerstudie / Evaluation 12 Probanden aus den Studiengängen Berufliche Bildung Pflege (BBP) Gesundheits- und Krankenpflege (GKP) Feedback Gute Steuermöglichkeit Alle sind mit der Gear VR zurecht gekommen Alle fanden die Grafik angemessen oder überwiegend angemessen Alle fanden, dass der Ablauf der Übung der realen Aufgabe entspricht 11 von 12 fanden die Anschaulichkeit besser als mittels Video Dieselbe Anzahl empfand die virtuelle Übung als vergleichbar mit der praktischen Alle bewerteten das virtuelle Training als gute Vorbereitung Besonders betont wurde Motivation und Innovation Aber: Darstellung der eigenen Hände vermisst 25 / 33

26 Fallbeispiel SkillsLab 26 / 33

27 Fallbeispiel SkillsLab Nächste Schritte Umsetzung auf die HTC Vive Interaktion mit Händen möglich Studie zur tatsächlichen Reduktion der Trainingszeit Vergleich zwischen Gruppe mit VR Vortraining mit Video Vortraining ohne Vortraining Bisheriger Aufwand: 24 Mannwochen (BA Studierende) Design/Konzeption/Requirements Prozessmodellierung 3D Modellierung (from scratch) Umsetzung GearVR, Cardboard, HTC Studien 27 / 33

28 Beispiele für Virtuelle Trainings (Android) VirtualSpeech Google Cardboard App Training für Vorträge vor Publikum (App ) into VR Hospital Demo Entscheidungstraining in Krankenhaussituationen Sport Training XcelVR training for football Sport Training für Football EON Sports VR Wissensvermittlung & Gamification InCell VR (Cardboard) Titans of Space Cardboard VR Google Cardboard 28 / 33

29 Augmented Reality 29 / 33

30 BMBF Projekt ADAMAAS Ziel: AR-basiertes Assistenzsystem in Alltagssituationen für Personen mit Beeinträchtigungen Projektmanagement Prof. Dr. Thomas Schack, Dr. Kai Essig, Prof. Dr. Helge Ritter, Dr. Sven Wachsmuth, Dr. Arnd Rose 30 / 33

31 Augmented Reality Service App Projekt unseres Kooperationspartners Neuland- Medien im Transferprojekt VIPEXP Kunde: Kraft Maschinenbau GmbH Rietberg-Mastholte Kraft Maschinenbau GmbH Rietberg-Mastholte 31 / 33

32 Kraft Maschinenbau AR Anwendung 32 / 33

33 HandsOn im Labor / 33