Whitepaper Collaborative Virtual Engineering Techniken, Prozesse, Nutzen

Transkript

1 Whitepaper Techniken, Prozesse, Nutzen von Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. Virtual Dimension Center VDC 1

2 Das Umfeld: ausgeprägte Arbeitsteiligkeit verteiltes Arbeiten multidisziplinäres Arbeiten Engineering-around-the-clock / around-the-globe bereichsspezifische Ziele bereichsspezifisches Wissen Knowhow als undokumentiertes Erfahrungswissen Problematik verschärft mit Projektdauer und -komplexität Beispiel [Quelle: Munroe & Associates] 2

3 Sachprobleme in der Entwicklung [Eversheim 1995] ungenaue Zielvorgaben Overengineering fehlende Projektplanung Schnittstellenvielfalt Informationsdefizite Intransparenz der Abläufe starke Interdependenzen zwischen Vorgängen viele rückgekoppelte Prozesse unterschiedliche Lebenszyklen Produkt-Fabrik erfordern integrative Planung Aber: Über 50% der Probleme in Produktentwicklungen sind auf Verhaltens- und nicht auf Sachprobleme zurückzuführen Bild: Institut für industrielle Fertigung und Fabrikbetrieb, Universität Stuttgart 3

4 Größte Verhaltensprobleme im Verlauf der Produktentstehung [Eversheim 1995] mangelndes Verantwortungsbewusstsein umständliche Entscheidungsfindung ungenügendes Kommunikationsverhalten fehlende Team- und Kritikfähigkeit Hierarchie- und Abteilungsdenken starke Funktionsorientierung Bild: Eversheim 1995, S. 5 4

5 Über die Bedeutung von Kommunikation nach Studie Contact VDI Fh-IPK 2013 [Müller 2013] Bild: VDC Bild: VDC Studie Kollaborative Produktentwicklung und digitale Werkzeuge von Contact Software, VDI und Fraunhofer IPK, 2013 [Müller 2013] 5

6 Virtual Engineering [Bullinger, 2002] Unterstützung von Entwicklungsprozessen mit Hilfe digitaler, dreidimensionaler Modelle Zielsetzungen schnelle Entwicklungszyklen als aktives Prozesselement frühes Ergebnisfeedback Betonung früher Entwicklungsphasen Entwicklung alternativer Produktkonzepte Spezifikation des Produkts zu entscheiden Bild: Eversheim 1995, S. 11 zentrale Bedeutung: die Design Reviews 6

7 Untersuchungsobjekte Designreviews In Designreviews müssen folgende Teilegruppen und Ereignisse betrachtet werden [Krottmeier 1995]: Sicherheitskritische Bauteile, Baugruppen und Produktfunktionen kritische Bauteile, Baugruppen und Produktfunktionen laut FMEA bedeutende Bauteile, Baugruppen und Produktfunktionen laut QFD Bauteile, Baugruppen und Produktfunktionen, die in der Vergangenheit Probleme bereitet haben Freigabestufen [Krottmeier 1995]: Softwarephase Projektanstoss (PA) Lastenheft (LH) Konstruktionsfreigabe (K) Planungsfreigabe (P) Hardwarephase Versuchsfreigabe (V) Beschaffungsfreigabe (B) Dispositionsfreigabe (D) Serienfreigabe (SF) 7

8 Vorteile 3D universelle Sprache Abläufe und Prozesse darstellbar intuitiv begreifbar, je nach Ausgestaltung nah an der Realität die Umgebung kann in Echtzeit mit anderen geteilt werden auch über Distanz ; die Wahrnehmung der anderen ist erkennbar Behandlung von explizitem und implizitem Wissen möglich Einzelaspekte der Kooperationsunterstützung Integration Daten, Distanz, Fachgrenzen, Zeit Essentiell: Vertrauen in die Gültigkeit der Modelle! heiliger Datenmaster intensiv zu pflegen Bild: Eversheim 1995, S. 17 8

9 Wissensmanagement in Virtuellen Umgebungen Wissensarten in Virtuellen Umgebungen: Positionswissen: was ist wo? Strukturwissen: wie hängt was zusammen? Verhaltenswissen: wie verhält sich das System? Wie verhalte ich mich? Prozedurwissen: welche Abläufe bewirken was? Möglichkeiten des Lernens in Virtuellen Umgebungen: räumliches Explorieren konzeptuelles Lernen Erlernen motorischer Fähigkeiten prozedurales Lernen Bild: Fh-IPA Bild: Fh-IPA Bild: HS Mannheim Training Bedienung Steuerung in Bergwerk Test Werkzeugeinsatz Explorieren Cockpit Landmaschine 9

10 Grundlagen Virtual Engineering Planungstische Große Displays Kollaborative AR Verteilte VEs Anwendungen Zusammenfassung Virtual & Augmented Environments for Concurrent Engineering Technische Möglichkeiten: Planungstische große Displays kollaborative Augmented Reality (AR) verteilte Virtuelle Umgebungen Fabrikplanungstisch Bild: Fh-IPA Bild: VDC Powerwall Avatare in verteilter 3D-Umgebung Bild: VDC Bild: Fh-FIT AR-Roundtable 10

11 Planungstische gleichzeitig verknüpfte 2D- und 3D-Sicht (sinnvoll einsetzbar bei 2D-3D-Problem) Projektion auf Tischfläche und an Wand/Leinwand Mehrbenutzer-System z. T. Klötzchen als Interaktionsmetaphern oder Touch-Screen gleichzeitig Layout und Perspektive Bild: Microsoft Θ Interaktion über Kopf z. T. nicht gelöst Θ Eingabe Buchstaben & Zahlen? Bild: Fh-IPA Bild: VDC Bild: Fh-IPA Schema Fabrikplanungstisch: 2 Projektionen, IR-Kamera Arbeit am Planungstisch: OP-Anordnungsplanung Interaktion: Touch (links) oder IR-getrackte Bricks (rechts) 11

12 Große Displays Powerwalls DAS industrielle Standardsystem nahezu beliebig skalierbar Auflösung nahezu beliebig geeignet für Gruppenbesprechungen Θ u.u. Installation & Wartung CAVEs Zur Einnahme einer Innenperspektive hohe Immersion Θ prinzipiell Einzelnutzersystem (wg. Head Tracking): max. Kleinstgruppen Θ Installation, Wartung Θ Platzbedarf, Kosten Bild: Imsys Bild: Fh-IPA Bild: Visenso Powerwall Imsys scale XL mit 41 Mio. Pixeln auf 5.5 x 2.2m Mehrwand- Projektionssystem CAVE Interaktion über Menüs an einer Projektion 12

13 Große Displays 1-Kanal Workbench für Produktuntersuchungen für 2-4 Personen kompakt, mechan. Tracking Θ Verfügbarkeit Bild: Barco Barco Baron 2-Kanal-Workbench ( HoloBench ) für Produktuntersuchungen für 2-4 Personen sehr großes Sichtfeld abgedeckt Θ z.t. große Abmessungen Θ Verfügbarkeit Bild: Fh-IPA Bild: Barco Barco Consul Arbeit an einer HoloBench 13

14 Große Displays Flat angled Systems (Gewinkelte Wand) Kompromiss zwischen CAVE u. Powerwall je nach Größe für Gruppen geeignet relativ gute Immersion relativ einfach einzurichten Θ leichte Verzerrungen an den Kanten für Nicht-Getrackte Curved Screens (Sphärische Displays) zylinder- /torusförmige Projektionsfläche aufgrund Größe für Kleinstgruppen gute Immersion Θ schwierige Installation wg. Verzerrungen, Überblendungen (Edge Blending) Bild: Barco Bild: Meta VR Bild: Barco Designreview bei Miele Joint Terminal Attack Controller Training Rehearsal System JTAC Flugsimulator der israelischen Luftwaffe 14

15 Große Displays: aktuelle Entwicklungen Display-Wand mit Lentikular-Systemen (autostereoskopisches Verfahren) Richtungsmultiplex Mehrbenutzer-fähig keine Brille keine Kalibrierung skalierbar Θ fixe, optimale Sichtbereiche Θ optimale Sichtentfernung festgelegt Θ spezielle Software Θ reduzierte Auflösung Θ Stege Bild: University of Illinois at Chicago Bild: Bild: Tridelity Gekacheltes, autostereoskopisches Display Schematische Darstellung des Verfahrens Illustration Wirkungsweise 15

16 Multi-Viewer Stereo Problem aller immersiven Anwendungen: Headtracking verschafft nur 1 Person ein korrektes Bild Bewegungsparallaxe, fortschreitendes Zu- und Aufdecken: Tiefenkriterium Mehrbenutzer-Head Tracking: verschiedene Sichten für verschiedene Betrachterpositionen müssen angezeigt und getrennt werden Verwendung vieler Zeitschlitze oder Kombination Polfilter-Zeitmultiplex (bislang nur für Projektionssysteme) Head Tracking für viele Benutzer Θ Helligkeitsverlust, technischer Aufwand Bild: Universität Weimar, Fh-IAO Bild: Universität Weimar, Fh-IAO Bild: Uni Weimar Verschiedene Perspektiven aufgrund verschiedener Standpunkte Sicht auf das Projektionssystem: 2 Perspektiven aufgrund 2 verschiedener Standpunkte 6 separat getrackte Betrachter vor Powerwall 16

17 Grundlagen Virtual Engineering Planungstische Große Displays Kollaborative AR Verteilte VEs Anwendungen Zusammenfassung Kollaborative Augmented Reality (AR) AR: Überlagerung Sicht mit Computergrafik Kontext-Sensitivität; 3D oder Alphanumerik Funktionen Konsistenz-Checks digitales Modell phys. Welt Anleitung, Anweisung, Prozessunterstützung Marketing, Unterhaltung Visualisierung Zeitversatz Generierung eines gemeinsamen Arbeitsraums mittels AR über gemeinsame Referenzierung Kollaborationsfunktion per se räumliche Verteilung möglich Θ Realisierungen noch prototypisch Bilder: National Geographic Bild: TU Wien Bild: National Geographic Gemeinsamer AR-Arbeitsraum mittels Head Mounted Displays Gemeinsamer AR-Arbeitsraum mittels Smart Phones AR mit Geo- Referenzierung denkbar 17

18 Verteilte Virtuelle Umgebungen [Distributed Virtual Environments DVEs] sind virtuelle Umgebungen, in denen mehrere Anwender miteinander in Echtzeit interagieren Teilnehmer können durch Avatare repräsentiert sein neben Avataren können auch autonome Agenten anwesend sein Teilnehmer können miteinander kommunizieren (sprachlich, gestisch) Interaktion mit anderen Teilnehmern oder virtuellen Objekten Bild: Fh-IPA Bild: Uni Hannover Bild: ESI-Ic:ido Nutzer und Avatar stehen sich in CAVE gegenüber Video-Conferencing in 3D-Umgebung Brillen-Metapher: andere Teilnehmer werden lediglich über deren Brillen dargestellt 18

19 Verteilte Virtuelle Umgebungen Fundamentale Konzepte Latenz: Verzögerung, mit der gesendete Daten beim Empfänger ankommen Bandbreite: Menge der Daten, die pro Zeiteinheit übertragen werden können Verlässlichkeit: Verlust, Korruption, Einsehbarkeit Netzwerkprotokoll Client-Server-Architektur Client-Server-Architektur mit mehreren Servern Netzwerkarchitekturen Nadelöhre Skalierbarkeit lokale Intelligenz, gezielte Multicasts Peer-to-Peer-Architektur 19

20 Verteilte Virtuelle Umgebungen: Zustandsverwaltung Kernidee: alle Teilnehmer in gleicher Umgebung anwesend, Zustand muss für alle Teilnehmer konsistent sein Information wird auf einem Host erzeugt und auf einem anderen gespiegelt durch Latenz bei der Übertragung kann Information schon veraltet sein ohne Synchronisation kann gespiegelter Information nur eingeschränkt vertraut werden konsistente Zustände können nur durch Synchronisation erreicht werden, aber diese nur durch Verzicht auf hohe Update-Raten -> Widerspruch zwischen Schnelligkeit und Konsistenz demnach sind verteilte virtuelle Umgebungen entweder dynamische Welten mit schnellen Änderungen oder konsistente Welten, die allen Hosts identische Informationen bereitstellen 3 Ansätze zur Zustandsverwaltung: - Zentrale Informationshaltung - Hochfrequente Informationsverteilung - Zustandsvorhersage (Dead Reckoning) 20

21 Verteilte Virtuelle Umgebungen: Zustandsverwaltung 1. Zentrale Informationshaltung: Zustand der virtuellen Umgebung wird zentral verwaltet Schreibzugriff synchronisiert Zentrale ist das Nadelöhr, kann aber auch gezielt verteilen 2. Hochfrequente Informationsverteilung Ziel: schnelle Updates auf Kosten der netzwerkweiten Konsistenz Zustände aller Hosts werden vollständig und häufig an alle anderen Hosts geschickt Problem: Verhindern, dass mehrere Hosts gleichzeitig dasselbe Objekt manipulieren (z.b. über Lock-Manager) 21

22 Verteilte Virtuelle Umgebungen: Zustandsverwaltung 3. Zustandsvorhersage Idee: jeder Host konstruiert Approximationen des tatsächlichen Zustands zwischen Updates 2 Phasen: Vorhersage (Dead Reckoning) und Konvergenz (in den tatsächlichen Zustand) nach Update Nutzung von Gesetzen der Physik, Kollisionserkennung Weitere Techniken High-Level-Animation - starten lokaler Animation - bei eher irrelevanten Animationen (z.b. Flammen, Flüssigkeiten, Laub) Rendering-bezogen - Aufteilung in virtuelle Räume. Nur Zustandsänderungen im selben Raum sind von Interesse (Area of Interest-Management) - Level-of-Detail: weit entfernte Objekte in geringer Auflösung darstellen Optimierung des Kommunikationsprotokolls: Kompression, Zusammenfassung von Nachrichten Dynamische Netzwerk-Architektur: je nach Bedarf Client-Server oder Peer-to-Peer 22

23 Verteilte Virtuelle Umgebungen: Kriterien Anzahl Benutzer Latenz, Konsistenz Hardware-Kompatibilität Annotationen, Multimedia, Telefonie, Videokonferenz Dokumentation Arbeitsergebnisse zeitversetzte Kooperation: Möglichkeit zum Abspeichern und Wiederaufrufen von Arbeitsergebnissen Einhaltung Regeln/Empfehlungen des User Interface Designs Bild: ESI-Ic:ido Bild: VDC Schematische Darstellung des verteilten Virtuellen Engineerings Video-Stream als dynamische Textur Bild: Visenso Planungsbüro mit vielerlei Multimedia-Systemen 23

24 Weitere Kriterien von CVEs Manninen [Manninen 1999] Bartlett scalability applicable number of users maximum number of users size of the modeled world world space limitations maximum number of artificially intelligent objects applicable number of objects maximum number of objects distributed to multiple servers option for external links avatar features persistent avatars avatar complexity avatar configurability avatar history and development avatar interactions avatar body language world realism AI learning from experience world interaction [on-line building option] number of objects that can be interacted with self-evolving world physical laws modelled dynamic speed of objects and world [world speed] dynamic scenery level of artificial intelligence seemingly real scenery user interface navigation and control keyboard control mouse control sound support advanced input devices advanced output devices communication audio communication video communication [Bartlett 2004] participant observable issues implementation issues 24

25 Anwendungen: Design & Engineering intuitives und interaktives Explorieren, Testen und Erproben unmittelbares Verständnis, Reduktion Missverständnisse Erläuterung der eigenen Aufgabenstellung zu Fachfremden gemeinsames Entwickeln am gleichen Ort Abbau der Digitalen Kluft verteiltes Entwickeln am gleichen Betrachtungsgegenstand Bild: HS Mannheim Bild: VDC Service Engineering an Powerwall Fabrikplanung am Planungstisch Bild: ESI-Ic:ido Frontend-unabhängiges verteiltes Kooperieren 25

26 Anwendungen: Design & Engineering Sitzkiste für 2 Personen. Links: physischer Aufbau, rechts: 3D-Darstellung Bild: xxxxxxx Bild: xxx Bild: Uni Weimar ( 26

27 Anwendungen: Training Lernstufen: Erläutern, Begleiten, Prüfen Einbringen von Dokumentation Einbringen von Simulatoren Szenarien-Simulation Sichtbarmachen von Verborgenem Verkürzung Stillstandzeiten Training schon während Planung / ohne Belegung des Objekts / gefahrlos mit Szenarien-Technik Bild: ESI-Ic:ido Bild: University of Southern California Ausbau Batterie Assistent Steve erläutert, was zu tun ist Bild: Visenso Cyberclassroom 27

28 Anwendungen: Training Anlagen- Trainingssimulator Des Virtual Reality und Multimedia Parks Turin: Definition von Szenarien, Abarbeiten von Szenarien, gekoppelte 2D- und 3D-Sicht Bild: Virtual Reality and Multimedia Park, Turin 28

29 Anwendungen: Prozessunterstützung & Teleaufgaben Verwendung einer 3D-Umgebung als Wissensmanagement-Plattform zur Unterstützung entfernter Servicekräfte Kopplung 3D-Umgebung an Realsystem: online-3d vermittelt schnell Perspektive des Kollegen vor Ort Einsatz online-3d dort, wo Kameras nicht einsetzbar sind (raue Umgebung, Signallatenzen) Servicekräfte vor Ort können mit 3D-Informationen, z. B. in AR-Systemen, unterstützt werden Bild: Fh-IPA Bild: Fh-IPA Bild: Fh-IPA Fern-Konfiguration einer Werkzeugmaschine über VR Kopplung virtuelles Bergwerk an ein reales Servicetechniker in der Zentrale kann dem Werker vor Ort Zusatzinformationen über ein AR-Display einblenden 29

30 Anwendungen: Präsentation & Marktforschung interaktive Präsentation des Produkts gemeinsames Verständnis sichern einfaches Zeigen von Varianten Produkt virtuell im Betrieb zeigen detaillierte Einblicke bieten Kunde gestaltet sein spezifisches Produkt Einsatz von Produktkonfiguratoren (spez. Konfiguratorenlogik) komplexe und große Produkte präsentierbar Einsparung von Transportkosten für aufwändig zu bewegende Güter (z. B. Maschinen) bessere Geheimhaltung möglich, Präsentation kritischer Details nur ausgewählten Kontakten Bild: Visenso Bild: Kimberley-Clark Bild: ESI-Ic:ido Erläuterung Funktionsweise Maschine Messestand für Gruppen Review Supermarkt, Szenario Produkttest 30

31 Grundlagen Virtual Engineering Planungstische Große Displays Kollaborative AR Verteilte VEs Anwendungen Zusammenfassung Vergleich Planungstische Große Displays kollaborative AR verteilte Virtuelle Umgebungen koloziert ja ja ja nein pro mehrere Eingaben gut für 2D-3D-Aufgaben Tastatur nutzbar gut für komplexe 3D-Aufgaben einfach zu installieren Integration der realen Umgebung in den Arbeitraum Kooperation auf Distanz kontra nicht für komplexe 3D-Aufgaben Dialoge stehen auf dem Kopf an einer Tischseite Auflösung alphanumerische Eingaben z.t. Umständlich 1 Person navigiert 1 Person getrackt fehlendes Head-Tracking verzerrt Bild und Interaktion hohe Auflösung u.u. nur über Array erreichbar Ausgabegeräte oft noch umständlich geringe Auflösung komplexe Installation im Normalfall zusätzliche Kommunikationskanäle (Sprache, Bild) notwendig 31

32 Grundlagen Virtual Engineering Planungstische Große Displays Kollaborative AR Verteilte VEs Anwendungen Zusammenfassung Ausblick Erfassung und Übertragung Gestik, da relevanter Kommunikationskanal: z. B. Zeigeoperationen, Achselzucken Erfassung und Übertragung Mimik, da für Kommunikation Angesicht zu Angesicht sehr relevant: Interpretation Remote Rendering und Video Streaming: komplexe Grafiken auch für 3D-leistungsschwache Endgeräte (Smartphone, Tablet-PC) Bild: TU Chemnitz Bild: heise.de Gestenerkennung von Powerwall (hier: zur Szenensteuerung) Kinect registriert Bewegungen der Mundwinkel und Augenbrauen und animiert damit Avatarfiguren: Augenbrauenrunzeln, Nicken, Lächeln, Lippenbewegungen [Bonnert 2013] Bild: RTT 3D-Content auf mobilen Endgeräten 32

33 Grundlagen Virtual Engineering Planungstische Große Displays Kollaborative AR Verteilte VEs Anwendungen Zusammenfassung Zusammenfassung vorgestellte Kooperationsansätze grundsätzlich unterschiedlich Einsatzszenarien vielfältig und ebenso unterschiedlich auszuwählendes System auf Einsatzzweck abzustimmen Vielzahl möglicher Eigenschaften erfordern sorgfältige Auswahl und Tests Einbindung in Entwicklung-/Service-/Trainings-/Marketing-Abläufe essentiell allgemein akzeptierter, kollaborativer Datenmaster gründlich zu pflegen Literatur Bartlett, R.: A Categorisation Model for Distributed Virtual Environments. In: IEEE Computer Society (Hrsg.): Proceedings of the 18th International Parallel and Distributed Processing Symposium (IPDPS'04), Workshop 13, April 2004, Santa Fe/USA. Washington/USA: IEEE Press, 2004, S Bonnert, E.: Kinect-Chat mit Stirnrunzeln. Online unter html ; heruntergeladen am Bullinger, H.-J.: Virtual Engineering: Neue Wege zu einer schnellen Produktentwicklung. In: Bullinger, H.-J. ; Sonderforschungsbereich Entwicklung und Erprobung Innovativer Produkte - Rapid Prototyping -SFB 374-, Stuttgart: Virtual Engineering und Rapid Prototyping. Innovative Strategiekonzepte und integrierte Systeme : Forschungsforum Sb 374, 27. Februar Stuttgart: Universität Stuttgart, 2002 Eversheim, W. et al.: Simultaneous Engineering. Springer-Verlag, Berlin, 1995 Krottmeier, Johannes: Leitfaden Simultaneous Engineering. Springer- Verlag, Berlin, 1995 Manninen, T.; Pirkola, J.: Comparative Classification of Multi-User Virtual Worlds (1999); ( ) Müller, P.; Pasch, F.; Drewinski, R.; Hayka, H.: Kollaborative Produktentwicklung und Digitale Werkzeuge. Defizite heute, Potenziale morgen. Hrsg.: Stark, R.; Drewinski, R.; Hayka, H.; Bedenbender, H.; Fraunhofer IPK, Berlin,

34 Grundlagen Virtual Engineering Planungstische Große Displays Kollaborative AR Verteilte VEs Anwendungen Zusammenfassung Links Barco ClickShare: Bitmanagement BS Collaborate ESI-IC.IDO Cooperate: Fraunhofer IPA i-plant: Planungstisch html?&no_cache=1&sword_list[]=planungstisch Visenso Covise Collaborative Engineering: 34

35 Das Thema interessiert Sie und Sie suchen nach Umsetzungspartnern? Sprechen Sie mit uns. VDC. Netzwerk für Virtual Engineering. Virtual Dimension Center (VDC) Auberlenstr Fellbach Tel.: 0711 / info@vdc-fellbach.de Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. Virtual Dimension Center VDC 35