Augmented Reality Vision oder Wirklichkeit

Transkript

1 Augmented Reality Vision oder Wirklichkeit Dipl.-Ing. Rupert Reif , 14. Flaschenkellerseminar fml Lehrstuhl für Fördertechnik Materialfluss Logistik Prof. Dr.-Ing. Dipl.-Wi.-Ing. W. A. Günthner Technische Universität München Agenda Augmented Reality Vision oder Wirklichkeit Lehrstuhl für Fördertechnik Materialfluss Logistik Übersicht Forschungsgebiete Begriffserklärung Abgrenzung zur Virtual Reality Definition von Augmented Reality Aufbau von Augmented Reality Systemen allgemeiner Aufbau Visualisierungstechniken Trackingsysteme Potenziale der Augmented Reality Technologie Vorteile Nachteile verschiedene Augmented Reality Anwendungen Freizeit Industrie Augmented Reality Anwendungen in der Logistik Logistikplanung Kommissionierung 2

2 Agenda Augmented Reality Vision oder Wirklichkeit Lehrstuhl für Fördertechnik Materialfluss Logistik Übersicht Forschungsgebiete Begriffserklärung Abgrenzung zur Virtual Reality Definition von Augmented Reality Aufbau von Augmented Reality Systemen allgemeiner Aufbau Visualisierungstechniken Trackingsysteme Potenziale der Augmented Reality Technologie Vorteile Nachteile verschiedene Augmented Reality Anwendungen Freizeit Industrie Augmented Reality Anwendungen in der Logistik Logistikplanung Kommissionierung 3 Campus Garching Fakultät Maschinenwesen Lehrstuhl fml fml Lehrstuhl für Fördertechnik Materialfluss Logistik 42 Mitarbeiter 18 Planstellen 24 Drittmittelstellen Aufgaben Forschung Lehre Industrieprojekte 4

3 Forschungsprofil Arbeitsgebiete: Automatisierung & Identifikation Berechnung & Auslegungsverfahren Digitale Werkzeuge & Simulation Methoden & Konzepte Forschungsschwerpunkte: Wandelbare Materialflusssysteme Internet der Dinge RFID in der Logistik Virtual und Augmented Reality Logistikplanung Automobillogistik Baulogistik Fördermittel der Intralogistik Lager- & Komissioniersysteme Kranbau & Tragwerksberechnung FEM & MKS-Berechnungsverfahren Schüttgutförderung 5 Forschungsprofil Arbeitsgebiete: Automatisierung & Identifikation Berechnung & Auslegungsverfahren Digitale Werkzeuge & Simulation Methoden & Konzepte Forschungsschwerpunkte: RFID in der Logistik 6

4 Forschungsprofil Arbeitsgebiete: Automatisierung & Identifikation Berechnung & Auslegungsverfahren Digitale Werkzeuge & Simulation Methoden & Konzepte Forschungsschwerpunkte: Internet der Dinge 7 Forschungsprofil Arbeitsgebiete: Automatisierung & Identifikation Berechnung & Auslegungsverfahren Digitale Werkzeuge & Simulation Methoden & Konzepte Forschungsschwerpunkte: Logistikplanung 8

5 Forschungsprofil Arbeitsgebiete: Automatisierung & Identifikation Berechnung & Auslegungsverfahren Digitale Werkzeuge & Simulation Methoden & Konzepte Forschungsschwerpunkte: Virtual und Augmented Reality 9 Logistik-Innovations-Zentrum - liz Die Herausforderung Welche Bedeutung hat moderne Logistik für unseren Industriestandort Die Vision Was kann öffentliche Forschung für kleine und mittlere Unternehmen leisten 10

6 liz - Kompetenzen und Ressourcen Planungs- und Simulationswerkzeuge Berechnungswerkzeuge Versuchshalle Virtual Reality Augmented Reality Logistiksoftware Mechanische Werkstatt 11 liz Demo Tag Digitale Welten live erleben Einführung in die Werkzeuge Ablaufsimulation, Virtual Reality und Augmented Reality Konzept: Grundlagen Praxisbeispiele Demonstrationen 20 Teilnehmer Virtual Reality Augmented Reality 12

7 Agenda Augmented Reality Vision oder Wirklichkeit Lehrstuhl für Fördertechnik Materialfluss Logistik Übersicht Forschungsgebiete Begriffserklärung Abgrenzung zur Virtual Reality Definition von Augmented Reality Aufbau von Augmented Reality Systemen allgemeiner Aufbau Visualisierungstechniken Trackingsysteme Potenziale der Augmented Reality Technologie Vorteile Nachteile verschiedene Augmented Reality Anwendungen Freizeit Industrie Augmented Reality Anwendungen in der Logistik Logistikplanung Kommissionierung 13 Virtuality Continuum von Milgram Mixed Reality Real Environment Augmented Reality Augmented Virtuality Virtual Reality Einordnung von Virtual und Augmented Reality auf dem Reality Virtuality Continuum von Milgram. 14

8 Definition Augmented Reality Augmented Reality Erweiterte Realität Entwicklung von AR aus VR Erweiterung der Realität um rechnergenerierte virtuelle Informationen kontextbezogene Bereitstellung, d.h. zur richtigen Zeit, am richtigen Ort Interpretation der Szene aus realer und virtueller Welt als eine Einheit Interaktion in Echtzeit Integration in die Sinneswahrnehmung des Benutzers Interpretation Interaktion Integration 15 Agenda Augmented Reality Vision oder Wirklichkeit Lehrstuhl für Fördertechnik Materialfluss Logistik Übersicht Forschungsgebiete Begriffserklärung Abgrenzung zur Virtual Reality Definition von Augmented Reality Aufbau von Augmented Reality Systemen allgemeiner Aufbau Visualisierungstechniken Trackingsysteme Potenziale der Augmented Reality Technologie Vorteile Nachteile verschiedene Augmented Reality Anwendungen Freizeit Industrie Augmented Reality Anwendungen in der Logistik Logistikplanung Kommissionierung 16

9 Funktionsweise eines AR-Systems Kamera Kamera Datenbank Datenbank virtuelle Objekte in Abh. ihrer Position situationsgerechte Informationen AusgabeAusgabegerät gerät ReferenzReferenzgeometrie geometrie x, y, z-position, Orientierung Anwender und /oder Objekt virtuelle virtuelle Objekte Objekte in in der der realen realen Welt Welt fml Lehrstuhl für Fördertechnik Materialfluss Logistik. SzenenSzenengenerator generator TrackingTrackingsystem system 17 Prof. Dr.-Ing. Dipl.-Wi.-Ing. W. A. Günthner. Technische Universität München Monitorbasiertes System Monitorbasiertes System besonders einfache und günstige Visualisierungsvariante Wahrnehmung des augmentierten Bildes (über eine 3D-Brille) auf dem Monitor Grad an Immersion sinkt durch den Abstand des Anwenders zum Monitor sowie dessen stationären Standort nach Azuma Quelle: Microvision fml Lehrstuhl für Fördertechnik Materialfluss Logistik. Prof. Dr.-Ing. Dipl.-Wi.-Ing. W. A. Günthner. Technische Universität München 18 9

10 Datenbrillen: Video-See-Through HMD Video-See-Through HMD kein direkter Blick auf die Umgebung Aufzeichnung des Bildes mit zwei am HMD montierten Videokameras Lokalisierung der Kopfposition und der Blickrichtung des Anwenders durch Tracking Vereinigung des aufgezeichneten realen Bildes mit den virtuellen Objekten im Combiner (Videoersteller) nach Azuma Quelle: Trivisio Quelle: 5DT 19 Datenbrillen: Optical-See-Through HMD Optical-See-Through HMD Sicht auf die Umgebung wird nicht eingeschränkt Projektion der computergenerierten virtuellen Objekte über einen halbdurchlässigen Spiegel direkt ins Auge des Benutzers räumlicher Eindruck durch perspektivischen Projektionen für das linke und rechte Auge hohe Anforderungen an die Trackingtechnologie nach Azuma Quelle: Lumus Quelle: microvision Quelle: Sony 20

11 Trackingsysteme Trackingsysteme akustisches Tracking elektromagnetisches Tracking inertiales Tracking mechanisches Tracking optisches Tracking Tracking über Funk hybride Trackingsysteme geeignete Systeme für den industriellen Einsatz optische Trackingsysteme sind für den industriellen Einsatz am besten geeignet infrarotbasierte oder (markerbasierte) Videosysteme ihre Leistungsfähigkeit lässt sich in Kombination mit anderen Systemen (Funk, inertial) weiter steigern 21 Agenda Augmented Reality Vision oder Wirklichkeit Lehrstuhl für Fördertechnik Materialfluss Logistik Übersicht Forschungsgebiete Begriffserklärung Abgrenzung zur Virtual Reality Definition von Augmented Reality Aufbau von Augmented Reality Systemen allgemeiner Aufbau Visualisierungstechniken Trackingsysteme Potenziale der Augmented Reality Technologie Vorteile Nachteile verschiedene Augmented Reality Anwendungen Freizeit Industrie Augmented Reality Anwendungen in der Logistik Logistikplanung Kommissionierung 22

12 Potenziale und Grenzen AR als unterstützendes Medium zur Steigerung der Leistungsfähigkeit der Mitarbeiter Reduzierung der Suchzeiten nach Informationen (z.b. bei HMD-Einsatz) Parallelisierung von Haupt- und Nebentätigkeiten (z.b. bei HMD-Einsatz) Kombination der Vorteile moderner Rechnersysteme mit der Flexibilität, dem Problemlösungspotenzial, der Urteilsfähigkeit und der Kreativität des Menschen Kollisionserkennung von realen mit virtuellen Objekten + Fehlen von alltagstauglicher Hardware (Ergonomie, Einsatz im industriellen Umfeld) hohe Anforderungen an das Trackingsystem (Rendering: Zusammenbringen von realen und virtuellen Objekten) unzureichend ergonomische Gestaltung der HMDs (Tragekomfort, Gewichtsverteilung) Prozessintegration, Kopplung mit Standardsoftware, (Planungs-, Simulationstools) schwer zu quantifizierender Nutzen und Aufwand durch den Einsatz von AR _ 23 Agenda Augmented Reality Vision oder Wirklichkeit Lehrstuhl für Fördertechnik Materialfluss Logistik Übersicht Forschungsgebiete Begriffserklärung Abgrenzung zur Virtual Reality Definition von Augmented Reality Aufbau von Augmented Reality Systemen allgemeiner Aufbau Visualisierungstechniken Trackingsysteme Potenziale der Augmented Reality Technologie Vorteile Nachteile verschiedene Augmented Reality Anwendungen Freizeit Industrie Augmented Reality Anwendungen in der Logistik Logistikplanung Kommissionierung 24

13 Anwendungen Computerspiele Medizin Quelle: CAMP Quelle: Sony virtuelle Produktpräsentation Einrichtungsplanung Quelle: metaio Quelle: metaio 25 industrielle Anwendungen Montage Wartung und Service Prototypenbau Quelle: metaio Quelle: BMW Produktionsplanung Design Quelle: metaio Quelle: fml 26

14 Agenda Augmented Reality Vision oder Wirklichkeit Lehrstuhl für Fördertechnik Materialfluss Logistik Übersicht Forschungsgebiete Begriffserklärung Abgrenzung zur Virtual Reality Definition von Augmented Reality Aufbau von Augmented Reality Systemen allgemeiner Aufbau Visualisierungstechniken Trackingsysteme Potenziale der Augmented Reality Technologie Vorteile Nachteile verschiedene Augmented Reality Anwendungen Freizeit Industrie Augmented Reality Anwendungen in der Logistik Logistikplanung Kommissionierung 27 Roivis: AR in der Planung (1) Planung erfolgt in der realen Fertigungsumgebung Restriktionen der realen Umwelt können erfasst werden (z.b. Lärm, Raumverhältnisse, Kollisionen) Integration der Beteiligten vor Ort (z.b. Werker, Montagemitarbeiter, Instandhalter) Vorteil gegenüber ortsfesten VR-Planungssystemen Ablauf virtuellen Layout- oder Komponentenentwurf am Rechner vorbereiten Analyse bestehender Strukturen vor Ort und Abgleich bzw. Anpassung an den aktuellen Planungsstand Aufnahme der Fotos vor Ort Kombination der Fotos mit den virtuell geplanten Komponenten am Rechner 28

15 Roivis: AR in der Planung (2) Vorteil von AR in der Planung Eine Einschränkung virtueller Planungstechniken wird aufgehoben, denn AR braucht kein 3D- Modell von bestehenden Strukturen (z.b. Halle) Kosten- und Zeitreduktion sowie geringe erforderliche Rechenleistung kein ständiges Aktualisieren und konsistent Halten der Modelle nötig 29 Pick-by-Vision Augmented Reality unterstützte Kommissionierung Kurzbeschreibung Datenbrille als Anzeigegerät kontextabhängige Einblendung aller für den Kommissioniervorgang notwendigen Daten Kommunikation über ein Interaktionsgerät (z.b. Touchpad am mobilen PC, Armtastaturen oder durch Spracheingabe) mit dem System => Spracheingabe Datenaustausch mit dem übergeordneten System (z.b. WMS) online über eine Funkverbindung (z.b. WLAN) Lagerort 1 B 05 Artikel F0001 Menge 5 30

16 Pick-by-Vision Potenziale (1) Reduzierung der Kommissionierzeit durch papierlose Kommissionierung visuelle Unterstützung Greifzeit Basiszeit Totzeit Wegzeit paralleles Anzeigen von verschieden Informationsarten Information sind ständig vor dem Auge sichtbar optische Hervorhebung des Lagerfachs visuell unterstützte Wegfindung Weginformationen sind ständig vor dem Auge sichtbar 31 Pick-by-Vision Evaluierung drei Kommissioniertechniken (Pickliste, Pick-by-Voice, Pickby-Vision), die in zufälliger Reihenfolge durchlaufen werden Fragebögen nach jeder Technik fünf Aufträge (3 mit 3 Positionen, 2 mit 5 Positionen) wegoptimierte Aufträge Sammelbehälter auf einen Kommissionierwagen muss nach jedem Auftrag ausgetauscht werden 17 Probanden 32

17 Pick-by-Vision Ergebnisse der Fragebögen Vergleich mit Papierliste und Pick-by-Voice-System sehr niedrige kognitive Belastung bei Pick-by-Vision Graphische Unterstützung bei Pick-by-Vision wirkt sich gegenüber Pick-by-Voice sehr positiv aus (mehr Motivation, benutzerfreundlicher, keine Einschränkung bei der Sicht, besserer Eindruck). Die Benutzerfreundlichkeit ist der wichtigste Aspekt, der über den Erfolg eines Systems entscheidet (Lernerfolg, Motivation). Kognitive Belastung Benutzerfreundlichkeit 6,00 5,00 4,00 3,00 2,00 1,00 0,00 3,11 1,87 1,60 Kommissionierliste Pick-by-Voice Pick-by-Vision 6,00 5,00 4,00 3,00 2,00 1,00 0,00 3,21 Pick-by-Voice 4,09 Pick-by-Vision 33 Pick-by-Vision Ergebnisse der Versuchsreihen Kommissionierfehler Die Kommissionierfehlerrate bei den visuell unterstützen Systemen war deutlich geringer als bei Pick-by-Voice, aber höher wie bei der Pickliste. Bei Pick-by-Vision von Anfang an niedrige Fehlerrate. Kommissionierzeit Kommissionierzeit [min] ,39 10,02 9,42 Kommissionierliste Pick-by-Voice Pick-by-Vision [min] ,39 10,02 9,42 Kommissionierliste Pick-by-Voice Pick-by-Vision Kommissionierzeit Die Kommissionierleistung war bei Pick-by-Vision etwas höher als bei Pick-by-Voice, aber geringer als bei der Kommissionierliste. Die Sprachsteuerung war eine der Hauptursachen für die hohen Kommissionierzeiten. In dem kleinen Versuchslager war der Wegzeitanteil sehr gering, so dass der Vorteil der Parallelisierung von Vorgängen nicht zur Geltung kam. Die Basiszeit war mit den beleglosen Systemen deutlich geringer. 34

18 Pick-by-Vision - Optimierungspotenziale Verbesserung der Dateneingabe Überarbeitung der Spracheingabe Einbinden eines Dreh-Drück-Knopfs Verbesserungen an der GUI Erweiterung des Systems um ein Trackingsystem (AR LiveCam mit unifeye SDK) Versuchsreihe in der Praxis Bei nächster Versuchsreihe in die Teilzeiten gehen, d.h. Weg-, Basis-, Greif-, Totzeit größeres Lager 35 Ansprechpartner Dipl.-Ing. Rupert Reif Tel.: 089 / reif@fml.mw.tum.de Vielen Dank für Ihre Aufmerksamkeit fml Lehrstuhl für Fördertechnik Materialfluss Logistik Univ.-Prof. Dr.-Ing. Dipl.-Wi.-Ing. Willibald A. Günthner Technische Universität München Boltzmannstraße Garching bei München 36