Grundlagen der Augmented Reality

Transkript

1 Grundlagen der Augmented Reality Proseminar Augmented Reality in der Anwendung Institut für Computervisualistik, Universität Koblenz Prof. Dr. Stefan Müller Dipl.-Inform Martin Schumann Dipl.-Inform Dominik Grüntjens Marvin Amberger

2 Inhaltsverzeichnis 1 Einleitung 3 2 Definitionen Augmented Reality wichtige Begriffe Virtual Reality Mixed Reality Überblick Architektur Displays Tracking Eingabegeräte Anwendungsgebiete Medizin Militär Industrie Marketing Freizeit & Unterhaltung Glossar 13 6 Literaturverzeichnis 14 2

3 1 Einleitung Auch heute noch ist Augmented Reality selbst technikaffinen Menschen oft ein Fremdwort, obwohl man in Alltag und Freizeit damit seit einiger Zeit fast unvermeidlich in Berührung kommt. Übertragungen von Sportveranstaltungen werden zum Beispiel schon seit Jahren mit informativen Einblendungen optisch unterstützt. Wo im Fußball früher lediglich Tore und abgelaufene Spielzeit angezeigt wurden, wird heute bei Freistößen auch die Entfernung zum Tor eingezeichnet. Bei Wiederholungen sieht man eine Hilfslinie um auch als Zuschauer knappe Abseitssituation einfacher erkennen zu können. Sogar beim Einkaufen hilft Augmented Reality bereits. In entsprechend ausgestatteten Läden kann man sich selbst dank Kinect 1 und einem großen Display in verschiedenen Outfits betrachten, ohne diese tatsächlich anprobieren zu müssen. Besitzt man eine Webcam, kann Schmuck heutzutage virtuell von zu Hause aus anprobiert und gekauft werden. Neben diesen trivialen Beispielen wird Augmented Reality zunehmend auch in der Medizin, beim Militär oder in Entwicklung, Forschung und Produktion eingesetzt und wird daher in Zukunft eine zentrale Rolle in der Interaktion des Menschen mit seiner Umgebung einnehmen. In der folgenden Arbeit werden die Grundlagen dieser wichtigen Technologie vorgestellt. 2 Definitionen 2.1 Augmented Reality In ihrer 1994 erschienen Arbeit A taxonomy of mixed reality visual displays 2 erklären Paul Milgram und Fumio Kishino Augmented Reality auf folgende Art: Die Bezeichnung Augmented Reality(AR) lässt sich auf all die Fälle anwenden, in denen die Darstellung einer ansonsten realen Umgebung durch virtuelle Objekte(Computergrafiken) erweitert wird. Etwas konkreter ausformuliert bedeutet dies, dass ein Betrachter (s)eine reale Umgebung auf einem Bildschirm(sieh Beispiele Abb.1 und Abb.2) ansieht und passend dazu computergenerierte Grafik eingeblendet wird. Milgram und Kishinos Definition bezieht sich dabei ausschließlich auf den visuellen Aspekt der AR. Theoretisch lässt sich Augmented Reality aber mit jedem für den Menschen wahrnehmbaren Sinn kombinieren, praktisch sinnvoll anwendbar ist davon aber nur ein Teil. Neben dem visuellen Sinn sind dies der auditive, der taktile und der vestibulare 3 Sinn, wobei die beiden letzteren nur in speziellen Simulationen Anwendung finden, wenn beispielsweise virtuelle Objekte fühlbar sein müssen oder wie in Flugsimulatoren der Eindruck von Bewegung wichtig ist. Abgesehen davon beschränkt sich Augmented Reality aber hauptsächlich auf den audiovisuellen Bereich. 1 Kamerasystem zur Steuerung durch Bewegung 2 z.dt.: eine Klassifizierung der optischen Darstellung von gemischter Realität 3 Hören, Wahrnehmung mit der Haut und Gleichgewichtssinn 3

4 Abbildung 1: AR Anwendung Wikitude Abbildung 2: AR-Spiel Human Pacman 1997 veröffentlichte Ronald Azuma eine erweiterte Definition von AR. Laut Azuma [RA01] dienen virtuelle Objekte in einem AR-System dazu, die reale Welt zu unterstützen, wobei virtuelle Objekte und reale Welt im selben Raum angezeigt werden. Ein AR-System wird von Ihm mit den folgenden Eigenschaften definiert: reale und virtuelle Objekte sind zusammen in einer realen Umgebung kombiniert läuft interaktiv und in Echtzeit ab reale und virtuelle Objekte werden im Bezug zueinander angezeigt und ausgerichtet Azuma betont speziell, dass seine Definition weder auf ein bestimmtes Anzeigegerät beschränkt sein soll, noch ausschließlich auf einen bestimmten wahrnehmbaren Sinn. 4 Allgemein lässt sich sagen, dass durch Augmented Reality die Welt des Benutzers mit zusätzlichen Informationen erweitert wird, die in die Umgebung des Benutzers eingeblendet werden. 2.2 wichtige Begriffe Um neue Begriffe wie Virtual Reality und Mixed Reality in den zwei folgenden Abschnitten besser von der Augmented Reality abgrenzen zu können, werden zunächst ein paar grundlegende Begrifflichkeiten erklärt/definiert: Immersion: Bezeichnet im Zusammenhang mit virtueller Realität das Eintauchen in eine künstliche Welt, das Aufheben der Trennung des Betrachters zwischen sich und dem Betrachteten. direktes und indirektes Betrachten: Während direktes Betrachten eines realen Objekts per Auge erfolgt, geschieht indirektes Betrachten über einen Form von Display. Direktes Betrachten wäre also zum Beispiel sich seine eigene Hand anzusehen, indirektes Betrachten dagegen die selbe Hand in digitaler Form auf einem Monitor oder Leinwand etc. 4 Azuma in [RA01] 4

5 egozentrisch/exozentrisch: Wird eine virtuelle Welt von außen betrachtet, z.b. ein beliebiges Objekt auf einem Monitor(TFT,LCD...) oder einer Leinwand, so wird dies als exozentrisch bezeichnet. Von innen betrachtet, z.b. durch ein Head-Mounted Display(HMD), bezeichnet man dies als egozentrisch. Beiden Begriffe beschreiben das Verhältnis des Betrachters relativ zum Betrachteten. reale/virtuelle Objekte, reale/virtuelle Umgebungen: Reale Objekte sind all die Objekte, die tatsächlich objektiv existieren. Ein reales Objekt kann direkt aber auch indirekt betrachtet werden. Eine reale Umgebung besteht ausschließlich aus realen Objekte und kann ebenso wie diese direkt oder indirekt betrachtet werden. Virtuelle Objekte sind all die Objekte, die nur im Wesen oder im Eindruck existieren, aber nicht wirklich oder in förmlicher Weise. Ein virtuelles Objekt muss simuliert werden, da es ohne Simulation nicht existiert/sichtbar ist. Es kann nur indirekt betrachtet werden. Egal wie realistisch ein virtuelles Bild auf den Betrachter wirkt, die Qualität des Dargestellten entscheidet nicht darüber, ob es real oder virtuell ist.eine virtuelle Umgebung besteht ausschließlich aus virtuellen Objekten und kann nur indirekt betrachtet werden. Abbildung 3: unterschiedliche Aspekte real und virtuell zu unterscheiden [PM94] 2.3 Virtual Reality Eine Virtual Reality(VR)-Umgebung definiert 5 sich somit als eine virtuelle Umgebung, in der der teilnehmende Betrachter vollständig in eine künstliche Welt eingebunden ist, mit der er interagieren kann. Die künstliche Welt kann dabei versuchen die Eigenschaften unserer realen Welt so gut wie möglich zu imitieren, kann aber auch frei von physikalischen Einschränkungen wie Raum, Zeit oder materiellen Eigenschaften gestaltet sein. Die Unterschiede zwischen AR und VR liegen in der jeweils dominanteren Umgebung, hauptsächlich aber im Grad der Immersion des Betrachters. Während bei der Augmented Reality zwar der Anteil an virtuellen Elementen unterschiedlich stark variieren kann, dient als 5 nach Milgram und Kishino in [PM94] 5

6 Basis dennoch eine reale Umgebung. Die Virtual Reality besteht dagegen immer aus virtuellen Elementen und enthält per Definition keine realen Elemente. Des weiteren versucht die VR, auch durch die Wahl von HMDs als primäre Anzeigemethode, immersiv auf den Betrachter zu wirken. Dieser soll sich so stark wie möglich als Teil der simulierten Welt fühlen. Dies ist wiederum bei der AR nicht der Fall und schon zum Teil alleine wegen der Art wie die Umgebung betrachtet wird, z.b. auf einem Smartphone, nicht möglich. Abbildung 4: Soldat übt Fallschirmspringen Abbildung 5: Astronauten trainieren für Einsatz 2.4 Mixed Reality Grundlage für Mixed Reality(MR) bildet das von Milgram formulierte Virtuality Continuum(VC), siehe Abb.6, ein Konzept um das Spektrum von komplett realen Umgebungen hin zu komplett virtuellen Umgebungen inklusive aller möglichen Mischformen davon zu beschreiben. Mixed Reality als Teil des VC deckt somit den Bereich zwischen den beiden Extrema Realität und Virtualität ab und versucht reale mit virtuellen Welten zu verschmelzen. AR ist dabei als der Bereich der MR zu sehen, der sich eher in der Nähe der Realität befindet als der Virtualität. Das Gegenstück zur AR bildet die Augmented Virtuality(AV), ein Begriff der abseits von Milgram selten Verwendung findet. Abbildung 6: das Virtuality Continuum nach Milgram/Kishino [PM94] 3 Überblick Architektur Ein AR-System besteht in der Regel aus einer Kombination von Prozessor, Display, Eingabegerät und verschiedenen Sensoren mit denen die Umgebung erfasst werden kann. Faktoren wie Kosten, Größe, Gewicht, Qualität und Art der Darstellung bestimmen welche Technik sich für verschiedene Einsatzgebiete am besten eignet. Der aktuelle Stand der Technik wird im folgenden kurz vorgestellt. 6

7 3.1 Displays Displaytechnologien moderner AR-Systeme lassen sich grob in drei Kategorien einteilen: 1. Head-Mounted Displays(HMD) sind Displays, die am Kopf getragen werden. HMDs werden zusätzlich in optical see-through und video seethrough unterschieden. Optical see-through HMDs sind transparent, der Betrachter sieht also seine reale Umgebung durch das durchsichtige Display und bekommt zusätzlich AR-Elemente eingeblendet. Video see-through HMDs sind nicht transparent. Der Benutzer sieht auf seinem Display das von der Kamera aufgenommene Bild, überlagert mit virtuellen Elementen. Der größte Vorteil von HMDs liegt in ihrer starken Immersion des Benutzers. Abbildung 7: modernes HMD im F-35 Kampfflugzeug Abbildung 8: HMD in Brillenform von Zeiss 2. Handheld Displays, sind Displays, die Teil eines portablen Gerätes wie PDA oder Smartphone sind. Diese Geräte sind handlich, mobil und in der Regel mit mehrere Kameras, GPS, W-LAN, Bluetooth, Mikrofon etc. sehr gut ausgestattet. Sie sind daher bestens für eine Vielzahl von AR- Anwendungen geeignet. Ein Problem stellt nach wie vor die ausreichende Stromversorgung dar, da der gleichzeitige Einsatz all dieser Technologien, insbesondere von GPS, sehr viel Strom verbraucht. Abbildung 9: portable AR-fähige Geräte(Nintendo 3DS,iPhone4, GalaxySII) 7

8 3. Projection/Spatial Displays, räumliche Darstellungstechnik bei der ein Projektor(Beamer) virtuelle Information direkt auf die zu erweiternde Oberfläche strahlt. Im Unterschied zu den anderen beiden Arten ist der Benutzer hier nicht an ein Display gebunden, sondern kann sich frei davon bewegen, ohne ständig Equipment(wie HMD oder Handheld) mit sich tragen zu müssen. Ein weiterer Vorteil liegt in der Skalierbarkeit der Projektoren, durch die die eingeschränkte Darstellungsgröße und Auflösung anderer Systeme beseitigt werden kann. Somit ist es möglich, zusammen mit mehreren Leuten innerhalb einer Projektion zu arbeiten. Abbildung 10 zeigt CAVE, einen speziellen Raum dessen Seiten von außen projiziert werden und der in Verbindung mit einer 3D-Brille für den Betrachter eine dreidimensionale-virtuelle Welt erzeugt. Abbildung 10: CAVE Abbildung 11: Airscouter Neben diesen drei Klassen gibt es noch eine Mischung aus den Klassen eins und drei, den Virtual Retinal Displays(VRD). Dabei handelt es sich um spezielle Brillen, die ihr projiziertes Bild direkt auf die Retina zeichnen, wodurch der Eindruck entsteht, einen virtuellen Monitor vor sich zu haben. Abbildung 12 zeigt den Airscouter, ein VRD aus dem Jahr Während der Benutzung erscheint auf der Seite des Projektors in etwa einem Meter Entfernung ein 16 Zoll großer, virtueller Monitor. 3.2 Tracking Je mehr und präziser Daten über den Benutzer und seine Umwelt vorliegen, desto realistischer können in AR-Anwendungen virtuelle Elemente über reale Welten eingeblendet werden. Von grundlegender Bedeutung sind dabei meistens Orientierung und Position des Benutzers sowie die Position wichtiger Objekte in seiner Umgebung. Um diese Daten bestimmen zu können, werden u.a. die folgenden Sensoren und Technologien verwendet: digitale Kameras: erfassen Bilder von Umwelt und User Beschleunigungssensoren: messen, ob sich der Träger beschleunigt oder verlangsamt Gyroskop: bestimmt die Lage des Trägers GPS: dient zur Positionsbestimmung des Trägers 8

9 Je nach Situation kann es notwendig sein, die verschiedenen Trackingtechnologien von außen zu unterstützen. W-LAN und Bluetooth hilft beispielsweise bei der Positionsbestimmung, wenn GPS alleine zu ungenau wäre oder wie innerhalb von Gebäuden nicht einsetzbar ist. Die Erkennung von Objekten kann durch den Einsatz von speziellen Markern und RFID verbessert und vereinfacht werden. 3.3 Eingabegeräte Neben der Darstellung von zusätzlichen Informationen ist Interaktivität ein wichtiger Aspekt der Augmented Reality. Der Benutzer soll nicht einfach nur passiv Informationen angezeigt bekommen, er soll die verschiedenen AR-Systeme auch aktiv steuern können. Bei Handhelds erfolgt dies meistens relativ unkompliziert über den verbauten Touchscreen. AR-Systeme die auf HMDs oder Projektoren zurückgreifen, bedürfen dagegen oft spezieller Eingabemethoden, da sich die klassische Kombination aus Maus und Tastatur wenig intuitiv und bequem zur Steuerung im dreidimensionalen Raum eignet. Daher gibt es noch zwei weitere Ansätze, AR-Anwendungen zu steuern: greifbare Gegenstände: In Kombination mit Markern kann theoretisch jeder Gegenstand als Eingabegerät verwendet werden und so individuell auf einzelne Szenarien angepasst werden. Der Gegenstand kann dabei nur Mittel zum Zweck sein und muss nicht zwingend über besondere Funktionalität verfügen. Der Anwender soll ein Objekt in der Hand halten können, mit dem er im dreidimensionalem Raum arbeiten kann. Gestenerkennung: Spezielle Kamerasysteme erfassen einzelne Körperteile und ermöglichen so, mittels Erkennung von gezielten Bewegungen, die Steuerung des Systems und die Eingabe von Befehlen. Der Vorteil von Gesternerkennung - ein externes Eingabegerät ist überflüssig - kann gleichzeitig auch ein Nachteil sein, da die Interaktion mit virtuellen Elementen ohne haptisches Feedback erfolgt. Je nach Einsatzgebiet kann es auch sinnvoll sein, mehrere Eingabearten zu kombinieren, um so geschickt Vorteile nutzen und Nachteile vermeiden zu können. 4 Anwendungsgebiete In beinahe allen Lebensreichen bieten sich Anwendungsmöglichkeiten für Augmented Reality. Im folgenden werden ein paar wichtigen Einsatzgebiete und mögliche Anwendungen darin kurz vorgestellt. 4.1 Medizin In der Medizin bietet sich AR an, um Ärzte bei Operationen durch visuelle Informationen zu unterstützen. So können z.b. vor der Operation angefertigte Bilder (Computertomographie, Magnetresonanztomographie oder Ultraschall) direkt auf den Patienten eingeblendet werden, so dass sich der Chirurg während der Operation nicht vom Patienten abwenden muss und voll auf seine Arbeit konzentrieren kann. Abbildung 13 zeigt eine Image-guided surgery[igs11], ein 9

10 chirurgischer Eingriff, bei dem getracktes Operationsbesteck in Verbindung mit AR-Einblendungen verwendet wird, um z.b. den Nachteil schlechterer Sicht bei minimal-invasiven Eingriffen zu verringern. Abbildung 12: Röntgenaufnahme und Livebild kombiniert Abbildung 13: Bild-geführte Operation 4.2 Militär Moderne Kampfflugzeuge verwenden schon seit vielen Jahren HMDs zur Steuerung wichtiger Bordsysteme und helfen dem Piloten mit Einblendungen, wichtige Informationen immer direkt im Blickfeld zu haben. Abseits der Forschung nimmt das Militär damit eine Vorreiterrolle im Einsatz und Entwicklung von AR-Systemen ein. Nicht nur in Fahrzeugen kann von AR profitiert werden, auch Infanteristen werden in Zukunft mit AR-Systemen ausgestattet sein, beispielsweise um Befehle, Position von Gegnern und Zielen oder Karten direkt am Helm (siehe Abb.14) angezeigt zu bekommen. Abbildung 14: aktuelles AR-Projekt der Firma Tanagram[ARM11] 4.3 Industrie Neben dem medizinischen und militärischen Bereich wird in den letzten Jahren auch in der Industrie vermehrt an AR-Anwendungen geforscht und in einigen 10

11 Gebieten bereits eingesetzt. Obwohl AR momentan noch überwiegend für Design und Simulation von Produkten verwendet wird, soll in Zukunft auch in der Montage, Konstruktion, im Prototypenbau und beim Training von Mitarbeitern von Augmented Reality profitiert werden können. Ähnlich wie im medizinischen könnten Arbeitsanweisungen und Konstruktionsschritte über HMDs an den entsprechenden Stellen angezeigt werden und so einfacheres und sicheres Arbeiten ermöglichen. 4.4 Marketing Auch im Marketing Bereich spielt Augmented Reality eine immer wichtigere Rolle. Vor allem die weite Verbreitung von Smartphones und Webcams hat eine große Anzahl an AR gestützter Werbung hervorgebracht. QR-Codes 6 auf Verpackungen, Werbeplakaten und in Zeitschriften ermöglichen traditionelle Werbung mit AR-Inhalten zu verknüpfen und so Produkte auch von zu Hause aus interaktiv für den Kunden erlebbar zu machen. Abbildung 15 zeigt eine Werbung von BMW, die vor eine Webcam gehalten den Kunden das aktuelle Modell des Minis virtuell von allen Seiten betrachten lässt. Ein ähnliches Konzept ver- Abbildung 15: AR Werbung für Mini von BMW Abbildung 16: AR-System zeigt fertigen Packungsinhalt folgt Lego in seinen größeren Läden. Dort kann sich der Kunde an speziellen Stationen den fertigen Packungsinhalt anzeigen lassen. Die Station erkennt die verschiedenen Modelle anhand der Oberseite der Verpackung, der Kunde kann das 3D-Modell über die Bewegung der Packung steuern. 4.5 Freizeit & Unterhaltung Selbst im Privatbereich hat AR schon längst Einzug gehalten. Dank Smartphones wie dem iphone und mobilen Konsolen wie dem Nintendo 3Ds kann heute jeder auch zu Hause in den Genuss von Augmented Reality Anwendungen kommen. Ein Beispiel zeigen die Abbildungen 17 und 18. Bei der Parrot AR.Drone handelt es sich um eine fliegende Miniatur-Drohne, die ihr Bild in Echtzeit an ein verbundenes iphone überträgt, über welches auch die Steuerung der Drohne erfolgt. Mit dem Open-Source SDK des Herstellers kann jeder Softwareentwickler Anwendungen für die Drohne schreiben. Daher existieren

12 Abbildung 17: Parrot AR.Drone Abbildung 18: iphone App zur Steuerung der Drone mittlerweile auch Spiele für die AR.Drone, bei denen sich etwa zwei Dronenbesitzer in der Luft bekämpfen oder gegeneinander Rennen absolvieren können. Neben rein der Unterhaltung dienenden Anwendungen gibt es auch verschiedene AR-Navigationssysteme und AR-Reiseführer für Smartphones wie Wikitude, die mit Hilfe von GPS und Tracking die Umgebung erkennen und beispielsweise Informationen zu Gebäuden oder architektonische Bilder über die von der Kamera des Gerätes aufgenommene Umgebung anzeigen. 5 Glossar Augmented Reality(AR), reale Welt erweitert durch virtuelle, audiovisuelle Informationen Augmented Virtuality(AV), virtuelle Welt erweitert durch reale, audiovisuelle Informationen Head-Mounted Display oder Helmet Mounted Display(HMD), ein an Kopf oder Helm befestigtes Anzeigegerät in Form eines kleinen Bildschirms Head-Up Display(HUD), Anzeigesystem, projiziert für den Nutzer wichtige Informationen in dessen Sitchfeld Mixed Reality(MR), Mischung aus AR und AV Virtual Reality(VR), durch einen Computer simulierte virtuelle Welt, kann realer Welt nachempfunden sein 12

13 6 Literaturverzeichnis Literatur [ARM11] Tanagram DARPA AR-Project, June tanagrampartners.com/featured-work/darpa-iarm/. 11 [IGS11] [PM94] [RA01] [Sch07] Image-guided surgery, June Image-guided_surgery. 10 Fumio Kishino Paul Milgram. A taxonomy of mixed reality visual displays. pages 2 12, , 7 Reinhold Behringer Steven Feiner Simon Julier Blair MacIntyre Ronald Azuma, Yohan Baillot. Recent advances in augmented reality. pages 1 11, Thomas Schilling. Augmented Reality in der Produktentstehung. PhD thesis, TU Ilmenau,