Augmented Reality. Lukas Hofer

Transkript

1 Augmented Reality Lukas Hofer 1

2 Inhaltsverzeichnis 1 Definition. 3 2 Geschichte..4 3 Aufbau 5 4 AR-Technologien QR-Code Markerbasierte AR Bilderkennende AR Ortsabhängige AR 8 5 Einsatzmöglichkeiten Vor- und Nachteile Verschiedenste AR-Beispiele Wikitude Make-Up Tester Sprachübersetzung Röntgenblick Architektur Prognosen Blick in die Zukunft Quellenangaben..16 Lukas Hofer 2

3 1 Definition Augmented Reality Als Augmented Reality bezeichnet man die computergestützte Erweiterung der Realitätswahrnehmung (Augmented = erweitert, Reality = Realität). Die erweiterte Realität (augmented reality, AR) und die erweiterte Virtualität(augmented virtuality) bilden zusammen die sogenannte gemischte Realität (Mixed reality) siehe auch Geschichte. Während der Begriff Augmented Virtuality kaum von der Fachwelt benutzt wird, werden Augmented Reality und Mixed Reality meist synonym verwendet. Im Gegensatz zur virtuellen Realität, bei welcher der Benutzer komplett in eine virtuelle Welt eintaucht, steht bei der erweiterten Realität die Darstellung zusätzlicher Informationen im Vordergrund. Die Definition von Ronald Azuma (Azuma, 1997) der erweiterten Realität ist heutzutage weit verbreitet : Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert) Interaktivität in Echtzeit Reale und virtuelle Objekte stehen 3-dimensional zueinander in Bezug Diese Definition hat allerdings zwei Nachteile, diese sind: sie stützt sich alleine auf technische Merkmale sie beschränkt sich auf nur einen Teilaspekt von AR Andere Arbeiten definieren AR als eine Ausweitung der Sinneswahrnehmung des Menschen durch Sensoren von Umgebungseigenschaften, die der Mensch selbst nicht wahrnehmen kann: Radar, Infrarot, Distanzbilder, usw. Von der Trendforschung wurde zudem der Begriff Outernet eingeführt, das heutige Kunstwort für Augmented Reality. Lukas Hofer 3

4 2 Geschichte Die erweiterte Realität ist erst in den Kinderschuhen, deshalb ist die Geschichte der AR noch nicht sehr lang. Hier sind die bedeutendsten Punkte beschrieben: 1968 erfindet Ivan Sutherland das A Head Mounted Three Dimensional Display ein Helm der es dem Betrachter ermöglichte, ganz in ein simuliertes 3D-Environment einzutauchen. Sutherland sagte voraus, dass die Computerwissenschaft es eines Tages ermöglichen würde, virtuelle Erfahrungen zu bauen, die auch die Sinne überzeugen würden. Bild 2-1: Head Mounted Display 1992 Tom Caudell und David Mizell verwenden erstmals den Begriff Augmented Reality. Sie beide sind Ingenieure bei Boeing und überlegen sich wie man das Verlegen von Kabelbäumen in den Flugzeugrümpfen erleichtern könnte. Sie überlegen sich ein Konzept, wie man den Konstrukteuren mittels Videoüberlagerung die Position der Kabel auf einem Helmdisplay anzeigen kann. Damit war die AR lanciert. Bild 2-2: Caudell und Mizell Augmented Reality 1994 Paul Milgram und Fumio Kishino definieren das Reality-Virtuality Continuum. Dieses beschreibt ein Spektrum, welches von der Wahrnehmung unserer realen Umgebung hin zu einer komplett virtuellen Umgebung reicht. Die Abstufungen, die zwischen diesen beiden Grenzen liegen, werden als Mixed reality bezeichnet. Hierbei werden die reale und die virtuelle Welt vermischt. Lukas Hofer 4

5 Neben der erweiterten Realität ist die erweiterte Virtualität (augmented virtuality) also ein Teil dieser gemischten Realität. Bild 2-3: Reality-Virtuality (RV) Continuum 1995 Jun Rekimoto und Katashi Nagao erschaffen mit der NaviCam ein kamerabasiertes AR- System 1997 Ronald Azuma formuliert seine Definition von Augmented Reality (siehe 1 Definition) 1998 Bruce Thomas präsentiert mit Map-in-teh-hat ein tragbares AR-Navigationssystem 1999 Das ARToolKit - eine Software-Bibliothek zu Unterstützung von AR-Anwendungen geht in die Entwicklung 2001 Kooper an MacIntyre veröffentlichen mit RWWW den ersten AR-Browser 2003 Das erste kommerzielle AR-Handygame Mozzies wird auf dem Siemens SX1 veröffentlicht 2004 Der erste 3D Maker wird von Mathias Möhring vorgestellt 2006 Nokia präsentiert mit Mara (Mobile Augmented Reality Applications) eine sensorbasierte AR-Anwendung für Handys 2008 Metaio entwickelt für ein japanisches Museum einen AR Museums Guide 2008 Wikitude, die erste standortbegozegene Augmented-Reality-Software für Mobilgeräte kommt auf den Markt. Bekam 2009,2010,2011 den Preis für den besten Augmented Reality Browser 2009 Layar und Junaio, zwei weiter AR-Browser folgen 2009 Mit dem iphone 3GS und ähnlich leistungsstarken Android Geräten wird erstmals markerloses 3D Tracking möglich 2010 findet die erste kommerzielle Augmented Reality Konferenz statt 2011 Die erste AR-TV-Sendung Galileo lässt erstmals ihre Zuschauer per Smartphone an einem interaktiven Quiz teilnehmen Lukas Hofer 5

6 3 Aufbau Der Aufbau eines Augmented Reality Systems besteht allgemein betrachtet aus den folgenden Hauptkomponenten: Anzeigegerät (HMD, Monitor, etc.) Trackingsystem Computer (Datenhaltungssystem) Software (Szenengenerator) Wenn diese technischen Bestandteile vorhanden sind um eine AR-Anwendung aufzubauen, spricht man von einem AR-System. 4 AR-Technologien Die Erweiterung der Realität kann durch verschiedene Technologien erreicht werden. Im Folgenden werde ich vier dieser Technologien näher erläutern. 4.1 QR-Code Der QR-Code (QR =Quick Response, schnelle Antwort) ist ein zweidimensionaler Strichcode. Nach Azuma ist der QR-Code keine echte AR-Technologie. Es können keine virtuellen Elemente, z.b ein 3D-Animation eingeblendet werden. Vielmehr können mit dem QR-Code Informationen kodiert werden, die dann von einer Kamera ausgelesen werden. Mögliche Inhalte, die verknüpft werden können, sind etwa Verlinkungen zu Websiten, Telefonnummern, usw. Der QR-Code findet häufig Verwendung auf Printprodukten, wie Zeitschriften und Verpackungen oder auch Plakaten und Visitenkarten. Bild: 4-1 QR-Code Lukas Hofer 6

7 4.2 Markerbasierte AR Ein Marker ist ein Ankerpunkt in der Realität (ähnlich wie der QR-Code). Der Unterschied zum QR-Code besteht darin, dass der Marker dann in der Simulation mit einem virtuellen Objekt überlagert wird. Der Aufwand einen Marker zu erstellen ist zwar höher als bei einem QR-Code, jedoch immer noch gering einzuordnen. Marker können mit multimedialen Inhalten, z.b 3d-Daten, Audio und Videodateien oder Bildern angereichert werden. Hierzu wird der Marker mittels einer Videokamera erfasst. Die AR-Software ist dann dafür zuständig, den Marker im empfangenen Videobild zu erkennen und mit den in der Datenbank hinterlegten Markern abzugleichen. Wenn die Software den Marker erkennt löst sie die damit verbundene Aktion aus. Nun muss die Software perspektivisch an die korrekte Stelle im Raum zu dem Marker positioniert werden. Das erstaunliche dabei ist, dass sogar bei Bewegen des Markers vor der Kamera sich die überlagerten Inhalte mit bewegen. Wenn der User diese Technologie mobil nutzen will, braucht er ein kamerataugliches mobiles Endgerät mit Internetzugang und natürlich die Software dazu. Bild 4-2: Beispiel eines markerbasiertes AR Lukas Hofer 7

8 4.3 Bildererkennende AR Die bilderkennende AR baut auf dem Prinzip der markerbasierten AR auf, funktioniert jedoch ganz ohne Marker. Als Ankerpunkte dienen die Objekte selber, welche um virtuelle Elemente erweitert werden sollen. Ein Bild in einer Zeitschrift kann zum Beispiel der Auslöser für die AR-Anwendung sein. Die AR-Software gleicht das Bild mit einem hinterlegten Referenzmodell ab und löst die verknüpfte Aktion aus. Auch hier besteht die Aktion aus multimedialen Inhalten. Die Möglichkeiten für den Einsatz dieser Technologie sind zahlreich. Daher gilt sie auch als zukunftfähigste AR-Technologie mit dem meisten Entwicklungspotential. Bild 4-2: Beispiel eines markerbasiertes AR 4.4 Ortsabhängige AR Bei dieser Technologie erfolgt die Anreicherung der realen Welt durch die Bestimmung der Position und Blickrichtung eines User zu einem Objekt mittels Geodaten. Der User richtet die Kamera seines mobilen Endgeräts auf ein Gebäude oder Sehenswürdigkeit. Mit Hilfe eines GPS-Empfängers und Kompass kann dann die Position und die Blickrichtung ermittelt werden. Zu diesem Standort sind im Internet Informationen gespeichert, die dem User auf dem Display dargestellt wird. Diese Informationen können z.b aus einem Wikipedia-Artikel stammen. Lukas Hofer 8

9 Bild 4-3: Funktionsweise ortsabhängige AR 5 Einsatzmöglichkeiten Der Einsatz von Augmented Reality ist fast grenzenlos. Es kann in praktisch allen Bereichen des Alltags zum Einsatz kommen. Monteure könnten sich den nächsten Arbeitsschritt einblenden lassen, Katastrophenhelfer könnten sich Ziele und Gefahrenzonen anzeigen lassen. Ein schon oft heute verwendete AR-Anwendung ist das in Echtzeit virtuelle Marken bei Sportübertragungen eingeblendet werden: die verschiedenen Entfernungen der Konkurrenten beim Ski-Springen, Weitwurf, usw. Google arbeitet aktuell an einem Produkt mit dem Namen Project Glass, dass aus einer Brille mit Micro-Display und einer Kamera zusammengesetzt ist. Per Spracheingabe soll diese dann gesteuert werden können. Zu den Funktionen des Geräts gehört etwa, dass der Träger der Brille Informationen seiner Umgebung in Form von Navigationshinweisen erhält, Daten aus dem Internet abrufen kann sowie die Möglichkeit, Videokonferenzen durchzuführen. Wenn der Brillenbesitzer z.b aus dem Fenster blickt zeigt die Brille die Wettervorhersage an oder auf der Strasse bekommt er aktuelle Verkehrsinformationen. Hier noch weitere Einsatzmöglichkeiten von Augmented Reality: Hilfestellung bei komplexen Aufgaben, v. a. in Konstruktion, Wartung und Medizin durch Anzeigen von Zusatzinformationen durch Darstellung nicht sichtbarer Elemente Industrielle Anwendungen Die Technologie ermöglicht ferner den breiten Einsatz von digitalen Absicherungsmethoden bei der Kombination von digitalen Daten mit realen Prototypen bzw. Konstruktionen. Lukas Hofer 9

10 Navigation im Gebäude im Freien im Auto Im Flugzeug (Head-Up-Displays in Kampfflugzeugen sind eine der frühesten AR-Anwendungen überhaupt) Bild 5-1: Head-up-Display einer F/A- 18C Militär und Katastrophenmanagement (am Körper tragbare Systeme, die etwa Freund und Feind oder Brandherde anzeigen Prospektion in Hydrologie, Ökologie, Geologie (Darstellung und interaktive Analyse von Karten und Geländemerkmalen Visualisierung von Architektur (Darstellung zerstörter historischer Gebäude; zukünftige Architekturprojekte) Simulationen, z. B. Flug- und Fahrsimulatoren Augmented E-Commerce, die virtuelle Anprobe von Kleidern, Uhren, Schuhen, usw. Zusammenarbeit verteilter Teams Konferenzen mit realen und virtuellen Teilnehmern gemeinsame Arbeit an simulierten 3D-Modellen Unterhaltung Spiele (z. B. ARQuake, EyePet (für PS3)) Bild 5-2: Spiel ARQuake Lukas Hofer 10

11 6 Vor- und Nachteile Informationen werden in Echtzeit angezeigt Informationen werden im Blickfeld des Betrachters angezeigt, es sieht so aus als ob die produzierten Objekte vor einem sind Reduzierung der Suchzeiten nach Information Parallelisierung von Haupt- und Nebentätigkeiten Fast unendlich viele Anwendungsgebiete für AR-Systeme Exakte Bestimmung der Position des Benutzers ist absolut notwendig Verzögerungen im System, sogenannte dynamische Fehler merkt das menschliche Auge sofort, diese werden auch in Zukunft nie ganz eliminierbar sein Energieversorgung: Die momentan Akkus reichen noch nicht aus, um AR-System längere Zeit zu versorgen Die Privatsphäre des Benutzers ist betroffen, da durch das genaue Tracking der Benutzer überwacht und seine Position aufgezeichnet werden könnte 7 Verschiedenste AR-Beispiele 7.1 Wikitude Wikitude ist die erste Augmented-Reality-Software für Mobilgeräte, die von der österreichischen Wikitude GmbH entwickelt und im Jahr 2008 als Freeware veröffentlicht wurde. Die App ist für Android, ios, Bada, Blackberry und Windows Phone 7 verfügbar. Das zentrale Element beim Wikitude World Browser ist der Standort. Im Wikitude Browser ist das Browsen für den mobilen standort-bezogenen Nutzen optimiert. Wikitude ermöglicht die erweiterte Ansicht auf die Wirklichkeit mit zusätzlichen Inhalten. Bild 7-1: Wikitude World Browser auf ios Lukas Hofer 11

12 7.2 Make-up-Tester IBM hat beeindruckende, feingetunte Make-up-Tester realisiert, diese sind augenscheinlich so gut, dass sie das echte Ausprobieren ersetzen. Zuerst schiesst man ein Bild mit der integrierten Kamera und hält dann das gewünschte Produkt an den Reader. Nun kann man jedes Produkt ausprobieren und sieht wie das etwa dann aussehen wird. Somit können Frauen unendlich viel Zeit sparen und können die Test-Bilder auch gleich an die beste Freundin schicken, um ein Feedback zu erhalten. 7.3 Sprachübersetzung Die echtzeite Übersetzung einer Sprache in eine andere ist schon heutzutage möglich. Ein Beispiel ist die App Word Lens. Sie ermöglicht das Übersetzen vom Französischen ins Englische und umgekehrt, und vom Spanischen ins Englischen und umgekehrt. Die App ist also noch eingeschränkt, und sie erkennt die Sprache noch nicht automatisch. Ein Vorteil dieser App ist, dass keine Internetverbindung nötig ist und man nicht viel Zeit verbraucht um das Wort oder den Satz im Wörterbuch nachzuschlagen. Bild 7-2 : Sprachübersetzung mit der App Word Lens 7.4 Röntgenblick Der Einsatz von AR ist auch in der Medizin sehr hilfreich und wird in der Zukunft wohl eine ganz andere Bedeutung gewinnen. Heute ist es schon möglich auf Flachbildschirmen den Körper des Patienten und gleichzeitig das Innere des Patienten aufzuzeigen. Der Operateur kann so Schicht für Schicht bis auf die Knochen des Patienten sehen. Dies ermöglicht dem Operateur eine Erhöhung der Präzision und macht so Operationen sicherer. Lukas Hofer 12

13 7.5 Architektur Mit einem Augmented-Reality-System können Architekten vor Baubeginn eine virtuelle Begehung des Baugrundstücks machen und überprüfen wie sich dieses in die Umgebung einfügt oder welche Auswirkungen äussere Einflussfaktoren wie die Umgebungsbebauung auf den Entwurf haben. Dem Architekten erleichtert dies die Arbeit enorm. Auch ist es möglich sich die gewünschten Möbel in einem Zimmer virtuell darzustellen zu lassen und sie beliebig zu verschieben und zu drehen. Weiter kann man zerstörte historische Gebäude darstellen lassen. Heutzutage werden AR-Systeme in der Architektur allerdings noch nicht sehr oft eingesetzt. Auch in dieser Sparte wird Augmented Reality aber in absehbarer Zeit zu erwarten sein. 8 Prognosen In Augmented Reality steckt ein grosses Potential, welches vor allem in Industrieanwendungen seit einigen Jahren erkannt wird, vor allem in der Automobilindustrie im Prototypbau oder etwa auch bei der Unterstützung von Servicetechnikern. Professionelle Augmented-Reality-Systeme werden auch in der Medizin und dem Militär eingesetzt, die Kosten sind jedoch mit meist einigen hunderttausend Franken und mehr erheblich. Auch im Bereich des Entertainments werden Augmented Reality-Systeme zunehmend eingesetzt. Auf Smartphones basierende Anwendungen sind immer mehr am Kommen. Sie verfügen über die technischen Kapazitäten, die es für ein AR-System braucht. Smartphones gelten als ideales Medium für AR-Anwendungen und werden wohl in Zukunft oft für verschiedenste AR-Zwecke eingesetzt werden. Gartner hat Augmented Reality 2008 zu den TOP 10 Technologien unserer Zeit gezählt. Gartner prognostiziert für das Jahr 2014 bereits ein weltweites Marktvolumen von 732 Millionen US-Dollar. Und Juniper Research prognostiziert für das Jahr 2015 im AR- Bereich Einnahmen von 1.5 Milliarden US-Dollar. Die prognostizierten Zahlen mögen von Fall zu Fall schwanken, dennoch, sie spielen sich im Milliardenbereich ab und stammen von Analysten wie ABI, Juniper oder Gartner, nicht aus der Branche selbst, man kann sie also durchaus ernst nehmen. Lukas Hofer 13

14 9 Blick in die Zukunft Zukünftige Anwendungen: Die Rechenleistung von Tablets und Smartphones wird immer besser werden. Somit werden auch aufwendigere AR-Algorithmen als heute zur Verfügung stehen Ersatz von Handy- und Navigatorbildschirmen und Einblendung der Informationen direkt in die Umwelt, z. B. von Leitlinien direkt auf die Fahrbahn, sowie Erweiterungen, wie z. B. Röntgenblick zur Darstellung verdeckter Ziele Markelloses Tracking wird Standard werden Augmented Reality-Systeme werden in Brillen eingesetzt werden. Google ist aktuell eine solche Brille am entwickeln siehe auch 5 Einsatzmöglichkeiten Bild 9-2: Googles AR-Brille Mehr Polygone pro 3D Modell werden möglich sein Bild 9-1: Low-Polygon Lamborghini Gallardo Lukas Hofer 14

15 Erweiterung von PC-Betriebssystemoberflächen in die reale Umwelt: Programmfenster und Icons werden als virtuelle Geräte im realen Raum dargestellt und durch Blicke oder Zeigen mit dem Finger bedient Bild 9-2: Virtuelle Betriebssystemoberfläche in der realen Umgebung Standards werden weiter auf sich warten lassen, ausser einer der Grossen kauft einen Browser Hersteller Mediale Anwendungen, wie pseudo-holografische virtuelle Bildschirme, virtuelle Holodecks, virtuelles Surround-Kino Darstellung virtueller Pflanzen, Tapeten, Ausblicke, Kunstwerke, Dekorationen, Beleuchtung usw. zur Verschönerung der alltäglichen Umwelt Face Recognition (echtzeite Geschichtserkennung) wird kommen (und sich nicht verhindern lassen) Bei allgemeiner Verbreitung von AR-Systemen werden auch virtuelle Schaufenster, Plakate, Verkehrsschilder etc. Wirklichkeit werden Lukas Hofer 15

16 10 Quellenangaben Mainstream-Maedchencontent.html Lukas Hofer 16