Plattformen Hardware

Transkript

1 Plattformen Hardware Proseminar Augmented Reality in der Anwendung Institut für Computervisualistik, Universität Koblenz Prof. Dr. Stefan Müller Dipl.-Inform Martin Schumann Dipl.-Inform Dominik Grüntjens Matthias Kuich 5. Juni

2 Inhaltsverzeichnis 1 Hardware 3 2 Entwicklung der Hardwarekomponenten Kit Bag Hand Bag No Bag Display Head-mounted Displays Optical see-through Video see-through Virtual Retinal Display Probleme bei HMD Handheld Displays Probleme bei Handheld Displays Spatial Display Vorteile Spatial-Based-Display Probleme bei Spatial-Based-Display Tracking Technologie 7 5 AR im Outdoor Einsatz 7 2

3 1 Hardware Hardware ist der Oberbegriff für die mechanische und elektronische Ausrüstung eines Systems z.b. eines Computersystems (siehe [wika]). Augmented Reality Systeme bestehen aus verschiedenen Hardware-Komponenten und werden auch selber als Hardware bezeichnet. Die folgende Liste beinhaltet alle relevanten Hardware-Komponenten, die in der AR eine wichtige Rolle spielen. Kamera Display CPU Tracker Projektor 2 Entwicklung der Hardwarekomponenten Der technische Fortschritt treibt die Weiterentwicklung der AR Komponenten an und führt zur ständigen Veränderungen der Hardware. Eine Reihe von Entwicklungen haben die AR Systeme schon hinter sich bzw. noch vor sich. In den drei weiteren Unterkapiteln möchte ich kurz auf die Veränderungen dieser Systeme und auf einen zukünftigen Ausblick näher eingehen. 2.1 Kit Bag Die vergangene Generation ca. gegen 1992 bestand aus s.g. Kit Bags. Die benötigte Ausrüstung, wie Laptop, Kamera und ein Head-Mounted-Display wurden in einem Rucksack verstaut. Hohes Gewicht, teure Hardware und komplexe Verkabelung waren für den kommerziellen Gebrauch ungeeignet. Dadurch dass dieses System aus verschiedenen Komponenten bestand, waren sie sehr wartungsintensiv und anfällig für Hardware-Störungen aller Art. Zu der damaligen Zeit war dieses Feld den Forschern überlassen (siehe [Inb08]). 2.2 Hand Bag Die gegenwärtige Generation, seit 2003 bis heute wird als Hand Bag bezeichnet. Die mobilen Geräte haben die Welt erobert. Massenproduktion von PDAs, Mobiltelefonen und Tablets, jeweils mit Kameras und anderen Sensoren ausgestattet, haben ihren Durchbruch erlangt. Ein leicht zu tragendes, ergonomisches und preisgünstiges Medium hat nun die breite Masse des Mobilzeitalter erreicht (siehe [Inb08]). Große Displays und die zahlreichen funktionsfähigkeiten machen die Handgeräte zum beliebtesten Medium. Die zahlreichen Erweiterungen durch Applikationen machen aus dem Forscherfeld nun ein Anwenderfeld. Die gute Ausstattung vieler Geräte ermöglicht die direkte Nutzung der AR Anwendungen. 3

4 2.3 No Bag Die Zukunftsaussichten prognostizieren Geräte, die weder auf dem Rücken getragen werden, noch in der Hand gehalten werden müssen. In den nächsten 5-12 Jahren werden Brillen mit eingebauten Display den Markt erobern, später werden Kontaktlinsen die Brillen ablösen.?? Diese Vision scheint weit her geholt, befindet sich jedoch in greifbarer Nähe. Forschern der University of Washington, in Seattle ist es gelungen eine LED in eine Kontaktlinse einzubauen. Die Stromversorgung erfolgt durch Kabellose Radio Frequenzen (siehe [Par09]).2 3 Display Ein Display ist neben der CPU das wichtigste Bauteil aller Hardware Komponenten der AR. Es gibt eine Reihe von verschiedenen Displayarten, die ich im folgenden näher erläutern werde. 3.1 Head-mounted Displays Ein Head-mounted Display ist ein am Kopf getragenes visuelles Ausgabegerät, das am Computer erzeugte Bilder auf einem augennahen Bildschirm darstellt oder direkt auf die Netzhaut projiziert. Durch die Augennähe wirken die Bildflächen größer, als die freistehenden Bildschirme. Ein Head-mounted Display (HMD) besteht aus einer Displayeinheit, aus einer HMD Optik, die das Bild weiterleitet oder direkt auf das Auge projiziert und aus einem Headtracker. Ein Headtracker ermittelt die genaue Postition des Kopfes und kann so das Bild in Echtzeit an die Blickrichtung anpassen entwickelte Ivan Sutherland das erste HMD. Dieses war jedoch so schwer, dass es zusätzlich von der Raumdecke getragen werden musste.1 Die ständige Entwicklung dieser Systeme macht es heute möglich eine Sonnenbrille mit eingebautem Display, nicht nur in Innenräumen, sondern auch im Freien, bei starkem Lichteinfall, zu nutzen. Die HMD lassen sich in ihrer Funktionsweise in zwei Bereiche einteilen. In die Optical see-through (OST) und in die Video see-through (VST) Technologien Optical see-through Eine Optical see-trough Display erlaubt dem Anwender die reale Welt in Echtzeit, überlagert von den generierten Objekten zu betrachten. Die komplette und augenblickliche Umgebung wird erfasst und vermittelt dem Anwender einen bekannten Zustand. Eine der Hauptherausforderungen der OST Displays liegt darin ein korrektes, in die Umgebung eingeschlossenen, Bild zu generieren (siehe [Azu97][PM94]). Hierbei bleibt die Realität erhalten und ein mobiler Einsatz ist möglich. 4

5 3.1.2 Video see-through Bei dieser Form der Displays wird dem Anwender ein, durch eine Kamera aufgezeichnetes, Bild gezeigt, welches durch weitere Objekte zur AR erweitert wird. Der Anwender sieht also nicht die reale Umgebung. Eine Vielfalt von bildverarbeitenden Techniken ermöglicht dem Anwender ein gut sichtbares Bild, unabhängig von der Sonneneinstrahlung oder sonstigen Umwelteinflüssen, zu betrachten. Hierin liegt der Vorteil gegenüber den OST Displays. Weiterhin lässt sich dieses System leichter realisieren und trägt durch die reduzierte Latenz und durch die reduzierten Registrierungsprobleme zu einer realistischen Übertragung bei. Die heutigen HMD werden als Datenbrillen bezeichnet und diese sind mit einem oder zwei LCD Monitoren ausgestattet. Ein wesentlicher Nachteil hierbei ist die begrenzte Fläche des Bildschirms und die damit verbundene niedrige Auflösung. Das hohe Gewicht der LCD Monitore und das eingeschränkte Blickfeld wirken sich ebenfalls negativ für den Anwender aus. Weiterhin wirkt das Bild nur scharf, wenn der Anwender seine Augen auf eine bestimmte Tiefe fokussiert(siehe [Azu97][PM94]). Bei einem Stromausfall würden die Displays ausfallen und dem Anwender jegliche Sicht nehmen und möglicherweise eine Gefahr darstellen Virtual Retinal Display Moderne HMD sind mit einem Virtual Retinal Display (VRD) ausgestattet. Diese Technik projiziert das Bild direkt auf die Netzhaut. Der Anwender sieht, was wie eine Leinwand wirkt, die in der Luft vor ihm schwebt. Für den Anwender wirkt dies wie ein 10 cm großes Objekt, das sich etwa einem Meter vor ihm befindet. Das entspricht einem 16 Zoll Bildschirm. Aktuelle HMD haben eine Bildschirmauflösung von 1280x1024 Pixel. Die ständig voran schreitende Entwicklung von Leuchtdioden machen die VRD brauchbar. Die Leuchtdioden können enorme Helligkeit erzeugen und machen damit das System auch im freien, unter hohem Lichteinfall, nutzbar. Weitere Techniken wie z.b. die adaptive Optik führen zu einer hochauflösenden Darstellung mit echter Farbskala. Bei weitem besser als die besten Bildschirme. Ein weiterer Vorteil der VRD ist, dass das Bild skaliert werden kann und so das ganze Blickfeld genutzt werden kann Probleme bei HMD HMD Systeme sind die direktesten und flexibelsten Systeme, die die AR Umwelt einem Benutzer darstellen können. Für diese optimale Darstellung muss der Anwender das HMD permanent tragen. Dies kann nach länger Zeit etwas mühsam und unbequem werden. Des Weiteren eignen sich HMD nicht für mehrere Anwender. Zum Beispiel wirken generierte Schatten für einen Anwender A richtig positioniert, aber ein Anwender B, der aus einem anderen Blickwinkel aus die Szene betrachtet, sieht den Schatten an einer unrealistischen Stelle. Ein Nachteil hierbei besteht, dass die Verzögerung oder Unschärfe der Darstellung zu unangenehmen Nebenerscheinungen, wie der Simulator Sickness oder 5

6 einer Herabsetzung der Präsenz des Grades der Immersion, führen kann (siehe [Bil08]). 3.2 Handheld Displays Ein Handheld Displays ist ein tragbarer Bildschirm mit eigener Stromversorgung. Die Größe und das Gewicht ermöglicht die Verwendung mit einer bzw. zwei Händen. Bisher waren die AR Sytseme für die breite Masse ungeeignet. Die Hardware hatte zu hohe Anforderungen, um die Systeme preisgünstig anbieten zu können. Dies änderte sich jedoch mit der Einführung der PDA s und den Smartphones. Das Smartphone bringt eine vertraute Umgebung mit sich und ist mit Kameras und weiteren Sensoren ausgestattet. Dies ermöglicht die Verwendung der VST Technologie. Die Ausstattung und die Software-Erweiterungen durch Applikationen, machen das Smartphone zum momentan bestens geeigneten Handheld Display für AR Anwendungen. Ein weiterer Vorteil der Handheld Displays liegt, darin, dass man nur ein Gerät mit sich führen muss und nur noch einen Akkustand überwachen muss Probleme bei Handheld Displays Handheld Displays sind die Endgeräte die AR für die breite Masse zugänglich macht. Doch nicht alle Anwender sind mit diesen Geräten zufrieden. Einige Benutzer sind durch die Vielzahl an Einstellungs- und Anwendungsmöglichkeiten überfordert. Smartphones haben kleinere Bildschirme als PDAs oder Tablets und sind für schlechter sehende Anwender ungeeignet. Beim Einbau vieler technischer Sensoren muss auf Kompromisse eingegangen werden. Kombigeräte können die meisten Aufgaben nicht so gut erledigen wie die spezialisierten Geräte. Die heutige Akkutechnologie stößt bei intensiver Nutzung der energiehungrigen Dienste, wie GPS oder WLAN schnell an ihre Grenzen. Erweiterungen durch Applikationen erhöhen das Risiko von Schadsoftware befallen zu werden. Ein weiterer Nachteil liegt darin, dass die Hand bzw. die Hände beschäftigt sind und dass das mobile Gerät sich ständig in einer Linie mit dem Auge und dem Objekt befinden muss, damit die AR Anwendung funktionieren (siehe [wikb][inb08][bil08]). 3.3 Spatial Display Eine weitere Displayart sind die Spatial Displays. Diese finden sich in der Spatial Augumented Reality(SAR) wieder4. Anders als bei den HMD und den Handheld Displays sind die spatial Displays von Anwender getrennt. Dies hat den Vorteil das der Anwender keine Baugruppen mit sich tragen muss. Digitale Projektoren projizieren die Objekte auf eine physikalische Oberfläche. Somit sind diese Systeme auch für Gruppen geeignet. 6

7 3.3.1 Vorteile Spatial-Based-Display Einer der Hauptvorteile dieses Systems liegt darin das der Anwender kein HMD tragen muss. Des weiteren kann durch die Spatial Augmented Reality (SAR) ein viel breiteres Sichtfeld erzeugt werden und ein besseres Ergebnis bei der Integration des virtuellen Objekts in der realen Welt erzielt werde Probleme bei Spatial-Based-Display Ein großer Nachteil der Spatial-Based-Displays liegt darin, dass diese nicht für mobile AR genutzt werden können, da sie fest in dem Aufbau montiert sind. Zudem benötigen sie stets eine physikalische Oberfläche, die je nach Art der Beschaffenheit und Farbe unterschiedliche Ergebnisse erzielten. Starkes Umgebungslicht beeinflusst die Darstellung der projizierten Bilder. Bei hohem Lichteinfall werden die projizierten Objekte, für das menschliche Auge, nicht mehr bzw. weniger sichtbar. Personen oder Gegenstände, die sich in unmittelbarer Nähe der Projektoren befinden, können Schatten erzeugen, die die Darstellung beeinflusst. Um diesem Problem aus dem Weg zu gehen werden häufig mehrere Projektoren verwendet (siehe [ras98]). 4 Tracking Technologie Das Tracking spielt in der AR ein sehr große Rolle. Die Position des AR Anwenders und seine Blickrichtung muss genau bestimmbar sein um das virtuelle Objekt korrekt in die Welt setzen zu können. Das Tracking wurde schon mit verschiedenen Möglichkeiten ausprobiert z.b. akustische Systeme mit Ultraschall, magnetische Tracking Varianten und die optischen Trackingverfahren. Da das optische Tracking nur mit bestimmter Hardware funktionsfähig ist, möchte ich diese kurz einige Elemente vorstellen. Die GPS Antenne ist ein wichtiger Bestandteil der Tracking Technologie, um die genaue Position des Anwenders zu bestimmen. Hierzu gehört der GPS Empfänger, der die GPS Signale verarbeiten kann und dadurch die genau Position bestimmen kann. Ein Gyroskope unterstützt bei der Bestimmung der genauen Position, besser gesagt bei der genauen Orientierung. Um eine 3D Szene real darstellen zu können ist es wichtig jede Bewegung und Neigung des Kopfes und die damit verbunden Änderung des Blickwinkels zu erfassen. Ebenso ist beim bildbasierten Tracking eine Kamera erforderlich. 5 AR im Outdoor Einsatz Frühere AR Systeme bestanden aus sperriger und schwerer Hardware. Die Anwender konnten keine lange Distanzen gehen, da sie durch die Hardware auf ein bestimmtes Arial begrenzt waren. Das Ziel der Entwicklung besteht darin die System portabel zu gestalten, damit sie nicht auf bestimmte Ariale begrenzt werden. Das erste mobile AR System war die Touring Maschine von Feiner et 7

8 al. von der Columbia University5. Das Tinmith System war eins der ersten AR Systeme, welches leicht genug war um es bequem tragen zu können 8. Outdoor Systeme haben andere Problemstellungen, als die Indoor Systeme. Zum Beispiel können mobile Systeme nicht die Indoor Tracking Methoden verwenden. Outdoor AR Systeme müssen klein und leicht sein, damit sie, auch über einen längeren Zeitraum, genutzt werden können, ohne Beschwerden auszulösen. Die Position und die Orientierung eines Anwenders muss eindeutig bestimmt bar sein. In geschlossenen Räumen bedient man sich einer Reihe von verschiedenen Trackingverfahren, wie das magnetische, optische oder das Tracking durch Ultraschall. Diese Techniken sind nur begrenzt funktionsfähig, wenn man diese im Freien nutzen möchte. Das GPS ist das einzige, verlässliche Trackingverfahren, welches für den Outdoor Bereich genutzt werden kann. Outdoor System sollen klein und kompakt sein, damit sie dem Anwender nicht zu Last fallen. Die ständige Energieversorgung einzelner Komponenten muss zu jedem Zeitpunkt gewährleistet sein. Eine Unterbrechung des Stromflusses einer Komponente würde zum Ausfall des kompletten AR Systems führen und damit die Präsenz des Grades der Immersion herabsetzen. Da eine Versorgung, im Outdoor Bereich, durch ein Kabel nicht in Frage kommt, muss man auf Batterien zurückgreifen. Damit der Anwender mit den Objekten in der AR interagieren kann muss eine Userschnittstelle vorhanden sein. Herkömmliche Eingabegeräte, wie Maus und Tastatur, können während ständiger Bewegung des Anwenders nicht genutzt werden. Hier sind jetzt alternative Eingabegeräte gefragt. Eine alternative sind die Pinch Cloves. Hierbei bedient man sich der Hände des Anwenders und der Kamera. Die am Handschuh angebracht Marker starten das Userinterface, wenn die Kamera diese identifiziert. Um das Userinterface zu steuern, müssen Signale an die CPU gesendet werden. Dies passiert durch verschiedene Zangengriffe des Anwenders. Durch das Zusammenführen eines Fingers mit dem Daumen wird ein Signal an die CPU gesendet und die entsprechende Aktion im Userinterface ausgeführt. 8

9 Abbildung 1: Das erste HMD von Sutherland [sutherland] Abbildung 2: Kontaktlinse mit LED [parviz] 9

10 Abbildung 3: Pinch Gloves [bat04] Abbildung 4: Spatial AR [spa] 10

11 Abbildung 5: Erste mobile AR Einheit Abbildung 6: Brille mit OST Display 11

12 Abbildung 7: Tinmith System [bat04] Abbildung 8: Tinmith Systeme in der Entwicklung [bat04] 12

13 Abbildung 9: HMD von Sony, vorgestellt 2011 Abbildung 10: CVLogo 13

14 Literatur [Azu97] Ronald T. Azuma. A survey of augmented reality. pages Hughes Research Laboratories, , 5 [BAT04] Wayne Piekarski Benjamin Avery, Ross T. Smith and Bruce H. Thomas. Designing outdoor mixed reality hardware systems. pages , [Bil08] Feng Zhou Henry Been-Lirn Duh Mark Billinghurst. Trends in augmented reality tracking, interaction and display. pages Center for Human Factors and Ergonomics, Nanyang Technological University, Singapore;Department of Electrical and Computer Engineering/Interactive and Digital Media Institute, National University of Singapore;The HIT Lab NZ, University of Canterbury, New Zealand, [EFP99] Michael Harrington Eric Foxlin* and George Pfeifer. A wide rang ewireless motion trackingsystems for augmented reality and virtual set apllication [FÃ] [hmd] [Inb08] [Kle06] Markus FÃrber. Markerbasiertes tracking fã 1 4r augmented reality applikationen. pages In abgerufen Juni Ori Inbar. 10 best augmented reality devices that will reinvent mobile video games. gamesalfresco.com, , 6 Georg Klein. Visual tracking for augmented reality. Kingâs College, [Par09] Babak A. Parviz. Augmented reality in a contact lens. spectrum.ieee.org, [PM94] [ras98] [RB00] Akira Utsumi Fumio Kishino Paul Milgram, Haruo Takemura. Augmented reality: A class of displays on the reality-virtuality continuum. ATR Communication Systems Research Laboratories 2-2 Hikaridai, Seika-cho, Soraku-gun Kyoto , Japan, , 5 fuchs raskar, welch. Spatially augmented reality. pages 1 7. Department of Computer Science, University of North Carolina at Chapel Hill, Joshua McGee Sundar Sundareswaran Marius Vassiliou Reinhold Behringer, Clement Tam. A wearable augmented reality testbed for navigation and control, built solely with commercial-off-the-shelf (cots) hardware. In Computers and Graphics 23. International Symposium in Augmented Reality,

15 [Ref04] M. Reference. Titel der arbeit. In Titel des Buches, pages Name der Konferenz, [Sch] [spa] Daniel Wagner Dieter Schmalstieg. First steps towards handheld augmented reality. Vienna University of Technology, a rchive.html.inabgerufenmãrz2011. [sut] [THl99] In abgerufen MÃrz Tachio Terauchi Gus Rashid Drexel Hallaway Tobias HoK llerer, Steven Feiner. Exploring mars: developing indoor and outdoor user interfaces to a mobile augmented reality system. In Computers and Graphics 23, pages Name der Konferenz, [wika] wikipedia.de. Hardware. In Abgerufen 3 [wikb] wikipedia.de. Smartphone. In Abgerufen 6 MÃrz MÃrz