Entwurfsaspekte interaktiver 3D-Inhalte

Transkript

1 Entwurfsaspekte interaktiver 3D-Inhalte aktuelle Entwicklungen (auch) für mobile Geräte, Illustration und Unterhaltung Christian Geiger 3D-Computergrafik & Animation Hochschule Harz, Medieninformatik Zur Person Christian Geiger Professor für Computergrafik an der Hochschule Harz (FH) im Studiengang Medieninformatik Projektmanager Siemens C-LAB Paderborn im Bereich Multimedia, 3D und AR BMBF Projekt AR-PDA EU-Projekt AMIRE (Authoring Mixed Reality) Versch. Projekte zu 3D-GUI, Interaktiven Illustrationen, Navigation in 3D Interessensgebiete: Entwurf von 3D /AR Anwendungen, Wissensbasierte Multimedia /Computergrafik, Spiele / Edutainment /Infotainment 1

2 Über diesen Vortrag Disclaimer: Nur ein Teil der vorgestellten Arbeiten entstand an der HS Harz, vieles ist in Kooperation mit anderen Instituten entstanden, bzw wurde im Rahmen eines 4- tägigen Workshops präsentiert ACM SIGGRAPH and Eurographics Campfire Ralf Dörner, FHG AGC, Frankfurt Christian Geiger, HS Harz Paul Grimm, FHG AGC, Frankfurt Michael Haller, FH Hagenberg (A) PreProceeding bei Shaker Press erschienen (C-LAB Series) Motivation Interaktive 3D / VR / AR Inhalte werden von immer mehr Personen verwendet und nachgefragt Es fehlt jedoch in vielen Bereichen an Inhalten, da die technologischen Experten selten anspruchsvolle Inhalte aus speziellen Domänen entwerfen (Programmierer als Designer?) Inhaltsexperten können andererseits selten mit neu entwickelten Technologien umgehen (Designer als Programmierer?) Bisherige F&E-Ergebnisse fokussieren zu einem erheblichen Anteil auf technische Lösungen (Algorithmen, Systeme / Protototypen) Authoring / Entwurfsaspekte werden zur Zeit kaum angemessen berücksichtigt 2

3 Vorbild Spiele? Spieleindustrie ist zur Zeit einer der Schrittmacher im Bereich 3D (David Ebert) Entwickelt sich zum wichtigsten wirtschaftlichen Faktor für Hardware und Software im Bereich Computergrafik / Multimedia Schnelle Erstellung benutzbarer Inhalte ist zwingend, um sich am Markt zu behaupten Nach langer Ignorierung wird die Spielethematik auch wissenschaftlich betrachtet (Konferenzen, Vorlesungen, Studiengänge) Synergien zwischen Spieleindustrie und anderen Bereichen? Ansätze in den USA 1997: Studie "Modeling and Simulation: Linking Entertainment & Defense (M. Zyda, Naval Postgraduate School) Moves Institut bearbeitet diese Thematik mit verschiedenen Projekten: 3D Visual Simulation Networked Virtual Environments Computer-Generated Autonomy Human Performance Engineering Technologies for Immersion Defense and Entertainment Collaboration Evolving Operational Modeling Interactive Computer Generated Stories War Gaming Scenario Based Training 3

4 Ergebnisse Story-Engine für Army Game Projekt 2D (The Sims) und 3D (Unreal) Psychologische Profil identifizieren für Karriereplanung Werbung Interaktive Story mit Filmgenerierung M. Capps, P. McDowell & M. Zyda "A Future for Entertainment-Defense Collaboration," IEEE Computer Graphics & Applications, Jan/Febr 2001 Und hier? 1999 IGD Initiative Synergien Entertainment & Produktion Serie von Workshops mit Fachleuten aus Produktion (Automobil), Entertainment, Hochschulen / Forschungseinrichtungen Resultat war Report des IGD Rostock: Durch Kontakte dort entstand ua Campfire on Production Process on 3D Graphics Proc. Of Web3D WS on Structured Design of VE s and 3D Components, Shaker GI2001 Workshop: Synergien von virtueller Realität und Computerspielen Dennoch kein Vergleich zu USA! Wenigstens: Erste Ansätze im Hochschulbereich die Spielethematik ernsthaft zu betrachten 4

5 Übersicht Was sind wichtige Aspekte beim Authoring? Konzeptionelles Modell, Prozess, Werkzeuge, Anwendungen Ausgewählte Beispiele für diese Bereiche Nicht repräsentativ! Mobile Endgeräte Spezielle Anwendungen für mobile Geräte Anwendungen im Bereich Entertainment & Illustration Augmented Reality (AR) als Weiterentwicklung / 3D++ Augmented Reality Verweis auf kommenden Vortrag über Mixed Reality Kombination realer Aufnahmen mit computergenerierten Inhalten Azuma s Definition: 1. To combine real and virtual objects 2. Runs interactively and in real time 3. Registers (align) real and virtual objects with each other -> in 3D 5

6 Aspekte des Authoring Konzeptionelles Modell Basis für gemeinsame Vorstellung / Sichtweise Entwurfsvorgehen Definierbare Folge von Handlungsanweisungen Basistechnologie Unterstützende IT-Technologie für 3D/VR/AR 3D-Middleware? Visuelle Werkzeuge und Schnittstellen Einfach benutzbare Werkzeuge zur effizienten Gestaltung Sinnvoller Anwendungsbereich Direkter Nutzen für hinreichend viele Applikationen Benutzergruppen Endbenutzer, Inhaltsexperten, technische Experten 1) Konzeptionelles Modell Wer nicht direkt in OpenGL/D3D denkt, verwendet meist den Szenegraph Für Inhaltsexperten weniger geeignet, da selten eine 1:1 Abbildung aus der Realität möglich ist Andere Modelle aus dem Bereich Multimedia- Softwareentwicklung: 6

7 Vorteil Aktorenmetapher Konzept handelnder Einheiten ist interdisziplinär kommunizierbar, da bekannt aus Film/Theater Gute Abbildung auf 3D-Umgebung möglich mit entsprechender 3D-Bibliothek: Aktoren+Attributes, Actions, Stage, MakeUp/Shape, Camera C. Geiger, V. Paelke, C. Reimann, W. Rosenbach. A Framework for the Structured Design of VR/AR Content. VRST2000 2) Entwurfsvorgehen Strukturierte Vorgehensweise bei der SW-technischen Entwicklung von 3D/VR/AR Bisher existiert kein allgemeines, anerkanntes Vorgehen -> Design and Test aka iteratives Prototyping. Wichtig erscheint ein benutzerzentrierter Ansatz, der rechtzeitig alle am Ergebnis beteiligten Personen berücksichtigt Da eine kontinuierliche Einbeziehung wünschenswert ist, sollten stets überprüfbare Designrepräsentationen verfügbar sein Requirement Engineering Kontextanalysen Testing Evaluation Kontinuierlich testbare Designrepräsentation User Centred Design Entwurf 7

8 Entwicklung und Content-Authoring Process Planning Application / Content Level Context Spec. scriptwriting Evaluation Req. Spec. Concept / Goal Level film sequence storyboarding Evaluation Design 1 : n Req. Analysis Actor Level actor and prop preparation Evaluation Design n : m Req. Analysis Design (based on ISO 13407) V. Paelke: Design of interactive 3D Illustrations, Dissertation, 2002 Anwendungsentwicklung und Content-Authoring Testbare Design Repräsentation: (R)eale Aktoren (V)irtuelle Aktors (M)eta Aktoren i4d Generic Actor (GA): (possible design representations) - < id > [Text] // unique id - < description > [Text] // textual description - < scribble > [2D-Image] // visual depiction - < design_sketch > [2D-Image] // visual depiction - < 3D_model> [3D-Model] // visual depiction - < anim_mov > [2D-Movie] // visual depiction - < anim_mod > [3D-Animated Model] // visual depiction - < REF_CASA_agent> [Reference] // links behaviour to 3D anim. model - < REF_i4D_actor> [Reference] // link to custom actor C. Geiger, V. Paelke, C. Reimann, W. Rosenbach, J. Stoecklein.: Testable Design Representations for Mobile Augmented Reality Authoring, Int. Symposium on Mixed and Augmented Reality, Darmstadt, Germany, Sep

9 3) Basistechnolgie Ruf nach VR-Middleware: Komponenten, Bausteine, Reuse so einfach wie Lego! Unterschiedliche Sichtweisen: Highlevel Komponenten (z.b. verschiedene I/O-Geräte) vs feingranulare SW-Objekte (z.b. Animationen) Es existieren in beiden Bereichen zahlreiche Ansätze, vgl z.b. Proc. Of Web3D WS on Structured Design of VE s and 3D Components, Shaker. Visual tools Application Script interface C++ interface 3D component management system Extensions Platform abstraction layer Direct3D OpenGL OpenSG... Windows Unix... Eine Applikation aus Legokomponenten wird immer wie Lego aussehen Besser(?): universelle Elemente, die stets angepasst werden müssen und domänenspezifische Elemente, die einfach konfigurierbar sind Gems + Components (EU Projekt AMIRE) Aktuelle Ansätze Research: Visual Design Patterns, Ressourcenkalkulierenden AR-Komponenten [campfire] Open Source: OpenSG ( Kommerziell: z.b. Komponentenorientierte Shark 3D-Engine, alchemy im Spielebereich 9

10 Nicht Photorealistisches Rendering & Anwendungen im Spielebereich Bert Freudenberg, Maic Masuch, Uni Magdeburg 4) Werkzeuge Zahlreich für den Spiele-Bereich und ähnliche Anwendungsgebiete, jedoch erst seit kurzem für Inhaltsexperten (Designer) geeignet Konzentration auf 3D Desktop Bereich Realimation, EON, Alchemy, RealTime Pakete von 3D-Werkzeugen (Maya RTA, Max, ) Director8.5, Virtools, Script Wrapper, Alice, 10

11 X3D Editor Don Brutzman X3D = 3D-Webformat, das VRML entspricht und XML-basiert ist Iso-Spezifikation Nutzt Vorteile von XML für strukturierte Darstellung und Möglichkeit der Übrufung erzeugter Konstrukte Editor basiert auf IBM s Xeena:XMLbasiertes Werkzeug zum Erzeugen von XML-Sprachen Entertainment: Virtual Characters Ken Perlin, NYU : Prozeduraler Shader für Emotionen procedural approach to modifying body movements so as to convey various moods and personalities. Yet for games, linear animation content (the equivalent of pre-canned acting), does not suffice - characters need to change the way they act as the game play changes the situation. For example, a character should use very different body language when in the presence of a love interest, or when in the presence of a 30 foot fire breathing dragon. 11

12 Entertainment: Virtual Characters Authoring glaubwürdiger 3D Charaktäre mit prozeduralen Techniken und Noise-Funktionen Ziel: 3D-Entertainment zwischen Harry Potter und Lara Croft 5) Anwendungsbereiche Interaktive Illustration im Bereich Edutainment / Infotainment Z.B. Rekonstruktion von Artefakten Zur Erläuterung technischer Exponate V. Paelke, L. Grötzbach, J. Stoecklein, C. Geiger, C: Reimann, W. Rosenbach: The AR-ENIGMA A PDA based Interactive Illustration, SIGGRAPH Sketches & Applications, San Antonio, Texas, USA, July,

13 Fallstudie: Besuch im Computer Ausstellung im Computermuseum Paderborn Illustration + Entertainment (Zielgruppe: 12-16J) Neben erklärenden Elementen einfache 3D-Spiele zur Thematik Partner: Festo AG Esslingen, HNI Paderborn, Hochschule Harz Präsentation auf der Hannovermesse 2003 (DIM) Echtzeit-3D Entwicklung mit alchemy Aufgabe HSH: Design von Spielideen, Prototyping Medieninhalte entwickeln, Unterstützung bei Spieleentwicklung Ansatz: Arkadespiele Arcade- & Gesellschaftsspiele als erfolgreich erprobte Spielideen Vorteil: einfache, schnell erlernbare Spielkonzepte schneller Spielablauf abwechslungsreiche Spielschemata Erfolg bereits bewiesen 13

14 Ideen zu RAM, ROM, Steuerwerk, I/O, Binärem Rechnen Erste Spielideen Bem: Darstellung ist nicht das endgültige Design! Anwendungen für mobile Endgeräte Mobile Endgeräte PDAs, Smartphones Subnotebooks (Farb-) Displays z. T. mit Kamera Breitbandige Netzwerke GPRS, HSCSD UMTS Wireless-LAN 14

15 Anwendungsszenarien Welche Anwendungen? Welche Inhalte? Anforderungsanalyse durch Zukunftsworkshops Potentielle Nutzer und Experten Generieren gemeinsam Anwendungs-Ideen Verfeinern Ideen zu Anwendungs-Szenarien Ergebnis: 31 Anwendungs-Szenarien 15

16 Vorgehen: Untersuchung: Ranking der Anwendungsszenarien Auswahl von Szenarien Machbarkeitsstudien Fragestellungen: Strukturiertes Entwurfvorgehen Nachweis der Benutzbarkeit Einschränkung der Visualisierung und Interaktion Leistungsfähigkeit von Netzwerk und Endgerät Gewährleistung von Fun-to-use und Ease-of-Use Basistechnologie (C-LAB) PDA: Compaq ipaq MHz Intel StrongArm Windows CE / Linux Display: 320 x 240 Pixel Camera: Analog TriMedia 1100 for H.263 Encoding via RS232 (115 kbit) Network: IEEE802.11b -Wireless LAN TCP/IP 11 Mbit 16

17 Virtueller Museumsführer Video-see-through Abstracted 3D Text Overlay Virtueller Museumsführer (2) Wizard-of-Oz Tests Reality rendered from R-Actors Augmented Reality rendered from Trigger Graph Wizard Test-User Simulated Reality 17

18 Financial Consulting Mögliche mobile Unterstützung beim Erwerb einer Immobilie: Navigationssystem Erläuterungen Virtueller Haus/Gartenplaner Finanzierung AR-Illustration DigiCam 18

19 Mobile Games Mobile Games AR Soccer, C-LAB Auf dem Campfire präsentierte C-LAB eine reine Client- Lösung mit PCMCIA Camera-Modul von HP In einer Studie analysierte Datamonitor, dass bereits ab % der Besitzer von mobilen Endgeräten Spiele nutzen werden. Bereits 2005 soll dies auf ca 80% der Benutzer ansteigen Mit Java-Entwicklung auf Handys, Xscale Prozessor als StrongArm Nachfolger sind ggf. Spiele die Killerapplikation für mobile Endgeräte Aktuelle Implementierung sind zur Zeit auf Arcade-Niveau, Kommerzielle 3D-Ansätze noch in weiterer Ferne 19

20 HP Kamera in ipaq Reduktion der erkannten Spielfläche Optimierung der Bilderkennung Läuft vollständig auf dem Client 5-8 Frames Neue Client-Version Rückblick: Campfire Ca 40 Personen aus verschiedenen Disziplinen (Designer, 3D-CG, Animation, HCI, Engineers) Breites Spektrum der Diskussionspunkte Authoringthematik wird bisher nicht angemessen reflektiert (auch aus Sicht der SIGGRAPH) Sehr positives Feedback der Teilnehmer, Wunsch nach regelmäßiger Veranstaltung Post Proceeding mit erweiterter Darstellung der Arbeiten ist geplant SIGGRAPH CAMPFIRE s sind eine hervorragende Gelegenheit für den Versuch, eine Thematik zu etablieren 20

21 Mobile Endgeräte Entertainment / Edutainment und Infotainment sind interessante Anwendungsfelder für mobile Endgeräte Nur wenn einfach benutzbar und echter Mehrwert vorhanden Einfache Erstellung notwendig! Leistungsfähigkeit noch zu begrenzt für fortgeschrittene interaktive 3D-Techniken (oder AR!) Szenarien: Personal Information Management (PIM) Multimediale Kommunikation (z.b. MMS) Unterhaltung und Spiele Kreative Anwendungen (z.b. Fotos) Ortsbezogene Dienste Externe GUI: Graphische Fernbedienung Interaktive Illustrationen (z.b. Erklärungen und Anleitungen) Unterschiede zu Desktop-Awendungen: Kontextabhängigkeit, Interaktionsdauer Entertainment / Games und R&D Bisher sehr wenig Neben Spielentwicklerkonferenzen (GDC, etc) kaum wissenschaftliche Betrachtung IWEC: International Workshop on Entertainment Computing, Mai 2002, Japan In 2003 evtl Konferenz Entertainment Computing kurz vor GDC geplant Erste Bewegung gerät in etablierte Konferenzen im bereich Computergrafik, Multimedia, etc. Auch in R&D Abteilungen großer Unternehmen (z. B. Siemens) 21

22 Erste Vorlesungen im deutschsprachigen Raum Uni Magdeburg FH Hagenberg TU Wien Uni Frankfurt Hochschule Harz Hochschule Bremen Hier sind andere schon beträchtlich weiter, z.b. Univ. Salsbury bietet BSc Computer and Video Games CNAM Institute Frankreich: Postgraduierten Studium Game Design, PostProduktion Danke für s Zuhören! Kontakt: cgeiger@hs-harz.de 22

23 squipped Videobasiertes 3D-Adventure für PDA HS Harz, Medieninformatik in Kooperation mit C-LAB Basiert auf MediaPoint Einfache Präsentations-Software für IPAQ Entwickelt im C-LAB Paderborn Endlicher Automat mit Aktionen wie z.b. Bild / Text anzeigen Video abspielen (PocketTv API) Stift-Interaktionen XML-Beschreibung des Automaten ermöglich schneller Erzeugung und Test von Mock-Ups 23

24 Neue Formen der Unterhaltung? AR Quake von B. Thomas, U South Australia Movie2.mov Extended Virtuality+Entertainment University Singapur: Echtzeit-Rendering realer Personen in virtuellen Umgebungen 24

25 Interaktive 3D-Präsentation Studentenprojekt der Hochschule Harz Messedarstellungen, Give-Aways, Image-Medien (Visitenkarten-CD) Skriptbasiertes Präsentationssystem, das Echtzeit3D + 2D in Layern kombiniert, Import von 3D Max Szenen Aktuelle Arbeiten ermöglichen Kombination 2D / 3D Frei verfügbar (bald) Präsentation für SBS 3D->AR:Werkzeuge im AR-Bereich Für AR existiert bisher (fast) nichts: ImageTcl AR, AR Toolkit Eigener Ansatz für 3D/AR als bausteinorientierter Editor für 3D-Grafik + AR-Bausteine (Gems) (Diplomarbeit in PB) 3D-AR Modellierungssystem Tinmith-evo5 Vorläufer der aktuellen Arbeit zu einem AR-Editor 25

26 Alice Skriptbasierte 3D- Animationssystem für Low-End Anwendungen (Java/Python) Echtes Rapid Prototyping möglich Studenten können in 2-3 Wochen kleine Spiele entwickeln 26