28. Vorlesung: Kommunikation mit einer virtuellen Entwurfsumgebung. Präexplorative Konstruktion und Architektur

Größe: px

Ab Seite anzeigen:

Download "28. Vorlesung: Kommunikation mit einer virtuellen Entwurfsumgebung. Präexplorative Konstruktion und Architektur"

Manuela Kruse
vor 7 Jahren
Abrufe

1 9 Ausgewählte Themen 28. Vorlesung: Kommunikation mit einer virtuellen Entwurfsumgebung Präexplorative Konstruktion und Architektur Virtueller Entwurf in 3D-Computergrafik erfordert bislang aufwendige technische Maßnahmen relativ abstrakte tastatur-/ mausgesteuerte Manipulation Wunsch: Entlastung von technischen Details Zielsetzung in VIENA (Uni Bielefeld ) Interaktion durch Kommunikation (Änderungswünsche) intuitivere verbale und gestische Interaktion Erprobung am Beispiel Innenraum-Design Änderungen des Designs unmittelbar beurteilbar! "

2 % % % % Kopplung von Techniken der KI und 3D-Computergrafik Präsentationsobjektdaten werden mit Wissen unterlegt Agenten übernehmen Koordinierung und Planung Präsentiertes wird für den Menschen greifbar VIENA: Virtuelle Entwurfsumgebung und Agenten! " $ Perzepte aus der umgebenden Situation Umgebung Environment (Sprach-) Handlungen (Sprach-) Perzepte Agent A Kognitive Verarbeitung Reasoning gesprochene oder geschriebene Sprache Agent B Kognitive Verarbeitung Reasoning Wissensbasis KnowledgeBase Wissensbasis KnowledgeBase Kopplung der Agenten in die Situation während der kognitiven Verarbeitung Möglichkeit der Integration multimodaler Information (Sprache, Bild, Gestik)! " &

3 Modifikation des Raums durch anwesende Objekte Den Stuhl vor den Tisch! Anthropomorphisierung aufgrund verkörperter Anwesenheit durch situierten Agenten Den Stuhl vor den Schreibtisch!! " ' Agent soll im gegebenen Szenario als "vorgeschickter Mittler" verstanden werden, der mit dem Menschen in überlappender Wahrnehmungssituation kommuniziert und kooperiert. Verbindung aufgabenbezogener Wahrnehmungs-, Handlungsund Kommunikationsmöglichkeiten situationsangemessenes Agieren in Bezug auf eine zu erfüllende Aufgabe (Entwurf und Manipulation virtueller Räume) hilfreiche Metapher für Mensch-Maschine-Kommunikation naheliegende Realisierungsansätze durch OOP, Nachrichtenaustausch, Demons! " (

4 Ein Agent kann aufgrund seiner Einbettung in das technische System (Scene Modeler) z.b. folgende Information vermitteln: über Art, Form, Lokation, Dimension und ggf. Bewegungsattribute einzelner Szenenobjekte über Sichten auf Szenenelemente aus wechselnder räumlicher Position darüber, wie der Designer oder die Designerin auf primitive Objekte, Aggregate und Relationen zwischen einzelnen Szenenobjekten verweist darüber, wie bestimmte Aktionen in einer dargestellten Szenerie geplant und umgesetzt werden können! " ) Referenzermittlung bei ad-hoc Bezeichnungen ("Palme bei der Säule") Umgang mit deiktisch referenzierten Objekten (Zeigegeste): "das da" Errechnung situierter Referenzen wie "links von", "vor", "den anderen" Buchführung über die dargestellte Szene, z.b. über Verbleib und Lage verdeckter Objekte Kritik bei Verletzung von Rahmenbedingungen Übertragung unterschiedlicher Teilaufgaben auf verschiedene Agenten, die miteinander kooperieren: Damit gelingt die Entwicklung des Systems in modularer Weise, bei der einzelnen Agenten Teilzuständigkeiten zukommen.! "

5 Interaktives Interaktives Anwendungssystem Anwendungssystem Virtuelle Virtuelle Interaktion Interaktion Benutzer Benutzer Technische Technische Kommunikation Kommunikation Intuitive Intuitive Kommunikation Kommunikation Interface-Agentur Interface-Agentur! " * (nach: von Bechtolsheim 1993) Problemschicht Problemschicht Aufgabenschicht Aufgabenschicht Interaktionsschicht Interaktionsschicht Anwendungsschicht Anwendungsschicht Transportschicht Transportschicht = OSI-Schichten! " +,

Funktionale Schichten eines Agentensystems Problemschicht Aufgabenschicht Interaktionsschicht Anwendungsschichten Transportschicht Interaktionsschicht: Agenten sind nebenläufige Prozesse mit

6 Funktionale Schichten eines Agentensystems Problemschicht Aufgabenschicht Interaktionsschicht Anwendungsschichten Transportschicht Interaktionsschicht: Agenten sind nebenläufige Prozesse mit nachrichtenorientierter Steuerung. Aufgabenschicht: Verteilung von Aufträgen an Agenten und Synthese von Teilergebnissen. Problemschicht: Verteilte Problemlösung durch Austausch von Teilproblemen und Teillösungen.! " + + Konfigurierung und Farbgestaltung einer virtuellen Büroumgebung Ziel: Weitgehende Entlastung von technischen Details Grafik-DB Modeler Renderer Sichtausgabe Änderungen beobachten Erweiterte Grafik-DB Zeitmarkierte Szenenbeschreibungen (Geometrie- Modelle, Materialien Objektnamen, Objekttypen) Interpreter Buchführer Anpasser Virtuelle Kamera Plan & Physik Farbe Raum Mittler-Agenten Änderungen kommunizieren P a r s e r Verbale Eingaben Rückfragen! " +

7 % % % Sämtliche aus der Kommunikation und Kooperation resultierenden Aktivitäten sind für alle Agenten einheitlich definiert Jeder Agent kann die Rolle eines Auftraggebers oder Auftragnehmers einnehmen Neue Agenten sind einfach integrierbar durch Einbinden des Kooperationsverfahrens und Definition ihrer Basisfunktionalität Gesamtfunktionalität (Mittlertätigkeit) kommt als verteilte Problemlösung zustande! " + $ Spezialistenwissen (über die zu erbringende Teilaufgabe) realisiert über die interne Basisfunktionalität der Agenten Definition applikationsspezifischer Basisfunktionen ist Sache der Agentenprogrammierung Situiertes Wissen (über die virtuelle Umgebung) Durch Inspektion der Grafik-Datenmodelle wird die aktuell sichtbare Szene als Informationsquelle ausgewertet Beispiel: Auslesen der Lage und der Ausdehnung von Objekt- Boundingboxen zur Kollisionserkennung und -vermeidung! " + &

8 unstrukturiert: Objektanordnung unmöglich strukturiert: Objektanordnung so möglich! " + '! " + (

. / 0 1 / 2 3 4 5 6 / 5 7 8 9 9 3 4 : / ; < = 3 ; >? @ 6 3 ; 3 ; / 0 2 3 4 = A 8 B C A 8 B 6 3 D = E 3 C 5 F @ 9 8 5 8 @ 4 3 4 3 ; G H 6 ; 5 >? @ 6 8 4 3 ; 4 3 0 3 1 8 5 5 3 8 A 5 >?

9 . / 0 1 / / : / ; < = 3 ; 6 3 ; 3 ; / = A 8 B C A 8 B 6 3 D = E 3 C ; G H 6 ; ; A 5 >? ; D = E 3 C 5 5 ; / 4 9 ; 1 / / 0 1 = 3 ; 3 B > : / I D = E 3 C 5 / 0 G 3 5? / I J 4 8 B 6 5 K 8 4 : 3 ; L 0 G 5 K M > : / I D = E 3 C ; C / 4 4 C / 4 : 3 ; >? / 9 O ; Q = 3 : = R 8 9 B 6 = S? T U B 6 ; 3 8 = B 6 > 8 4? 3 A B 6 3 ; D ; ; D = E 3 C 5 3 ;? / ; H I ? T u v w x v y z { } v ~ z { v w x z w V W X Y Z [ Y \ ] \ Y ^ _ ` a b b ] c [ d ] \ e f ] g h ] _ \ a b X Y ] V ] b X Y \ ] a d W c f ] c ^ i i ] \ j k ] c ] c l ] _ ^ a i b e m ^ _ ] \ a ^ i d ] b X Y \ ] a d W c f ] c l ] \ j k ] c ] c g d n ] o _ ] e p g \ Y ] \ f ] Y ] c l ] j k ] c ] c d ] b X Y \ ] a d W c f ] c q r c l ] \ W c f ] c W b s t ƒ } z w z w z { z z { v { z x ˆ z Š v w x z w Œ y Œ x z w Š Ž } w ƒ } { z w z { z { z z z ƒ z z w z { z v w x w v { Š w v { x v Œ } z z w Œ Ž w z w v { z w { y z { z w y x z w x z w z } { z ƒ z z w z { x ˆ z v { } v { z { z w v w x x z } w z x { y z w x v z } w z x } z { Š z w š! " + ) ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ Adaptor Raumagent (...) (...) (...) newpos (obj-31) = (x, y, z ) pos (obj-31) = (x,y,z) pos (obj-37) = (u,v,w) Buchführer Wo ist obj-31? Wo ist obj-57? move obj-31 to obj-57 Welches Objekt heißt Stuhl? Welches Indigo? Stuhl = obj-31 Indigo = obj-57 Parser move (obj.name = Stuhl pos.name = Indigo ) Interpreter œ ž Ÿ Ÿ ª ª «± œ

² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ Arbeiten mit Britta Lenzmann, Projekt VIENA Beispiele: Sprache und Handgesten Hamilton look <Geste> there move < Geste> forw ard move < Geste> th at to the left p u t th e p

10 ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ Arbeiten mit Britta Lenzmann, Projekt VIENA Beispiele: Sprache und Handgesten Hamilton look <Geste> there move < Geste> forw ard move < Geste> th at to the left p u t th e p almtree < Geste> th ere make < Geste> th is chair green turn <Geste> right p u t <Geste> th at < Geste> th ere p u t <Geste> this comp u ter on <Geste> that table p u t <Geste> this comp u ter on th e b lu e d esk œ ž Ÿ Ÿ ª ª «± ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ œ ž Ÿ Ÿ ª ª «À

11 ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ motiviert durch Arbeiten von Pöppel (1997) Grober Ansatz: Sensordatenaufnahme in kleinen Zeitzyklen (hier: 100 ms) Datenintegration verschiedener Kanäle in großen Zeitzyklen (hier: 2 sec) œ ž Ÿ Ÿ ª ª «± ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ Modularisierung durch Verteilung a) technisch b) arbeitsorganisatorisch Flexibilität durch Kommunikation Einsatz alternativer Mittel je nach Situation Robustheit durch Kooperation Erhalten der Handlungsfähigkeit bei Ausfall einzelner Komponenten Effizienzvorteile durch Parallelität: Aufteilung komplexer Instruktionen auf mehrere Agenten multimodale Eingabemöglichkeit z.b. verbal und durch Gesten Adaptivität bei Benutzerpräferenzen > später durch Variationen einzelner Agenten und credit assignment œ ž Ÿ Ÿ ª ª «

Â Â Â ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ I. Wachsmuth, Y. Cao: Interactive Graphics Design with Situated Agents. In W. Strasser & F. Wahl (eds.): Graphics and Robotics (pp. 73-85), Springer, 1995. T. Jörding, B.

12 Â Â Â ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ I. Wachsmuth, Y. Cao: Interactive Graphics Design with Situated Agents. In W. Strasser & F. Wahl (eds.): Graphics and Robotics (pp ), Springer, T. Jörding, B. Lenzmann, I. Wachsmuth: Ein anthropomorpher Interface-Agent für die Interaktion mit einer virtuellen Umgebung. In: KI-95 Activities: Workshops, Posters, Demos (pp ), Bonn: Gesellschaft für Informatik, VIENA-Reports (KI-NRW) auf der WWW-Forschungsseite AG WBS œ ž Ÿ Ÿ ª ª «Á ² ³ µ ¹ º ¹» ¼ ½ ¼ ¾ œ ž Ÿ Ÿ ª ª «Ã

Ähnliche Dokumente

UniversitŠt Bielefeld Interface-Agenten (z.b. Laurel 1990, Kozierok & Maes 1993) etc.

UniversitŠt Bielefeld Interface-Agenten (z.b. Laurel 1990, Kozierok & Maes 1993) etc. Interface-Agenten (z.b. Laure 1990, Kozierok & Maes 1993) etc. 8 Einführung in Agentensysteme 25. Voresung: Interface-Agenten Ein virtueer Interface-Agent in VIENA Methoden der KŸnstichen Inteigenz Ipke