Ubiquitous Computing. (Ubiquitäre Informationstechnologien) Vorlesung im WS 02/03

Transkript

1 Ubiquitous Computing (Ubiquitäre Informationstechnologien) Vorlesung im WS 02/03 Michael Beigl Universität Karlsruhe Institut für Telematik Telecooperation Office

2 Aufbau der Vorlesung Grundlagen Geräte Vernetzung Kontext Information Interaktion Anwendungen 7 Anwendungen 6 Interaktion reale Welt Geräte 2 Kontext 4 (vorverarbeitete) Information 5 3 Vernetzung digitale Welt Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-2

3 Information (1) Backend-zu-vor Ort: Transcoding, Benutzersch., Protokolle (2) Vor-Ort zu Backend: embedded (Web-)Server, Aware Office (3) Informationsdarstellung im Backend: Cooltown (4) Informationsvorhaltung: Personal Server, Sicherheit Location system Cup Info (2) (3) Location system Cup Calliper Desk Chair Thermometer Calliper Thermometer Chair Desk (2) (1) Info Doorplate (3) Info Doorplate Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-3

4 Information (1) Backend-zu-vor Ort: Transcoding, Darstellung, Protokolle Transcoding WAP und imode (2) Vor-Ort zu Backend: embedded (Web-)Server, Aware Office Embedded Web Server / Aware Office Web-SIM (3) Informationsdarstellung im Backend Cooltown/TSpaces (4) Informationsvorhaltung Personal Server Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-4

5 Mobiler Informationszugriff Information auf mobilen Geräte begrenzte Rechenleistung und Speicherkapazität schränkt Verarbeitung von Information ein begrenzte Darstellungsressourcen: kleine Bildschirmfläche, Anzahl Pixel, und Farbtiefe begrenzte Interaktionsressourcen: z.b. für Auswahl, für Navigation, für Texteingabe begrenzte Bandbreite fehleranfällige Kommunikation Anbindung an globale Informationswelt erfordert Anpassung von Information wo? (im Client, beim Server, oder dazwischen) wie? (Filterung, Transcoding, Umstrukturierung) Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-5

6 Anpassung von Information Filterung/Anpassung im Client transparenter Zugriff, aber ineffizient (z.b. Übertragung von mehr Information, als dargestellt werden kann) Anpassung im Server: Content Negotiation Client gibt im HTTP Header an, was er verarbeiten kann (Header Fileds wie Accept, Accept-Encoding,...) Server nutzt Kenntnis des Browsers/Client-Systems (z.b. User Agent: Pocketweb/2.3b...) Anpassung in einer Zwischeninstanz Gateway zwischen Mobilnetz und Internet: universelles Transcoding für alle Clients im Mobilnetz Proxy: Stellvertreter-Instanz eines mobilen Clients Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-6

8 WebSIM Integration von Mobiltelefonie und Internet Standardsicht: Integration von Mobiltelefonen als Client (WAP etc) inverse Sicht : Integration mobiler Geräte als Server Mobiltelefonie: zwei mobile Geräte im Tandem SIM: Subscriber Identity Module, SmartCard im Handy Mobiltelefon: kann als mobiler Kartenleser aufgefasst werden, der zusätzlich einen I/O-Kanal für SIM-Anwendungen bietet WebSIM (Deutsche Telekom Forschung) HTTP-Server in der SIM-Karte Web Integration von SIM-Diensten/Anwendungen insbesondere Authentisierung und Autorisierung While the Web is bringing its content to the mobile phone, the mobile phone can bring its trust to the Web Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-8

9 WebSIM: SIM Plattform SIM: Subscriber Identity Module eingeführt in GSM-Netzen zur Authentisierung von Teilnehmern gegenüber dem Betreiber Smartcard mit Mikroprozessor, Speicher, serieller Schnittstelle; Betriebssystem, Dateisystem und Anwendungsprogrammen heute Funktionen über Authentisierung hinaus: Telefonbuch- Verwaltung, Interaktion mit SMS (Short Message Service),... SIM Toolkit Anwendungsplattform für sog. Toolkit-Applets Protokoll zum Laden solcher Applets Schnittstelle zum User Interface des Mobiltelefons für Benutzerinteraktion mit Toolkit-Applet Schnittstelle zu SMS oder anderen Kommunikationsdiensten Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-9

10 WebSIM Internet-Anbindung Mobiltelefon als HTTP-Gateway Elegante Lösung: Mobiltelefon als Gateway-Router, alle IP statt eigener IP-Adresse für die SIM könnte auch ein Port des Mobiltelefons genutzt werden: Smarter Smartcards listen to Port 80 erfordert Erweiterung heutiger Mobiltelefone aus: Guthery, Kehr, Possegga: How to Turn a GSM SIM into a Web Server, CARDIS 2000 Tunneling über SMS SIM-Proxy im Internet HTTP über SMS via Mobiltelefon zur SIM SMS: max. 160 Zeichen! Infrastruktur vorhanden Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-10

11 WebSIM Kommunikation Kommunikation HTTP über SMS Web-Client im Internet sendet HTTP-Request an SIM Proxy, z.b. Proxy packt HTTP-Request in speziell gekennzeichnete SMS-Nachricht an die SIM Mobiltelefon leitet Nachricht an SIM-Prozess weiter, der für den Empfang der gekennzeichneten SMS registriert ist HTTP-Request wird ausgepackt und vom Web-Server bearbeitet Das HTTP-Reply wird wieder in eine SMS verpackt und an den Proxy gesendet Proxy extrahiert HTTP-Reply aus SMS-Nachricht und leitet es an den Web-Client weiter Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-11

12 WebSIM Implementierung Web Server Applet auf der SIM Toolkit Plattform, 7k Java keine generischen Anfragen für Content, sondern Schnittstelle zu spezifischen Diensten HTTP Requests Format: Länge durch SMS begrenzt, max. 1 Request/SMS Dienste info antwortet mit Codes für Land, Netz und Local Area si=(item1, item2,...) SELECT ITEM, Benutzerauswahl aus Liste gi=(prompt) GET INPUT, Benutzereingabe dt=(text) DISPLAY TEXT sign=(abcd ) Verschlüsselt das Argument Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-12

13 WebSIM Anwendungen Beispiel 1: E-Commerce Käufer übermittelt bei Kauf WebSIM-Adresse Händler fragt Bestätigung an, z.b. WebSIM bittet relativ sicheren Kommunikationskanal Beispiel 2: Türöffner Haustürklingel erzeugt Anfrage, z.b. Intercom,Cancel) über Mobiltelefon Tür öffnen, Gegensprechanlage anrufen, oder ignorieren Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-13

14 Information (1) Backend-zu-vor Ort: Transcoding, Darstellung, Protokolle Transcoding WAP und imode (2) Vor-Ort zu Backend: embedded (Web-)Server, Aware Office Embedded Web Server / Aware Office Web-SIM (3) Informationsdarstellung im Backend Cooltown / TSpaces (4) Informationsvorhaltung Personal Server Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-14

15 Informationsdarstellung Informationsrepräsentation Direktes Abbild der Welt, Komplettes Abbild z.b. bei VR-Cave Anwendungen Anwendungsspezifisch, z.b. bei Automatisierter Lagerhaltung Viel Domänenwissen Reale Welt als Anker zu Informationen in der Informationswelt WWW Adresse, Beispiel Cooltown RF-ID Nummer zu Datenbank/Informationsseite, Beispiel Augmented Reality Systeme Proxy im Netz, RF-ID als Anker zu Programm eines Objekts Wenig oder kein Domänenwissen In beiden Fällen Fest einprogrammiertes oder in Datenbanken gehaltenes Domänenwissen wird um reale Information ergänzt Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-15

16 CoolTown: Serving the Real World CoolTown Vision/Projekt HP Labs Palo Alto, Ausgangspunkt: Diversifikation von Informationsprodukten Offenheit und Flexibilität des WWW als Integrationsplattform Web Presence for the Real World Web-Präsenz für alle Menschen, Plätze und Dinge: Welcome to CoolTown..., where people, places, and things are first class citizens of the Web Interweaving the web with the context of people, places and things in the physical world will have deep implications for global and local business, institutions and individuals Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-16

17 CoolTown People, Places, Things Menschen, Plätze, Dinge: Beziehungsgeflecht in realer Welt Web-Präsenz von Menschen, Plätzen, Dingen: Unterstützung/Erweiterung des Beziehungsgeflechts Impliziter Zugriff auf Information im Web statt expliziter Interaktion am Display Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-17

18 CoolTown Web-Präsenz für Menschen, Plätze, Dinge Web-Präsenz von Menschen Homepage (heute): statisch in CoolTown: Proxy/Stellvertreter von Menschen im Web, z.b. als Kontaktpunkt für Kommunikation WebLink: Abstraktion von Kommunikationsdiensten Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-18

19 CoolTown Web-Präsenz für Menschen, Plätze, Dinge Web-Präsenz von Dingen Einbettung von Web-Servern in allen Geräten Tagging: Dinge mit URL verknüpfen Aber: Präsentation für Menschen bestimmt Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-19

20 CoolTown Web-Präsenz für Menschen, Plätze, Dinge Web-Präsenz von Plätzen Web-Portale von physischen Lokationen Kontext für Dienstleistungen und Ressourcen reflektiert Dynamik: Menschen/Dinge die kommen und gehen Service/Resource Discovery: Sensoren/Tags Plätze im weitesten Sinne z.b. Konferenzraum: Portal zu vorhandenen Ressourcen, Kontaktpunkt zu Menschen im Raum z.b. Bushaltestelle: Statische und dynamische Information: wann kommt der nächste Bus, wo ist das nächste Café, wie komme ich von hier zum Bahnhof,... Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-20

21 CoolTown Web-Präsenz für Menschen, Plätze, Dinge Reflektion der Beziehungen zwischen Web-präsenten Menschen, Plätzen und Dingen vom Beziehungs-Kontext abhängige Präsenz Beispiel: WebBus Web-Server im Bus eingebettet, GPS-Lokation integriert für Menschen im Bus: Portal zu ortsabhängiger Information, z.b. zu Sehenswürdigkeiten für Menschen an der Haltestelle: wo ist der Bus jetzt, wann wird er ankommen Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-21

22 Transcoding Schema Video Image Audio Text Purpose Classificatio Information n Abstraction Modality Transfer Data Transcoding Removal Substitute Video highlight Video Frame rate reduction Video resolution reduction Keyframe extraction Video-to-image Video-to-audio Video-to-text Removal Format conversation Color-depth reduction Removal Substitute Image Dimension reduction Data size reduction (by increasing compression rate) Image-to-text Removal Format conversion Color-depth reduction Color-to-grayscale translation Removal Substitute Audio highlight Audio subsampling Stereo-to-mono Audio to text removal Format conversion Removal Substitute Text summary Outlining Font size reduction Text white space removal Text-to-audio Removal Table-to-list Table to plain text Language transl. Format conversion Data Layered coding Multi-resolution image Audio prior to Text prior to Presentation Frame compression video image/audio/video priorization Ubiquitous Computing Audio WS 02/03 prior Michael to Beigl, TecO videos

23 TSpaces IBM, 1998 Tupelspace-basierte Informationsvorhaltung für mobile / ubiquitäre Umgebungen Tupelspace (Gelernter) sind Blackboard Systeme mit wenigen einfachen Operatoren Datenbankbasiert, Java/Jini Erweiterung, z.b. Service Verwaltung und Discovery Tspaces Server ist zentrale Anlaufstelle Tspaces Server aktiv: kann Ereignisse feuern, Aktionen anstoßen Integriert in andere Arbeiten (Transcoding etc.) ebenfalls kein Standard für Darstellung von Diensten/ Kontexten etc. Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-23

25 Personal Server Quelle: Roy Want, Intel Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-25

26 Personal Server Idee Verwendung von lokaler Computer / UI Infrastruktur statt Transport dieser Infrastruktur Statt dessen: Transport persönlicher Daten Weitere Potentiale: Speicherung aller Daten, Audio, Videoaufzeichung im Leben Potentiale Von 340 MB 1994 zu 0,32 TB 2003 Audioaufzeichnung 1 Jahr mono kontinuierlich = 0,36 TB Videoaufzeichnung 1 Monat inkl. Ton kontinuierlich = 0,3 TB Systemaufbau Speicherung, Indizierung etc. für Daten Kabelloser Zugriff auf diese Datenbestände Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-26

27 Personal Server Personal Server (Linux) Webdav Webserver Admin Daemon Remote Control UPnP Control UPnP Stack PAN Profile Bluetooth Radio HTTP SOAP UPnP Msg. IP Bluetooth Baseband Access Host (Windows XP) File Viewer Admin Control UPnP Stack PAN Profile Bluetooth Radio Web Browser Remote Receptor UPnP Control Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-27

28 Personal Server Quelle: Roy Want, Intel Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-28

29 Personal Server Eigenschaften Vorhalten von Persönlichen Informationen (Kalender, Notizen, Adressen) im Gerät Nahtloser Zugriff auf Informationen über Benutzerschnittstellen in Umgebung (Travelers Workstation); Proxy für Zugriff auf personenbezoge Informationen (Arbeitsdokumente, Folien,...) integrierter Informationssammler, z.b. Sprachnotizen, Photos Überwachung des Gesundheitszustands Schnittstelle für sichere Transaktionen Intelligentes Erinnerungssystem bezogen auf Raum, Zeitkontexte etc. Sammeln und Annotation von Kontextinformationen Bewertung Zusammführung von Eigenschaften existierender Systeme Integration von bestehenden Technologien Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-29

30 Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-30

31 Aufbau der Vorlesung Grundlagen Geräte Vernetzung Kontext Information Interaktion Anwendungen 7 Anwendungen 6 Interaktion reale Welt Geräte 2 Kontext 4 (vorverarbeitete) Information 5 3 Vernetzung digitale Welt Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-31

32 Interaktione Einführung Neue Interaktionsparadigmen: Angereicherte Interaktion Neue Interaktionsobjekte off-the-screen Implizite Interaktion Interaktive Umgebungen Neue Formen der Ausgabe Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-32

33 Einführung Interaktion Mensch-Computer-Interaktion Human-Computer Interaction (HCI) Informationsaustausch zwischen Mensch und Computer User Interface (UI) : HW/SW für die Interaktion Bedienoberfläche: wahrnehmbarer Teil des UI Menge von Interaktionsobjekten Interaktionsobjekte: Konvertierung von Information zw. Ausdruck/Wahrnehmung des Menschen und digitaler Form Syntax der Interaktion Benutzungsschnittstelle: Semantisches Modell der Interaktion, Dialog Definiert Informationsaustausch in Abstraktion von Informationsdarstellung Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-33

34 Einführung Interaktion Interaktion mit Standardrechnern Dominierendes Paradigma: Grafische Benutzerschnittstelle (Graphical User Interface (UI)) Standardisierte Interaktionsobjekte Grafische Darstellung auf Bildschirmen Ferngesteuert über Eingabegeräte (Tastatur, Zeiger) ACM Standard Modell core O output U task input I Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-34

35 Einführung Interaktion Wie enthält man Bedienelemente und Dialog? Aufgabenanalyse und Zerlegung Klassiker: Hierachical Task Analysis (HTA) Aufgaben werden in Unteraufgaben/Pläne zerlegt Vor.: Unteraufgaben bestimmbar und Mensch verfolgt immer gleiche Strategie Situated Action (L. Suchman) Mensch verfolgt keine starren Lösungsansatz Jede Situation (Kontext) verändert Lösungsweg Lösungsstrategien mittel- und langfristig Kirsh erheblicher Teil der intelligenten Aktivitäten des Menschen ohne logische Gedankengänge oder Denken durchgeführt wird. 97% menschlicher Aktion konzeptfrei (Brooks) Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-35

36 Einführung Interaktion Kirshs Theoreme (kompensiert) Menschen sind Experten für alltägliche Aufgaben. Experten finden normalerweise, daß genug Information lokal verfügbar ist, um ohne Plan direkt Entscheidungen zu treffen. Experten versuchen während der Aufgabenlösung immer dafür zu sorgen, daß genug Information vorhanden ist. Die Umgebung des Menschen, die für eine Aufgabe mit in Betracht zu ziehen ist, und die Bedienoberfläche der Arbeitsumgebung, besitzt eine Vorstrukturierung. Diese Vorstrukturierung ist wichtig, um die Limitierung (menschlicher) Verarbeitungs- und Speicherungsmöglichkeiten zu kompensieren. Lokation stärkster Kontext: Tetris-Studie Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-36

37 Einführung Interaktion Interaktion in Ubiquitous Computing Interaktionsobjekte off-the-screen : eingebettet in physikalische Artefakte/Umgebungen Diversifikation statt common look & feel Interaktion eingebettet in Aktivität Einbeziehung von Kontext: implizite Interaktion Disaggregiert: Komponenten verteilt, wenig kohärent, dynamischer Verbund zu User Interfaces Lokation ausgezeichneter Kontext Werkzeuge, die miteinander kombiniert werden können, statt strikte Systeme Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-37

38 Einführung Interaktion Interaktion in Ubiquitous Computing Veränderte Zielgruppe: Consumer statt User keine Computererfahrung vorausgesetzt: Hide the computer Einfachheit, minimaler Lernaufwand? insbesondere bis zur ersten erfolgreichen Nutzung Hide the computer Systemmodelle verbergen Bsp.: Dateien im Organizer: to Save or not to Save? warum gibt es Save File im PC? WinCE vs. PalmOS vs. Psion/EPOC Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-38

39 Interaktione Einführung Neue Interaktionsparadigmen: Angereicherte Interaktion Neue Interaktionsobjekte off-the-screen Implizite Interaktion Interaktive Umgebungen Neue Formen der Ausgabe Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-39

40 Neue Interaktionsparadigmen Übersicht Augmented Reality / Erweiterte Realität Ambient Computing Tangible Computing Implicit Human-Computer-Interaction Gesteuert über die Erkennung beziehungsweise Manipulation der Umgebungssituation Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-40

41 Neue Interaktionsparadigmen Augmented Reality Ausgangspunkt: Wahrnehmung/Interaktion in der realen Welt Erweiterung um zusätzliche Information/Interaktion User Interface realen Dingen/Szenen überlagert Setzt Erschließung der realen Welt als komplexen Kontext voraus Ausprägungen Erweiterter Eindruck realer Objekte: nicht das Objekt, sondern die Sicht auf das Objekt wird erweitert unterschiedliche AR-Sichten auf das gleiche Objekt möglich Wearable/Mobile AR Erweiterter Ausdruck realer Objekte: Objekte selbst erweitern Einheitliche Sicht auf erweitertes Objekt auch: Amplified Reality Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-41

42 Neue Interaktionsparadigmen Wearable Unterstützte Interaktion Mixed Reality Augmented Reality Mobilität Kontext und Umgebung Intelligenz des Benutzers verstärken Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-42

43 Neue Interaktionsparadigmen Ambient Computing Ausgangspunkt: Aktivität in der realen Welt Computernutzung im Hintergrund einbetten unaufdringliche User Interfaces an der Peripherie nicht-monopolisierend (d.h. nicht von der Umgebung abschottend) vgl. Weiser & Brown`s Calm Technology Periphere Wahrnehmung und Selektive Fokussierung engaging both the center and the periphery of our attention Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-43

44 Neue Interaktionsparadigmen Tangible Media Ausgangspunkt: GUIs bestehen aus painted bits Stattdessen Interfaces aus tangible bits Direktere Manipulation, Begreifbarkeit Nutzung der Fähigkeit des Menschen, physische Umgebungen zu manipulieren Nutzung von Design Affordances, s.u. Vision und Beispiele s. Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-44

45 Neue Interaktionsparadigmen Tangible Media Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-45

46 Neue Interaktionsparadigmen Implicit HCI (ihci) Ausgangspunkt: Explizite Ein-/Ausgabe um Kontext ergänzen (durch Kontext ersetzen) Integration von Sensorik/Perzeption im User Interface Erkennungsbasierte Interfaces Lösung für Interface Overload Problem Dealing with Ambiguity Ubiquitous Computing WS 02/03 Michael Beigl, TecO 13-46