Quellen: Towards a Human Computer InteractionPerspective. Übersicht. Warum visuelle Sprachen? Begriffsdefinitionen: Hinderungsgründe bisher:

Transkript

1 Quellen: Towards a Human Computer InteractionPerspective von B.K. & B.K. LV: Visuelle Sprachen (03-763) Universität Bremen WS 2001/02 Visual Language Theory: Towards a Human- Computer Perspective; N. Hari Narayanan und Roland Hübscher aus Visual Language Theory Hrsg. Kim Marriot und Bernd Meyer, Springer Verlag New York 1998 Visuelle Programmierung, Grundlagen und Einsatzmöglichkeiten; Stefan Schiffer, Addison-Wesley Verlag 1998 Übersicht Warum visuelle Sprachen? Definitionen Angrenzende Forschungsbereiche Nutzbarkeit und Vorteile durch Visualisierung Kognitive Vorteile, Nutzbarkeit Anforderungen an visuelle Repräsentationen Ein Grundgerüst für visuelle Sprachen Fazit Warum visuelle Sprachen? Visuelles Denken des Menschen. Bessere (schnellere) und einfachere Kommunikation Mensch-Rechner. Intuitive Bedienung und Verständnis Visuelle Sprachen älter als textuelle Sprachen. Hinderungsgründe bisher: Bilder schwer (automatisch) Interpretierbar. Viel Ressourcen notwendig. Ausreichend Ressourcen nicht vorhanden. Wenig erforschte Grundlagen. Begriffsdefinitionen: Visuelle Sprache Visuelle Programmierung Visuelle Programmiersprache Software Visualisierung Algorithmus Animation 1

2 Visuelle Sprache Visuelle Sprachen (visual languages ) sind Sprachen deren Alphabet aus visuellen Darstellungen bestehen, die für die Mensch zu Mensch oder Mensch zu Rechner Kommunikation gedacht sind. Visuelle Programmierung Visuelles Programmieren (visual programming) ist die Nutzung visueller Repräsentationen von Daten und Operationen zur Kommunikation mit dem Computer. Die darunter liegende Programmiersprache kann (muss aber nicht) eine visuelle Sprache sein. Visuelle Programmiersprache Eine visuelle Programmiersprache (visual programming language) ist eine Programmiersprache mit einem Alphabet von visuellen Repräsentationen. Software Visualisierung Software Darstellung (software visualization) ist die Generierung und Darstellung von statischen und dynamischen Aspekten der Software durch visuelle Repräsentationen für den Menschen, welche Datenstrukturen und Algorithmen und Code einschließt. Algorithmus Animation Algorithmus Animation (algorithm animation) ist die Generierung und Darstellung von Animationen, welche dem Menschen durch visuelle Repräsentationen zeigen, wie der Algorithmus mit den Daten operiert. Schematische Repräsentation Die schematische Repräsentation (diagrammic representation) ist die visuelle Repräsentation von Informationen eines Objektes (referents ) ohne genau dem Original zu entsprechen. 2

3 Schematische Interpretation Das schematische Interpretation (diagrammic reasoning) ist der Vorgang des Verstehens und Beeinfußens von schematischen Repräsentationen. Angrenzende Forschungsgebiete Visuelle Wahrnehmung von Informationen Visuelle Verarbeitung von Informationen Forschungsbereiche die sich mit Wahrnehmungsphysiologie beschäftigen Nutzbarkeit und Vorteile durch Visualisierung Direkte Manipulation Visualisierung von Informationen Visualisierung von Software Diagrammatische Repräsentationen Graphische Simulationen Direkte Manipulation Kein (move (file) trash-folder) Per Drag and Draw in den Mülleimer Technische Abläufe spielen sich im Hintergrund ab Visualisierung von Informationen Funktionen werden z.b. durch Graphen dargestellt World Wide Web als Informationsvisualisierung Textuelle Repräsentationen von Informationen bleiben verborgen Visualisierung von Software Statische und dynamische Prozesse werden übersichtlicher und überschaubarer Hierarchische Strukturen oder Kontrollflüsse werden verständlicher 3

4 Diagrammatische (schematische) Repräsentationen Visuelle Repräsentation von Syntax und Semantik Pfeile als Ausdruck der Syntax, Farbe des Pfeils als Ausdruck der Semantik Generell anwendbare Darstellungsformen müssen noch gefunden werden Graphische Simulationen Der Nutzer kann durch direkte Manipulation Objekte verändern, z.b. eine Räuber-Beute Beziehung in einem Ökosystem Anforderungen an visuelle Repräsentationen Deutliche Repräsentationen Räumliche und visuelle Organisationen von Infomationen Vereinfachungen durch Visualisierung von Transformationen Reduktion von rechnerbetonter Komplexität Grundstruktur zur Analyse und Synthese visueller Sprachen Top-down Entwurf Vorschlag einer Struktur Anhalt zur Entwicklung neuer Sprachen Hilfe zur Einordnung existierender Sprachen Aufzeigen von Forschungslücken Struktur Betrachtungsperspektiven Modell einer visuellen Sprache Interessensgebiete: Das rechnende System (Computerseite) Das kognitive System (Anwenderseite) Die Programmiersprache selbst Schwerpunkt: visuelle Sprachen 4

5 Taxonomie (der Struktur) 1. Darstellung der Informationen 2. Kreislauf der Interaktionen 3. Auswertung 1. Darstellung der Informationen i. Anwendungsdomäne ii. Statische Syntax iii. Statische Semantik iv. Dynamische Syntax v. Dynamische Semantik i. Anwendungsdomäne Mindestens eine Anwendungsdomäne (AD) Objekte (O) Attribute (A) Beziehungen (R n ) Status S=(O, A, R n ) Statusübergang:? S=(? O,? A,? R n ) ii. Statische Syntax Visuelle Sprache = Menge visueller Sätze VS = (P, D, V n ) Grundelemente (P) Eigenschaften (D) Beziehungen (V n ) iii. Statische Semantik Abbildung von Syntax (VS) auf eine Anwendungsdomäne (AD) Beispiel: S VS= (O P, A D, R n V n ) iv. Dynamische Syntax Transformation visueller Sätze (VS)? VS = (? P,? D,? V n ) Darstellung: neues Bild verändertes Bild 5

6 v. Dynamische Semantik Transformationen der Syntax (? VS) werden auf Statusänderungen (? S) abgebildet. Beispiel:? S? VS = (? O? P,? A? D,? R n? V n ) Zusammenfassung Darstellung von Informationen Mathematische, formale Betrachtungsweise Dynamische Aspekte nur unzureichend erforscht. Theoretische 144 Mögliche Kombinationen von semantischer Abbildung in diesem Modell möglich [(3*3)*4*(2*2)]. 2. Kreislauf der Interaktionen i. Körnigkeit ii. Visuelle Kommunikation iii. Rechnerische Aspekte iv. Kognitive Aspekte i. Körnigkeit Immer mindestens ein Kreislauf Maß für Grad der Interaktionsfähigkeit Beispiel: Macintosh Betriebssystem ii. Visuelle Kommunikation Kommunikationsart der (HCI) Benutzerschnittstelle (one-way / two-way) Beispiele (visuelle Betrachtung): Software Visualisierung (one-way) ShowBiz (two-way) iii. Rechnerische Aspekte Parsen, interpretieren, kompilieren, ausführen der visuellen Sätze (VS). Schwieriges interpretieren. Grammatik oder Regeln? Interpretiert oder Kompiliert? 6

7 iv. Kognitive Aspekte Sehen, verstehen der visuellen Sätze (VS). Ändern der visuellen Sätze (VS) 1-n Beziehung (AD-VS) ungeeignet. Andere Forschungsgebiete. 3. Auswertung i. Rechnerische Auswertung ii. Kognitive Auswertung i. Rechnerische Auswertung Menge von Messwerten Ausdrucksstärke Zeitkomplexität Raumkomplexität Sinnvollere Messwerte noch nicht erforscht. ii. Kognitive Auswertung Auswertung durch Versuche aufwendig Messwerte auswählen (Theoretiker). Komplexität (als Beispiel) Messwerte meist kaum vergleichbar. Sprachen implementiert bevor Kriterien vorhanden. Zitate The visual character of languages is rooted in their ability to use dense representations to describe dense domains. Application of these metrics to current visual programming languages does not paint an optimistic future for the use of fully general, fully diagrammatic visual languages due to their low density Zusammenfassung Struktur Einzelne Arbeiten existieren Bereiche stark unterschiedlich erforscht Alternativen möglich (existieren) Stimulation der Forschung 7

8 Semantic mapping Die semantische Zuordnung (semantic mapping) ist eine oder mehrere der 144 möglichen Zuordnungen. Beispiele: S VS: (O P, A D, R n V n )? S? VS: (? O? P,? A? D,? R n? V n ) AD = (O, A, R n )??? Schlussdiskussion Direkter Zugriff möglich. Wenig geeignet für Rechner. Bisher Rechnerbasierte Betrachtung. Abbildung auf textuelle Sprache? Erst der Anfang. Fazit Fragen? Einfach für den Menschen. Schwer für den Computer. Evolution der Programmiersprachen Weitere gezielte Forschung notwendig. Aktuell: Grundlagenforschen und punktuelle Anwendungen. Allgemeingültige Interpretationen von Sprachelementen notwendig 8