C3Grid - INAD: Towards an INfrastructure for General Access to Climate Data. D Teil C Workflow High End Visualisierung Stufe 0

Transkript

1 C3Grid - INAD: Towards an INfrastructure for General Access to Climate Data D Teil C Workflow High End Visualisierung Stufe 0 Work Package: AP4.1.3 Visualization Author(s): Michael Flechsig, Magnus Heitzler, Simon Kiertscher, Thomas Nocke, Jens Wahnes, Volker Winkelmann Version Idenitifier: Version 1.1 Publication Date: 27. September 2012 Work Package Coordinator: TU Dortmund Partners: RRZK, PIK Contact: Jens Wahnes wahnes@uni-koeln.de

2 Projekt: C3Grid-INAD: Towards an INfrastrucure for General Access to Climate Data BMBF-Förderkennzeichen: 01LG1004A-I Laufzeit: Abstract Visualisierungsdienste sind ein wesentliches Element beim Umgang mit wissenschaftlichen Daten. Der für die High-End Visualisierung (HEV) bereitgestellte Workflow ermöglicht eine interaktive Visualisierung und visuelle Analyse von beliebigen Datensätzen aus dem C3Grid-Repository und von Outputs von C3Grid Workflows. Das Dokument beschreibt die Ausbaustufe 0 des High-End Visualisierungsworkflows. Dabei werden prototypisch (i) der Datenupload zum Visualisierungs-Computeprovider, (ii) das Datenhandling beim Computeprovider, (iii) die Bereitstellung und Nutzung eines VNC- Servers für die eigentliche interaktive Visualisierungssession des Nutzers, (iv) der Sim- EnvVis-Wizard zur Auswahl und Ansteuerung von angekoppelten Visualisierungstechniken und (v) der Ergebnisdownload als Schritte des HEV-Workflows integriert. Eine Nutzerdokumentation zum SimEnvVis-Wizard und den angekoppelten Visualisierungstechniken ist in einem separaten Dokument verfügbar. Inhalt 1 Einleitung VNC-Server Prototyp Desktop VNC im Webbrowser Ausblick SimEnvVis SimEnvVis-Wizard Visualisierungstechniken C3Grid-spezifische Anpassungen Tests SimEnvVis allgemein GUI Multi-User-Betrieb Visualisierungsmodule Installation Ausblick Änderungen Version Datum Kurzbeschreibung PIK: Erste Version zu VNC-Server und SimEnvVis RRZK: Vervollständigung zur Grid-Interaktion der VNC- Session. Aktualisierung einiger Bildschirmfotos PIK: Aktualisierung Graphiken, kleinere Ergänzungen Tu Dortmund: Tippfehler korrigiert 2

3 1 Einleitung Das vorliegende Dokument beschreibt die prototypische Implementierung der High-End- Visualisierung (HEV) im C3Grid zum Monat 24 des Projekts. Ziel der High-End- Visualisierung ist es, dass die Benutzer interaktiv mit bereitgestellten Visualisierungswerkzeugen die Besonderheiten einzelner Datensätze herausarbeiten können. Im Gegensatz zur Low-End-Visualisierung, bei der eine Änderung der Visualisierungsparameter erst noch eine Neuberechnung nach sich zieht, deren Ergebnisse erst deutlich später vorliegen, steht hier ein Werkzeug bereit, mit dem sich Daten explorativ erschließen lassen und nicht nur unterschiedliche Parameter, sondern auch verschiedene Arten der Visualisierung nahezu verzögerungsfrei ausprobiert werden können. Auf diese Weise können anschauliche Darstellungen vorhandener Daten wesentlich leichter und schneller gefunden werden. In Abbildung 1 ist der schematische Ablauf der High-End-Visualisierung dargestellt. Die vorliegende prototypische Implementierung umfasst allerdings noch nicht die wiederholte Ausführung der Visualisierung bei Bedarf (Schleife zu Schritt 2). Die Bereitstellung dieser Funktionalität ist für 2013 geplant. Derzeit muss also noch bei Schritt 1 neu begonnen werden, um eine Visualisierungsaufgabe nach Ablauf der Visualisierungs-Session fortsetzen zu können. Abbildung 1: Prinzipieller Ablauf der High-End Visualisierung im C3Grid. Für den Ablauf der Visualisierung ist die Verzahnung zwischen den Bereichen, die über bestehende Grid-Funktionalitäten abgedeckt werden Anmeldung und Datenauswahl im Portal, Übertragung der Daten zum Compute-Provider und der interaktiven Visualisierung, die direkt zwischen Benutzer und Visualisierungs-Ressource vermittelt wird, von besonderer Bedeutung. Hierzu gehört neben der einfachen Bereitstellung der angelieferten Daten auch der Transport der bei der Visualisierung anfallenden Daten über das Grid zu einem Server, von dem der Benutzer sich diese Daten zur weiteren Verwendung herunterladen kann. 3

4 2 VNC-Server Wie in der Darstellung in Abbildung 1 zu erkennen, basiert die interaktive Arbeit des Benutzers mit dem vom Compute-Provider bereitgestellten System auf VNC. Als Virtual Network Computing (VNC) wird eine Technik bezeichnet, die es gestattet, auf einer entfernten Maschine (Server) zu arbeiten, aber deren Bildschirminhalt auf dem lokalen Rechner (Client) eines Nutzers anzuzeigen. Umgekehrt werden Maus- und Tastatur- Eingaben auf dem Client an den Server übertragen, so dass ein interaktives Arbeiten auf dem entfernten Server (remote machine) möglich wird. VNC implementiert das Remote Framebuffer Protocol (RFP) [8]. Dabei handelt es sich um ein Netzwerk-Protokoll, welches die Interaktion mit entfernten graphischen Benutzeroberflächen regelt. RFP setzt wiederum auf TCP/IP auf. Der Vorteil von VNC gegenüber anderen netzwerkfähigen Grafikprotokollen wie X11 besteht vor allem darin, dass einfach zu bedienende Software zur Nutzung von VNC plattformübergreifend bereitsteht bzw. im Idealfall noch nicht einmal installiert zu werden braucht (s. Abschnitt 2.2). Weiterhin werden mittels VNC die Daten bei geeigneter Konfiguration komprimiert übertragen, so dass beispielsweise über einen im Privatkundenbereich üblichen Internetanschluss (DSL 6000) bereits ein flüssiges Arbeiten möglich ist. Im Folgenden wird die Nutzung von VNC beschrieben, wie es im Rahmen der High-End- Visualisierung verwendet wird. Durch VNC wird der HEV-Workflow-Nutzer also in die Lage versetzt, die Hardwareressourcen des Compute-Providers (Servers) und dabei insbesondere dessen Graphikkartendienste zu nutzen, um den Datensatz interaktiv zu erkunden. 2.1 Prototyp Desktop Auf dem Desktop für die Remote-Visualisierung kommt in der aktuellen Ausbaustufe 0 die unter Linux weit verbreitete und benutzerfreundliche Gnome-Oberfläche zum Einsatz. Dadurch können auch unerfahrene Nutzer der Linux/Unix-Welt schnell und sicher mit dem System umgehen und übliche Aufgaben wie das Starten von Programmen und das Sichern von Dateien in Ordnern auf gewohnte Weise durchführen. Abbildung 2: VNC-Session direkt nach der Einwahl. 4

5 Nach dem Einwählen in eine VNC-Session sieht der Bildschirm aus wie in Abbildung 2 dargestellt. Der Visualisierungs-Wizard von SimEnvVis (siehe Abschnitt 3) kann direkt per Doppelklick vom Desktop gestartet werden. Zudem stehen für spezielle Anforderungen auch weitere generische Visualisierungswerkzeuge bereit. Ferner befinden sich auf dem Desktop zwei wichtige Ordner, import und export. Im Import-Ordner wird dem Benutzer der zuvor im Portal ausgewählte Datensatz bereitgestellt, der visualisiert werden soll. Im Export-Ordner kann der Benutzer während der Visualisierungssitzung erstellte Dateien (z.b. Grafiken) ablegen. Diese werden zum Ende der Visualisierungssitzung zum C3Grid- Export-Server übertragen und stehen dem Benutzer dort zum Download bereit genau wie er es von anderen Workflows im C3Grid gewohnt ist. Startet der Benutzer das Programm SimEnvVis, so bietet sich ihm dort direkt die Möglichkeit, die importierte Datei zu öffnen. Das Programm unterbreitet dem Benutzer Vorschläge, wie der Datensatz visualisiert werden kann. Eine mit Hilfe von SimEnvVis ausgewählte und gestartete Beispiel-Visualisierungstechnik ist in Abbildung 3 zu sehen. Abbildung 3: Beispiel einer von SimEnvVis bereitgestellten Visualisierungstechnik. Die Import- und Export-Ordner können vom Benutzer per Doppelklick geöffnet werden. Hierüber wird die übliche Verwaltung von Dateien per Drag-und-Drop ermöglicht. Der Benutzer kann so jederzeit Einfluss darauf nehmen, welche Daten für den Export vorgesehen werden und welche nicht. In Abbildung 4 ist dies beispielhaft dargestellt. In dem vorliegenden Prototyp ist eine Visualisierungssitzung fix auf zwei Stunden begrenzt. Nach Überschreiten dieser Grenze wird die VNC-Session zwangsweise vom System beendet. Ist der Benutzer mit seiner Visualisierungsaufgabe bereits früher fertig, so kann und sollte er sich aus der Sitzung abmelden. Dazu wählt er aus dem Menü den Punkt System Logout. Nach einer Bestätigung wie in Abbildung 5 dargestellt wird die VNC-Sitzung beendet und es beginnt daraufhin die Übertragung der zum Export vorgesehenen Daten. 5

6 Abbildung 4: Umgang mit Import- und Exportordnern. Die Abmeldung nach getaner Arbeit ist wichtig, damit die derzeit noch etwas beschränkten Visualisierungs-Ressourcen möglichst effizient genutzt werden können erst mit der finalen Umsetzung der High-End-Visualisierung im Jahr 2013 werden alle bei den unterschiedlichen Partnern vorhandenen Hardwarekapazitäten auch vollumfänglich nutzbar sein. Abbildung 5: Bestätigung beim Beenden der VNC-Sitzung. 2.2 VNC im Webbrowser Ein großer Vorteil bei der Nutzung von VNC ist die Möglichkeit, den Zugriff über einen Webbrowser zu erhalten. Hierfür wird lediglich Java benötigt, welches häufig bereits beim Nutzer (Client) installiert ist. In diesem Fall muss der Nutzer keinerlei neue Software für einen VNC-Client installieren, sondern kann mit der Visualisierung sofort beginnen, indem er den als Ergebnis des Schrittes 2 in Abbildung 1 per Mail zugeschickten Link anklickt und das darin genannte Passwort eingibt. Nachdem die Nutzung von Java im Browser in jüngster Zeit jedoch aufgrund mehrfach aufgetretener schwerer Sicherheitslücken einen Dämpfer erlitten hat, wird diese für Benutzer besonders einfach zu verwendende Art des Zugangs in Zukunft u. U. nicht mehr überall möglich sein. 2.3 Ausblick Neben der Beseitigung der bereits genannten Einschränkungen (Fortsetzung der Visualisierung, Bereitstellung weiterer Kapazitäten) sind für die Zukunft noch weitere Verbesserungen bei der Bereitstellung der High-End-Visualisierung geplant. Aufgehoben werden soll auch die im Prototyp noch bestehende Einschränkung auf genau einen Datensatz, der visualisiert werden kann. Darüber hinaus wird angestrebt, dem Benutzer ein sog. Profil bereitzustellen, so dass er bei der Visualisierung auf seine eigenen häufig verwendeten Daten wie z.b. Farbtabellen zugreifen kann und nicht wieder bei Null anfangen muss. 6

7 3 SimEnvVis Zur High-End-Visualisierung der im C3Grid vorliegenden Datensätze wird die Software SimEnvVis genutzt. Diese ist als Wizard konzipiert und nutzt die Metadaten von CFkonformen NetCDF-Dateien, um dem Nutzer geeignete Visualisierunstechniken vorzuschlagen und zu parametrisieren. Dem Nutzer des HEV-Workflows in C3Grid wird in einer VNC-Session der Zugang zu SimEnvVis ermöglicht. Im Folgenden werden die Handhabung von SimEnvVis kurz umrissen sowie vorgestellt, welche Visualisierungssysteme angesteuert werden können. Anschließend wird aufgeführt, welche Anpassungen an SimEnvVis vorgenommen wurden, um die Software mit C3Grid- Datensätzen nutzen zu können, und welche weiteren Arbeiten vorgesehen sind. 3.1 SimEnvVis-Wizard Der erste der insgesamt fünf Dialoge des Wizards fordert den Nutzer auf, eine NetCDF- Datei aus dem Import-Ordner beim Compute-Provider (s. Abschnitt 2.1) auszuwählen, die als Grundlage für die Visualisierung dienen soll. Wurde eine gültige Datei gewählt, kann zum nächsten Dialog fortgefahren werden, in welchem die Dimensionen, Variablen und weitere Eigenschaften der Datei eingesehen werden können. Der Nutzer wird hier aufgefordert, ein Subset, d.h., eine Menge von abhängigen Variablen, die auf gleichen unabhängigen Variablen (Dimensionen) definiert sind, auszuwählen. Sobald dies geschehen ist, werden für diesen Subset geeignete Visualisierungstechniken vorgeschlagen und mit einem Eignungsmaß versehen. Von diesen Techniken kann im dritten Dialog (siehe Abbildung 6)eine ausgewählt werden. Anschließend kann der Nutzer im vierten Dialog Analyseziele bestimmen, z.b. ob er sich einen Überblick über den Datensatz verschaffen oder Ausreißer entdecken möchte. Anhand dieser Analyseziele werden von SimEnvVis die Eignungen für voreingestellte Parametrisierungen berechnet, von denen sich der Nutzer im fünften Dialog für eine entscheidet. Sobald dies geschehen ist, wird die Visualisierungstechnik gestartet. Abbildung 6: Dialog 3 von SimEnvVis: Auswahl einer Visualisierungstechnik. 7

8 3.2 Visualisierungstechniken SimEnvVis kann in der aktuellen, bei den Computeprovidern RRZK Köln und PIK Potsdam für die High-End-Visualisierung vorliegenden Version 0.95 insgesamt fünf Visualisierungssysteme ansteuern, auf denen wiederum jeweils verschiedene Techniken basieren, die entweder zur Informationsvisualisierung oder zur wissenschaftlichen Visualisierung genutzt werden können. Die Techniken aus der wissenschaftlichen Visualisierung beziehen im Gegensatz zu den Techniken aus der Informationsvisualisierung die Bedeutung von Dimensionen (z.b. geographische Lage) stärker mit ein. Die von SimEnvVis gegenwärtig unterstützten Visualisierungssysteme sind OpenDX [4], Ferret [3], Avizo [1], und ComVis [2]. Hinzu kommen fest in SimEnvVis integrierte Techniken, die in C++ implementiert sind und die Bibliotheken QT [7] und OpenGL [5] nutzen. Unter anderem aus lizenzrechtlichen Gründen stehen Avizo und ComVis gegenwärtig nicht für die Nutzung in C3Grid zu Verfügung. Zur Informationsvisualisierung ermöglicht SimEnvVis unter anderem einen Zugang zu den Visualisierungstechniken Parallele Koordinaten, Scatterplot-Matrizen und die Graphische Tabelle. Zur wissenschaftlichen Visualisierung stehen derzeit vor allem Techniken zu Verfügung, die in OpenDX implementiert sind, und die z.b. anhand von Längen- und Breitenangaben kartenähnliche Darstellungen konstruieren können. Dem Nutzer stehen verschiedene Steuerelemente bereit, die eine Interaktion mit den Techniken erlauben (siehe Abbildungen 7-9). Abbildung 7: 3D-Visualisierungstechnik Slices, implementiert in OpenDX, Datensatz ECHAM5/MPI-OM DMI_EH5_Run4_A1B aus dem C3Grid-Datenkatalog. Rechts: Farbliche Kodierung der Variablen air_temperature(lat,lon,lev,time) für einen ausgewählten Zeitschritt in Schnittdarstellung für lev Links: Kontrolldialog, über den der Nutzer Einfluss auf die Darstellung nehmen kann. 8

9 Abbildung 8: 2.5D-Visualisierungstechnik Colored height field with isolines, implementiert in OpenDX Datensatz OMIP Model data: time averaged scalar ocean data aus dem C3Grid-Datenkatalog. Dargestellt sind die Werte der Variablen Stream function (psi) kodiert in Form von Farbe, Höhe und Isolinien. Das Gitter wird durch die Dimensionen xtav_i (longitude) und ytav_j (latitude) aufgespannt. Abbildung 9: 2.5D-Visualisierungstechnik Colored height field, implementiert in OpenDX, Datensatz wie in Abbildung 8. Dargestellt sind die farblich kodierten Werte der Variablen Stream function (psi) sowie die in Form der Höhe kodierten Werte der Variablen "Mixed Layer Depth (MLD)". 9

10 3.3 C3Grid-spezifische Anpassungen Tests Anhand von ungefähr 40 Testdatensätzen aus unterschiedlichen Datenkatalogen (IPCC, PIK, OMIP, CLM, DEKLIM-EEM) mit variierenden Eigenschaften (Ausdehnung, Anzahl der Variablen, etc.) wurde SimEnvVis auf die Eignung für NetCDF-Datensätze aus C3Grid hin untersucht. Hieraus ergab sich, dass die in C3Grid vorliegenden Datensätze aufgrund ihrer Heterogenität neue Anforderungen an SimEnvVis stellen SimEnvVis allgemein Diese Anpassungen wurden auf verschiedenen Ebenen von SimEnvVis vorgenommen. Für die Auswertung der Daten und Metadaten der NetCDF-Dateien wurden Funktionalitäten implementiert, welche die Behandlung von bisher nicht unterstützten Attributen ermöglichen. SimEnvVis ist nun in der Lage, die in C3Grid-Datensätzen häufig vorkommenden Attribute add_offset und scale_factor auszuwerten und direkt in die Berechnung von verschiedenen Eigenschaften, z.b. von Minima und Maxima, einfließen zu lassen. Auch wurde SimEnvVis erweitert, um Variablen der Typen short und double zu visualisieren. Außerdem mussten diverse Probleme beseitigt werden, die in Verbindung mit den NetCDF-Attributen von C3Grid-Datensätzen zu instabilem Verhalten von SimEnvVis geführt hatten. So werden das Attribut bounds und die damit in Verbindung stehenden Dimensionen und Variablen während der Bestimmung der Subsets gesondert behandelt. Überlange Attribute (z.b. history) stellen inzwischen auch kein Problem mehr für SimEnvVis dar. Die Mechanismen zur Ermittlung der Metadaten wurden ebenfalls überarbeitet. SimEnvVis benötigt diverse Metadaten, um für einen Datensatz bestimmte Visualisierungstechniken anbieten zu können. Da nicht gewährleistet ist, dass diese in C3Grid-Daten vorhanden sind, wurden Routinen implementiert, die eine dynamische Ergänzung fehlender Metadaten ermöglichen (z.b. von Minima und Maxima, Suche nach Synonymen von Variablennamen) GUI Da SimEnvVis für in der Visualisierung eher unerfahrene Benutzer bereit gestellt werden soll, wurde es hinsichtlich der Benutzeroberfläche überarbeitet: Logisch zusammengehörige Schaltflächen wurden gruppiert und Bedienelemente mit ähnlicher Funktionalität wurden, wenn möglich, zusammengefasst. Da in C3Grid-Datensätze mit mehreren hundert Variablen vorliegen, wurden Schaltflächen hinzugefügt, welche die Selektion und Deselektion der Variablen von Interesse erleichtern sollen. Auch wurden Ladebalken hinzugefügt, welche bei zeitintensiven Prozessen Anhaltspunkte über den Arbeitsfortschritt liefern können. Weitere Änderungen umfassen u. a. die Überarbeitung des Skalierungsverhaltens der Fenster und die Ergänzung von Icons Multi-User-Betrieb Um gleichzeitig bei einem Visualisierungs-Compute-Provider mehrere HEV-Sessions abzuarbeiten wurden außerdem Mechanismen entwickelt, um einen Multi-User-Betrieb zu gewährleisten. Dies umfasst einerseits die Erzeugung von individualisierten Dateinamen, so dass Konflikte beim Anlegen und Löschen von Dateien vermieden werden. Zum 10

11 Anderen werden nutzerspezifische Dateien von SimEnvVis in den entsprechenden Home- Verzeichnissen erstellt, anstatt diese in einem zentralen Verzeichnis zu halten Visualisierungsmodule Neben den beschriebenen Verbesserungen, die den gesamten Wizard betreffen, wurden auch die einzelnen Visualisierungstechniken überarbeitet. Ferret Im Fall von Ferret mussten Prozesse hinzugefügt werden, die sicherstellen, dass die Variablen keine der für Achsen gültigen NetCDF-CF Attributbezeichnungen (X, Y, Z, T) aufweisen. Außerdem wird der für Ferret zugewiesene Speicherbedarf anhand einer heuristischen Funktion berechnet, die dafür sorgen soll, dass Ferret je nach Datensatzgröße auf hinreichend viel Arbeitsspeicher zugreifen kann. Schließlich mussten auch diverse Fehler an den von Ferret mitgelieferten Skripten behoben werden, die zu fehlerhaften Darstellungen geführt haben. Für die Nutzung im Multi-User-Betrieb wurde sichergestellt, dass Zwischenergebnisse nicht mehr standardmäßig im Ordner /tmp abgelegt werden. OpenDX Für OpenDX liegen in SimEnvVis eine Vielzahl an unterschiedlichen Techniken vor, die vor allem zur wissenschaftlichen Visualisierung geeignet sind. Da diese jedoch stark auf Datensätze zugeschnitten sind, welche die Software SimEnv [9] erzeugt, mussten diese Techniken weitgehend überarbeitet werden. Dieser Prozess ist noch nicht abgeschlossen. Parallele Koordinaten, Graphische Tabelle und Scatterplot-Matrix Einige Techniken wurden in ihrer Funktionalität derart erweitert, dass sie dem Nutzer weitere Einsichten in die Datensätze liefern können. Die Technik für Parallele Koordinaten wurde so modifiziert, dass sie in der Lage ist, Fehlwerte darzustellen, da C3Grid- Datensätze eine große Menge derartiger Werte (NetCDF-CF-Attribute _FillValue und missing_value) aufweisen können. Die Graphische Tabelle wurde um die Möglichkeit erweitert, Subsets mit einer beliebigen Anzahl von Dimensionen darzustellen. Dies war notwendig, da in C3Grid ausschließlich mehrdimensionale Datensätze vorhanden sind. Bei allen drei Techniken wurde die Benutzeroberfläche verbessert. 3.4 Installation Die vorliegende prototypische Version 0.95 von SimEnvVis mitsamt der zugrunde liegenden Techniken konnte auf dem Visualisierungsserver am PIK Potsdam sowie auf dem Visualisierungsknoten am RRZK der Universität Köln erfolgreich installiert und getestet werden. 3.5 Ausblick SimEnvVis ist zwar bereits in der Lage, für die getesteten Datensätze verschiedene Visualisierungstechniken zu starten, für viele dieser Techniken führen die Parametrisierungen jedoch noch zu suboptimalen Darstellungen. Um diese Mängel zu 11

12 beheben, ist bis zum Meilenstein M36 vorgesehen, Zeit in die Stabilisierung der Techniken und ihre Parametrisierung zu investieren. Außerdem ist bis Ende 2012 geplant, die Anzahl der Testdatensätze weiter zu erhöhen, um sicherzustellen, dass die Software in den meisten Anwendungsfällen geeignete Ergebnisse liefert. Weiter sollen zusätzliche Techniken insbesondere zur wissenschaftlichen Visualisierung angebunden werden, da diese die häufig vorkommenden räumlichen und zeitlichen Dimensionen besser in die Visualisierung mit einfließen lassen können, als dies bei den Techniken aus der Informationsvisualisierung der Fall ist. Wissenschaftliche Visualisierungsmethoden greifen hierzu beispielsweise auf geometrische Grundlagen (z.b. Erdmodelle) oder Verfahren zur Strömungsvisualisierung zurück. Für C3Grid würde sich beispielsweise ParaView [6] anbieten, da diese quelloffene Software keine Lizenzkosten mit sich bringt. 12

13 Referenzen [1] Avizo: [2] ComVis: ComVis/ [3] Ferret: [4] OpenDX: [5] OpenGL: [6] ParaView: [7] QT: [8] RFP: Internet Engineering Task Force and The Remote Framebuffer Protocol - RFC6143. Technical Report, Internet Engineering Task Force, March [9] SimEnv: 13