Aktuelle Trends in der Visualisierung komplexer Klimainformation

Transkript

1 Aktuelle Trends in der Visualisierung komplexer Klimainformation Michael Böttinger Niklas Röber, Karin Meier-Fleischer, Dela Spickermann Deutsches Klimarechenzentrum (DKRZ)

2 Wo komme ich her? Mistral, aktuell Nummer 34 der TOP500 DKRZ: Hochleistungsrechner, Datenspeicher und assozierte Dienstleistungen exklusiv für die Klimaforschung

3 Klimadaten heute Klimadaten immer umfangreicher und komplexer 1. Komplexere Gitter, heterogene Daten 2. Big Data: Immer höhere räumliche und zeitliche Auflösung 3. Betrachtung zusätzlicher Prozesse: steigende Anzahl von Variablen (z.b. Biogeochemie) 4. Weitere Dimension(en): Unsicherheit

4 Klimadaten heute Trends in der Visualisierung Klimadaten immer umfangreicher und komplexer 1. Komplexere Gitter, heterogene Daten -> neue Algorithmen 2. Big Data: Immer höhere räumliche und zeitliche Auflösung -> In-Situ-Visualisierung, LOD-Techniken 3. Betrachtung zusätzlicher Prozesse: steigende Anzahl von Variablen (z.b. Biogeochemie) -> interaktive vis. Datenanalyse : Linked Views, Brushing 4. Weitere Dimension(en): Unsicherheit -> Overlays, 3D

5 1.) Komplexere Gitter, heterogene Daten Georefererenzierte Daten -> Mapping Gitter: rektilinear, kurvilinear, rotiert, irregulär Multivariat / Skalar- und Vektordaten Special values Zeitachse: lang Gekoppelte Modelle: unterschiedliche Gitter Multi-Run-Experimente (Ensembles) Formate: GRIB, NetCDF Konventionen für Metadaten (z.b. NetCDF/CF-1.x)

6 1.) Komplexere Modellgitter: MPIOM Beispiel: krummliniges 302x132 Gitter

7 1.) Komplexere Modellgitter: ICON Ozean

8 1.) Komplexere Modellgitter: FESOM Ozean

9 1.) Heterogene Daten: NARVAL und EUMETSAT

10 2.) Big Data: Heutige Projekte BMBF -Projekt (seit 2013) Wolkenauflösendes Modell ICON-Gitter (unstrukturiert) Horizontales Gitter : 100 m Aufl. Vertikal: 250 Schichten Modellgebiet 1000 km * 1000 km

11 2.) Big Data: HD(CP) 2 - mittlere Auflösung (600m)

12 Visualisierungs-Server 2.) Big Data: Simulations- (alt) und Analyse-Pipline batch HPC interaktiv Lokaler Arbeitsplatz Parallel Simulation HPC Visualisierungsserver Remote 3D Lokal. A. Parallel Simulation

13 2.) Big Data: Visualisierung in einer HPC Umgebung Paralleles File System Supercomputer Archiv-System Datentransfer User

14 2.) Big Data: Visualisierung in einer HPC Umgebung Paralleles File System Supercomputer Archiv-System Remote 3D User Visualisierungsserver

15 2.) Big Data: Remote-3D-Rendering Lokaler Computer: Keyboard / Mouse Display Remote 3D Client Visualisierungsserver: 3-D-Software (OpenGL) Remote 3D-Server HPC Storage Software: Turbo VNC / VirtualGL Capture Keyboard / Mouse Keyboard / Mouse Uncompress Image Display Image Capture Framebuffer Compress Image Send Image to Client

16 Visualisierungs-Server 2.) Big Data: Visualisierungs-Server (alt) am DKRZ 21 GPU-Knoten Atos/Bull Integriert in Supercomputer 54 PByte Shared Filesystem 2 CPUs, 12/18 Core Haswell GB Main Memory Nvidia GPUs: 12 Nodes / je 2 Tesla K80 5 Nodes / je 2 Tesla M40 4 Nodes / je 2 M6000 FDR Infiniband Netzwerk Remote 3D-Rendering: TurboVNC/VirtualGL

17 Visualisierungs-Server 2.) Big Data: Simulations- (alt) und Analyse-Pipline batch HPC interaktiv Lokaler Arbeitsplatz Parallel Simulation HPC Visualisierungsserver Remote 3D Lokal. A. Parallel Simulation HPC In-Situ-Visualisierung Lokaler A. Parallel Simulation

18 2.) Big Data: In-Situ-Visualisierung ParaView Catalyst Paraview-Prozesse auf HPC-Knoten - zur Laufzeit der Simulation Interaktives GUI auf lokaler Workstation

19 2.) Big Data: Interakt. LOD-Visualisierung mit VAPOR Visualization and Analysis Platform for Ocean, Atmosphere, and Solar Researchers Entwicklung: NCAR/UCAR VAPOR Data Collection (VDC) Datenmodell Wavelet-basiert, LOD ICON/MPAS support (under development, NCAR & DKRZ)

20 2.) Big Data: VAPOR ICON Atmospheric Circulation model 1.4 Mio cells per layer

21 3.) Interaktive Visuelle Datenanalyse: ParaView In Entwicklung: ParaView-Tutorial für Klimamodelldaten ICON-NetCDF Plugin (Niklas Röber)

22 3.) Interaktive Visuelle Datenanalyse: ParaView Kinetische Energie Meereshöhe Temperatur Salinität Dichte Parallel Coordinates

23 3.) Interaktive Visuelle Datenanalyse: ParaView

24 4.) Visualisierung von Unsicherheit /Skill /Robustheit Unsicherheit: statistische Zusatzinformation zu Daten Unsicherheitsvisualisierung Visualisierung von Daten sowie statistischer Daten dazu -> multivariate Visualisierung Traditionell bei räumlichen Daten: Overlay

25 4.) Visualisierung von Unsicherheit /Skill /Robustheit Unsicherheit: statistische Zusatzinformation zu Daten Unsicherheitsvisualisierung Visualisierung von Daten sowie statistischer Daten dazu -> multivariate Visualisierung Traditionell bei räumlichen Daten: Overlay In 3D-Visualisierungstools: Transparenz nutzen (Shading) Z-Koordinate nutzen (Height Map) 3D-Methoden (Isosurfaces etc.)

26 4.) Unsicherheit: Temperaturanom. und Std.abw.

27 4.) Unsicherheit: NCL - 2D Visualisierung Böttinger, M., Pohlmann, H., Röber, N., Meier- Fleischer, K., Spickermann, D. (2015): Visualization of 2D Uncertainty in Decadal Climate Predictions, EuroVis Workshop on Visualisation in Environmental Sciences (EnvirVis), Cagliari, (2015), (DOI: /envirvis )

28 4.) Unsicherheit: NCL - 2D Visualisierung Vector Gfx Animation?

29 4.) Unsicherheit: Temperaturan., Standardabweichung, Skill

30 3D Unsicherheit: met.3d Rautenhaus et al. 2015: Three-dimensional visualization of ensemble weather forecasts Part 1: The visualization tool Met.3D (version 1.0), doi: /gmd

31 Visualisierungstools Type Name URL Properties Domainspecific NCL IDV 2D script-based 2D/3D interactive GUI Free Free Vapor 3D interactive GUI Free UV-CDAT Collection: 2D /3D tools Free GrADS 2D script-based Free Ferret 2D script-based Free GMT 2D script-based free Generalpurpose ParaView Avizo 3D interactive GUI 3D interactive GUI Free $$ IDL 2D script-based $$ Python / matplotlib 2D script-based Free R 2D script-based Free

32 3D Visualisierung: Avizo (Climate Edition) Aktuelle Trends in der Visualisierung komplexer Klimainformation

33 3D Visualisierung: Avizo Domänenspezifische Features in Avizo NetCDF CF-1.0 Reader Unterstützt reguläre, rektilineare, rotierte und gekrümmte Gitter Unterstützung großer Datensätze: Streaming für zeitabhängige Daten Hauptspeicher-Caching Geographische Projektionen Zylindrisch äquidistant, sphärisch, Mollweide u.v.a.m. Earth Modul Texturen, 3 Detaillierungsgrade Topographie / Bathymetrie Kontinente und politische Grenzen Tutorial-Dokument(DKRZ):

34

35

36

37 Neue Tools: Nvidia Index Plug-In für ParaView NVIDIA IndeX is a commercial SDK that leverages GPU clusters for scalable, real-time, visualization and computing of multi-valued volumetric data together with embedded geometry data.

38 Neue Tools: OSPRay Raytracing in ParaView 5.2

39 Fragen?