Visual Computing für die Schiffsführung

Transkript

1 Visual Computing für die Schiffsführung Berlin, Dr. Kris tine Bauer Prof. Dr.-Ing. Uwe Freiherr von Lukas Fraunhofer-Institut für Graphische Datenverarbeitung IGD Joachim-Jungius-Straße Rostock Tel Fax Fraunhofer IGD

2 Fraunhofer IGD (Stand 2014) 235 Mitarbeiter (FTE) 17 Mio Budget 4 Standorte Darmstadt, Rostock, Graz und Singapur 14 F&E-Abteilungen für angewandte Forschung in Visual Computing und die Nutzbarmachung von Forschungsergebnissen in der Wirtschaft Die weltweit führende Einrichtung für angewandtes Visual Computing 2

3 Schiffbau Schiffsbetrieb Meerestechnik Abteilung Maritime Graphics des Fraunhofer IGD: Marktsegmente Marketing Design to X Design-Review Fertigungsunterstützung Virtuelles Training Betriebsüberwachung Digitale Schiffsführung Planungsunterstützung Unterwassermontage Umwelt- Monitoring

4 Digitale Schiffsführung: Herausforderungen Multiple Nutzung der Seegebiete Transport Tourismus Energiegewinnung Aquakultur (UW) Meeresbergbau (UW) Chancen (und Risiken) umfassender Digitalisierung Lokale sowie globale Sensoren und Netzwerke Datenflut beherrschen Verletzlichkeit digitaler Infrastrukturen Neue Geschäftsmodelle in konservativer Branche 4

5 Raumordnungsplan Nordsee 5

6 6

7 Kooperation Fraunhofer IGD, FKIE, CML, IBMT, Unis: Rostock, Kiel, WMU, Sonstige: DLR, BSH, Aufbau von Netzwerken Mitgliedschaften: GMT, SMN, CMT Eigene Konferenz Go-3D Systemhersteller: Raytheon, Signalis, SW: 7Cs, Jeppesen, Reedereien 7

8 Einordnung in Forschungslinien 8

9 Einordnung in Forschungslinien 3D Nautical Charts Visualisierung von Unsicherheiten Dig. Kartentisch S-100 Data Standard 9

10 Einordnung in Forschungslinien 3D Nautical Charts InShip Tracking Optisches Tracking Modellbasierte Sensorfusion 10

11 Einordnung in Forschungslinien Echtzeit-Grafik großer Datenmengen/ Big Data 3D Nautical Charts InShip Tracking 4D Echtzeit- Umweltmodell Präzise Position und Orientierung Datenabstraktion/ -aufbereitung nach Nutzerinteressen Simulation/ Prädiktion Modellbasierte Sensorfusion 11

12 12 Unsere Zielstellung Einsatz von Visual Computing-Technologien für effizienten & sicheren Betrieb Der Mensch bleibt im Mittelpunkt der (kritischen) Entscheidungsprozesse Optimale Datenaufbereitung Wichtiges von Unwichtigem trennen Datenabstraktion Datenfusion Datenplausibilität Optimale Präsentation Geeignete Geräte (Monitor, Tablet, Brille) Intuitive Bedienung IGD_Folien_v ppt

13 13 Aktuelle Anwendungen verbesserte Echtzeit-Brückenfunktionalitäten mit neuen Medien und integrierten Informationen Echtzeit 4D-Umgebungsmodell (Hafen, Küste, Objektklassifikation, Verhaltensanalysen, Wetterauswirkungen, Schiffssicherheit) Sensorraum Schiff Flotten-Leitzentrale Sensorik-Kaskade, Datenfusion, hierarchische Fusion/ship- to-ship, Informationsaufbau Integration aufgearbeiteter Leitzentralendaten mit lokalen, aktuellen Schiffsdaten, Gefahrenstellen, Umwelt/ Küsten/Monitoring, Fusion Über- /Unterwasser Optische Detektion (IR-Kamera, Multispektralkamera) der Verkehrs- und Sicherheitslage/ Detektion nichterfasster Objekte (Schlauchboot, Personen) /fehlerhafter AIS-Daten/Angriffe Automatisierte Updatemechanismen durch optische Vermessung im Schiffsbetrieb (Küstenzonen, Hafeneinfahrten, Routing etc.) Betrieb: (Wartungs-/Remote-) Assistenzsysteme , Berlin IGD_Folien_v ppt

14 Informationsvisualisierung auf der Brücke Situatives Lagebild Optimale (Navigations-) Entscheidungen beruhen auf der Würdigung und Einordnung aller verfügbaren Informationen Der Entscheider muss alle Information in ein Echtzeit- Lagebild verdichten Die integrierte Visualisierung in einer Umgebung kann den Entscheidungsprozess schneller und sicherer machen Nur komplett digital unterstützte Prozesse bieten den Vorteil hoch-aktueller Darstellungen und flexibel integrierter Darstellungen 14

15 Aktuelle INS-Systeme Fusion in gemeinsames Display nicht: Datenfusion 15

16 16 e-maritime: Funktionalisierte Visualisierung und Augmented Reality Geländedaten Sensordaten (Radar, Sonar, Kamera ) Verkehrsdaten Simulationsdaten (Verhalten, Prädiktion) Anwendung in vielen Bereichen Schiffsbetrieb Hafenbetrieb und -sicherheit Meeresforschung Unterwasser Operationen Koordination zwischen Schiff/Unterwasserstrukturen und ROV/AUV, räumliche Navigation Marines Data mining 3D Nautik 3D Küsten , Berlin IGD_Folien_v ppt

17 Example: Augmented Reality Seekarte Augmented Reality Fernglas zur Nutzung im Brückenbereich (auch Nocks) Herausforderung robustes Tracking für Freihandnutzung Angereicherte Sicht mit lagerichtigen Seekarteninformationen 17 IGD_Folien_v ppt

18 , Berlin IGD_Folien_v ppt

19 Example: Hafensicherheit Ermöglicht AIS tracks als Overlay in eine bewegliche Kamera Integration von nur zwei Informationsquellen ergibt leistungsstarkes Equipment für Sicherheitsfragen Ein geo-referenziertes 3D Modell dient als Datengrundlage Augmentierung zeigt die Live- Objekte im Kameravideo zur Echtzeitverfolgung Customer: Signalis GmbH 19

20 Perspektive: Head-Up Displays Direkte Einbettung der Informationen in das Sichtfeld des Fahrzeugführers Praktische Erfahrungen im Cockpit und in Oberklasse-PKW Herausforderungen auf der Schiffsbrücke Mehrere Personen Personen bewegen sich auf der Brücke Schiff 20

21 21 IGD_Folien_v ppt Umfeldüberwachung für Offshore-Operationen

22 Web-basierter Zugriff auf 3D-Daten 22

23 4D Echtzeit-Umweltmodell Wo bin ich, wer bin ich, wer ist noch da, wer ist das, interessiert mich das Verifikation von aktuellen Sensordaten anhand weiterer Daten Verifikation von Prädiktionen Optische Überprüfung Zuverlässigkeit Sensordaten (Alter, Genauigkeit, Aufnahmemodus) Integration zu Sensor-Umweltmodell Alle georeferenzierten Daten in EIN Modell Als Zusatzdisplay nicht als Ersatz Layerprinzip Sensorgenauigkeiten/Plausibilitätsanzeige Anzeige Aktualität der Daten (Seekarte älter als Sonardaten) 23

24 Nutzung von 3D Daten im Schiff Source: Survey of 3D maritim,

25 Aktuelle 3D Systeme Source: Survey of 3D maritim,

26 Video Video Image Enhancement (Dehazing) Informationen in Kamerabildern verstärken Einsatz für Über- und Unterwasseranwendungen 26

27 27 IGD_Folien_v ppt Automatische Updates der statischen Geodaten/ECDIS Semantische Erkennung von Küstenbereichen Input: Georef. Orthofoto 1. Clustering 2. Segment classification 3. Object detection 4. Contour modelling 5. Back projection Output: Geo-Vector-Format, e.g. S-57

28 Inspiration Automobil 28

29 Zusammenfassung Vorhanden: 3D-Daten Schiff (Typ, Modell, Simuliertes Verhalten in Umwelt) 3D-Daten Umwelt (statisch), ECDIS, Bathymetrie u.v.m. Echtzeit-Sensordaten im Schiff/Umgebung Schiff (Radar, Sonar, Kamera, AIS, Seezeichen, u.v.m.) Verkehrslage AIS/Leitzentrale (Gefahrenstellen, Aktuelle Ereignisse) Nutzung: Aufbau Umweltmodell Benutzung Umweltmodell reine, einzelne Datenanzeige (lokales Wissen/+ Leitzentrale) Integrative Datenanzeige Datenfusion Datenfusion mit Bewertung der Plausibilität Objekterkennung zur Sicherheitsrelevanz, Update der statischen Kartendaten für Echtzeit-Routenplanung, Erkennung von Havariegefahren 29 Fraunhofer IGD

30 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT 30 Fraunhofer IGD