Fraunhofer-Institut für Informations- und Datenverarbeitung IITB

Transkript

1 Fraunhofer-Institut für Informations- und Datenverarbeitung IITB Impulsvortrag IuK-Plattformen Lagebilder, Entscheidungsunterstützung und Mensch-Maschine-Interaktion Prof. Dr.-Ing. habil. Jürgen Beyerer 25. Juni 2009 Josef von Fraunhofer ( ) präsentiert sein Spektrometer Forscher, Erfinder und Unternehmer

2 These Erhaltung von Sicherheit ist ein dynamischer Prozess. Sichere Systeme basieren auf Regelkreisen. Soll-/Ist-Vergleich, und Stellbefehl Führen Entscheiden Ist-Zustand feststellen Aufklären Wahrnehmen Handeln Wirken Ist-Zustand verändern Interessengebiet: zu schützende Sache

3 These Fortsetzung Führen stützt sich auf Wissen über das Interessengebiet. Wissen: Kenntnis relevanter Fakten, deren Unsicherheiten und Relationen Das Lagebild repräsentiert dieses Wissen. Führen Wissen über das Interessengebiet Fakten Unsicherheiten Relationen Aufklären Lagebild Wirken

4 Bedeutung von Information für die Sicherheit Bsp.: Tsunami-Katastrophe Südasien Die richtige Information zur richtigen Zeit am richtigen Ort hätte mehr geholfen als jede andere Maßnahme. 3mfuture.com Bsp.: Brand in Großgebäude Informationen für Rettungskräfte: Wie weit ist der Brand fortgeschritten? Wie viele Personen befinden sich wo? Informationen für Betroffene: Was ist der aktuell beste Fluchtweg? Michael Kleinjung Information ist fundamental für die Sicherheit. IT ist Schlüsseltechnologie für die Sicherheit.

5 Beispiel: Videoüberwachung heute Viele Kameras bereits im Einsatz. Aber: Potenzial kaum erschlossen, nur einfachste Aufgaben sind automatisiert. Derzeitiges Paradigma: Pro Kamera ein Monitor (Fenster) Komplette visuelle Inspektion - zu unzuverlässig - zu teuer Hauptsächlich aufnehmen und archivieren Problem: Datenflut

6 Informationsflut und ihre Bewältigung Fülle von Echtzeitinformationsmöglichkeiten (Sensorik, Informationsmedien) vorhanden! Probleme und Bedarfe: Auswahl nützlicher Informationen Sensoreinsatzplanung, Rollengerechte Darbietung relevanter Information Heterogenität der Informationen Daten- und Informationsfusion Informationsqualität, Unsicherheit Propagation und Visualisierung von Unsicherheiten

7 Überblick Relevantes Lagebild Fusion heterogener Informationen Systems of Systems: Interoperabilität Generisches Sicherheitsleitsystemkonzept Mensch-Maschine Systeme für die Sicherheit Interaktionstechnologien Beispiele Forschungsbedarfe

9 Relevantes Lagebild Aufgabe Fenster des Interesses was? wo? Relevantes Lagebild Fakten nominal, ordinal, metrisch, absolut Unsicherheiten Unbestimmtheit, Messunsicherheit, Unwissenheit wann? Bezugsrahmen: Raum Zeit Gegenstand Zusammenhänge Relationen, Regeln

10 Kenntnisdefizite gezielte Informationsbeschaffung Relevantes Lagebild Fakten Kenntnisdefizite: aufgabenspezifisch identifizieren priorisieren Kenntnisdefizite = ^ Unsicherheiten Unsicherheiten Zusammenhänge Portfolio verfügbarer Informationsquellen analysieren: Sensorplattformen für aktuelle Missionen. Informationsarchive

11 Beispiel: Überwachungssystem NEST Relevantes Weltmodell (objektorientiert) Sensoreinsatzplanung, Kamerasteuerung Kameras NEST NEST Services Services NEST NEST Services Services IITB Auswertungsprozesse Alarmierung Objektinstanziierung Rechnermodell der Liegenschaft, Relevantes Lagebild, Informationsdrehscheibe, Systemgedächtnis Video- Auswertung Reale Welt

13 Fusion heterogener Quellen, Bsp: militär. Aufklärung Entscheidungen Symbole Merkmale Abstraktionsgrad Fusion Fusion Fusion abstrahieren spezialisieren Ergebnis Signale Disziplinen: Diversität IMINT SIGINT ACINT HUMINT

14 Video-Fusion in Echtzeit 14

15 Fusion heterogener Informationsquellen Beispiel Beispiel zur Fusion; Quellen: Visuelle Bilder Topographische Reliefs Straßenkarten

16 Fusion heterogener Informationsquellen Beispiel

17 Fusion auf symbolischer Ebene Beispiel Bildauswerter Ergebnis Kolonne Fusion+ Annotation Zoom Ebene Suche nach Landfahrzeugen Prozess Annotation LKW LKW LKW LKW LKW LKW LKW LKW LKW LKW LKW LKW

19 Systems of Systems Teilsystem 1 Teilsystem 3 Gesamtsystem Teilsystem 2 Teilsystem 2.1 Komponente Komponente Komponente Teilsystem 4 Teilsystem 2.2 Komplexe Aufgabenstellungen Nutzenpotenzial steckt überwiegend im wohl abgestimmten Zusammenspiel der Komponenten zu Teilsystemen zu einem Gesamtsystem Teilsysteme müssen sich verstehen.

20 Interoperabilität Kommunikationsebene: Inhaltliche Ebene: Isoliert Drehstuhlschnittstelle Physikalisch Datenaustausch Funktional Zugriff auf Dienste Domänen Abgestimmte Geschäftsprozesse Unternehmen Informations-Austausch-Modelle Technische Interoperabilität: Physikalische Vernetzung von Systemen; Nutzung geeigneter Protokolle ermöglicht den Informationsaustausch auf Zeichenebene. (z. B. TCP/IP, HTTP). Syntaktische Interoperabilität: Nutzung einer gemeinsamen Syntax zur Strukturierung der Informationen, z. B. HTML, XML Semantische Interoperabilität: Schaffung eines gemeinsames Verständnisses bzgl. der ausgetauschten Begriffe mittels gemeinsamer Ontologie. Pragmatische Interoperabilität: einheitliche Beurteilung der Information z.b. bzgl. der Implikationen und erforderlichen Handlungen

21 Semantische Interoperabilität mittels Ontologien Interface Ressource Agents Acts_As Looks_Like Has_A Databases Knowledge base with detailed object descriptions Object models e. g. vehicles, ships, buildings Sichten & Schichten Basic Ontology Top-Level-Ontology Mapping Sensor Ontologie Org. Ontologie Führung Ontologie Core Ontology Daten-Auswertung Domain Ontology Aufklärung und Überwachung Meta Ontologie Ontologien: Explizite maschinenlesbare Konzeptualisierung von Domänen: mittels Objekten, Relationen, Funktionen, Taxonomien, Hierarchien, Regeln

22 Bsp.: Coalition Shared Database CSD des IITB Entstanden im multinationalen Projekt MAJIIC CSD erlaubt interoperablen Austausch von Aufklärungsinformationen auf Basis eines standardisierten Datenmodells für Aufklärungsaufträge, Sensordaten, Auswertungsergebnisse und standardisierter Zugriffsmechanismen (unter Berücksichtigung von NATO-Standards (STANAGS)) Erfolgreich getestet u.a. auf der NATO Common Shield Eckernförde 2008 Soll in Bundeswehr und NATO eingeführt werden.

24 Generisches Modell für ein Sicherheitsleitsystem Sensoreinsatzplanung ^ L(t + Δt) Relevantes Lagebild L(t) Optimale, vorausschauende Entscheidungen Informationsakquisition Handlungsauslösung Sensorik Schadensfunktion Aktorik Durch Strahlung Thermisch Mechanisch Person Objekt Informatorisch Chem. / Biol. Psychologisch Zu schützendes System

25 Bsp.: Videoüberwachungssystem NEST Sensoreinsatzplanung, Kamerasteuerung Kameras NEST NEST Services Services NEST NEST Services Services IITB Auswertungsprozesse Alarmierung Objektinstanziierung Rechnermodell der Liegenschaft, relevantes Lagebild Videoauswertung netpresenter.com Sicherheitspersonal IITB Zu überwachende Liegenschaft

26 Daten- und Informationsbeschaffung als Regelkreis DoB 1,0 p(z) A-priori knowledge (here: equal distribution = max. entropy = max. uncertainty) DoB 1,0 p(z D) A-posteriori knowledge 0,2 OH1 OH2 OH3 OH4 OH5 Object z Hypotheses a priori Degree-of-Belief 0,2 z a posteriori Degree-of-Belief *) Das Potenzial beobachtbarer Daten für die»schärfung«von p(z) Interessengebiet: zu sichernde Sache

27 Prädiktion Schlüsseltechnologie Simulation: Erlaubt den Blick in die Zukunft (Prädiktion, Vorhersage). On-line Simulationen direkt in Regelschleifen integrierbar. Bsp.: Simulation der Rauchentwicklung bei einem Gebäudebrand Brandszenario Quelle: Fraunhofer ITWM Kaiserslautern Sichtweiten (rot < 5m)

29 Stärken von Menschen und Rechnern Mensch Kognition Kreativität Intuition ++ Kombinatorische Leistung Genauigkeit Geschwindigkeit - Rechner - ++ IBM/Sony Ziel: Sicherheitssysteme, die die Stärken von Menschen und Informationstechnologien bündeln

30 Bsp.: Videoüberwachungssystem NEST Sensoreinsatzplanung, Kamerasteuerung Kameras NEST NEST Services Services NEST NEST Services Services IITB Auswertungsprozesse Alarmierung Objektinstanziierung Rechnermodell der Liegenschaft, relevantes Lagebild Videoauswertung netpresenter.com Sicherheitspersonal IITB Zu überwachende Liegenschaft

31 Bsp.: Videoüberwachungssystem NEST Automatische Auswertung Beurteilung durch Personal IITB Intelligente Alarmierung Angemessene Reaktion IITB netpresenter.com CASSANDRA: Intelligent Systems Laboratory, University of Amsterdam Auditory Cognition Group, Artificial Intelligence, Rijksuniversiteit Groningen

32 Bsp.: Erkennungsunterstützungs-Assistenz Schnellere und bessere Erkennungsergebnisse für unterschiedliche Domänen ohne zeitaufwändige Einarbeitung durch adaptive Assistenz unter Nutzung von Domänen-Ontologien und der Berücksichtigung von Unsicherheiten und Kosten Paradigma Mensch-Maschine-Kooperation: Bündelung der kreativen, kognitiven und intuitiven Fähigkeiten des Menschen mit den kombinatorischen und präzisen Fähigkeiten von Computern Vehicl es Recce Torn. Target Objects Aircra ft Shippi ng SAR- Lupe RecceMan IITB Electroni cs Missil es Marine Fennek

34 Digitaler Lagetisch mit FoveaTablett

35 FoveaTablett Detailsicht ohne Kontextverlust Alternative Darstellung Georeferenzierte Interaktion

36 Digitaler Lagetisch im Anwendungstest NATO Common Shield, Eckernförde, Sept. 2008

37 Smart Control Room Kameragestützte Auswertung von: Positionen Gesten Blickrichtungen

38 Smart Control Room

40 Überwachungs- und Leitsystem AMFIS Mobile Robot Captive balloon Blimp UAV UUV Sensor net AMFIS Basisstation Missionsplanung Flug-Steuerung Überwachung Kamerakontrolle Bildauswertung Sensorfusion Lagedarstellung Koordination Meldungserstellung Archivierung Quelle: IITB AMFIS: Aufklärung und Überwachung mit Miniaturfluggeräten im Sensorverbund,

41 Überwachungs- und Leitsystem AMFIS Planung, Koordination, Auswertung, Archivierung, Kommunikation Dynamisches Lagebild, Routenplanung Steuerung der Sensorträger AMFIS: Aufklärung und Überwachung mit Miniaturfluggeräten im Sensorverbund,

42 Überwachungs- und Leitsystem AMFIS IITB 2009

43 NATO- Übung Common Shield (Eckernförde 2008)

45 Forschungsbedarfe Formale, dynamische Domänenmodelle Fusion heterogener Informationen, Propagation von Unsicherheiten Mensch-Maschine Interaktion Entscheidungsunterstützung in kritischen Situationen Visualisierung von Unsicherheiten Systematischer Entwurf von MM-Systemen Systemtheorie für die Sicherheit.

46 Ankündigung 4 th Future Security Karlsruhe International Conference on Security Research September 30 th - October 1 st, 2009 Congress Center Karlsruhe, Germany Zeit- und ortsgleich mit der Sicherheitstechnikmesse SafeKon

47 Danke für Ihr Interesse! Kontakt: Prof. Dr.-Ing. Jürgen Beyerer Institutsleiter Tel.: Dr. rer. nat. Jürgen Geisler Leiter Geschäftsfeld»Interaktive Analyse und Diagnose«Koordinator für Verteidigung und Sicherheit, Stellvertreter des Institutsleiters Tel.: geisler@iitb.fraunhofer.de Fraunhofer IITB, Fraunhoferstraße 1, Karlsruhe