Sensor Network for Surveillance SeNSe (ISSAV)

Transkript

1 Sensor Network for Surveillance SeNSe (ISSAV) René Koch DIEHL BGT Defence, Überlingen 7th LEIBNIZ CONFERENCE OF ADVANCED SCIENCE - SENSORSYSTEME

2 SeNSe Gliederung: Geplante Anwendung, Zielsetzung, Aufgabenstellung Konzept einer computergestützten Sensorvernetzung Sensornahe Mustererkennung durch Bildverarbeitung als als Basis für für eine eine computergestützte Sensorvernetzung

3 SeNSe Geplante Anwendung, Zielsetzung, Aufgabenstellung

4 Ausgangssituation Vielzahl von von Hochwertzielen in in den den Einsatzgebieten der der Bundeswehr Flughäfen (mil. / zivil), Flugzeuge, Logistikeinrichtungen, Feldlager Know-How der Firma im Zusammenhang mit automatischer Sensordatenauswertung

5 Zielsetzung Verbesserung des des Schutzes der der Soldaten im im Auslandseinsatz vor vor asymmetrischen Bedrohungen, Schutz von von Hochwertzielen durch schnelle Informationsgewinnung und schnelle rollenorientierte Informationsverteilung Aufgabe: Mil. Mehrwert: Die richtige und relevante Information zur richtigen Zeit am richtigen Ort verfügbar machen Schnellere Reaktion durch Verkürzung der "Sensor-zu-Effektor"-Kette

6 "Unattended Ground Sensors" Flexible Flexible Computer-unterstützte Überwachung Überwachung von von verdeckten verdeckten Geländeabschnitten Geländeabschnitten Aktiver Aktiver Schutz, Schutz, präventive präventive Maßnahmen Maßnahmen Video

7 Intelligente Sensoren & Standardisierte Netzwerke Beispielsensoren Signalverarbeitung Netzwerk Visualisierung Bilder Ereignisse Tracks Eigenposition Bilder Ereignisse mit Attributen Intelligente Bilddatenkompression Tracks Eigenposition COTS Bilder Ereignisse Tracks Eigenposition Netzwerk, IP-basiert, kabelgebunden und / oder kabellos Netzwerkknoten Netzwerkknoten Netzwerkknoten Netzwerkknoten

8 Verteilung der Information, Visualisierung Unterstützung des Entscheiders Automatisches Einzeichnen von vondetektierten Objekten, ihren ihren Spuren und und Klassifikationen in in einen einenlageplan Video Video

9 SeNSe Konzept einer computergestützten Sensorvernetzung

10 ISSAV= Intelligente Sensoren sicher ad-hoc vernetzt Echtzeit-Umgebung (3-Schicht (3-Schicht Client-Server-Architektur) Weborientierte Umgebung Web Services / SOAP / XML Hohe Interoperabilität Portlets Collaboration (Sametime) Portal Clients SOAP: Simple Object Access Protocol = Kommunikationsprotokoll Business Logik (Application Server) Hohe Geschwindigkeit Echtzeit-Informationsverarbeitung Socket- Kommunikation Alarmverarbeitung Echtzeit-Sensorumgebung (Bild)-Datenverarbeitung Sensoren

11 Optronisches Sensormodul Sensorik (IR, (IR, RGB) mit mit integrierter Signalverarbeitung (HW/SW): Kompression, Objekterkennung, Tracking, Netzwerkschnittstellen Umwelttauglich, kann kann auf auf Demonstrator-Level genutzt genutzt werden werden

12 Intelligentes Optronisches Sensormodul (ISSAV-IOS) Abgesetzte autonome Sensorik Auch Montage auf Fahrzeugen möglich variable Umgebung

13 SeNSe / ISSAV Sensornahe Mustererkennung durch Bildverarbeitung als Basis für eine computergestützte Sensorvernetzung (F&T-Studie ISSAV= Intelligente Sensoren sicher ad-hoc vernetzt )

14 SeNSe / ISSAV Entwicklung und und Test Test von von Verfahren: Bsp.: Klassifikation (Erkennung) von von Personen, Fahrzeugen, Hintergrundunterdrückung!! Beispiel mit Infrarot-Bildern

15 SeNSe / ISSAV Ergebnisse einer Objekterkennung (Beispiel) Gefordert auch: - Aspektunabhängigkeit - Größenunabhängigkeit - Erkennung bei geringer Verdeckung - Niedrige Falschalarmrate Video Klassifikation Video Klassifikation 2 Primäre Zielsetzung hier: Objekterkennung im Einzelbild Anschließend: Objektverfolgung (Spurbildung), Ergebnisfusion (unterschiedliche Sensoren), Ergebnisübertragung, Speicherung, Visualisierung

16 SeNSe / ISSAV Objektbild Merkmalsbild Zur Zur Modellierung von von Objekten Objektbild Merkmalsbild

17 SeNSe / ISSAV Zur Zur Vorgehensweise Phänomenologisch, d.h. Modellbildung durch Beobachtung: Bestimmung von Regelmäßigkeiten in der Vielfalt der Objekterscheinungen ( -> Bedeutsame Eigenschaften) Definition v. Messgrößen z. Quantifizierung v. Eigenschaften Segmentation (bzgl. Eigenschaften) -> Segmente = Objektbausteine Berechnung der quantitativen Segmenteigenschaften Auswertung der Beziehungen zwischen Segmenten Zusammenfassung von Segmenten (Segmentensembles) Objekterkennung = segmentbasierte Objektrekonstruktionen (Objektdarstellung durch Teile und Beziehungen zw. Teilen) Möglichst vollständige Nutzung der Bilddaten! 17

18 SeNSe / ISSAV Beispiel für für Sensordatenfusion: RGB IR, IR, Segmentbasierte Fusion R G B IR Fusionsergebnis 18

19 SeNSe / ISSAV Allgemeine Modellierungsaspekte, Formalisierung - Szenarienmodellierung: Domäne, Zielsetzungen, Aufgabe - Sensormodellierung: Physikalische Inhalte, Einsatzmöglichkeiten, usw. - Daten-, Informations-, Wissensmodellierung: u.a. Darstellung von Entscheidungsprozessen, bspw. für die Objekterkennung Kommunikation, Visualisierung, Speicherung usw. 19