SENEKA Sensornetzwerk mit mobilen Robotern für das Katastrophenmanagement

Transkript

1 Fraunhofer Zukunftsthemen»Märkte von Übermorgen«SENEKA Sensornetzwerk mit mobilen Robotern für das Katastrophenmanagement 1

2 Beteiligte Fraunhofer-Institute Itzehoe Lübeck Rostock Bremerhaven Hamburg Oldenburg Bremen Hannover Potsdam Berlin Teltow Braunschweig Magdeburg Cottbus Oberhausen Paderborn Hall Dortmund Schkopau e Leipzig Duisburg Kassel Schmallenberg Leuna Dresden St. Augustin Jena Freiberg Euskirchen Gießen Erfurt Chemnitz Wachtberg Ilmenau IOSB-AST Darmstadt Würzburg Bayreuth Erlangen Bronnbach St. Ingbert Kaiserslautern Fürth Nürnberg Saarbrücken Karlsruhe Pfinztal Ettlingen Stuttgart Straubing Freising Freiburg Augsburg Garching München Oberpfaffenhofen Kandern Prien Efringen- Holzkirchen Kirchen 2

3 Gliederung Motivation Stand der Wissenschaft und Technik Projektziele Phasen des SENEKA basierten Katastrophenmanagements Arbeitspakete Systemarchitektur und Leitstand (AP 2) Drahtlose Kommunikation (AP 3) Multisensorielle Exploration and Detection (AP 4) Einsatzplanung, Rekonfiguration and Bahnplanung (AP 5) Autonome Sensorknoten (AP 6) Demonstration und Bewertung der SENEKA-Ergebnisse (AP 7) Zusammenfassung 3

4 Motivation Wichtigstes Ziel bei Naturkatastrophen (Erdbeben, Überschwemmungen, etc.) und Industrieunfälle (z. B. Kernkraftwerke): schnelle situationsspezifische Aufklärung und Auffinden von Opfern und Gefahrenquellen. Gegenwärtig praktizierte Methoden des Katastrophenmanagements (Menschen, Hunde, kaum Roboter und Sensoren) nicht mehr zeitgemäß. Nur durch die Einführung von sensor- und robotergestützter Technologien kann die Zeit für die Aufklärung und Detektion von Opfern und Gefahrenquellen deutlich verkürzt und damit Menschenleben gerettet werden (Überlebensdauer ca. 72 Std.). Jüngste Erfahrungen (Japan 2011) zeigen: Einsatz einzelner sensorbasierter Roboter bei ausgedehnten komplexen Katastrophen kaum wirkungsvoll. Wesentlicher Grund : fehlende Vernetzung von unterschiedlichen Robotern und Sensoren mit den Rettungskräften! Einsturz des Kölner Stadtarchivs März

5 Stand der Wissenschaft und Technik Teleoperierte Bodenroboter (UGV) sind seit ca im Einsatz, um Rettungskräfte zu entlasten und vor Gefahrenquellen (Gas, Strahlung, Feuer etc.) zu schützen. Teilautonome UGV wurden erstmals für Aufklärungs- und Sucharbeiten nach der Zerstörung des World Trade Centers am in New York eingesetzt. Für die Weitbereichsaufklärung von Umweltkatastrophen (z.b. Waldbrände [Airshield 2008]) werden zunehmend vernetzbare Luftroboter (UAV) eingesetzt. Mensch-Roboterkooperation noch Gegenstand der Forschung (z.b. NIFti-Projekt). Für die situationsspezifische robuste Vernetzung von heterogenen Robotern und Sensoren gibt es noch keine praxistauglichen Konzepte! WLAN Omnikamera IMU 3 D Laser scanner Laserscanner Kamera WLAN Autonomer UGV aus EU Projekt NIFTi (IAIS) Autonomer UAV aus EU Projekt NIFTi (IAIS) 5

6 Projektziele Im SENEKA-Vorhaben wird erstmals ein Systemkonzept mit HW- und SW- Komponenten geschaffen, das: die situationsspezifische dynamische Vernetzung von unterschiedlichen Robotern (UGV, UAV), Sensoren und Rettungskräften, die Ausnutzung von Synergieeffekten durch die Kombination von Nah- und Weitbereichssensoren und Sensorträgern (UGV, UAV), die umfassende Exploration des Katastrophenumfeldes und die schnelle sensorbasierte Suche nach Opfern und Gefahrenquellen ermöglicht. Die umfassendere Aufklärung und schnellere Suche rettet Menschenleben! Durch ständige Einbeziehung wichtiger Anwender (Feuerwehren Mannheim und Berlin, THW) wird eine praxisbezogene Systemlösung mit leistungsfähigen Komponenten sichergestellt. 6

7 Phasen des SENEKA-basierten Katastrophenmanagements 1. Fallbeispiel» Industrieunfall «Feuer bricht aus, Trümmer rund um die Gebäude, Verschüttete Menschen, Gefahrenquellen (z.b. Gas, instabile Gebäudestrukturen). Probleme der Einsatzplanung: Was für eine Ausdehnung hat die Katastrophe? Welche Geräte (z.b. Sensoren, UAV, UGV) werden benötigt? Probleme der Navigations von Robotern und Rettungskräften: Karten sind oft nicht mehr gültig! 7

8 Phasen des SENEKA-basierten Katastrophenmanagements Sensorbasierte Groblokalisierung von Orten, in denen sich Opfer oder Gefahrenquellen befinden können 2. Sensorbasierte Weitbereichsaufklärung und -Kartierung Systematisches Scannen durch Luftroboter (UAV, Ballons) mit spezifischen Sensoren und Kameras Schnelle Generierung von umfangreichen hoch aufgelösten 2- D-Karten durch intelligente Fusion von vernetzten Sensor Daten 8

9 Phasen des SENEKA-basierten Katastrophenmanagements Simultane Roboter-Navigation und 2-D-/3-D- Kartierung der Umgebung (SLAM-Algorithmen) Generierung einer globalen 2-D-/ 3-D-Karte durch Mosaicking" der verschiedenen Teilkarten 3. Sensorbasierte Nahbereichsaufklärung von verdächtigen Orten Situationsspezifische drahtlose Vernetzung von verschiedenen heterogenen UGVs, UAV s, Sensoren und Rettungskräften Optimale kollisionsfreie Routenplanung und Steuerung von UGVs zu verdächtigen Orten, 9

10 Phasen des SENEKA-basierten Katastrophenmanagements 4. Detektion von Opfern und Gefahrenquellen Durch bild- und multisensorbasierte Methoden Autonome miniaturisierte Sensoren falls Opfer oder Gefahrenquellen sich unter Trümmern befinden Fusion der räumlich verteilten Sensordaten durch drahtlose Kommunikationsknoten Aussetzen und Einsammeln von autonomen Sensoren mit Hilfe von Robotern 10

11 Arbeitpakete Entwicklung und prototypische Realisierung des SENEKA-Konzeptes sowie der Hardware- und Softwarekomponenten : AP 1 Gesamtspezifikation und Projektmanagement (IOSB-MRD) AP 2 Systemarchitektur und Leitstand (IOSB-IAS) AP 3 Drahtlose Kommunikation (IIS) AP 4 Multisensorielle Exploration und Detektion (IOSB-MRD) AP 5 Einsatzplanung, Rekonfiguration und Bahnplanung (IAIS) AP 6 Autonome Sensorknoten (IPA) AP 7 Demonstration und Bewertung der SENEKA-Ergebnisse (AST) 11

12 Systemarchitektur und Leitstand (AP 2) Für die koordinierte Führung und Überwachung von dynamisch vernetzbaren heterogenen Roboter-Sensornetzen wird eine dezentralisierte multi-agentenbasierte kognitive Systemarchitektur für Leitsysteme, mit interoperablen standardisierungsfähigen Schnittstellen zu den heterogenen Systemkomponenten und intuitiven Konzepten und Nutzerschnittstellen zur Einsatzplanung und koordinierten Steuerung heterogener Roboter-Sensor-Netzwerke entwickelt Mobiler Leitstand und Komponenten des Roboter- Sensornetzwerkes SENEKA (IOSB) 12

13 Mobiler SENEKA-Leitstand, Sensoren und Roboter (UAV, UGV) am Fraunhofer IOSB 13

14 Drahtlose Kommunikation (AP 3) Zur Stabilisierung starker Schwankungen der Übertragungsqualität im Katastrophenumfeld werden fehlertolerante Komponenten (SENEKA-Mesh-Nodes) entwickelt: Hierzu werden IIS-eigene Protokolltechnologien (s-net ), kommerziell verfügbare WLAN-Komponenten und Übertragungsstandards (z. B. IEEE ) kombiniert Vier Frequenzbänder ( 5.0, 2.4, 0.868, GHz) für die Übertragung von Bilduns Sensordaten ermöglichen eine hohe Systemverfügbarkeit Wenn eine Frequenz gestört wird, übernehmen die verbleibenden Frequenzbänder den Datentransfer (Prinzip der aktiven Redundanz). SENEKA mesh node 4 Bänder, high power WLAN & s-net, robustes Gehäuse, für UGV,UAV SENEKA mesh node XL 4 Bänder, high power WLAN & s-net, GPS, extrem robustes Gehäuse, für Feuerwehrleute SENEKA mesh node S5DIV (embedded oder stand alone, Dual Band, 0.868, GHz, für UAV s und Sensoren 14

15 Hochgenaue Lokalisierung von mobilen Sensorknoten Durch Kombination der global Positionierung über GPS mit lokaler Positionierung über die gemessene Feldstärke des s-net Sensor Netzwerkes wird eine genauere und robustere Localisierung der mobilen Sensorknoten erzielt Software-werkzeug zur Lokalisierung von Netzwerk-knoten und Simulation der Netzwerkabdeckung (IIS) 15

16 Multisensorielle Exploration und Detektion (AP 4) Für die schnelle und genaue Erstellung aktueller 2-D/3-D-Karten des zerstörten Katastrophengebietes aus UAV-Daten (Weitbereichserkundung) und/oder UGV- Daten (Nahbereichserkundung) Erarbeitung von: schnelleren und genaueren Explorationsstrategien, SLAM-Algorithmen zur optimalen Schätzung sowohl der Roboterposition als auch der Umweltkarten, Mosaiking-Algorithmen zur Integration von groben Weitbereichskarten und feinen Nahbereichskarten zu einer globalen 2-D/3-D-Umweltkarte sowie Verfahren zur multisensoriellen und bildgestützte Detektion von Opfern und Gefahrenquellen (z.b. Differenzbildverfahren). 3-D-Kartierung eines Trümmer-Kellers mit autonomem UGV, Laser- und KINECT- Sensor (IOSB) 16

17 SENEKA In einem ersten Schritt wurden entwickelte Algorithmen und Komponenten für die multisensorielle Exploration und Detektion auf dem Gelände des Fraunhofer IOSB erfolgreich getestet 2-D-Weitbereichsaufklärung mit UAV's, und einem Ballon mit Kameras und LIDARSensoren UAV Ballon 17

18 SENEKA Zusätzlich 3-D-Nahbereichsaufklärung ausgewählter verdächtiger Bereiche durch 3-DLIDAR-Sensoren und Kameras, die von UGV s getragen werden 18

19 Für die Detektion möglicher überlebender Opfer und wurde eine von einem UAV getragene IR-Kamera erfolgreich erprobt UAV IR-Bild mit möglichem Opfer 19

20 Integration zu einer umfassenden 2-D-/3-D-Karte durch Mosaicking der Teilkarten Die verwendete Mosaicking-Technik basiert auf der Referenzierung korrespondierender Daten-Sets (Ähnlichkeiten der Bildinhalte, z.b. Hausecken etc) Bilddaten-Mosaik bei Überflug mit UAV Laser-Scanner-Daten der Umgebung (Punktwolken) eines vom UGV gescannten Bildes 20

21 Einsatzplanung, Rekonfiguration und Bahnplanung (AP 5) Für situationsgetriebene schnelle und zielgenaue Suche von Opfern und Gefahrenquellen Entwicklung von Algorithmen und Methoden: zur optimalen Auswahl, Vernetzung, räumlichen Verteilung und Positionierung der Sensoren (z.b. Kameras für Videostreaming), zur ereignisgetriebenen störungsarmen Rekonfiguration heterogener Roboter-Sensor-Netzwerke sowie zur optimalen kollisionsfreien Routenplanung und Steuerung lokal kooperierender UAV/UGV-Teams (z.b. MPC und Visual Servoing). Optimale kollisionsfreie Bahnplanung eines UGV durch eine Trümmer-Siedlung (IOSB) 21

22 Autonome Sensorknoten (AP 6) Autonome miniaturisierte und energiesparende Sensor- und Multisensorsonden, die sich durch UGV, UAV oder Menschen mit geringem Aufwand aussetzen lassen Falls Opfer und Gefahrenquellen unter Schutt verborgen sind, werden sie positioniert oder eingerieselt werden durch UAV, UGV oder Rettungskräfte AP 6 beschäftigt sich daher mit der Entwicklung : von autonomen, miniaturisierten und energieeffizienten Best-Price bzw. High- End Sensoren, die durch Embeded Wireless Mesh Nodes vernetzt werden können von UGV und UAV getragenen Mechatronik-Komponenten für das Einrieseln von billigen Best-Price-Sensoren oder für die präzise Positionierung von teuren Sensorknoten (z.b. Kameras). Gassensor-Array in Mikrosystem- Technologie, Durchmesser 7 mm, Gewicht < 5 g, (Fraunhofer IPM) Multi-Sensor Mesh Nodes, Magnetfeldsensor, Bewegungs- Dettektor und Mikrophone, 10 x 10 x 10 cm, Gewicht 300 g, (Fraunhofer IOSB) 22

23 Autonomer vernetzbarer Best-Price-Gas-Sensor-Node Sniff Node (IPM, IPA) SENEKA-Mesh Node Durchmesser 5 cm Stoßfestes Gehäuse Sensor-Kopf Steuerung Energie-Quelle 23

24 Demonstration und Bewertung der SENEKA-Ergebnisse (AP 7) 2014 öffentlichkeitswirksame Demonstration des SENEKA-Konzeptes anhand eines inszenierten Katastrophenfalles auf dem Übungsgelände der THW bzw. der AKNZ in Ahrweiler. Bewertung der demonstrierten Projektergebnisse unter Einbeziehung beratender Endanwender (Feuerwehr Mannheim, Feuerwehr Berlin, THW). Vernetzung verschiedener UAV, UGV, Sensoren (Kameras, LIDAR, Gassensoren etc.), Kommunikationskomponenten sowie eines mobilen Leitstandes. Testgelände für SENEKA-Demonstrator in der Bundesakademie für Krisenmanagement, Notfallplanung und Zivilschutz (AKNZ) in Ahrweiler 24

25 Zusammenfassung Mit SENEKA wird ein neuartiges technologisches Konzept entwickelt und prototypisch realisiert, das die situationsspezifische dynamische Vernetzung unterschiedlicher Sensoren und Roboter gestattet. Dadurch wird die Aufklärung sowie die Suche nach Opfern und Gefahrenquellen bei ad-hoc auftretenden Katastrophen effizienter, umfassender und schneller, mehr Menschenleben können gerettet werden! Die Feuerwehren Mannheim, Berlin und das THW unterstützen SENEKA indem sie: das Testzentrum der AKNZ in Ahrweiler zur Verfügung stellen und das Projekt durch Fachberatung begleiten. Durch die Bündelung der spezifischen Kompetenzen verschiedener Fraunhofer- Institute (IAIS, IIS, IOSB, IPA, und IPM) wird ein hohes Maß an Synergie erreicht, die den Erfolg des Vorhabens sehr begünstigen wird. 25