STEREOSKOPISCHE DARSTELLUNG VON HINDERNISSYMBOLOGIE AUF EINEM HELMET MOUNTED SIGHT/DISPLAY (2D/3D)

Transkript

1 STEREOSKOPISCHE DARSTELLUNG VON HINDERNISSYMBOLOGIE AUF EINEM HELMET MOUNTED SIGHT/DISPLAY (2D/3D) R. Scheiblhofer, H.-D. V. Böhm Eurocopter Deutschland GmbH München ÜBERSICHT Bodennahe Hindernisse wie Stromleitungen und Masten stellen eine grosse Gefahr für den Hubschrauberflug dar. Bei Nacht und schlechter Sicht sind sie aus der Luft kaum zu sehen. Jedes Jahr stürzen mehrere Helikopter ab, die mit bodennahen Hindernissen in Berührung kommen. Zur Erkennung der Hindernisse wird von Dornier ein Sensor mit Scanner entwickelt, der mit einem Laser das Gelände vor dem Hubschrauber beleuchtet und über die Laufzeit des reflektierten Laserstrahls die Entfernung zu den Hindernissen errechnet. Das Ergebnis ist ein Feld von Bildpunkten im Raum. Aus diesen Informationen müssen Hindernisse klassifiziert werden und den Piloten dargestellt werden. Zur Darstellung wurde ein Helmet Mounted Sight/Display (HMS/D) gewählt. In Kombination mit einem Tracker- System kann die Kopfposition und damit die Blickrichtung des Piloten im Raum jederzeit festgestellt werden. HMS/D darzustellen und die Arbeitsbelastung gering zu halten. Dazu werden verschiedene Symbole entworfen und eine dreidimensionale Darstellung gewählt. Eine Hindernislinie wird errechnet, die dem Piloten anzeigt, in welchem Bereich der Hubschrauber sicher über die Hindernisse fliegen kann. Die Symbole werden den Hindernissen direkt überlagert. Zur Unterstützung der Orientierung wird ein Flugvektorsymbol erzeugt, welches dem Piloten anzeigt, wo sich der Hubschrauber in den nächsten Sekunden befinden wird (siehe BILD 1). Zur Evaluierung der Symbologie wurde ein Simulator (EC 135) der Firma Eurocopter genutzt (siehe BILD 2). Die Belastung des Piloten steigt durch die Anzeige einer Fülle von Flugsymbolen stark an. Das Ziel ist es,. BILD 2 Simulator EC135 Die Symbologie wurde mit diesem Simulator entwickelt und evaluiert. Testpersonen haben die Simulation nach dem Cooper-Harper-Schema bewertet. Die stereoskopische Darstellung wurde als zusätzliche Information für den Piloten für hilfreich bewertet. Hindernisse konnten sehr gut erkannt werden. BILD 1 Überlagerung von Mast- und Leitungssymbolen die Hindernissymbole dem Piloten effizient auf dem 1. EINLEITUNG Im Unterschied zum Flugzeug operieren Helikopter

2 vielfach im bodennahen Bereich mit relativ hohen Geschwindigkeiten. Hindernisse wie Kräne, Windräder, Masten und Stromleitungen stellen daher für den Hubschrauberflug grosse Gefahren dar. Sie sind gegen den Boden schlecht zu sehen und oft nicht in Karten verzeichnet. Die Gefahr mit einem solchen Hindernis zu kollidieren erhöht sich bei Dunkelheit und geringer Sicht um ein Vielfaches. Mit Hilfe eines Sensors können diese Hindernisse detektiert und klassifiziert werden. Um die Arbeitsbelastung des Piloten nicht zu erhöhen, muss eine Darstellung entwickelt werden die effizient und intuitiv verständlich ist. Dies wurde in einem Simulator mit Hilfe eines Helmet Mounted Sight/Display untersucht. Zur besseren Interpretation der Entfernung, wurde eine dreidimensionale Darstellung der Symbologie entwickelt. 2. HARDWARE Zur Darstellung wurde der EC 135 Simulator der Firma Eurocopter genutzt. Er besteht aus einem Cockpit der EC 135 mit allen Steuerelementen des Hubschraubers (Kollektiv, Stick, Pedale sind mit Force-Feedback ausgestattet und trimmbar). Die Sicht vor dem Cockpit wird auf einer ebenen Wand dargestellt (siehe BILD 2). Die Darstellung der Symbologie erfolgt im Helmet Mounted Sight/Display (HMS/D) PRO VIEW 40ST von der Firma Kaiser (siehe BILD 3). 3. DIE STEREOSKOPISCHE DARSTELLUNG Um dem Piloten eine Information über die Entfernung von Hindernissen und Symbolen zu geben, wurde die stereoskopische Darstellung gewählt. Zur Erzeugung eines räumlichen Eindruckes, müssen mehrere Funktionen vorhanden sein. Im visuellen Zentrum des Gehirns existieren fünf Analyse- und Sehfunktionen, die das Erfassen der räumlichen Tiefe ermöglichen: - das Kontrastsehen - das Textursehen - das Bewegungsehen - das Farbsehen und - das stereoskopische Sehen. Beim monokularen Tiefensehen treten zwei Effekte auf: - die Akkomodation und - die Bewegungsparallaxe. Um die Linse des Auges auf ein Objekt zu fixieren, wird die Brechkraft durch den Ringmuskel geändert. Der Zustand des Muskels kann vom Gehirn als Tiefeninformation genutzt werden. Der Effekt der Bewegungsparallaxe entsteht durch die Bewegung von Objekten und Bewegungen des Betrachters. Die Abbildung auf der Netzhaut verändert sich bei gleich schneller Bewegung der Objekte quer zur Sehachse, bei entfernten Objekten weniger stark als bei nahen Objekten. Für das binokulare Tiefensehen sind zwei Augen notwendig. Der Abstand der Augen ist entscheidend für die Stärke der räumlichen Wahrnehmung. Die zwei Eigenschaften, die hier auftreten sind: - die Vergenz und - die Querdisparität. Bei der Vergenz drehen sich die Sehachsen der Augen zueinander, wenn sie einen Punkt in einer bestimmten Entfernung fixieren. Querdisparität ist die Eigenschaft, dass ein Objekt in einer anderen Entfernung als das von den Augen fixierte, gegensinnig disparat auf der Netzhaut abgebildet wird. Ein Objekt das z.b. näher liegt als das von den Augen fixierte, wird auf der Netzhaut des linken Auges links von der Sehachse abgebildet und auf den rechten Auge rechts von der Sehachse. BILD 3 Helmet Mounted Sight Display (HMS/D) Pro View 40ST Das HMS/D besteht aus 2 Displays mit einem Field of View von 37 horizontal x 28 vertikal. Jedes der Displays hat eine Auflösung von 640 x 480 Punkten. Die Transmission der Displaymodule liegt bei 24 %. Zur Feststellung der Lage des HMS/D wird das Trackersystem 3SPACE FASTRAK der Firma Polhemus verwendet. Es besteht aus einem Sender und einem Empfänger. Die Lage des Empfängers kann mit einer Genauigkeit von 0,8 mm und 0,15 festgestellt werden, was für eine flüssige Darstellung der Sicht ausreicht. Die psychologischen Effekte des räumlichen Sehens sind: - die Perspektive - die relative Größe - die Überdeckung und - der Licht- und Schattenwurf Die Parallaxe Die Darstellung der Sicht erfolgt auf einer Darstellungsebene (Projektorwand im Simulator oder Display des HMS/D). Die gesamten Objekte, d.h. Objekte, die hinter der Darstellungsebene liegen, sowie Objekte,

3 die vor der Darstellungsebene liegen, müssen auf dieser Darstellungsebene gezeigt werden. Das BILD 4 zeigt, dass bei der Darstellung eines Objektes ein Abstand der Bilder für das linke und rechte Auge entsteht, wenn das Objekt hinter oder vor der Darstellungsebene liegt. Dieser Abstand ist die Parallaxe. Liegt ein Objekt hinter der Darstellungsebene, entsteht eine positive Parallaxe (Abbildung für das linke Auge links von der Abbildung für das rechte Auge). Liegt ein Objekt vor der Darstellungsebene, entsteht eine negative Parallaxe (Abbildung für das linke Auge rechts von der Abbildung für das rechte Auge). Siehe BILD 4. wird der Winkel wie folgt berechnet (1) = arctan(a/b) Beim Menschen liegt der durchschnittliche Augenabstand bei 63 mm. Die räumliche Wahrnehmung nimmt ab einer Entfernung von 10 m stark ab. BILD 5 Die asymmetrische Stereoskopie Für die Simulation wurde ein Augenabstand von 1 m gewählt und jede Sehachse um 25 nach innen gedreht, um einen verstärkten räumlichen Eindruck zu schaffen und auch in grösseren Entfernungen eine 3D-Effekt zu erzielen. In geringen Entfernungen ist die Ansicht von Objekten dabei so unterschiedlich, dass sie im Gehirn nicht mehr zu einem räumlichen Bild zusammengesetzt werden kann. Dies kann zu Kopf- und Augenschmerzen führen. Da im Hubschrauberflug die Entfernung von Objekten selten geringer als 10 m ist, stellt dies kein Problem in der Simulation dar. Durch die Modifikation der Sicht für das jeweilige Auge nach den oben angegebenen Werten ergibt sich für das linke und das rechte Auge z.b. folgende Darstellung: BILD 4 Die Parallaxe 3.2. Berechnung der stereoskopischen Darstellung Für das rechte und das linke Auge muss eine eigene Darstellung der Sicht berechnet werden, um einen räumlichen Eindruck zu erzeugen. Die Sicht muss für das jeweilig Auge um den Abstand a verschoben und dann nach innen gedreht werden (siehe BILD 5). Ist der Abstand der Darstellungsebene bekannt, Abstand b BILD 6 Stereoskopische Darstellung (Sicht für das linke und das rechte Auge) Wird dem Display für das linke Auge der linke Teil dieser Sicht und dem Display für das rechte Auge der rechte Teil der Sicht eingespielt, ergibt sich durch die Überlagerung der zwei unterschiedlichen Sichten im Gehirn ein räumlicher Eindruck. 4. DIE SENSORTECHNOLOGIE Der Sensor verwendet einen Laser, um das Blickfeld vor dem Hubschrauber zu scannen. Trifft der Laser auf dem Boden oder einem Hindernis auf, wird er reflektiert. Mit der Laufzeit des Laserlichts kann die Entfernung zum Hindernis errechnet werden. Das Blickfeld wird mit einer Frequenz von 2 Hz gescannt. Abstand a

4 Das Ergebnis ist ein Feld von Punkten, deren x-, y- und z- Koordinaten bekannt sind. Aus den Punkten müssen mit einer Klassifizierung die Hindernisse wie Stromleitungen, Bäume, Windräder, Masten, Waldkanten und Häuser extrahiert werden. zwischen Hubschrauber und der Entfernung liegen, gezeichnet wird. Die Safetyline berücksichtigt zusätzlich noch den aktuellen Flugzustand des Hubschraubers und sein Steigvermögen. 5. DIE SYMBOLOGIE Sind die Hindernisse klassifiziert, müssen sie dem Piloten dargestellt werden. Am effizientesten ist dabei eine Darstellung auf einem Visier wobei die Informationen direkt der Aussensicht überlagert werden. Es wurden 4 Möglichkeiten festgestellt, die Hindernisinformationen dem Piloten darzustellen: - durch eine Safetyline (siehe BILD 7) oder Konturlinie - durch Überlagerung von Symbologie über die Hindernisse (siehe BILD 8) - durch PULL-UP Warnungen (siehe BILD 9) - durch ein Gitternetz über den Hindernissen (siehe BILD 10) BILD 8 Überlagerung von Symbologie über die Hindernisse BILD 9 PULL-UP Warnung BILD 7 Safetyline 5.1. Kontur- und Safetyline BILD 10 Gitternetz über Hindernisse Die Konturlinie ist eine Linie, die in einer bestimmten Entfernung über die Hindernisse, die in dem Bereich

5 5.2. Flugvektorsymbol Um Informationen wie die Safetyline, die Konturlinie, überlagerte Symbole oder das Gitternetz richtig interpretieren zu können, benötigt der Pilot eine Information, wo der Hubschrauber hinfliegen wird. Dazu wurde ein Flugvektorsymbol entwickelt. Es wird dreidimensional eingeblendet und an die Position gezeichnet, die der Hubschrauber in 5 Sekunden einnimmt, wenn der momentane Flugvektor beibehalten wird. Zeigt das Flugvektorsymbol nun unter die Linie oder auf ein Symbol, so muss der Pilot den Flugpfad ändern um eine Kollision zu vermeiden Field of View (FOV) Die Simulation wurde mit Hilfe eines HMS/D durchgeführt. D.h. die Aussensicht wird nach den Bewegungen des Kopfes des Pilot angepasst. Blickt der Pilot z.b. nach rechts, sieht er die Landschaft rechts vom Hubschrauber. BILD 12 Konturlinie ohne Glättung Wird jeweils von den nächsten drei erkannten Hindernispunkten der höchste zum Zeichnen der Konturlinie verwendet ergibt sich folgende Linie: BILD 13 Konturlinie mit Glättung Das Ausmaß der Glättung wird in Versuchen ermittelt um einen optimalen Wert zu erzielen. Eine Konturlinie über einer Stromleitung kann in der Simulation dann so aussehen: Um eine Information zu geben, in welchem Bereich vor dem Hubschrauber der Scanner das Gelände untersucht, wurde eine transparente Fläche 200 m vor dem Hubschrauber eingezeichnet, die das FOV des Scanners angibt. In diesem Bereich werden Hindernisse erkannt. Außerhalb der Fläche können keine Hindernisse detektiert werden. 6. DIE KONTURLINIE Trifft der Laser auf Stromleitungen und anderen Hindernissen werden nicht alle Lichtstrahlen reflektiert. Mehrere Bilder des Scanners müssen kombiniert werden genügend Informationen zu erhalten. Die Information von Stromleitungen kann z.b. folgendermaßen aussehen: erkannte Hindernispunkte Stromleitungen BILD 11 erkannte Hindernispunkte von Stromleitungen Die gefundenen Hindernispunkte können nicht einfach zu einer Konturlinie verbunden werden. Fehlende Informationen wie im BILD 11 müssen berücksichtigt werden. Es muß eine Glättung über das gesamte FOV durchgeführt werden. Die Glättung stellt dabei einen Kompromiß dar. Eine zu geringe Glättung erhöht die Arbeitsbelastung des Piloten (die Linie zittert). Wird zu stark geglättet, gehen wichtige Informationen verloren (z.b. kann zwischen zwei Bäumen genug Platz sein, um durchzufliegen). Eine Konturlinie ohne Glättung kann z.b. folgendermassen aussehen: BILD 14 Konturlinie über einer Stromleitung 7. DIE SAFETYLINE Die Safetyline berücksichtigt den aktuellen Flugzustand des Hubschraubers. Werden keine Hindernisse vor dem Helikopter detektiert, wird eine Linie über dem Boden gezeichnet (siehe BILD 15).

6 BILD 15 Safetyline ohne Hindernisse Hält der Pilot das Flugvektorsymbol über der Bodenlinie, fliegt er bodennah, ohne Berührung des Bodens. Wird ein Hindernis erkannt, hebt sich die Bodenlinie vor dem Hindernis, abhängig von der Horizontalgeschwindigkeit des Hubschraubers, an. Der Gefahrenbereich wird festgelegt durch den höchsten Hindernispunkt und eine lineare Verbindung zum Boden. Die Safetyline wird damit nicht mehr auf den Hindernispunkt bezogen, sondern auf die Höhe, die der Grenzbereich in der Entfernung der Safetyline hat (siehe BILD 16).

7 H i n d e r n i s H i n d e r n i s H i n d e r n i s Safetyline Flugvektor Flugvektorsymbol Gefahrenbereich BILD 16 Definition des Gefahrenbereiches Der Pilot hat nun 2 Möglichkeiten. Erhöht er die Vertikalgeschwindigkeit des Hubschraubers, steigt das Flugvektorsymbol über die Safetyline. Wird das Flugvektorsymbol genau auf der Safetyline gehalten, fliegt der Hubschrauber mit dem minimalen vertikalen Sicherheitsabstand über das Hindernis. Der Gefahrenbereich passt sich dabei der momentanen Horizontalgeschwindigkeit an (siehe BILD 17). Flugvektor Flugvektorsymbol Gefahrenbereich BILD 17 Erhöhung der Vertikalgeschwindigkeit und Überflug über das Hindernis Verringert der Pilot die Horizontalgeschwindigkeit des Hubschraubers, verringert sich gleichzeitig der Gefahrenbereich vor dem Hubschrauber und die Safetyline sinkt wieder zum Boden (siehe BILD 18). Flugvektor Flugvektorsymbol Gefahrenbereich BILD 18 Verringerung der Horizontalgeschwindigkeit und gleichzeitige Verringerung des Gefahrenbereichs Der Vorteil der Safetyline gegenüber der Konturlinie liegt in der allmählichen Warnung des Piloten vor Hindernissen. Die Konturlinie springt sofort auf die volle Höhe eines Hindernisses, wenn es in den Scannbereich eintritt. Das Hindernis wird umrandet. Das kann zur Irritierung führen, da der Pilot intuitiv sofort zu steigen beginnt. Dabei würde ein langsames Erhöhen der Vertikalgeschwindigkeit ausreichen, um über das Hindernis zu fliegen. Die Safetyline steigt langsam vom Boden an und berücksichtigt dabei die Geschwindigkeit des Hubschraubers. BILD 19 Safetyline Zusätzlich können klassifizierte Hindernisse wie Bäume oder Strommasten mit einem entsprechenden Symbol überlagert werden um eine schnelle Einschätzung der Gefahr zu unterstützen (für Strommasten siehe BILD 1, für Bäume siehe BILD 8). 8. ERGEBNISSE Die unterstützende Wirkung der dreidimensionalen Darstellung der Symbologie wurde mit Testpersonen nach dem Cooper-Harper-Schema überprüft. Für die Bewertung konnte ein Wert von 1 bis 10 gewählt werden, wobei 1 der best mögliche Wert und 10 der schlechtest mögliche Wert war. Die dreidimensionale Darstellung der Symbologie wurde zur Unterstützung der schnellen Erfassung der Situation als hilfreich empfunden und mit 1,8 bewertet. Sie setzt jedoch eine Gewöhnungsphase voraus. Im schnellen, bodennahen Flug werden Hindernisse ohne eine Warnung spät erkannt, was zu gefährlichen Situationen führt. Die Überlagerung von Symbolen z.b. in

8 Form einer Safetyline, ist speziell bei schlechter Sicht sehr hilfreich (Bewertung 3,0). Stromleitungen sind vor dunklem Hintergrund wie z.b. Bäumen schlecht zu erkennen. Eine Safetyline gibt dem Piloten die Sicherheit solchen Hindernissen auszuweichen. Sie ermöglicht den schnellen, bodennahen Überflug. Die Bewertung liegt bei 5,0, da die Linie springt und nicht flüssig dargestellt wird. Das Tragen eines HMS/D (Bewertung 4,2) wurde allerdings bei längeren Missionen als Belastung empfunden. 9. ZUSAMMENFASSUNG & AUSBLICK Die Überlagerung von Hindernissymbolen über die echten Hindernisse in der Realität, auf dem HMS/D des Piloten, unterstützt die frühe Erkennung von Gefahren und erhöht die Sicherheit im bodennahen Flug. Mit einer Safetyline wird der hindernisfreie, sichere Bereich angezeigt. ECD Ottobrunn 1998 [7] H.-D. V. Böhm, S. Haisch, H. Warnatz Konzeption einer 3D-Hinderniswarnung für ein Hubschrauberhelmsystem 39. Fachausschußsitzung, Karlsruhe, 21./ ECD Ottobrunn 1997 [8] Peter Haberäcker Digitale Bildverarbeitung Carl Hanser Verlag ISBN München 1985 [9] G. E. Cooper, R. P. Harper Jr. The Use of Pilot Rating in the Evaluation of Aircraft Handling Qualities AGARD, Report 567 Neuilly-Sur-Seine 1969 Um die Arbeitsbelastung des Piloten zu verringern, muss die Darstellung der Safetyline und der Konturlinie ruhiger und flüssiger erfolgen. Die Algorithmen zur Klassifizierung müssen verbessert werden. Ein System zur Erkennung von Stromleitungen und schlecht sichtbaren Hindernissen kann im Einsatz zahlreiche Hubschrauber vor dem Totalverlust bewahren. 10. LITERATUR [1] H.-D. V. Böhm, S. Haisch, F. Billoir, J. Frank Obstacle Warning System for Helicopter Flight Guidance presenting Stereoscopic Vision in a Helmet Mounted Display SPIE 2001 ECD Ottobrunn 2001 [2] F. Billor Obstacle Warning System for Helicopter Eurocopter Deutschland GmbH, Abteilung D/TI2 Ottobrunn 2000 [3] H.-D. V. Böhm, J. Frank, L. Joulain An LCD Helmet Mounted Display with Stereoscopic View for Helicopter Flight Guidance SPIE 2000 ECD Ottobrunn 2000 [4] S. Faucher Darstellung von 3D-Symbolen und Hinderniswarn- Informationen in einem stereoskopen Helmsystem entwickelt für den EC135-Simulator Eurocopter Deutschland GmbH, Abteilung D/TI2 Ottobrunn 2000 [5] H.-D. V. Böhm, J. Frank, L. Joulain Ein LCD-Helm mit stereoskopischer Sicht für den Hubschraubereinsatz DGLR 1999 Berlin ECD Ottobrunn 1999 [6] H.-D. V. Böhm, S. Haisch, H. Warnatz, M. Dupuis Helicopter-Obstacle Warning presentation in an HMS/D including 3D-stereoscopy SPIE 1998