Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten

Transkript

1 Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine Mensch im Verkehr Verhaltensprädiktion und Intentionserkennung UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 1

2 Gliederung Motivation Fahrerintentionserkennung und Manöverprädiktion Methodik: Probandenstudie Algorithmus zur Fahrmanöverprädiktion Algorithmus zur Fahrmanöverprädiktion Fuzzy Logik und Zustandsautomat Verhaltensketten und Edit Distance Validierung Zusammenfassung & Ausblick UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 2

3 Gliederung Motivation Fahrerintentionserkennung und Manöverprädiktion Methodik: Probandenstudie Algorithmus zur Fahrmanöverprädiktion Algorithmus zur Fahrmanöverprädiktion Fuzzy Logik und Zustandsautomat Verhaltensketten und Edit Distance Validierung Zusammenfassung & Ausblick UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 3

4 Motivation Mit Vision Zero wird eine Reduktion der Unfälle im Straßenverkehr angestrebt [1] Fahrerassistenzsysteme (FAS) haben einen maßgeblichen Anteil daran [2] Die Forschungsinitiative UR:BAN [3] erforscht Fahrerassistenzsysteme zur Unfallreduktion im städtischen Verkehr Früher Warnzeitpunkte steigern die Effektivität von FAS, beinhalten aber die Gefahr eines Warndilemmas [4] Fahrerintentionserkennung bietet die Chance die Fehlauslösungen von FAS zu verringern und die Wirksamkeit zu steigern [5] Um Fahrerassistenzsysteme mit der Information über die Fahrerintention zu versorgen ist ein echtzeitfähiger Algorithmus zur Fahrmanöverprädiktion notwendig SBZA LDW UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 4

5 Fahrerintentionserkennung und Manöverprädiktion Die Fahrerintention gehört (neben u.a. Aufmerksamkeit oder Beanspruchung) zu den kurzfristig veränderlichen Einflussfaktoren des Fahrers auf das Fahrerverhalten. Sie beinhaltet u.a. die intendierte Route des Fahrers oder die in unmittelbarer Zukunft geplante Fahrmanöverfolge. [6] Die Fahrerintention wird vor allem der Manöver- und Navigationsebene der Fahrzeugführung zugeordnet. [7] Um Fahrerintention zu detektieren ist das Wissen über die Art der Informationsaufnahme, -verarbeitung und die getroffenen Entscheidungen notwendig [8] Manöverprädiktion Intentionserkennung Angelehnt an: [9] UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 5

6 Merkmale zur Fahrmanöverprädiktion Fahrer Blickrichtung / Blickverhalten (Sakkaden, Fokusdauer) Kopfbewegung /-orientierung Lenkeingaben, Pedalbedienung (bewusst und unbewusst) Fahrzeug Inertialsensorik (Giermoment, Beschleunigung, ) Umfeldsensorik (TTC, THW, TLC, Spurhaltegüte) Umwelt Verkehrssituation [7] UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 6

7 Gliederung Motivation Fahrerintentionserkennung und Manöverprädiktion Methodik: Probandenstudie Algorithmus zur Fahrmanöverprädiktion Algorithmus zur Fahrmanöverprädiktion Fuzzy Logik und Zustandsautomat Verhaltensketten und Edit Distance Validierung Zusammenfassung & Ausblick UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 7

8 Methodik: Probandenstudie Probandenversuche im kontrollierten Feld Testgelände August-Euler-Flugplatz Griesheim Rundkurs über Landebahn und Taxiway Länge ca. 2,0km Probanden fahren jeweils 10 Runden Versuchsreihen Versuchsreihe 1 zur Datenerhebung (n = 58): 2013 (Alter: MW=40,0 Jahre SD=13,3 Jahre; davon 39,6% weiblich) Versuchsreihe 2 zur Datenerhebung (n = 44): 2014 (Alter: MW=38,4 Jahre SD=13,6 Jahre; davon 45,5% weiblich) Herausforderung beim Versuchsdesign nicht das Manöver von den Probanden einfordern sondern die Handlung (und somit die Bildung einer entsprechenden Intention) provozieren Aufzeichnung realitätsnaher Messdaten im kontrollierten Feldversuch UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 8

9 Probandenstudie: Fahrmanöver Fahrstreifenwechsel Anhalten an Ampel Anhalten an Stop-Schild Notausweichen Notbremsen an Ampel Wurfhindernis UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 9

10 Gliederung Motivation Fahrerintentionserkennung und Manöverprädiktion Methodik: Probandenstudie Algorithmus zur Fahrmanöverprädiktion Algorithmus zur Fahrmanöverprädiktion Fuzzy Logik und Zustandsautomat Verhaltensketten und Edit Distance Validierung Zusammenfassung & Ausblick UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 10

11 Algorithmus zur Fahrmanöverprädiktion Fahrzeug- Daten Algorithmus Fahrmanöverwahrscheinlichkeit Zeithorizont Anforderungen: möglichst frühe und sichere Erkennung Nachvollziehbar, Transparent (White-Box-Modell) Modular und Echtzeitfähig Herausforderungen: Interindividuelle Unterschiede im Fahrerverhalten Unschärfe in Merkmalen zur Prädiktion Intraindividuelle Unterschiede im Fahrerverhalten Unsicherheit in Merkmalen zur Prädiktion Merkmale treten zu unterschiedlichen Zeiten während der Manöverdurchführung auf Merkmale treten in Zeitreihen auf Fuzzy-Logik Edit Distance Zustandsautomat UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 11

12 Struktur des Algorithmus CAN-Bus Eingangssignale Fuzzifizierung Zustandsautomat Verhaltenskette Echtzeiterkennung Training Fahrmanöverdatenbank Aktuelle Fahrerverhaltenskette [12] UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 12

13 Fuzzifizierung der Eingangsgrößen Lernen der Fuzzy-Mengen aus Daten der Probandenstudie Fahrstreifenwechsel Verlauf des Lenkwinkel über die Zeit vor und während eines Fahrstreifenwechsel; Fahrzeug berührt Fahrstreifenmerkierung bei t = 0s Verlauf der Änderung des Lenkwinkels über den Lenkwinkel; Aufgeteilt in 5 gleichgroße Integrale Trainierte Fuzzy-Sets des Lenkwinkels für einen Fahrstreifenwechsel aus dem Signalverlauf UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 13

14 Zustandsautomat Anhaltemanöver In der Theorie der Fuzzy-Logik liegt üblicherweise eine Regelbasis mit den möglichen Kombinationen der Eingangsgrößen vor In diesem Zustandsautomaten repräsentiert jeder Zustand eine bestimmte Fuzzy-Regel 1 : velocity=high, accelerator pedal=low, brake pedal=near zero 3 : velocity=high, accelerator pedal=near zero, brake pedal=near zero 8 : velocity=near zero, accelerator pedal=near zero, brake pedal=low Die vorhandenen Zustände und Transitionen werden aus den Versuchsdaten gelernt Für jedes zu erkennende Manöver existiert ein Zustandsautomat UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 14

15 Verhaltensketten Die Verhaltenskette der Fahrmanöversequenz enthält die Aktivierung der jeweiligen Fuzzy-Regeln über die Zeit Stopping Anhaltemanöver maneuver velocity Accelerator pedal Brake pedal 1: near zero 1: near zero 1: near zero 2: very low 2: low 2: low 3: low 3: medium 3: medium 4: medium 4: high 4: high 5: high 6: very high Fahrzeug fährt geradeaus mit ~50km/h Fahrer löst Gaspedal Fahrzeug verlangsamt Fahrer betätigt Bremspedal Fahrzeug verzögert Fahrzeug hält an Stop- Schild UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 15

16 Fahrmanöverdatenbank Jede Verhaltenskette jedes Manövers der Probanden in unserer Studie werden im Training des Algorithmus in einer manöverspezifischen Datenbank gespeichert z.b. Proband 01 (P01) führt ersten Fahrstreifenwechsel nach links aus (FSW1) Für jedes zu erkennende Fahrmanöver liegt eine eigene Datenbank vor P01 FSW1: P01 FSW2: P01 FSW3: P02 FSW1: P02 FSW2: P02 FSW3: P03 FSW1: P03 FSW2: P03 FSW3: P04 FSW1: Weitere Werte die zu jedem Zustand gespeichert werden: - Zeit der Aktivierung - Zeit bis zum Manöver - Aktivierungsgrad UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 16

17 Edit Distance Aufgrund inter- und intraindividueller Unterschiede in der Manöverausführung ist die Chance zwei identische Ketten zu finden sehr gering Um ein Fahrmanöver zu prädizieren wird das aktuelle Fahrerverhalten mit den gespeicherten Verhaltensketten mit Hilfe eines Ähnlichkeitsmaßes verglichen Die Edit Distance berechnet den minimalen Aufwand die aktuelle Verhaltenskette in jede andere gespeicherte zu transformieren : - Um Sequenz a in Sequenz b zu transformieren sind folgende Schritte notwendig: - (4) Einfügen - (5) Verschieben - (6) Löschen - Jede Transformation ist mit bestimmten Kosten belegt - Der Abstand der Sequenzen entspricht dem Minimum der Summe der Kosten Der minimale Aufwand zur Transformation entspricht dem Abstand beider Ketten dist min Der Gesamtabstand wird über das quadratisches Mittel der aktuellen Verhaltenskette mit jeder Verhaltenskette in der entsprechenden Fahrmanöver- Datenbank berechnet UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 17

18 Berechnung der Manöverwahrscheinlichkeit Die Manöverwahrscheinlichkeit und der Zeithorizont werden aus der Edit Distance berechnet Es wird eine Funktion gelernt, welche auf abbildet Dazu wird jede positive (Manöver wurde ausgeführt) und negative Erkennung (Manöver wurde nicht ausgeführt) analysiert Der minimale Abstand für jede positive und negative Sequenz werden berechnet Das Verhältnis jedes berechnet wird für Dadurch entsteht eine Lookup-Table um die Manöverwahrscheinlichkeit für jede errechnete Edit Distance zu berechnen UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 18

19 Validierung Das Training und das Testen wurde mit verschiedenen Teilen des Versuchsdatensatzes durchgeführt (70% vs. 30%) Die Designparameter des Algorithmus wurden dabei systematisch variiert, um das bestmögliche Set zu finden Ein binärer Klassifizierer wurde definiert: Manöver liegt vor Manöver liegt nicht vor Die Spezifität und Sensitivität der binären Klassifizierung wurde entsprechend berechnet Um eine ROC-Kurve (Receiver operator caracteristic) zu erhalten wurde die Entscheidungsschwelle variiert Das Optimum zwischen Sensitivität und Spezifität für den Fahrstreifenwechsel nach links befindet sich bei der Entscheidungsgrenze =69,4% Daraus ergibt sich folgende Performance des Algorithmus zur Erkennung von Fahrstreifenwechsel nach links mit CAN-Bus Daten: TPR=97,5% FPR=22,4% AUC=0,895 (Area under curve) mittlerer Zeithorizont von =0,9s * p*=69,4% UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 19

20 Gliederung Motivation Fahrerintentionserkennung und Manöverprädiktion Methodik: Probandenstudie Algorithmus zur Fahrmanöverprädiktion Algorithmus zur Fahrmanöverprädiktion Fuzzy Logik und Zustandsautomat Verhaltensketten und Edit Distance Validierung Zusammenfassung & Ausblick UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 20

21 Zusammenfassung und Ausblick Zusammenfassung: Fahrmanöverprädiktion auf Basis von Verhaltensketten mit Fuzzy-Logik und Edit Distance ist möglich Der gezeigte Algorithmus kann Fahrmanöver auf prototypischer Hardware (Car-PC) im Versuchsträger in Echtzeit prädizieren Es ist möglich mit Fahrzeugdaten ein Fahrstreifenwechsel zu prädizieren bevor das entsprechende Vorderrad die Fahrstreifenmarkierung berührt Das Trigger Level ist an das Fahrerassistenzsystem bezüglich notwendiger Erkennungsraten oder gewünschten Zeithorizont anpassbar Ausblick: Fahrerbeobachtung ermöglicht die Steigerung des Prädiktionshorizontes durch die Nutzung früherer Merkmale des Fahrerverhaltens Die Informationen zu dem vom Fahrer geplanten Fahrmanöver kann zur Parametrisierung von warnenden und eingreifenden Fahrerassistenzsystemen genutzt werden, mit dem Ziel die Akzeptanz zu steigern und ein mögliches Warndilemma zu verringern UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 21

22 Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Vielen Dank für Ihre Aufmerksamkeit! UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 22

23 Verwendete Quellen [1] Tingvall, C., & Haworth, N. (2000). Vision Zero: an ethical approach to safety and mobility. In 6th ITE International Conference Road Safety & Traffic Enforcement: Beyond (Vol. 1999). [2] Winner, H., Hakuli, S., Lotz, F., & Singer, C. (2015) Handbuch Fahrerassistenzsysteme: Grundlagen, Komponenten und Systeme für aktive Sicherheit und Komfort (3., überar-beitete und ergänzte Auflage). ATZ/MTZ-Fachbuch. [3] Manstetten, D., Bengler, K., Busch, F., Färber, B., Lehsing, C., Neukum, A., Petermann-Stock, I. (2012). UR:BAN MV a German project focusing on human factors to in-crease traffic safety in urban areas [4] Hoffmann, J., & Gayko, J. (2012). Fahrerwarnelemente. In H. Winner, S. Hakuli, & G. Wolf (Eds.), ATZ-MTZ-Fachbuch. Handbuch Fahrerassistenzsysteme. Grundlagen, Kompo-nenten und Systeme für aktive Sicherheit und Komfort ; mit 45 Tabellen (2nd ed., pp ). Wiesbaden: Vieweg + Teubner [5] Blaschke, C., Schmitt, J., & Färber, B. (2007). Fahrmanöver-Prädiktion über CAN-Bus Daten. In VDl-Berichte Fahrer im 21. Jahrhundert. Human Machine Interface (pp ). Düsseldorf: VDI Verlag GmbH. [6] Kopf, M Was nützt es dem Fahrer, wenn Fahrerinformations- und -assistenzsysteme etwas über ihn wissen? In: Fahrerassistenzsysteme mit maschineller Wahrnehmung. Heidelberg. Springer. [7] Donges, E. (1982). Aspekte der aktiven Sicherheit bei der Führung von Personenkraftwagen. AUTOMOB-IND, 27(2). [8] Jürgensohn, T. et al. (2001). Nichtformale Konstrukte in quantitativen Fahrermodellen In: Kraftfahrzeugführung (pp ). Springer Berlin Heidelberg. [9] Heckhausen, Heinz, Gollwitzer, Peter Thought Contents and Cognitive Functioning in Motivational versus Volitional States of Mind. In: Motivation [10] Zadeh, Lofti A Fuzzy sets Information and Control 8(3): New York. Polytechnic Press and Emotion. 11, Nr. 2, S [11] Levensthein, V. I. (1966). Binary Codes Capable of Correcting Deletions, Insertions and Re-versals. Soviet Physics Doklady, pp [12] Heine, J., Sylla M., Langer, I., Schramm, T., Abendroth, B., Bruder, R.: Algorithm for driver intention detection with Fuzzy Logic and Edit Distance, bei IEEE 18th International Conference on Intelligent Transportation Systems ITSC (2015) UR:BAN-Konferenz Fahrmanöverprädiktion im urbanen Verkehr auf Basis von Verhaltensketten Dipl.-Ing. Jens Heine 18./ Garching 23