Automatisierte Wettkampfanalyse im Beachvolleyball auf Basis von Bilderkennung

Transkript

1 1 Automatisierte Wettkampfanalyse im Beachvolleyball auf Basis von Bilderkennung (AZ /12-13) Daniel Link 1 (Projektleitung) & Björn Eskofier 2 (Kooperationspartner) 1 Lehrstuhl für Trainingswissenschaft und Sportinformatik, Technische Universität München 2 Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg 1 Motivation Videobasierte Eigen- und Gegneranalysen sind wichtige Elemente der Wettkampfvorbereitung in Sportspielen. Sie erlauben es, taktische und technische Charakteristika von Spielerinnen und Spielern sowie Mannschaften aufzudecken und so Strategien für Training und Wettkampf abzuleiten. In der Praxis wird die Erfassung und Auswertung von Spieldaten durch spezielle Softwaretools unterstützt. Eine wesentliche Basisfunktionalität ist die Zerlegung von Videoaufnahmen in einzelne Sequenzen und die Zuordnung von Beobachtungsmerkmalen. Hierdurch können Statistiken erzeugt und Videoszenen gezielt angesteuert werden, um beispielsweise Qualitative Analysen durchzuführen. Zur Verbesserung des Aufwand-Nutzen-Verhältnis beim Scouting wurde in Zusammenarbeit mit dem Deutschen Volleyball Verband ein Spielbeobachtungsverfahren entwickelt, bei dem Ballwechsel nach ihren räumlich-zeitlichen Strukturen mittels Positionsdaten klassifiziert werden (Link & Ahmann, 2013). Diese können nicht nur genutzt werden, um Spielzüge besser zu visualisieren, sondern auch, um Beobachtungsmerkmale automatisch zu berechnen, die sonst durch den Scouter qualitativ beurteilt und manuell eingegeben werden müssten. Für die technische Unterstützung des Verfahrens wurden in einer ersten Projektphase zwei Spielbeobachtungstools BeachScouter und BeachViewer entwickelt, bei denen die Optimierung der Datenerfassung sowie die Erweiterung der Auswertungsmöglichkeiten durch Positionsdaten im Fokus standen. Diese Tools bilden heute die Grundlage für die Spielbeobachtung der deutschen Nationalteams. Um die volle Analysetiefe für die Auswertung zur Verfügung zu haben, müssen die Positionsdaten manuell über einen Touch-Screen erfasst werden. Die zeitliche Dauer dieses Prozesses umfasst in etwa die Spieldauer, so dass im praktischen Einsatz auch hier Kosten-Nutzen-Überlegungen relevant werden. Idee und Ziel des Projektes bestand in der automatischen Erfassung von Spielerpositionen über Bilderkennungsverfahren und der Integration des Verfahrens in die bestehende Softwarelandschaft. Die folgenden Abschnitte beschreiben das Zusammenspiel der entwickelten Werkzeuge, das Verfahren zur Bilderkennung sowie die erreichte Trackingqualität. 2 BeachScouter, BeachViewer und BeachTracker Der Analyseprozess wird über drei separate Softwaretools realisiert. BeachScouter erlaubt eine effiziente manuelle Datenerfassung unter Berücksichtigung des sportartspezifischen Spielrhythmus, während der BeachViewer eine spezifische Datenanalyse ermöglicht (Link, 2014). Mit Hilfe des Beach- Trackers ist es möglich, die Spielerinnen und Spieler automatisiert aus den Videoaufnahmen zu identifizieren. Die Entscheidung für die Entwicklung von getrennten Softwarewerkzeugen erfolgte vor dem Hintergrund, dass Datenerfassung und Datenauswertung inhaltlich und zeitlich unabhängige Prozesse sind, die in der Regel von verschiedenen Personen durchgeführt werden. Die Aufteilung der Funktionen in drei Werkzeuge hat den Vorteil, dass das einzelne schlanker und übersichtlicher gehalten werden kann. Die Arbeitsschritte sowie das Zusammenspiel der verschiedenen Tools ist in Abb. 1 dargestellt.

2 2 Automatisierte Wettkampfanalyse im Beachvolleyball... BeachScouter (Live-Mode) BeachTracker BeachScouter (Review-Mode) BeachViewer 1. Eingabe von Basismerkmalen 2. Player & Ball Position-Tracking 3. Eingabe von erweiterten Merkmalen & Positionskorrektur 4. Quantitative & qualitative Analyse Abb. 1: Darstellung des Zusammenspiels der Beobachtungstools. Mittels BeachScouter wird im Live-Mode eine Basisannotation erzeugt, auf deren Basis die Erkennung der Spielerpositionen im BeachTracker erfolgt. Im BeachScouter können diese Daten bei Bedarf überarbeitet und die Annotation mit weiteren Merkmalen ergänzt werden. Die leistungsdiagnostische Auswertung der Daten erfolgt mit dem BeachViewer. Der BeachScouter dient der Erfassung der Daten. Eine zentrale Anforderung besteht darin, unmittelbar nach einem Spiel eine erste Basisauswertung verfügbar zu haben, um rechtzeitig Analysen durchführen und die Spielerinnen und Spieler informieren zu können. Gleichzeitig müssen komplexere Auswertungen möglich sein, die einen größeren Zeitaufwand erfordern und möglicherweise erst nach einen Turnier zu leisten sind. Der BeachScouter unterstützt deswegen zwei Betriebsmodi: Im Live-Modus erfolgt die Eingabe der Start- und Endzeitpunkt der Ballwechsel, sowie der wichtigsten Beobachtungsmerkmale (z. B. Aufschlag, Annahme, Erfolg, Spielstand). Diese erste Annotation kann im Review-Mode um Positionsdaten und detaillierte Merkmale (z. B. Annahmelateralität) ergänzt werden. Der BeachTracker verwendet die Start- und Endpunkte sowie die Spielerkonfiguration der Ballwechsel und erweitert diese um Positionsinformationen. Hierbei wird auf Verfahren der computer vision zurückgegriffen (siehe nachfolgender Abschnitt). Die Korrektur von Tracking-Fehlern erfolgt manuell im Review-Modus des BeachScouter, wobei bei Bedarf auch weitere Beobachtungsmerkmale eingegeben werden können. Die Datenanalyse erfolgt mittels des BeachViewers. Dieser besteht im Wesentlichen aus Steuerelementen zur Definition der Filter, einer Ergebnisliste sowie einem Videofenster für die qualitative Analyse. Darüber hinaus können sogenannte Reports zur Visualisierung von Spielstrukturen im Rahmen der quantitativen Voranalyse generiert werden. Die Vorgehensweise bei der Filterung hängt von den individuellen Präferenzen der Trainer bzw. Trainerinnen ab. Beispielweise wird häufig versucht, Zusammenhänge zwischen der räumlich/zeitlichen Konstellation eines Spielzugs (z. B. Anlaufrichtung) und der Folgehandlung erkennen zu können. Dies ermöglicht Spielsituationen zu identifizieren, bei denen ein Spieler bzw. eine Spielerin Tendenzen im Angriffsverhalten zeigt (z. B. Schlagrichtung).

3 Automatisierte Wettkampfanalyse im Beachvolleyball Trackingverfahren Das Tracking von Spielerinnen bzw. Spielern in Videos, wie sie im Alltag der Spielbeobachtung herzustellen sind, ist ein anspruchsvolles algorithmisches Problem. Die optische Situation ist gekennzeichnet von veränderlicher Sandstruktur durch Spielerbewegungen, veränderlichen Spielergrößen und -umrissen, wechselnde geometrische Bedingungen durch unterschiedliche Kamerapositionen, veränderlichen Farbbedingungen durch Sonneneinstrahlung, Okklusionen von Spielern, Überlagerung von Spielern und Publikum sowie der Existenz einer Vielzahl sonstiger beweglicher Objekte im Bildbereich (vgl. Abb. 2). Darüber hinaus muss von einem einzigen Kamerabild ohne die Möglichkeit einer Kalibrierung auf dem Spielfeld ausgegangen werden. Abb. 2: Darstellung drei typischer Wettkampfvideos. Im linken Video umfassen die hinteren Spieler aufgrund der Perspektive nur wenige Bildpunkte. Gleichzeitig ist die Ausleuchtung inhomogen und die Farbinformationen der Spieler damit von ihrer Position auf dem Feld abhängig. Das mittlere Video zeigt eine deutliche bessere Perspektive, wobei allerdings auch hier die Ausleuchtung inhomogen ist. Das rechte Video erlaubt das beste Tracking. Schwierigkeiten können evtl. entstehen, weil die hinteren Spieler optisch in den bewegten Hintergrund hineinragen. Um diesen Bedingungen gute Ergebnisse zu erzielen, bedarf es eines Verfahrens, das im Vorfeld nur wenige Annahmen über die optische Situation trifft (Abb. 3). Der BeachTracker nimmt in einem ersten Schritt eine Trennung von Hintergrundes von den beweglichen Objekten vor (background substraction). Zunächst wird ein Durchschnittsbild (a) über eine Menge von Videoframes berechnet. Für jedes Videoframe (b) wird in Bezug auf dieses Hintergrundbild ein Differenzbild berechnet. Dieses Differenzbild (c) wird zunächst in Graustufen, dann in ein Binärbild (d) umgewandelt. Nach Anwendung verschiedener Filter wird die resultierende Maske über das Ursprungsframe gelegt. In dem resultierenden Bild (e) erfolgt in einem zweiten Schritt die Spielererkennung (blob detection). Hierfür das Bild systematisch durchsucht, wobei insbesondere die Umgebung, der im vorherigen Frame erkannten Position betrachtet wird (f). Die Erkennung erfolgt auf Basis eines Partikel-Filters, wobei für jeden Spieler eine eigene Partikelwolke verwendet wird. Das Partikelgewicht berücksichtigt Objektform (g) sowie Farb- (h) und Bewegungsinformationen. Die Farbinformationen werden insbesondere benötigt, um zwischen verschiedenen Objekten differenzieren zu können (Details zum Verfahren bei Gomez, Herrera-López, Link & Eskofier, 2014). Die Evaluation des Verfahrens erfolgte durch einen Vergleich der berechneten Koordinaten mit den Koordinaten, die manuell über den Review-Modus des BeachScouters erhoben wurden (ground truth). Eine gemessene Spielerposition wurde als korrekt bezeichnet, wenn die Distanz zur ground truth unterhalb eines halben Meters lag. Die Erkennungsrate hängt hochgradig von der Charakteristik der Videoaufnahme ab. Sie reicht in den in Abb. 2 dargestellten Beispielsvideos für Spieler/Spielerinnen der Kamera abgewandten Seite von 25 bis 70 % und für Spieler/Spielerinnen der zugewandten Seite von 36 bis 86 % (ansteigende Qualität von links nach rechts).

4 4 Automatisierte Wettkampfanalyse im Beachvolleyball... 4 Fazit Das Verfahren erkennt bis zu ca. 75 % der relevanten Positionen. Allerdings in die Erkennungsquote hochgradig von den Eigenschaften der Videos abhängig. In Konsequenz muss sofern vollständig valide Daten benötigt werden eine manuelle Nachbearbeitung der Positionen erfolgen. Dieser Umstand repräsentiert den heutigen Stand der Technik optischer Trackingsysteme für den Einsatz unter variablen Umgebungsbedingungen (vgl. Fußball-Bundesligen). Die Sportpraxis steht vor der grundsätzlichen Entscheidung eine bestimmte Fehlerquote zu tolerieren oder zusätzliche Ressourcen in die Nachbearbeitung zu investieren. Die Abwägung muss sicherlich vor dem Hintergrund des leistungsdiagnostischen Mehrwertes der Positionen im Einzelfall erfolgen. background substraction a b c d e h g blob detection f Abb. 3: Verfahren der automatischen Spielererkennung. Die Erkennung erfolgt in einem zweistufigen Verfahren auf Basis der Spielerform und ihrer Farbinformation (Erläuterungen im Text). Anders stellt sich die Situation unter Umständen in Sportarten mit optisch einfacheren Umgebungen dar (gleiche Farbräume, homogene Hintergründe, keine Okklusion, Laborsituationen) wie bspw. Curling (bei Aufnahme von oben) oder Goalball. Hier können ohne Nachbearbeitungen Ergebnisse erzielt werden, die nahe an einen menschlichen Beobachter heranreichen (ca. 95 % erkannte Abwurfsektoren im Goalball; vgl. Weber & Link, 2014).

5 Automatisierte Wettkampfanalyse im Beachvolleyball Literatur Link, D. (2014). A Toolset for Beach Volleyball Game Analysis Based on Object Tracking. International journal of computer science in sport, 13 (1), Link, D. & Ahmann, J. (2013). Moderne Spielbeobachtung im Beach-Volleyball auf Basis von Positionsdaten. Sportwissenschaft, 43 (1), Gomez, G. Herrera-López, P., Link, D. & Eskofier, B (2014). Tracking of Ball and Players in Beach Volleyball Videos, PLoS ONE 9 (11): e doi: Weber, C. & Link, D. (2014). Goalball Performance Analysis in a Paralympic Sport. In G. Sporis, Z. Milanovic, M. Huges & D. Skegro (Eds.), ISPAS World Congress of Performance Analysis of Sport X, Book of Abstracts (pp ). Zagreb: University of Zagreb.