Ein Tool für automatische Performancetests von Java3D Applikationen

Transkript

1 Ein Tool für automatische Performancetests von Java3D Applikationen Kristina Wunderlich A Tool for Automated Performance Testing of Java3D Applications in Agile Environments Xueling Shu, Frank Maurer; University of Calgary, Canada / 17

2 Inhalt 1 Einleitung 2 Java3D Laden von 3D Objekten Löschen von 3D Objekten 3 Studie Testszenarien Maßstäbe zur Einschätzung der Performance 4 J3DPerfUnit Testparameter Ausführungszeit zum Erstellen einer Szene Ausführungszeit zum Laden / Löschen von 3D Objekten Framerate während der Interaktion in einer Szene 5 Zusammenfassung 6 Quellen 2 / 17

3 Einleitung Einleitung Performance beim Rendern bei 3D Applikationen sehr wichtig je länger der Fehler nicht behoben, desto schwerer zu beheben Vorteil automatische Performancetests: Performancetestfälle können wiederholt ausgeführt werden somit Störungen bei Systemperformancekriterien regelmäßig testbar und Erhöhung ungelöster Probleme wird verhindert zugleich Überprüfung des Performancegrades, ob erneuter Test notwendig 3 / 17

4 Java3D Informationen bei Java3D können ernste Performanceprobleme auftreten kein geeignetes Performancetesttool, keine große Hilfe Ziel: Tool, das selbstausführende Performancetests für Java3D Anwendungen macht sowie Einschätzung über Effektivität gibt alles in Java3D verbunden mit Baumstruktur Szenengraph, der Informationen über 3D Objekte spezifiziert Java3D Engine, die mit diesen Informationen weiterarbeitet 4 / 17

5 Java3D Laden von 3D Objekten Laden von 3D Objekten Prozess in drei Schritte untergliedert: 1 Anwendung liest und analysiert Geometriedaten des Objektes und generiert korrespondierende BranchGroup 2 Engine platziert BranchGroup in Baumästen des Szenengraph und bereitet 3D Objekt fürs Rendern vor 3 Engine sendet Objekt zu einer grafischen Einheit um es zu rendern 5 / 17

6 Java3D Löschen von 3D Objekten Löschen von 3D Objekten besteht aus zwei Phasen: 1 Engine löscht BranchGroup, die das Objekt repräsentiert, aus dem Szenengraph 2 Engine sendet Anfrage an grafische Einheit um das 3D Objekt zu löschen 6 / 17

7 Studie Studie Zusammenarbeit mit Bioinformationsteam, das Softwaretool entwickelt, was medizinischen Forschern erlaubt Krankheit in einer 3D Umgebung im Ganzen zu sehen Tests vorgenommen, um Verständnis für den Nutzen von Performancetests zu verbessern Teilnehmer neben dem Team auch Studenten und Entwickler von Java3D Foren zur Zeit überwiegend manuelle Tests Java3D basierend auf OpenGL und DirectX für Studie: OpenGL 7 / 17

8 Studie Testszenarien Testszenarien grundlegender Aufbau von Testszenarien: 1 Anwenden eines Szenarios, das spezielle Testszenen lädt 2 verschiedene Interaktionen in diesem Testfall 3 Überprüfung spezieller Performancewerte wie Framerate 8 / 17

9 Studie Maßstäbe zur Einschätzung der Performance Maßstäbe zur Einschätzung der Performance Maßstäbe Wichtigkeit Lade- / Löschzeiten von Objekten 66 % Interaktions- oder Verzögerungszeit 66 % Framerate 44 % Speicherverbrauch 33 % Größe des Szenengraphen 11 % 9 / 17

10 J3DPerfUnit Informationen Tool zum Testen der Performance von 3D Applikationen kann folgende Aspekte einschätzen 1 Ausführungszeit um Szene zu erstellen 2 Ausführungszeit zum Laden und Löschen von 3D Objekten aus Szenengraph 3 Frameraten während Benutzerinteraktion 10 / 17

11 J3DPerfUnit Testparameter Testparameter Parameter Titel eines Testfensters Index von Testfeldern BranchGroup Identifizierer Erwartete Dauer Erwartete Framerate Interaktionsdaten Bedeutung / Definition Der Titel eines Fensters, wo eine Testszene angewendet wird Testfeldindizes auf dem Testfenster Entweder der Name / die Nutzerdaten einer BranchGroup Maximale Zeit für erfolgreichen Test Minimale FPS für erfolgreichen Test Welchen Maus- oder Tastaturknopf drücken, etc. 11 / 17

12 J3DPerfUnit Ausführungszeit zum Erstellen einer Szene Ausführungszeit zum Erstellen einer Szene Szenengraph muss korrekt sein, sonst Szene extrem langsam oder fehlerbehaftet TestCase testcase1 = j3dtest.gettestcase(); testcase1.testscenebuild (center); testcase1.assertexetimeequals(2000); classrunner.runapplication(wepamain); Ausgabe Running 1 test in j3dperftest.wepatest Fail (0 tests) 12 / 17

13 J3DPerfUnit Ausführungszeit zum Laden / Löschen von 3D Objekten Ausführungszeit zum Laden / Löschen von 3D Objekten sehr zeitaufwändiges Laden&Löschen komplexer 3D Objekte J3DPerfUnit kann ermitteln, welches Objekt am längsten benötigt exakte Lokalisierung der Probleme kann Entwicklern helfen angemessene Lösung zu erstellen 13 / 17

14 J3DPerfUnit Framerate während der Interaktion in einer Szene Framerate während der Interaktion in einer Szene Interaktion in Szene wie Rotation, Translation und Zoom mit Maus oder Tastatur hohe Framerate bedeutet weichere Interaktion, ca. 30fps äquivalent zu Performance bei Filmen 14 / 17

15 Zusammenfassung Zusammenfassung folgende Ergebnisse der Studie: 1 Toolunterstützung um automatische Performancetests für Java3D Anwendungen auszuführen, so dass Tests weiter ausgeführt werden können 2 Anwendung, so dass Tool sehr einfach in Bildungsprozess des Codes eingearbeitet werden kann 3 Performancekriterien werden in Testfälle spezifiziert Tool in jedes Programm ohne Probleme integrierbar Tool wird publiziert um Brauchbarkeit und Benutzbarkeit zu belegen 15 / 17

16 Quellen Quellen Xueling Shu, Frank Maurer, A Tool for Automated Performance Testing of Java3D Applications in Agile Environments cg1/vorlesung_07/opengl.pdf cg-seminar/ausarbeitung/florian.obermeier/index. html 16 / 17

17 Quellen Fragen Vielen Dank für Ihre Aufmerksamkeit! Fragen? 17 / 17