Generierung repräsentativer Android-Benchmarks auf Basis dynamischer Anwendungsanalysen

Transkript

1 1/ 25 Generierung repräsentativer Android-Benchmarks auf Basis dynamischer Anwendungsanalysen Fabian Bruckner 1 1 Department of Computer Science TU Dortmund

2 Motivation - Wiederholung 2/ 25 Wieso? Systemweite Änderungen an Android beurteilen Verschiedene Verfahren vergleichen Benchmarks Diverse (synthetische) Benchmarks für Android verfügbar... Haben Mängel in Aussagekraft und/oder Qualität verwendeter Daten

3 Motivation - Wiederholung 3/ 25 Ziele Verhalten von Apps feingranular aufzeichnen Einbeziehung verschiedenster Datenquellen Abspielen aufgenommener Daten Evaluation aufgenommener Daten

4 Inhalt Motivation - Wiederholung 4/ 25 1 Motivation - Wiederholung 2 Implementierung 3 Wiedergabe 4 Evaluation 5 Ausblick

5 Übersicht Implementierung 5/ 25 Android Applications Launcher Browser Contacts CaR Application Framework Activity Manager Location Manager Application Runtime Core Libraries Dalvik Virtual Machine Android Runtime Libraries WebKit OpenGLES SQLite SSL libc Linux Kernel WiFi Driver Power Management USB Driver 1...1

6 Übersicht Implementierung 6/ 25 Android Applications Launcher Browser Contacts CaR Application Framework Activity Manager Location Manager Application Runtime Core Libraries Dalvik Virtual Machine Android Runtime Libraries WebKit OpenGLES SQLite SSL libc Linux Kernel WiFi Driver Power Management USB Driver 1...1

7 Unterteilung Implementierung 7/ 25 SystemTap zur Datenerfassung im Kernel Führt zu Abstraktion Sparsam verwenden nur für Netzwerkverkehr und Dateioperationen Instrumentierung des Application Frameworks Frühestmögliche Erfassung auftretender Ereignisse Für alle verbleibenden Quellen

8 Erreichung der Ziele Implementierung 8/ 25 Prozessor-Last Bildschirmzustand Lebenszyklus Power Management Batteriezustand Positionsdaten Dateioperationen Netzwerkverkehr ( ) ( ) ( )

9 Exkurs Implementierung 9/ 25 Google Play Services Sammlung von Schnittstellen und Bibliotheken Erschien September 2012 Nicht Teil des AOSP (Android Open Source Project) Programmcode nicht zugänglich quelloffene Alternative (microg) in Entwicklung aktuell Austausch nicht sinnvoll

10 Probleme Implementierung 10/ 25 Diverse Funktionen der Google Play Services verwenden intern Wakelocks Google Play Services bieten funktional äquivalente Schnittstelle zum LocationManager Funktionen des (Linux-)Kernels zum Senden/Empfangen werden erfasst Zusätzliche (Android-spezifische) Funktionen sorgen für lückenhafte Erfassung

11 Ergebnis Wiedergabe 11/ 25 Wiedergabe ist zweiphasiger Prozess Vorverarbeitung Abspielen hohe Genauigkeit wird erreicht wenige Millisekunden Abweichung bei Datensatz für 15 Minuten hohe Übereinstimmung im Verhalten

12 Originalgetreue Wiedergabe Wiedergabe 12/ 25 Prozessor-Last ( ) Bildschirmzustand Lebenszyklus Power Management Batteriezustand - Positionsdaten Dateioperationen ( ) Netzwerkverkehr ( )

13 Zeit in Sekunden Wiedergabe 13/ 25 Vergleich Aufnahme & Wiedergabe - Maps Destroyed Stopped Phase des Activity Lebenszyklus Paused Resumed Started Restarted Created Undefined Lebenszyklus Aufnahme Lebenszyklus Wiedergabe Bildschirm eingeschaltet Aufnahme Bildschirm eingeschaltet Wiedergabe

14 Wiedergabe 14/ 25 Vergleich Aufnahme & Wiedergabe - Maps Prozessorlast in % Aufnahme Wiedergabe Zeit in Sekunden

15 Wiedergabe 15/ 25 Vergleich Aufnahme & Wiedergabe - Maps 25 Aufnahme Wiedergabe gelesene Datenmenge in MB geschriebene Datenmenge in MB Aufnahme Wiedergabe Zeit in Sekunden Zeit in Sekunden

16 Wiedergabe 16/ 25 Vergleich Aufnahme & Wiedergabe - Maps empfangene Datenmenge in MB gesendete Datenmenge in MB Aufnahme Aufnahme 0 Wiedergabe 0.0 Wiedergabe Zeit in Sekunden Zeit in Sekunden

17 Zeit in Sekunden Wiedergabe 17/ 25 Vergleich Aufnahme & Wiedergabe - Browser Destroyed Stopped Phase des Activity Lebenszyklus Paused Resumed Started Restarted Created Undefined Lebenszyklus Aufnahme Lebenszyklus Wiedergabe Bildschirm eingeschaltet Aufnahme Bildschirm eingeschaltet Wiedergabe

18 Wiedergabe 18/ 25 Vergleich Aufnahme & Wiedergabe - Browser Prozessorlast in % Aufnahme Wiedergabe Zeit in Sekunden

19 Wiedergabe 19/ 25 Vergleich Aufnahme & Wiedergabe - Browser Aufnahme Wiedergabe gelesene Datenmenge in MB geschriebene Datenmenge in MB Aufnahme Wiedergabe Zeit in Sekunden Zeit in Sekunden

20 Wiedergabe 20/ 25 Vergleich Aufnahme & Wiedergabe - Browser empfangene Datenmenge in MB gesendete Datenmenge in MB Aufnahme Aufnahme 0 Wiedergabe 0.0 Wiedergabe Zeit in Sekunden Zeit in Sekunden

21 Zeit in Stunden Datensatz - Facebook Evaluation 21/ 25 Destroyed Stopped Phase des Activity Lebenszyklus Paused Resumed Started Restarted Created Undefined Lebenszyklus Bildschirm eingeschaltet

22 Datensatz - Facebook Evaluation 22/ gelesene Datenmenge in MB geschriebene Datenmenge in MB Zeit in Stunden Zeit in Stunden

23 Datensatz - Facebook Evaluation 23/ empfangene Datenmenge in MB gesendete Datenmenge in MB Zeit in Stunden Zeit in Stunden

24 Fazit Ausblick 24/ 25 gestellten Anforderungen sind erfüllt Aufnahme & Wiedergabe möglich Analyse auf Basis der Daten möglich kleine Schwachstellen verbleiben sollten vor produktivem Einsatz behoben werden Grundlage für diverse weitere Arbeiten

25 Ausblick 25/ 25 Ausblick Weitere Datenquellen einfügen zentrale Stelle zum Bezug von Daten zur Wiedergabe Wechsel auf binäres Dateiformat Bei Fertigstellung Google Play Services durch microg austauschen