Ein Performance-Benchmark für Java-Web-Frameworks

Transkript

1 Ein Performance-Benchmark für Java-Web-Frameworks Diplomarbeit Christophe Sokol Institut für Informatik Freie Universität Berlin 13. Juni 2013

2 Kontext Umsetzung Verweise

3 Performance-Benchmarks Was ist der Untersuchungsgegenstand? Was wird gemessen? Wie wird gemessen? Womit wird gemessen?

4 Java-Web-Frameworks Tapestry Spring MVC JSF Struts Ruby on Rails, Sinatra (Ruby) Django (Python) Catalyst (Perl) Symfony, Zend Framework (PHP)

5 Features von Web-Frameworks und -Anwendungen Routing Views / Templates Input Validation Session Handling ORM Form Handling Authentication Authorization I18n / L18n Scaffolding Caching Asset Management Web services AJAX

6 Frameworks sind unterschiedlich Mikroframeworks Full-Stack-Frameworks Einfluss der Plattform Zielgruppe

7 Bestehende Benchmarks Extremer Anwendungsfall Kleine Auswahl von Frameworks Infrastruktur nicht transparent Sind veraltet

8

9

10 Ansatz Aufteilung in Teilbenchmarks Quellcode und Konfiguration der Infrastruktur mit git verwalten Automatisierte Auswertungen Kollaboration per sog. Pull-Request

11 Teilbenchmarks Hallo Welt Routing Zufälliger Text Seitenwechsel Binäre Daten Formulare Sessions Authentifizierung Datenbankzugriff Templates Globalisierung API

12 Ein Teilbenchmark Implementierung mit Spring MVC und Tapestry Deployment mit Puppet Konfiguration der Benchmarks mit Puppet Auswertung mit R Ergebnis als Webseite

13

14

15

16

17

18

19

20

21 Probleme Viele verschiedene Technologien und Sprachen Automatisierung ist zeitaufwändig Benchmarks noch nicht 100%ig deterministisch(!) Was ist eine Web-Anwendung? Iteratives Vorgehen schwer durchzuhalten

22 Nächste Schritte Ermitteln von optimaler Konfiguration der Laufzeitumgebung Implementierung weiterer Teilbenchmarks Erweitern der Auswertungen Validierung der Ergebnisse auf anderer Infrastruktur Web-basiertes Anlegen von Benchmarks (Puppet ENC) Weitere Frameworks einbeziehen

23 Literatur Casteleyn, Sven, Florian Daniel, Peter Dolog, and Maristella Matera. Engineering Web Applications. Data-Centric Systems and Applications. Berlin, Heidelberg: Springer-Verlag, Performance Testing. In Engineering Web Applications, 349. Data-Centric Systems and Applications. Berlin, Heidelberg: Springer-Verlag, F5 Networks, Inc. Creating a Robust Performance Testing Methodology, Feitelson, Dror G. Metric and Workload Effects on Computer Systems Evaluation. Computer 36, no. 9 (September 2003): Fleming, Philip J., and John J. Wallace. How Not to Lie with Statistics: The Correct Way to Summarize Benchmark Results. Communications of the ACM 29, no. 3 (March 1986): doi: / Lev Walkin. Stress-testing Httperf, Siege, Apache Benchmark, and Pronk. Lionet, January 4, Sohn, Dirk M., and Papick Taboada. OIO Kompass: Java Web-Frameworks. Orientation in Objects GmbH, April

24 Benchmarks Cecchet, E., V. Udayabhanu, T. Wood, and P. Shenoy. Benchlab: An Open Testbed for Realistic Benchmarking of Web Applications. In 2nd USENIX Conference on Web Application Development, 37, Davis, Seth. The Great Web Framework Shootout. Blog. Curia: Technology Thoughts and Ideas, JT Dev. Rails, Wicket, Grails, Play, Tapestry, Lift, JSP, Context. Blog. About Programming Stuff, May 28, Nagpurkar, P., W. Horn, U. Gopalakrishnan, N. Dubey, J. Jann, and P. Pattnaik. Workload Characterization of Selected JEE-based Web 2.0 Applications. In IEEE International Symposium on Workload Characterization, IISWC 2008, , Punz, Werner. Mojarra Vs. MyFaces Performance. Werners Blog, October 14, TechEmpower, Inc. Framework Benchmarks. TechEmpower Blog, March 28, Thomas, Peter. Perfbench Update: Tapestry 5 and Grails. Blog. Incremental Operations, September 14, Seam / JSF Vs Wicket: Performance Comparison. Blog. Incremental Operations, January 14, Uribe, Leonardo. Understanding JSF 2 and Wicket: Performance Comparison, May 18, APR/Performance%20Comparison-Leonardo%20Uribe-FINAL-Detailed.pdf. Van den Enden, Stijn. WWW: World Wide Wait. A Performance Comparison of Java Web Frameworks. presented at the Devoxx, Antwerp, Belgium, November 17,