PERFORMANCE TESTS AVALON ODS-SERVER DR. REINHARD HALLERMAYER, BMW GROUP

Transkript

1 PERFORMANCE TESTS AVALON ODS-SERVER DR. REINHARD HALLERMAYER, BMW GROUP Freude am Fahren

2 Inhalt. Ziele Testumgebung und Testwerkzeug Tests und Testergebnisse Ausblick Beteiligte: Fa. Science + Computing Gangaamaa Oyunchimeg, BMW 2

3 Ziele. Untersuchung des Systemverhaltens bei vielen lesenden Zugriffen Performanceaussagen über das Verhaltens des Datenservers beim Zugriff auf Massendaten Vergleich von PureMode und MixedMode von Avalon Einstellung des ODS Servers zur optimalen Performance 3

4 Testumgebung. Rechner Zwei Windows Server: Prozessor: 2 x 1,86 GHz, Memory: 4 GB Windows 2008 R2 bzw Java-Runtime-Umgebung: v1.6.0_25 32bit Daten in Oracle-DB bzw. extern auf Festplatte NAS-Server Client-Rechner mit Windows 7 Software Athos V4.1f PureMode MixedMode Datenmengen Ca Measurements Gesamte Größe der Daten: 11,8 GB Größte Messung ca. 20 MB 4

5 Testwerkzeug. BMW Benchmark Client Testclient basiert auf openmdm-framework in Version Funktionsweise: Setzt unter Einbeziehung der MDM-API automatisiert Anfragen ab Schreibt Laufzeiten der Anfragen sowie einige Zusatzinformationen in CSV-Datei Testfälle: TREENAVIGATION Zur Untersuchung der Baumzugriffe Zufällige Zugriffe auf Knoten eines Baums Gemessen wird: benötigte Zeit zum Auflisten der Kindknoten MASSDATA Zugriffe auf Massendaten im gleichmäßigen Zeitabstand Jeder Zugriff besteht aus vier Schritten: Zufällige Navigation zu einem Messresultat Laden der Liste der zugehörigen Submatrizen Laden der ValueMatrix. Laden der zugehörigen Massendaten Gemessen wird: Zeitbedarf jedes einzeln Schrittes des Zugriffs 5

6 Testwerkzeug. BMW Benchmark Launcher Startet einen oder mehreren BMWbenchmark-Clients. Konfiguration über Properties-Datei : NumberOfProcesses: Zahl der zu startenden Clients TestCaseType: TREENAVIGATION oder MASSDATA TestCaseDuration: Geplante Dauer des Tests in Min. TestCaseMinWait: min. Wartezeit zw. zwei Zugriffen in Sek. TestCaseMaxWait: max. Wartezeit zw. zwei Zugriffen in Sek. Vorteile: Keine Abhängigkeit zwischen den Clients Softwareseitig kein Unterschied, ob alle Clients auf einem oder mehreren Rechnern laufen Ordnet jedem Client einen eigenen User zu 6

7 Lasttests. Untersuchung des Systemverhaltens bei vielen lesenden Zugriffen Testparameter: Zwei Client-Maschinen mit je 25 simulierten Usern Baumzugriffe mittels der BMWbenchmark-Client-Funktionalität TREENAVIGATION Zeitabstand zw. Zugriffen pro User: 1s bis 60s 7

8 Häufigkeit Avalon Performance Tests. Lasttests. Ergebnisse: Ermittelte Kennzahlen: Durchgeführte Anfragen insgesamt: Mittelwert Dauer Anfragedauer: 0,061s Maximale Dauer der Anfragen: 2,6s Standardabweichung: 0,1234s Verteilung der Dauer 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2 2,1 2,2 2,3 2,4 2,5 2,6 Laufzeit (in Sek.) Fazit: Großteil der Anfragelaufzeit zwischen 0 und 0.1s 90% der Zugriffe in unter 0.25s abgearbeitet Stabile Abarbeitung der Anfragen über die Zeit Keine Beeinträchtigung der Interaktivität des Users mit dem System

9 Langzeitstabilität. Untersuchung von Stabilität und Laufzeitverhalten über längere Zeiträume Testparameter: Anzahl der User: 1 Baumzugriffe mittels der BMWbenchmark-Client-Funktionalität TREENAVIGATION Test A: Häufige Interaktionen Test B: Lange Inaktivitätszeiträume

10 Laufzeit (in Sek.) Avalon Performance Tests. Langzeitstabilität. Testparameter Test A Häufige Interaktionen: Gesamtdauer des Tests: 8 Std. Zeitabstand zw. Zugriffen: 1s bis 30s Ergebnisse Test A: Ermittelte Kennzahlen: Mittelwert Anfragedauer: 0,045s Max. Dauer der Anfragen: 0,5s Standardabweichung: 0,073s Durchgeführte Anfragen gesamt: ,6 0,5 Dauer Test A 0,4 0,3 0,2 0, Verstrichene Zeit seit Start der Messung

11 Laufzeit (in Sek.) Avalon Performance Tests. Langzeitstabilität. Testparameter Test B Lange Inaktivitätszeiträume: Gesamtdauer des Tests: 48 Std. Zeitabstand zw. Zugriffen: 120s bis 1800s Ergebnisse Test A: Ermittelte Kennzahlen: Mittelwert Anfragedauer: 0,074s Max. Dauer der Anfragen: 1,0s Standardabweichung: 0,074s Durchgeführte Anfragen gesamt: 180 1,2 1 Dauer Test B 0,8 0,6 0,4 0, Verstrichene Zeit seit Start der Messung

12 Vergleichstests. Untersuchung der Performance und der Stabilität beim Zugriff auf Massendaten (insbesondere bei großen Datenmengen) Testparameter: PureMode und MixedMode Zugriffe mittels der BMWbenchmark-Client-Funktionalität MASSDATA Zeitabstände zwischen Zugriffen: 1s Verschiedene Konfigurationen: MAX_NUMBER_LC: max. Anzahl LocalColumns im Avalon-Cache FREE_NUMBER_LC: Anzahl aus dem Cache zu entfernende LocalColumns LOAD_COMPLETE_SUBMAT: Einlesen aller LocalColumns einer Submatrix

13 Zugriffszeit (in Sek.) Avalon Performance Tests. Vergleichstests. Zugriffszeit (in Sek.) Ergebnisse PureMode Metadaten und Massendaten in der Oracle-DB: 0,18 0,16 0,14 0,12 0,1 0,08 0,06 0,04 0,02 0 Testparameter: Konfiguration A der athos.ini MAX_NUMBER_LC = 300 FREE_NUMBER_LC = 100 LOAD_COMPLETE_SUBMAT = NO Konfiguration B der athos.ini MAX_NUMBER_LC = 120 FREE_NUMBER_LC = 50 LOAD_COMPLETE_SUBMAT = YES Laden der Valuematrix 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Laden von Massendaten Gesamtgröße der Submatrix Gesamtgröße der Submatrix pure mode A pure mode B

14 Vergleichstests. Ergebnisse MixedMode Metadaten in der Oracle-DB Massendaten in Datendateien Testparameter: Konfiguration A der athos.ini MAX_NUMBER_LC = 120 FREE_NUMBER_LC = 50 LOAD_COMPLETE_SUBMAT = YES Konfiguration B der athos.ini MAX_NUMBER_LC = 300 FREE_NUMBER_LC = 100 LOAD_COMPLETE_SUBMAT = YES Konfiguration C der athos.ini MAX_NUMBER_LC = 120 FREE_NUMBER_LC = 50 LOAD_COMPLETE_SUBMAT = NO Konfiguration D der athos.ini MAX_NUMBER_LC = 300 FREE_NUMBER_LC = 100 LOAD_COMPLETE_SUBMAT = NO 3,5 3 2,5 2 1,5 1 0,5 0 0,18 0,16 0,14 0,12 0,1 0,08 0,06 0,04 0,02 0 Laden von Massendaten mixed mode A mixed mode B mixed mode C mixed mode D Laden der Valuematrix 14

15 Vergleichstests. Fazit PureMode: Linearer Anstieg der Zugriffsdauer mit der Größe der Submatrix keine signifikanten Auswirkungen der Konfigurationsunterschiede MixedMode: Linearer Anstieg der Zugriffsdauer mit der Größe der Submatrix Gravierende Unterschiede in den Konfigurationen Positive Auswirkung von LOAD_COMPLETE_SUBMAT = YES auf großen Submatrizen Zugriffsdauer beim Laden der Valuematrix bei allen Konfigurationen nahezu identisch

16 Vergleichstests. Zugriffszeit (in Sek.) MixedMode versus PureMode Konfiguration A der athos.ini MAX_NUMBER_LC = 120 FREE_NUMBER_LC = 50 LOAD_COMPLETE_SUBMAT = YES 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Laden von Massendaten Größe der Submatrix pure mode mixed mode MixedMode bietet deutlichen Performance-Gewinn gegenüber PureMode!

17 Ausblick. Weitere Tests sind notwendig Testfälle: Sehr große Datendateien > 1 GB Test des CorbaFileservers Noch größere Useranzahl Testkonfigurationen: Avalon im 64bit Modus MDF4-Datendateien Weitere Athos.ini-Konfigurationen Oracle-Optimierung 17

18 Danke für Ihre Aufmerksamkeit! 18