Performance Messungen

Transkript

1 Performance Messungen 1

2 Einordnung titativ iv Quan Qualitat Kontrollierte Eperimente mit Probanden Fragebög en 3 Think Aloud Protokolle Mensch Computer Technisch h h Interview Fallstudien Zeitreihen analysen 4 Perform ance Beweise 1

3 Aufgabe Bestimmen Sie die schnellste Sortierfunktion Gruppe 1: Mergesort vs. Quicksort Gruppe : Quicksort Rekursiv vs. Quicksort Iterativ Gruppe 3: Quicksort Javavs vs. Quicksort C Gruppe 4: Quicksort C++ vs. Quicksort Haskell Stellen Sie die Ergebnisse mit einem Poster vor Diskutieren Sie die Ergebnisse. Vertrauen Sie den Ergebnissen der anderen Teilnehmer? 3

4 Lernziele Aussagekräftige Performance Analysen selbst durchführen können Performance Analysen bewerten können 4

5 Warum Performanceanalyse? Alternativen vergleichen Einfluss eines Features System Tuning Relative Performance erkennen (über Zeit) Absolute Performance für ausgewählte Fälle Erwartungen setzen Analyse von Systemverhalten 5

6 Analysetechniken Messen keine vereinfachenden Annahmen idr i.d.r. am glaubwürdigsten infleibel, spezielles System Simulation Abstraktion Fleibel Analytisches Modellieren Mathematische Beschreibung des Systems StarkeAbstraktion Abstraktion, i.d.r. kaum glaubwürdig Insbesondere zur frühen Validierung 6

7 Benchmark Ausführen realer Programme/Hardwarekomponenten in realen Umgebungen g (keine analytische Simulation) Messen von Performance, Speicherverbrauch, usw. Automatisierbar Kein menschlicher Einfluss 7

8 Benchmark Beispiele 3DMark (Grafikkarte/System) TCP H (Datawarehouse) TCP C (OLTP) Sintel (Video Encoder) 8

9 Was messen? Ausführungszeit CPU Zyklen MIPS (Million instructions per second) MFLOPS (Million floating pointoperations operations per second) SPEC (System Performance Evaluation Cooperative) QUIPS (Quality improvements per second) Transaktionen pro Sekunde 9

10 Aufgabe Welche Kriterien sollte eine gute Metrik erfüllen? Sind die vorgestellten Metriken gute Metriken nach Ihren Kriterien? 10

11 Kriterien Kriterium i Eecution CPU MIPS MFLOPS SPEC QUIPS Transactions/ Time Zyklen second Linearität Reliabilität + + Einfache Messbarkeit Konsistenz Wiederhol barkeit Unabhängig keit Beispiel für Prüfungsfrage: Welche Metrik(en) würden Sie benutzen, um den schnellsten Sortieralgorithmus zu bestimmen? 11

12 Störvariablen Beeinflussen das Messergebnissystematisch ti oder unsystematisch Beispiele: Hintergrundprozesse Hardwareunterschiede Temparaturunterschiede Eingabedaten, zufällig? Heap Size Hardware Plattform System Interrupts Parallelität in Single und Multicore Systemen Garbage Collection 1

13 Aufgabe Wie kann man diese Störvariablen kontrollieren? 13

14 Typisches Vorgehen: Bester Wert Wiederholen id hl Bester, zweitbester oder schlechtester Wert Bsp: Antwortzeiten für Programmieraufgabe R: Daten einlesen data < read.csv("rt.csv", header=true, sep = ";", dec = ".") header: gibt an, ob Variablen/Spaltennamen in der ersten Zeile stehen sep: Separator fürdatensätze in der selben Zeile dec: Dezimaltrennzeichen min(data)/ma(data) 14

15 Typisches Vorgehen: Mittelwert Messung wiederholen Mittelwert bilden arithm n 1 1 i n i1... n n R: mean(data) 15

16 Median Wert, der in der Mitte liegt Robust gegen Ausreißer R: median(data) Bei gerader Anzahl an Messwerten: Arithmetisches ti h Mittel der beiden mittleren Werte Einen der beiden mittleren Werte angeben 16

17 Median oder Mittelwert? Median statt arithemtisches ih i h Mittel, wenn Ordinale Daten* Wenig Messwerte Asymmetrische Verteilung Ausreißer *Skalenniveaus Nominal (z.b. Geschlecht) Ordinal (z.b. Platzierungen) Metrisch (z.b. Temperatur, Antwortzeit) 17

18 Daten anschauen Überblick verschaffen Verteilung und Ausreißer einschätzen 18

19 Histogramme Häufigkeit von Messwerten in festgelegten Bereichen R: hist(data) 19

20 Boplots Boplot zeigt Median als breite Linie Quartile als Bo (50% aller Werte in der Bo) Whiskers Ausreisser als Punkte Graphische Darstellung von Verteilungen R: boplot(data) 0

21 Violin Plot Zeigt zusätzlich zu Boplot die Verteilung der Daten R: library(vioplot) vioplot(data) 1

22 Recap Benchmarks Metrikenzur Performance Messung Daten visualisieren

23 Messmodel y = τ + ε y: beobachteter Wert τ: wahrer Wert ε: Fehler Population: griechische Buchstaben Stichprobe: deutsche Buchstaben 3

24 Fehlermodell Eht Echter Mittelwert: t 10 1 zufälliger Fehler, Einfluss +/ 1 Messwerte: 9 (50%) und 11 (50%) zufällige Fehler, je +/ 1 Messwerte: 8 (5%), 10 (50%) und 1 (5%) 3 zufällige Fehler, je +/ 1 Messwerte: 7 (1.5%), 9 (37.5%), 11 (37.5%), 13 (1.5%) N zufällige Fehler, je +/ 1 Normalverteilung 4

25 Normalverteilung 5

26 Standardabweichung Standardabweichung n n s n n i i 1 1 ) (... ) ( ) ( ) ( 1 i 1 Bildquelle CC BY.5 Mwtoews 6

27 Standardabweichung: Anwendung Ausreißer definieren Hochbegabung definieren Entdeckung des Higgs Boson verkünden 7

28 Konfidenzintervall z (1 ) s z ; n (1 ) s n : Mittelwert z: Wert der Standardnormalverteilung alpha: 1 Wert des Konfidenzintervall (z.b. 95%) s: Standardaweichung n: Anzahl der Messungen 8

29 Konfidenzintervall: Bedeutung Bedeutung Vertrauensintervall Wahrer Mittelwert liegt in 95% im Intervall Technischer: Bei grosser Anzahl von Wiederholungen des Eperimentsliegt in 95% der Fälle der wahre Mittelwert in dem jeweils berechneten Konfidenzintervall 9

30 Konfidenzintervall: Anwendung Überlappung: vmtl ki kein Unterschied Keine Überlappung: vmtl Unterschied Mehr Messungen verkleinert Intervalle 30

31 Genauigkeit vs. Präzision Genauigkeit: Abweichung beobachteter Mittlewerte vom wahren Mittelwert Wichtig bei Zeitmessungen Präzision: Streuung um Stichprobenmittelwert Ursache von Messfehlern unklar 31

32 Zufällige vs. Systematische Fehler Systematische Fhl Fehler: Fhl Fehler des Eperiments/der Messmethode CPUSpeed: Messung bei unterschiedliche Temperaturen Zustand nicht zurückgesetzt für zweite Messung Geringe Varianz, bis konstant über alle Messungen Im Design ausschließen, braucht Erfahrung Genauigkeit Zufällige Fehler Nicht kontrollierbar Stochastische Methoden Präzision 3

33 Signifikanztests Rigoroser als Vergleich von Konfidenzintervallen Zur Evaluierung, ob Messreihen unterschiedlich sind Z.B. t Test 33

34 T TestTest Entwickelt von Student (William Sealy Gosset) Vergleich von Messreihen Nullhypothese h (H 0 ) Alternativhypothese h (H 1 ) Messreihen sind gleich, i.e., Daten von beiden Messreihen stammen aus der selben Population Formal: Statistische Hypothese Daten beider Messreihen stammen aus unterschiedlichen Populationen H 1 Formal: H 1 0 : 1 : 34

35 T Test: Test: Ergebnis Bestimmt twh Wahrscheinlichkeit, hilihkitdas beobachtete b t Ergebnis unter Annahme der H 0 zu erhalten > bedingte Wahrscheinlichkeit Wenn Wahrscheinlichkeit kleiner ist als: sehr sehr signifikant 0.01 sehr signifikant 0.05 typisches Signifikanniveau 0.10 oft bei eplorativen/initialen Untersuchungen muss Nullhypothesefalsch sein Signifikanzniveau Vorher definieren! 35

36 T Test: Test: Aussage Was bd bedeutet signifikantes ifik Ergebnis? Ist Nullhypothese falsch? > Nein Ist Alternativhypothese richtig? > Nein Kein Gegenbeweis für Gültigkeit der Nullhypothese gefunden Aufschreiben: Ablehnen/nicht ht ablehnen der Nullhypothese Nie: Bestätigen der Null /Alternativhypothese 36

37 T Test: Berechnung von Hand (1) T Test: Berechnung von Hand (1) Berechnung der Kenngröße ) ( 1 1 ˆ t Datensatz (ProgramComprehensionRT): t = ) ( ) ( n 1 n ) ( 1 1 1) ( 1) ( ) ( ) ( ˆ 1 n n n n i i i i 1 1 ) ( ) ( 37

38 T Test: Test: Berechnung von Hand () Freiheitsgrade (Degrees of freedom, df) für t Test: n + n _ 1 (hier: 11) Tabelle mit t Verteilung (z.b. wikipedia) t /, df 11,0101 Vergleich mit beobachtetem Wert (t emp = 1.477) t /, df 11 ist t emp >? nein, darum nicht ihtsignifikant ifik 38

39 T Test: Test: Einseitig vs. Zweiseitig Zweiseitig: Keine Kenntnisse über Richtung des Effekts (z.b., welches System schneller ist) Signifikanzniveau halbieren Einseitig: Vermutung, das ein System schneller ist Signifikanzniveau muss nicht halbiert werden t, df 11 1,796 39

40 T Test: Test: R tt t.test(datapc1, t(d t datapc) dtpc) Ausgabe: Welch Two Sample t test data: datapc1 and datapc t = 1.5, df = , p value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of mean of y p Wert: Bedingte Wahrscheinlichkeit, Ergebnis unter Annahme der H 0 beobachtet zu haben Wenn p Wert kleiner als definiertes Signifikanzniveau ist, ist Ergebnis signifikant 40

41 T Test: Test: Varianten T Test für unabhängige Stichproben: ih Zusammensetzung der Stichproben ohne gegenseitige Beeinflussung Z.B. zufällige Zuteilung von Probanden in einer oder andere Stichprobe T Test für abhängige gg Stichproben: Zusammensetzung einer Stichprobe hängt von Zusammensetzung anderer Stichprobe ab Z.B.: Wiederholungsmessungen, zuteilen von Ehepartnern in unterschiedliche Stichproben 41

42 T Test: Test: Vorrausetzungen Metrisches Skalenniveau Normalverteilte Daten (z.b. Shapiro Wilk) Oder: n >= 30 4

43 Mann Whitney U Nicht parametrischer Test Bei ordinalen Daten (oder nichtnormalverteilten metrischen Daten) Berechnung der Kenngröße: U n 1 n n 1 ( n 1 1 ) T 1 T n i1 r i r : i Rangplätze in der Stichprobe 43

44 Lernziele Aussagekräftige Performance Analysen selbst durchführen können Performance Analysen bewerten können 44

45 Literatur David Lilja. Measuring Computer Performance: A practitioner's guide. Cambridge University Press. 000 Paper 1, & 3 Beliebiges Statistikbuch 45