Datenanalyse und Messungen

Transkript

1 Datenanalyse und Messungen Budapest University of Technology and Economics Fault Tolerant Systems Research Group Budapest University of Technology and Economics Department of Measurement and Information Systems 1

2 Rendszermodellezés BENCHMARKING 2

3 Warum benchmark? 3

4 Benchmarking Ziele: Vergleich der Leistung von Software- oder Hardwarekomponenten o Entscheidungsunterstützung Welche Komponente soll gekauft/installiert werden? Was kann das existierende System leisten? o Leistungstesten Soll die Leistung erhöht werden? Wo? (bei Entwicklung) Ist eine gegebene Einstellung optimal? Hat eine Einstellung tatsächliche Auswirkung auf die Gesamtleistung? 4

5 Wiederholbarkeit o Repeatability Reproduzierbarkeit o Reproducilibity Relevanz Erwartungen Konformität mit Normen/Vereinbarungen Verallgemeinerter Anwendungsfall o Das Ergebnis sei für den Durchschnittsbenutzer interpretierbar 5

6 Wissenschaftliche/technische Systeme o Verarbeitung von großen Datenmengen (number crunching) o Parallele Methoden Transaktionsmanagement (OLTP) o Klient-Server Umgebung o Viele schnelle, parallele Transaktionen Batch-Datenverarbeitung o Reporterstellung aus großen Datenmengen Entscheidungsunterstützung o Wenige, komplexe Abfragen o Ad-hoc Operationen o Viele Daten (z.b. OLAP) Virtualisation Benchmark-Belastungsmodelle 6

7 Zu messende Parameter (Metriken) Laufzeit o Anfang, Ende? o Verteilung o CPU, I/O, Netzwerk, Transaktionsgeschwindigkeit o Antwortzeit des Systems o Sogar verschachtelte Transaktionen (Grenz)Durchsatz o (Maximale) Verarbeitete Datenmenge / Laufzeit o nach Belastung 7

8 Antwortzeit Zu messende Parameter(2) o nach Belastung Anzahl der Benutzer Anzahl der Transaktionen, usw. X-Perzentil o x Prozent einer gegebenen Menge ist stärker als dieser Wert 8

9 Ausführung des Benchmark Versicherung der Relevanz o Wird die richtige Anwendung gemessen? o Art der Belastungsgenerierung soll die wirkliche Belastung annähern o Minimalisierung der störenden Faktoren 9

10 SPEC benchmarkok o Standard Performance Evaluation Corp. Ressource- und Anwendungsbenchmark o CPU o Anwendungen o Mailserver o Webserver usw. Benchmark: bestellbare Dienstleistung 10

11 CPU-intensiv CINT2006 SPEC CPU2006 o Rechenintensiv, mit Ganzzahlen CFP2006 o Mit Gleitkommazahlen Beispiel: 11

12 CINT2006 und CFP2006 Leistungsgeneratoren CINT2006 : 400.perlbench C Programming Language 401.bzip2 C Compression 403.gcc C C Compiler 429.mcf C Combinatorial Optimization 445.gobmk C Artificial Intelligence 456.hmmer C Search Gene Sequence 458.sjeng C Artificial Intelligence 462.libquantum C Physics / Quantum Computing 464.h264ref C Video Compression CFP2006: 471.omnetpp C++ Discrete Event Simulation 473.astar C++ Path-finding Algorithms 483.xalancbmk C++ XML Processing 12

13 TPC benchmark Messung von Datenbankmanagement-Systemen o RDBMS+OS+HW Messungsumgebung o Musterdatenbank: Kunden und Bestellungen o 5 Arten von Transaktionen (Abfragen/Modifizierungen) gemischt o Obere Grenze für die Laufzeit o Reale Umstände: ACID Transaktionen, Benutzer-Bedenkzeit Gemessene Daten o Grenzdurchsatz (tpmc) o Effizienz ($/tpmc) 13

14 TPC-C Schema Warehouse W 100K Stock W*100K W Item 100K (fixed) 10 Legend District W*10 Table Name <cardinality> one-to-many relationship 3K secondary index Customer W*30K 1+ Order W*30K+ 0-1 New-Order W*5K History W*30K+ Order-Line W*300K+ Forrás: tpc.org 14

15 Vor der Analyse: Reinigung o Unsere Basisdatenmenge: o Überflüssige Daten: o Zeilen (z.b. Anfangszeile, und die Zeilen am Ende des Bestandes, die sich nicht zum Ergebniss gehören) o Spalten (z.b. Server CPU Type wird nicht gebraucht) o In verschiedenen Währungen angegebene Kosten 15

16 Welche Jahre wurden analysiert? 16

17 Wann waren die Lieferanten aktiv? 18

18 Leistungsmetriken 19

19 Änderung der Leistung mit der Zeit 20

20 Entwicklung der Preise 21

21 Kosten nach DB-Management-Systemen 22

22 Kosten nach Betriebssystemen 23

23 Das,,big picture 24

24 SCHLUSSFOLGERUNGSSTATISTIK 25

25 Schlussfolgerungsstatistik 26

26 Population Schlussfolgerungsstatistik EDA Abtasten Hypothese repränsentatives Muster Datenerfassung Auswertung des Musters Wahrsch., Konfidenzint., usw. Datenreihe Schlussfolgerung 27

27 Faustregeln LLN (Law of Large Numbers, Gesetz der großen Zahlen) o Falls die Anzahl der Versuche nach unendlich geht, konvergiert die Auftrittshäufigkeit zur theoretischen Wahrscheinlichkeit 28

28 ? Mädchen in Ungarn Békés Heves Vas x Békés x Heves x Vas μ = X 1 + X X N N μ mean( x) 29

29 Population Schlussfolgerungsstatistik EDA Abtasten Hypothese repränsentatives Muster Datenerfassung Auswertung des Musters Wahrsch., Konfidenzint., usw. Datenreihe Schlussfolgerung 30

30 Entscheidungseingabe o irgendein Schwellenwert Typ der Datenreihe Schlussfolgerung o Beobachtungsstudie (observational study) o Experiment (experiment) Unterschied: Eliminierung der Zwischenvariablen 32

31 Fallstudie Girls who ate breakfast of any type had a lower average body mass index, a common obesity gauge, than those who said they didn't. The index was even lower for girls who said they ate cereal for breakfast. 33 Forrás:

32 Fallstudie 1. Breakfast, cereal keep girls slim 2. Being slim causes girls to eat breakfast 3. A confounding variable is responsible for both? 34 Forrás:

33 Entscheidungseingabe o irgendein Schwellenwert Typ der Datenreihe Schlussfolgerung o Beobachtungsstudie (observational study) Identität der Zwischenvariablen sind unsicher Nur Korrelation, keine kausale Folgerungen o Experiment (experiment) Zwischenvariablen sind gefiltert (Abtasten!) Auch kausale Folgerungen 35