Softwaretechnik AI7. Wesentliche Inhalte der Vorlesung

Transkript

1 Softwaretechnik AI7 Einleitung-1 Wesentliche Inhalte der Vorlesung Softwarequalität Profiling Leistungsmessung, -bewertung Kennzahlen Standard-Benchmarks Anwendungsbenchmarks Software-Entwicklung in verteilten Systeme CORBA Einleitung-2

2 Prüfung Wann? April 2000 Wie? schriftlich Wo? siehe Aushang Einleitung-3 Literatur M. Haas, W.Zorn: Methodische Leistungsanalyse von Rechensystemen, Jim Gray: The Benchmark Handbook, SAP AG: Standard Application Benchmark Description, S. Baker: CORBA Distributed Objects, Einleitung-4

3 Wozu Leistungsmessung? Entwicklersicht Qualitätssicherung Finden von Schwachpunkten Anwendersicht Systemauswahl Welches System ist das Richtige? Einleitung-5 Systemauswahl Frage: Welches System ist das Richtige? Antwort: Das System, das die anstehenden Aufgaben mit den geringsten Kosten löst. Einleitung-6

4 Benchmarks Was ist ein Benchmark? Spezifikation oder auch fertiges Softwareprodukt. Realisierbar auf unterschiedlichen (miteinander konkurrierenden) Plattformen. Welche Aussagen kann ein Benchmark liefern? System Durchsatz Preis Preis/Leistung A 1 tps 10 TDM 10 TDM/tps B 10 tps 50 TDM 5 TDM/tps C 50 tps 2 MDM 40 TDM/tps D 100 tps 1 MDM 10 TDM/tps Einleitung-7 Computer Leistungsvergleich MIPS MFLOPS Einfache Benchmarks Dhrystone, Linpack, Whetstone SPEC Benchmarks TPC Benchmarks BAPco Benchmarks SAP Anwendungsbenchmarks Einleitung-8

5 Benchmark Schlüsselkriterien Relevanz Aussagen über typische Operationen des Problembereiches. Aussagen zu Leistung und Preis/Leistung. Portabilität Muss leicht auf andere Plattformen übertragbar sein. Skalierbarkeit Auf kleine und größerer Systeme anwendbar. Einfachheit Verständlichkeit ist erforderlich um allgemein akzeptiert zu werden. Einleitung-9 Benchmarketing Ziel: Finden eines Benchmarks, bei dem das zu verkaufende System Sieger ist. 2 Ansätze Definition eines eigenen, auf das System zugeschnittenen Benchmark. Eingrenzen des Vergleichssegmentes Beispiel: "Schnellstes Datenbanksystem im Bereich relationaler Systeme unter AIX auf 2-Prozessormaschinen mit 128 MB Hauptspeicher" Einleitung-10

6 SPEC Benchmarks Standard Performance Evaluation Corporation Gegründet 1988 zahlreiche Mitglieder: u.a. SUN, HP, IBM... Ziel: Entwicklung standardisierter Vergleichsmöglichkeiten von Computer Systemen. Einleitung-11 Aktuelle SPEC Benchmarks SPEC SDM91 typische Kommandos aus Unix Entwicklungsumgebung SPEC CPU95 : SPECint95, SPECfloat95,... CPU-Bewertung: Integer/Float-Zahl Berechnungen SPEC JVM98 Java Virtual Machines SPEC WEB99 Webserver SPEC SFS97 File Server, NFS server performance test Einleitung-12

7 Datenbank-Benchmarks TPC-Benchmarks Wisconsin Benchmark Engineering Database Benchmark (OO1) Einleitung-13 TPC-Benchmarks Transaction Processing Performance Council Konzentration auf DB-Benchmarks TPC-A (seit 1990) einfache Operationen, inzw. obsolet TPC-B (seit 1990) einfache Operationen,ohne Netzwerk, inzw. obsolet TPC-C (seit 1992) relevant für OLTP Systeme TPC-D (seit 1992) relevant für Decision Support Systeme (Data Warehouse) Einleitung-14

8 TPC - Grundregeln Nur Standard-Hardware ist zugelassen Nur am Markt freigegebene Software Festgehalten werden Daten über Leistung Kosten / Leistung Einleitung-15 TPC - C OLTP Business Modell: Lieferant, Artikel, Lager, Gebiete, Kunden, Bestellung Aus jedem Lager werden 10 Gebiete beliefert. Jedes Gebiet bedient 3000 Kunden. Jedes Lager versucht Artikel auf Lager zu halten. 10% aller Anfragen werden nicht aus dem zugeordneten Lager bedient. 5 vorgeschriebene Transaktionen Leistungsmetrik: Anzahl der durchführbaren Bestellungen / Minute (tpmc). Einleitung-16

9 TPC - C Transaktionen (vorgeschriebene Antwortzeiten) New-Order (read-write) hohe Häufigkeit Simulation von Fehlern: 1% der Transaktionen wird zurückgerollt. Payment (read-write) Order-Status(read-only) niedrige Häufigkeit Delivery (read-write) verarbeitet 10 noch unbearbeitete Bestellungen Stock-Level (read-only) Einleitung-17 TPC - C Daten Tabellen Kardinalitäten Satzlängen Ausgangsdatenbank Definierter Ausgangszustand. Für jeden Kunden existiert eine bezahlte Bestellung. Hoher Prozentsatz bereits gelieferter Waren.... Einleitung-18

10 Anwendungsbenchmarks BAPco Business Application Performance Consortium Vereinigung von PC Hard- und Softwareherstellern Ziel: Leistungsvergleiche basierend auf client-server office Anwendungen. WinWord, Excel, Lotus,... R/3 Standard Application Benchmark Ziel: Leistungsvergleich verschiedener Hardware und Betriebssysteme in unterschiedlichen R/3 Modulen. Einleitung-19 R/3 Standard Applications Benchmarks Dialog Batch FI Financials AA Assets Accounting PS Project System HR Human Resource MM Materials Management Internet SD Sales & Distribution Online Store PP WM IS-R Production Planning Warehouse Management Retail Supply Chain ATO - Assemble to Order Einleitung-20

11 Veröffentlichte Ergebnisse: SD Benchmark Bei 3-Ebenen Architektur Einleitung Kennzahlen des SD-User Benchmarks Prozessoren SMP Datenbank-Server Prozessoren für R/3 Services 1,575,000 verarbeitete Bestellposten / Stunde (ergibt 438 Bestellposten / Sekunde) 10.4 GB 1.21 GB 25.3 GB Datenblöcke wurden in 25 Minuten geschrieben Datenblöcke wurden in 25 Minuten gelesen Redo Log Information in 25 Minuten geschrieben Einleitung-22

12 Weitere Kennzahlen des SD-User Benchmarks 525 1, ,200 14, SAP Transaktionen / Sekunde Bildschirmwechsel / Sekunde DB Transaktionen / Sekunde DB Aufrufe / Sekunde DB Änderungsoperationen / Sekunde Mbit / Sekunde Netzwerkverkehr zum DB Server MB / Sekunde durchschnittlich von Platten gelesen MB / Sekunde durchschnittlich auf Platten geschrieben (Spitzenwert: 50 MB / Sekunde) TB benötigter Plattenplatz Einleitung-23 Erstellung eigener Benchmarks Zunächst klären: Was möchte man vom System erfahren? Performance Funktionalität Benutzbarkeit Entwicklungskosten Wieviel möchte man investieren? Entwicklerzeit Maschinenressourcen Managementzeit Abwägen: Einfachheit Realitätsnähe Einleitung-24

13 Entwicklung eigener Benchmarks Faktoren: Anwendungslogik Datenbankzugriffe kostet oft den größten Teil der Zeit Netzwerkverkehr entdecken von Engpässen Beachten: Modellierung der Ankunftszeitverteilung der Transaktionen Gleichverteilung oft unrealistisch Einleitung-25