Performance-Engpass im SVC? Analyse - Beispiel. Michael.Pirker@sva.de

Transkript

1 Performance-Engpass im SVC? Analyse - Beispiel Michael.Pirker@sva.de Michael.Pirker@SVA.de SVA

2 Thema / Agenda Analyse- Tool Performanceanalyse Präsentation mit Filmen zum Download Passendes White Paper (dt. / engl.) Performance-Engpass im SVC? Auf der Suche nach der Ursache erfolgreiche Beispiele Abstract: Kein IT-Prozess, der nicht irgendwann durch einen Flaschenhals behindert wird. Deshalb muss man jedoch nicht gleich in neue Hardware investieren. Eine Analyse zeigt auf, wo die Gründe für den Flaschenhals zu suchen sind. In der Präsentation werden verschiedene Engpasssituationen aufgezeigt und wie man sie erkennt um sie zu lösen. Mehr Use Cases Page 2

3 Ein paar Stichpunkte zum verwendeten Tool BVQ BVQ - Business Volume Qualicision Monitoring, Reporting, Analyse, Accounting, SLA Management, VMware Integration Für SVC, Storwize V7000, Storwize V3700 SVA Eigenentwicklung Vertrieb über SVA und verschiedene Geschäftspartner 50 Kundeninstallationen in Deutschland Eigenständiges System oder Erweiterung zu IBM VSC Page 3

4 Die BVQ Darstellungsweise Am Beispiel was passiert in unseren Speicherpools? BVQ Treemap Komplexe Zusammenhänge übersichtlich dargestellt Gesamte Speichersystem Speicherpools Großer Speicherpool Kleiner Speicherpool Page 4

5 Die BVQ Darstellungsweise Am Beispiel was passiert in unseren Speicherpools? BVQ Treemap Komplexe Zusammenhänge übersichtlich dargestellt Gesamte Speichersystem Speicherpools Freie Kapazitäten in den Pools Volumes in den Pools Page 5

6 Die BVQ Darstellungsweise Am Beispiel was passiert in unseren Speicherpools? Alle Informationen auf einem Schirm Speicherpool.. freie Kapazität.. normale Auslastung (grün) Volume.. mit großer Kapazität.. zu teuer gespeichert (blau).. richtiger Speicherort (grün).. überlastet Pool (rot).. verschieben mit Drag & Drop Speicherpool ist unausgelastet Page 6

7 Tiefgehende Performanceanalysemöglichkeiten Auffälliges Objekt rechte Maustaste Analyse Kumulierter Performancegraph Cache % DR above Cache DR below Cache (Controller) Cacheverhalten und Leistung Backend Storage Page 7

8 SVA BVQ und die IBM Welt TPC ganze RZ Disksysteme Tapesysteme SAN Filesysteme BVQ Spezialist SVC Storwize weniger Komplexität einfacher Setup analytische Tiefe SVC Storwize Page 8

9 Start Analyse SVA

10 Ziel der Analyse Performanceprobleme in einem VMware Server VMware Speicherressourcen zeigen Peaks Page 10

11 Sporadisch auftretende Antwortzeiten-Peaks! z.b. VMware System mit vielen Disks welche SAN Disk analysieren? Diese Frage ist mit etwas Geduld lösbar!? Problem Disk Page 11

12 Antwortzeiten-Peaks bei Disks aus dem SAN VMware Systeme verwenden oft viele SAN Disks welche Disk muss analysiert werden?? Problem Disk Page 12

13 Demo Video: BVQ VMware Integration Package Page 13

14 Customer Data screenshot blurred Periodisch auftretende Antwortzeit-Probleme mit dem Volume ESX_D37 Start der Analyse mit dem problematischen Volume Page 14

15 Problemzeitraum: Situation im Volume IOPS Page 15

16 Problemzeitraum: Situation im Volume IOPS Gleichbleibende IO Belastung Latenzzeiten anzeigen Page 16

17 Problemzeitraum: Situation im Volume IOPS Response Time Plötzlich auftretende Latenzzeitspitzen bei gleichbleibender IO Belastung Page 17

18 Problemzeitraum: Situation im Volume Manchmal liegt das Problem beim Verursacher hohe Last führt zu großen Antwortzeiten leicht verständlich und leicht einsehbar Zeichen genereller Überlastung IOPS Response Time Oft jedoch hohe Antwortzeiten ohne Begründung Überlastung IOPS und Antwortzeitenverlauf deckend Unverändertes IO Pattern Antwortzeit normal wenige ms 200ms Peaks ohne erkennbaren Grund. Teilweise über mehrere Stunden IOPS Response Time Peak Belastung und Antwortzeitenverlauf absolut unterschiedlich Page 18

19 Demo Video: Response Time Peak Extreme high response times! Without any visible reason Constant IO rates Small response times Page 19

20 Problemursache eingrenzen 2 typische Problemursachen Verbindungsproblem in SAN Überlastung des SANs, verzögerte Datentransfers Fehlerzustände im SAN Überlastung des Backendspeichers und der Caches große Datenmengen werden in die SVC Caches geschrieben Partielle Cache Fullness in der Managed Disk Group Cache steht nicht mehr zur Verfügung Page 20

21 Verbindungsprobleme im SAN? Überprüfung der SAN Ports Fehlerzustände in den SAN Ports Buffer Credit Wait Situationen Allgemeine Überlastung der Ports Einseitige Überlastung Page 21

22 Customer Data screenshot blurred Problemursache im SAN? Wir starten eine Analyse der SVC Node Ports um herauszufinden, ob wir ein SAN Problem in dem fraglichen Zeitraum haben. Page 22

23 SVC SAN Ports analysieren Data Rate Overall MiB/s Page 23

24 SVC SAN Ports analysieren Data Rate Overall MiB/s Fehler in den SAN Ports? Page 24

25 SVC SAN Ports analysieren Data Rate Overall MiB/s Keine Fehler im Zeitraum Page 25

26 SVC SAN Ports analysieren Data Rate Overall MiB/s Behinderungen im SAN? Fehlende SAN Puffer? Page 26

27 SVC SAN Ports analysieren Buffer Credit wait % Data Rate Overall MiB/s Keine wesentlichen Behinderungen! (0.2%) Page 27

28 SVC SAN Ports analysieren Auf ein Einzel-Port- Basis sieht man starke Unterschiede in der Portauslastung! Nicht die Ursache für unser Performance Problem, aber zu klären! Data Rate Overall MiB/s Page 28

29 Verbindungsprobleme im SAN? Überprüfung der SAN Ports Fehlerzustände in den SAN Ports Buffer Credit Wait Situationen Allgemeine Überlastung der Ports Einseitige Überlastung Keine Fehlerzustände Geringe Buffer Credit Wait % <<10% Keine Überlastung im fraglichen Zeitraum Asymetrische Port Belastung Page 29

30 Verbindungsprobleme im SAN? Beispiel Buffer Credit Wait% Schreibbehinderung, Datenstau Immer aus Sicht von SVC! (schreibend) Nicht im Switch sichtbar! Grund liegt irgendwo im Datenpfad Im einfachsten Fall falscher Switch Parameter Komplexerer Fälle Slow Drainig Device Defekter HBA Probleme in einem Server Probleme in einem Speicher Buffer Credits im SAN Switch von 8 auf 24 gesetzt Beobachtung: Synchrone Spiegel Sync Rate wesentlich verbessert. Page 30

31 Demo Video: Verbindungsprobleme im SAN? Page 31

32 Cache Overflow im Speicherpool? Wir starten eine Analyse der Cache Partition des betroffenen Speicherpools (mdg), um festzustellen ob wir ein Cache Overflow Problem haben Page 32

33 Cacheproblem! Überprüfung der Mangaged Disk Group Cache Partition Cacheauslastung der MDG überprüfen OK: Nadeln auf 100%, Plateau auf 80% Kritisch: Plateau auf 100% Gefährlich: Nadeln oder Plateau über 100% Page 33

34 Speicherpool Cache Partition analysieren Cache Partition Fullness max % 103% Cache Auslastung in der Speicherpool (mdg) Partition Page 34

35 Speicherpool Cache Partition analysieren Was passiert im Backend Speicher? Write Destage Rate Page 35

36 Speicherpool Cache Partition analysieren 1 Cache Destage Rate steigt von 100 pages/s auf bis zu 2000 pages/s an 2 Cache Partition Fullness max % Write destage max ops/s Page 36

37 Cacheproblem! Überprüfung der Mangaged Disk Group Cache Partition Cacheauslastung der MDG überprüfen OK: Nadeln auf 100%, Plateau auf 80% Kritisch: Plateau auf 100% Gefährlich: Nadeln oder Plateau über 100% Cache ist bis zu 103% überlastet! Write Destage Raten von 100 ops/s 2000 ops/s! Daten können nicht schnell genug auf den Backend Storage geschrieben werden. Page 37

38 Demo Video: MDG Cache Partition full? Page 38

39 Lösungen suchen! 2 typische Gründe 1. Zu viele Writeoperationen in der gleichen Zeit reduzieren oder zeitlich strecken, organisatorische Maßnahmen Volumes suchen, die für den Cache Overflow verantwortlich sind Problem organisatorisch lösbar? Nein Infrastrukturmaßnahme 2. Backendspeicher zu langsam Infrastrukturmaßnahme Manchmal nur Minderung des Problems Page 39

40 Customer Data screenshot blurred Welches Volume ist für den Cache Overflow verantwortlich? Wir analysieren alle Volumes aus dem Speicherpool um festzustellen, wer im fraglichen Zeitraum große Datenmengen geschrieben hat. Page 40

41 Welche Volumes haben den Cache überfüllt? Date Rate Write Page 41

42 Welche Volumes haben den Cache überfüllt? IOPS Response Time Der Peak Summe der IOPS und Mittelwerte der Antwortzeiten im fraglichen Zeitraum Page 42

43 Welche Volumes haben den Cache überfüllt? IOPS Response Time Wir haben Interesse an den Writes der Volumes Page 43

44 Welche Volumes haben den Cache überfüllt? Cache Size Date Rate Write Offensichtlicherweise Max Cache Size mehr geht nicht! Aggregat (Summe) aller Writes mit Write Cache Size Page 44

45 Welche Volumes haben den Cache überfüllt? Date Rate Write Writes der einzelnen Volumes Page 45

46 Welche Volumes haben den Cache überfüllt? Date Rate Write Volume 1 Page 46

47 Welche Volumes haben den Cache überfüllt? Date Rate Write Volume 2 Page 47

48 Welche Volumes haben den Cache überfüllt? Das Problem wird von 2 parallel schreibenden Volumes erzeugt. Lösung entzerren? Date Rate Write Page 48

49 Demo Video: find the responsible disks Page 49

50 Hohe Antwortzeiten ohne Grund! Gleiches IO Pattern Antwortzeit in ms IOPS Keine Auffälligkeiten im SAN BCR % SVC Port Datarate Managed Disk Group Cache ist auffällig Cache Overflow Daten können nicht weitergeschoben werden Cache full % Write Destage Rate Problem ist paralleles Schreiben! Verantwortlichen Disks identifiziert Applikation / Server bekannt Gegenmaßnahmen strukturell oder Verbesserung des Backendspeichers Parallels Schreibe n Page 50

51 Schlussfolgerung Es gibt verschiedene Maßnahmen, die die Situation verbessern können 1. Cache Overflow in einer MDG Partition war für das Performanceproblem verantwortlich 2. Die Volumes, die für den Cache Overflow verantwortlich waren, wurden identifiziert 3. Server und Applikation können jetzt leicht identifiziert werden Mögliche Lösungen Schreiboperationen zeitlich entzerren Performance der Schreiboperationen limitieren Volume 1 IO Govering im SVC einschalten (prüfen, kann kritisch sein) Write Cache der Volumes ausschalten Volume 2 Volumes in eine eigene MDG isolieren Page 51

52 Königsoption Cache abschalten? Date Rate Write Beide Volumes haben keine Leseaktivität und profitieren bei Aktivität nur sehr wenig vom Cache Cache abschalten es kommt auf einen Test an. Cache Hit Write Overwrite in Cache Page 52

53 Ende der Analyse SVA

54 Page 54 BVQ Einsatzgebiete Monitoring, Überwachung und Reporting Leistungsparameter im Blick halten und dokumentieren Planung und Ausbau unterstützen, Kosten reduzieren Kostenoptimalen Speichermix finden, Easy Tier Planung unterstützen Reibungsfreier Betrieb, Speicherprobleme finden und lösen Checkup auf typische Bottlenecks, Probleme finden und lösen VMware Integration VMware Objekte im Kontext von SVC Objekten anzeigen und überwachen Leistungsbezogene Abrechnung von Speicherkosten Organisationsbezogene Verwaltung von Speicherressourcen Speicherbezogene SLAs überwachen SLA Konformität sicherstellen Remote Kopien und Snapshots überwachen Aktualität von Spiegeln und Kopien sicherstellen BVQ Anwendungsbeispiele

55 Page 55 BVQ Einsatzgebiete Monitoring, Überwachung und Reporting Leistungsparameter im Blick halten und dokumentieren Planung und Ausbau unterstützen, Kosten reduzieren Kostenoptimalen Speichermix finden, Easy Tier Planung unterstützen Reibungsfreier Betrieb, Speicherprobleme finden und lösen Checkup auf typische Bottlenecks, Probleme finden und lösen VMware Integration VMware Objekte im Kontext von SVC Objekten anzeigen und überwachen Leistungsbezogene Abrechnung von Speicherkosten Organisationsbezogene Verwaltung von Speicherressourcen Speicherbezogene SLAs überwachen SLA Konformität sicherstellen Remote Kopien und Snapshots überwachen Aktualität von Spiegeln und Kopien sicherstellen BVQ Anwendungsbeispiele

56 Technische Analyse - Risikoanalyse Nur wenige Schritte zur technischen Risiko-Einschätzung notwendig SVC/Storwize Knoten Auslastung Caches überlastet? SAN richtig dimensioniert? SAN Fehler oder Beeinträchtigungen im SAN? Backend Speichersysteme Performance? Einseitige Überlastungen? Pro-Aktiv: Risiko Einschätzung, Engpässen vermeiden Re-Aktiv: Performanceprobleme lösen Page 56

57 Spezielles Angebot Herz Kreislauf Check Aktuelles Analyse Angebot für SVC und Storwize V7000 Klärt die wichtigsten Fragen Wie stark ist das System ausgelastet? Wo sind Belastungsgrenzen? Wie sieht die kostenoptimale Erweiterung aus? Gibt es aktuell Bottlenecks? Page 57

58 BVQ Komponenten Komplettinstallation auf einem Server. Optional weitere Klienten auf anderen Systemen. Installationszeit wenige Stunden. BVQ Server Windows Server z.b. VMware Gast System 4GB-6GB RAM BVQ Applikation BVQ GUI auch extern IBM SVC V7000 VMware VCentrer BVQ SVC Scanner BVQ VMware Scanner BVQ Reporter Cognos Sys Mgmt Page 58

59 Deutsche Webseiten BVQ Webseite mit Kundenreferenzen und Seite für BVQ Vertriebspartner Inhalte des BVQ Wiki Technische BVQ Webseite von SVA GmbH BVQ Videos auf dem YouTube SVA Kanal Internationale Webseiten IBM developerworks BVQ Community Blog Page 59

60 Weitere Informationen zu BVQ finden sie unter der Webseite Bei Interesse an BVQ wenden Sie sich bitte an die folgende Adresse BVQ ist ein Produkt der SVA System Vertrieb Alexander GmbH Page 60