ArcSDE Performance Tuning. Martin Stötzel ESRI Geoinformatik GmbH

Transkript

1 ArcSDE Performance Tuning Martin Stötzel ESRI Geoinformatik GmbH

2 Übersicht Hardware Tuning der Applikationen Tuning ArcSDE Oracle Performance Tuning Fragen

4 Hardware ArcSDE Performance Tuning ArcSDE Performance Tuning

5 Hardware Beispielhafte Konfiguration für DB-Server, 4-6 gleichzeitige Benutzer CPU Leistung 2 Prozessoren mit mindestens 1 GHZ Memory mindestens 1 GB RAM Festplatten je mehr, desto besser, z.b. 6 x 36 GB zwei Festplatten-Kontroller

7 Tuning der Applikationen Display Performance ArcCatalog Thumbnails machen das aufwändige Öffnen und Lesen von Feature-Klassen überflüssig

8 Tuning der Applikationen Display Performance ArcMap Anzahl der Layer im Map-Dokument minimieren Detailierungsgrad vom Maßstab abhängig machen Scale suppression Übersichslayer verwenden sdegroup, Turbo Layer Alle die Layer ins Map-Dokument übernehmen, zwischen denen Beziehungen definiert sind Einfache Symbolisierung benutzen

9 Tuning der Applikationen Beispiel: Zeitaufwand für Symbolisierung Datenbestand: Linien Zeit in Sekunden Simple Complex 0 Display 2000 Display 6000

10 Tuning der Applikationen Beispiel: Performance-Gewinn bei Group-Layern Display Performance Zeit in Sekunden Maßstab Normal Group

11 Tuning der Applikationen Edit Performance ArcMap Das Shared Editing Tool arbeitet auf allen Feature- Klassen eines Datasets Alle Feature-Klassen ins Map-Dokument übernehmen Edit Cache benutzen Reduziert Datentransfer zwischen Klient und Server

13 ArcSDE 8.1 Server-Architektur TCP/IP Network Application SDE Client & In-Process Server Application SDE Client Libs ESRI License Manager RDBMS SDE Server (GSRVR) Spawn Server Connection Request SDE GIOMGR Database Server

14 ArcSDE 8.1 Server-Architektur Application TCP/IP Network SDE Client & In-Process Server Application SDE Client Libs ESRI License Manager RDBMS SDE Server (GSRVR) Spawn Server Connection Request SDE GIOMGR Database Server

15 ArcSDE Tuning Wichtige Konfigurationsparameter XY Offset und Scale dbtune Spatial Index... und natürlich alles, was vor diesem Kapitel erwähnt wurde und noch erwähnt werden wird...

16 ArcSDE Tuning - Konfigurationsparameter Datei giomgr.defs $SDEHOME/etc bzw. %SDEHOME%\etc ArcSDE Parameter LAYERS REGISTRATIONS CONNECTIONS STATELOCKS MAXTABLELOCKS OBJECTLOCKS RASTERCOLUMNS RASTERBUFSIZE MINBUFSIZE MAXBUFSIZE MINBUFOBJECTS LOCKS MAXTIMEDIFF MAXBLOBSIZE BLOBMEM AUTOCOMMIT MAXINITIALFEATS MAXDISTINCT MAXSTREAMS SHAPEPTSBUFSIZE MAXARRAYBYTES STREAMPOOLSIZE STATECACHING TCPKEEPALIVE READONLY ATTRBUFSIZE MAXARRAYSIZE

17 ArcSDE Tuning - Konfigurationsparameter MINBUFSIZE und MAXBUFSIZE Parameter bestimmen Größe der Puffer, die zwischen Klient und Server ausgetauscht werden Default Werte: MINBUFSIZE 16K, MAXBUFSIZE 64K Werte bei großen Ladeoperationen erhöhen Server schreibt MINBUFSIZE und schickt Daten zum Klienten. MAXBUFFSIZE Falls Klient beschäftigt, schreibt Server weiter bis MAXBUFSIZE. MINBUFFSIZE Gleiches Verhalten in entgegengesetzter Richtung MINBUFFSIZE

18 ArcSDE Tuning - Konfigurationsparameter AUTOCOMMIT Default: COMMIT alle 1000 Datensätze COMMIT-Intervall erhöhen, um Schreiboperationen auf DB zu reduzieren Nachteil: Ausreichend große Rollbacksegmente erforderlich Parameter kann bei Administrationskommandos (z.b. shp2sde) explizit angegeben werden

19 ArcSDE Tuning - Konfigurationsparameter MAXARRAYSIZE Definiert Anzahl der Datensätze, die auf einmal aus DB gelesen werden Default: 100 Datensätze Performance-Gewinn durch Erhöhung bzw. Reduktion möglich. Abhängig von Art der zu lesenden Geo-Daten Display Features Zeit in Sekunden

20 ArcSDE Tuning - XY Offset Definiert linke untere Ecke des Koordinatenbereichs Alle Koordinaten werden um diese Werte reduziert Z.B. shp2sde o create... x ,200000, Für alle Feature-Klassen einheitlich vergeben Wichtig auch für Speicherbedarf

21 ArcSDE Tuning - Scale Definiert Genauigkeit der Koordinaten Z.B. shp2sde o create... x ,200000, Für alle Feature-Klassen einheitlichen und sinnvollen Wert vergeben Wichtig auch für Speicherbedarf

22 ArcSDE Tuning - dbtune Enthält Parameter zur Speicherung von Tabellen, Indizes etc. Z.B. Tablespace-Namen, initiale Tabellen-Größen etc. Ab ArcSDE 8 ist dbtune eine Tabelle im SDE Dictionary Ermöglicht optimale Verteilung und Dimensionierung von DB-Objekten Abschnitte in dbtune werden über Schlüsselworte referenziert Bearbeitung sdedbtune o export... editieren sdedbtune o import... Benutzung, z.b. shp2sde o create... k WILSON...

23 ArcSDE Tuning - dbtune Vorgehen Repräsentativen, kleinen Datenbestand laden Größen der entstandenen Tabellen und Indizes analysieren Tools: DBA Studio, SQL*Plus, etc. Endgültige Größen extrapolieren Passende dbtune Sektion erzeugen Endgültigen Datenbestand laden Ziel: Performance Daten und Indizes auf unterschiedliche Festplatten verteilen Fragmentierung minimal halten

24 ArcSDE Tuning - dbtune Storage string Keyword name Table storage parameter Index storage parameter End of keyword

25 ArcSDE Tuning - Spatial Index Ermöglicht schnellen räumlichen Zugriff auf Geodaten Wird definiert bei Anlage einer Feature-Klasse z.b. shp2sde o create... g oder via ArcCatalog Pro FC sind bis zu 3 Grid-Level möglich Kann bei Bedarf geändert werden z.b. sdelayer o alter... g Analyse sdelayer o si_stats...

26 ArcSDE Tuning - Spatial Index 18 x 32 = 576 Bytes

27 ArcSDE Tuning - Spatial Index 2 x 32 = 64 Bytes = 11 %

28 ArcSDE Tuning - Spatial Index Layer 1 Spatial Index Statistics: Level 1,Grid Size Grid Records: Feature Records: Grids/Feature Ratio: 2.60 Avg. Features per Grid: 2.99 Max. Features per Grid: 33 % of Features Wholly Inside 1 Grid: Spatial Index Record Count By Group Grids: <=4 >4 >10 >25 >50 >100 >250 > Features: % Total: 92% 7% 1% 0% 0% 0% 0% 0%

29 ArcSDE Tuning - Spatial Index Layer 1 Spatial Index Statistics: Level 1,Grid Size Grid Records: Feature Records: Grids/Feature Ratio: 1.05 Avg. Features per Grid: Max. Features per Grid: 728 % of Features Wholly Inside 1 Grid: Spatial Index Record Count By Group Grids: <=4 >4 >10 >25 >50 >100 >250 > Features: % Total: 99% 0% 0% 0% 0% 0% 0% 0%

31 Oracle Performance Tuning Wichtige Konfigurationsparameter init.ora Wichtige Tipps zu Sorts I/O Optimierung Der Oracle Optimizer

32 Oracle Architektur Server process PGA Instance DB Buffer SGA Log Buffer Shared pool SQL Dictionary User process DBWR LGWR Parameter file Control files Password file Data files Database Redo log files Archived log files

33 Oracle Performance Tuning init.ora Parameter-Datei für die Oracle Datenbank Zu finden unter %ORACLE_HOME%\..\admin\%ORACLE_SID%\pfile Name: init%oracle_sid%.ora Beispiel: c:\oracle\admin\krb66\pfile\initkrb66.ora Enthält wichtige Konfigurationsparameter der DB Bei den folgenden Parameter-Einstellungen handelt es sich um Beispiele - nicht generalisierbar!

34 Oracle Performance Tuning init.ora Wichtige Parameter db_file_multiblock_read_count Gibt an, wieviel DB-Blocks mit einem Zugriff gelesen werden db_file_multiblock_read_count = 8 db_block_buffers Anzahl DB-Blocks, die in SGA gespeichert werden (Cache) db_block_buffers = shared_pool_size Größe des Shared Pool für SQL und Dictionary Cache Shared_pool_size =

35 Oracle Performance Tuning init.ora Wichtige Parameter log_checkpoint_interval und log_checkpoint_timeout Gibt an, in welchen Intervallen Oracle die Log-Buffer in die Log- Files schreibt. Beide auf 0 setzten, damit Buffer nur bei Log Switch geschrieben wird log_buffer Größe der Log-Buffer in SGA Sinnvolle Größe 1/3 der Log-Files log_buffer =

36 Oracle Performance Tuning init.ora Wichtige Parameter db_block_size Größe der Oracle Blöcke auf Festplatte Fix mit Oracle 8i, variabel mit 9i Änderung erfordert Neuinstallation! db_block_size = compatible Kompatibilitätsparameter Wenn keine Abwärtskompatibilität notwendig ist, auf aktuelles Release setzen compatible = 8.1.7

37 Oracle Performance Tuning init.ora Wichtige Parameter sort_area_size und sort_area_retained_size Oracle muß bei bestimmten Operationen sortieren create index, order by, etc. Ziel: Sortierung im Memory durchführen Parameter definieren Größe dieses Bereichs Defaults zu klein! Achtung: Wird für jeden Benutzerprozess angelegt! sort_area_size = sort_area_retained_size =

38 Oracle Performance Tuning Wichtige Tipps zu Sorts Oftmals reicht Memory Bereich nicht aus Sortiert wird dann in einem temporären Tablespace Dedizierten temporären Tablespace einrichten Explizit Usern zuweisen Storage Parameter für diesen Tablespace unbedingt optimieren SQL> Alter tablespace temp default storage (initial 1M next 1M pctincrease 0 maxextents unlimited);... Oder natürlich mit Tools, wie DBA Studio oder Enterprise Manager!

39 Oracle Performance Tuning I/O Optimierung Tablespaces für Daten und Indizes auf separaten Platten einrichten Oracle Log-Files auf spezieller Festplatte plazieren, da extrem I/O lastig Das gleiche gilt für den Tablespace der Rollback- Segmente

40 Oracle Performance Tuning Oracle verfügt über einen eingebauten Optimizer Vier Betriebs-Modi CHOOSE ALL_ROWS FIRST_ROWS RULE Default: CHOOSE nutzt Statistiken für cost-based Optimierung, falls solche vorhanden sind Statistiken: Anzahl und durchschnittlicher Speicherbedarf der Datensätze etc.

41 Oracle Performance Tuning Optimizer SQL> select table_name,num_rows,avg_space,last_analyzed 2 from user_tables where table_name like 'VEGETATION%'; TABLE_NAME NUM_ROWS AVG_SPACE LAST_ANALAYZED VEGETATIONF VEGETATIONL VEGETATIONP

42 Oracle Performance Tuning Optimizer SQL> analyze table VEGETATIONF compute statistics; Table analyzed. SQL> analyze table VEGETATIONL compute statistics; Table analyzed. SQL> analyze table VEGETATIONP compute statistics; Table analyzed.

43 Oracle Performance Tuning Optimizer SQL> select table_name,num_rows,avg_space,last_analyzed 2 from user_tables where table_name like 'VEGETATION%'; TABLE_NAME NUM_ROWS AVG_SPACE LAST_ANALAYZED VEGETATIONF APR-02 VEGETATIONL APR-02 VEGETATIONP APR-02

44 Oracle Performance Tuning Optimizer Statistiken generieren/aktualisieren mit ArcCatalog

45 Oracle Performance Tuning Optimizer Statistiken generieren/aktualisieren mit ArcSDE Admin-Befehl DOS> sdetable -o update_dbms_stats -t up_l_leitungsabschnitt -m compute -u sfg -p sfg -i s cedro ArcSDE Build 938 Thu Nov 8 13:04:25 PST 2001 Attribute Administration Utility DBMS statistics for table up_l_leitungsabschnitt updated. DBMS statistics for the feature table updated.

46 Oracle Performance Tuning Optimizer Statistiken generieren/aktualisieren mit SQL*Plus Analysiert (optional) alle Tabellen und Indizes eines Benutzers DOS> sqlplus sys Enter password: ******** SQL> execute dbms_utility.analyze_schema('sde','compute'); PL/SQL procedure successfully completed.

47 Oracle Performance Tuning Optimizer Beispiel: Zeitaufwand für Reconcile Vergleich mit und ohne aktuelle Optimizer Statistiken Situation: Reconcile Reconcile Aktuelle Statistken Keine Statistiken Zeit in Sekunden