Oracle Solaris 11 Zones - Tipps und Tricks

Transkript

1 Oracle Solaris 11 Zones - Tipps und Tricks Heiko Stein Senior Architekt etomer GmbH

2 Die etomer GmbH. Gründung: Fokus: Ansatz: Tätigkeit: Kompetenz: Seit 2002 als beratendes Systemhaus am Markt vertreten. Unternehmenskritische IT-Infrastrukturen/-Anwendungen mit hohen oder höchsten Verfügbarkeitsanforderungen. Ausrichtung auf das Datacenterbackend. (HW, Unix/Linux, Datenbanken, Middleware, SAP-Basis). Ganzheitliche und verbindliche Beratung und Leistungserbringung im Spannungsfeld Technik Prozess Mensch. Bei namhaften Kunden aus den Bereichen öffentliche Hand, Mittelstand und Enterprisesegment im In- und Ausland. Hochspezialisiertes und langjährig erfahrenes Team aus Beratern, Trainern, Projektleitern und Architekten. Umfangreiche technologieübergreifende Akkreditierungen, Spezialisierungen und Zertifizierungen marktführender Technologielieferanten.

3 Agenda. What's new? Das Getriebe. Services/Konfigurationsfiles/Logs/Locks/Doors Tipps & Tricks. Zusammenfassung.

4 What's new. (1) IPS-basierende Installation Für die Installation einer lokalen Zone ist zwingend der Zugriff auf ein IPS-Repository abzusichern Nutzung des virtualisierten Netzwerkstack Installationsstandard exclusive IP-Stack mit VNIC s (anet) Automatische Erstellung von VNICs während der Installation Nutzung von Flows in lokalen Zonen NFS Server in Zonen

5 What's new. (2) Keine Solaris 8/9 branded Zones mehr, dafür Oracle Solaris 10 Zonen Delegierte Administration Bootenvironments Verbesserter Shutdown der Zonen Immutable Zones

6 What's new. (3) Verbessertes Monitoring der Resourcennutzung der lokalen Zone zonestat ZoSS Zones on Shared Storage Neues Resource-Control zone.max-processes

7 Das Getriebe. (1) Relevante Services Service Zone (g/l) Verwendung svc:/system/zones:default g Zones autoboot and graceful shutdown # svccfg -s zones setprop zonecfg/default_template = SYSblank svc:/application/pkg/zones-proxyd :default g Proxy-Server für pkg-relevante Datentransporte/Kommunikation zwischen globaler und lokaler Zone. svc:/application/pkg/zones-proxyclient:default globaler und lokaler Zone. Proxy-Client in der lokalen Zone für pkg-relevante Datentransporte/Kommunikation zwischen l svc:/system/zones-install:default g Auto-Install Service für lokale Zonen svc:/system/zones-monitoring:default g Schnittstelle für Monitoring der lokalen Zonen via zonestat(1m) Konfigurationsfiles Konfigurationsfiles/Templates in /etc/zones SYSblank.xml SYSdefault.xml SUNWdefault.xml->./SYSdefault.xml SYSsolaris.xml->./SYSdefault.xml SYSdefault-shared-ip.xml index SYSsolaris10.xml Verwendung Template für Zone mit exclusive IP-Stack und VNIC (manuelle Konfiguration während des 1. Startup) Template für Zone mit exclusive IP-Stack und VNIC (wird automatisch bei Boot/Halt gestartet/gestoppt) Link auf Defaultkonfiguration Link auf Defaultkonfiguration Template für Zone mit shared IP-Stack Zonenindex; enthält alle am System konfigurierten Zonen Template für Brand Solaris10 Zone

8 Das Getriebe. (2) Log-Files Logfile Zone (g/l) Verwendung /var/log/zones/zoneadm.<date Time>.<zonename>.install g Install-Logdatei /var/log/zones/zoneadm.<date Time>.<zonename>.uninstall g Uninstall-Logdatei /var/log/zones/zoneadm.<date Time>.<zonename>.install l Install-Logdatei /var/sadm/system/logs/install_log l detaillierte Install-Logdatei Lock's/Door's Lock's/Door's Zone (g/l) Verwendung /var/run/zoneproxy_door Door-Schnittstelle für Zonenproxy-Prozess für Zugriff auf IPS-Repository aus der g lokalen Zone /var/run/zonestat_door Door-Schnittstelle für zonestat-kommando zum Monitoring des g Resourcenverbrauches der lokalen Zone /var/run/zones/<zonename>.console_sock g Socket zu /dev/console der laufenden Zone (siehe zlogin -C ) /var/run/zones/<zonename>.snapshot.xml g Snapshot der aktuellen Konfiguration der laufenden Zonen /var/run/zones/<zonename>.zoneadm.lock g Lock für den laufenden zoneadmd-prozess /var/run/zones/<zonename>.zoneadmd_do Door-Schnittstelle zum zoneadmd der laufenden Zone or g

9 Tipps & Tricks - Automatisierte Installation. (1) Automatische Installation

10 Tipps & Tricks - Automatisierte Installation. (2) Was ist mit Zonen ohne konfigurierten NIC? Zones "erbt" Publisher aus Global Zone Zugriff auf das Repository ohne direkten Netzwerkzugang globale Zone # ll /var/run/zoneproxy_door Drw root root 0 Nov 19 20:27 /var/run/zoneproxy_door> # pgrep -lf zoneproxy 1945 /usr/lib/zones/zoneproxyd lokale Zone # ls -laf /var/run/zoneproxy_door Drw root root 0 Nov 19 20:02 /var/run/zoneproxy_door> # pkg publisher solaris # pgrep -lf proxy 3947 /usr/lib/zones/zoneproxy-client -s localhost:1008

11 Tipps & Tricks - Automatisierte Installation. (3) Bereitstellung Zonentemplate/Manifest/SC-Profil SC-Profil /usr/share/auto_install/sc_profiles/static_network.xml sysconfig(1m) Modifizierte Kopie/Template eines vorhandenen SC-Profil Manifest /usr/share/auto_install/manifest/zone_default.xml Modifizierte Kopie/Template eines vorhandenen Manifest Zonentemplate zonecfg(1m) Modifizierte Kopie/Template eines vorhandenen Zonentemplate

12 Tipps & Tricks - Automatisierte Installation. (4) Einmalige Aufwände Manifest bleibt generisch Minimale Anpassungen in Template/SC-Profile pro Zone Installation/Bereitstellung # zonecfg -z zone1 -f /tmp/t_zone1.cmd # zoneadm -z zone1 install -c /tmp/p_zone1.xml -m /tmp/m_zone1.xml # zoneadm -z zone1 boot; zlogin -e# -C zone1 Fertig!

13 Tipps & Tricks - Zonen mit VNIC (anet). (1) Ein oder mehrere VNIC per Zone (anet) Automatisch beim Boot erzeugt und einer Zone zugeordnet net0, net1, als Namen Exclusive-IP Stack ist Default Umfangreiche Konfigurationsmöglichkeiten Steuerung/Kontrolle der Vergabe von IP-Adressen Bandbreitensteuerung VLAN-ID's

14 Tipps & Tricks - Zonen mit VNIC (anet). (2) Zonenkonfiguration # zonecfg -z zone1 info anet linkname=net0 anet: anet: linkname: net0 lower-link: aggr0 allowed-address: /24, /24 configure-allowed-address: true Konfiguration/Limitation VNIC Auto. Nutzung Slot-MAC's mac-address: auto VLAN-Tagging vlan-id: 12 Bandbreitenlimitierung maxbw: 1024m

15 Tipps & Tricks - RCTL's. Sinnvolle Default-Resourcecontrols

16 Tipps & Tricks - P2V. (1) Vorraussetzungen Minimale Vorraussetzungen auf Quellsystem: Patch (SPARC) / (x86/x64) Patch , / (SPARC) Patch , / (x86/x64) Nutzung des Preflight System Checker for Oracle Solaris 11.1 (PSC) auf Oracle Solaris 10 System sol10node # unzip SUNWzonep2vchk.zip sol10node # pkgadd -d. sol10node # cd /opt/sunwzonep2vchk/bin sol10node #./zonep2vchk --Executing Version: Total issue(s) detected: 13 sol10node # Ggf. Konfiguration anpassen

17 Tipps & Tricks - P2V. (2) Bereinigung der durch den PSC anzeigten Issues Nutzung des PSC zur Erzeugung eines Brand Solaris 10 Zonen-Templates Anpassung des Templates an das Zielsystem zonepath usw. sol10node #./zonep2vchk -T S11 -c > /net/sol11node/sol10node.cmd sol10node # vi /sol10node.cmd set zonepath=/zones/node4 set hostid=1308f6cc add anet set linkname=e1000g0 set lower-link=net0 set mac-address=8:0:27:8d:b4:7b end

18 Tipps & Tricks - P2V. (3) Flasharchiv des Oracle Solaris 10 Systemes erstellen sol10node # flarcreate -n sol10node -S /net/sol11node/sol10node.flar Setup der Brand Solaris 10 Zone auf Oracle Solaris 11 System sol11node # zonecfz z sol10node f /sol10node.cmd sol11node # zoneadm -z sol10node install -p -a /sol10node.flar sol11node # zoneadm -z sol10node boot;zlogin -e# -C sol10node

19 Tipps & Tricks - ZoSS. (1) ZOSS unterstützt das Setup auf shared Storage und die Migration von Zonen zwischen verschiedenen Nodes. Unter ZOSS sind derzeitig folgende Anbindungen zur Nutzung als shared Storage freigegeben: Fibre Channel iscsi Die Basis des Konzeptes sind die neuen Zonen-Properties: rootzpool zpool

20 Tipps & Tricks - ZoSS. (2)

21 Tipps & Tricks - ZoSS. (3) suriadm(1m) suri(5) # suriadm lookup-uri /dev/dsk/c0t60a d6b415d f4ed0 lu:luname.naa.60a d6b415d f4e # suriadm lookup-uri /dev/dsk/c0t60a d6b415d f4cd0 lu:luname.naa.60a d6b415d f4c Setup Zonenkonfiguration # zonecfg -z zone1 create -b add rootzpool add storage lu:luname.naa.60a d6b415d f4e end add zpool set name=data add storage lu:luname.naa.60a d6b415d f4c end Logical Unit URI/ Name Address Authority

22 Tipps & Tricks - ZoSS. (4) Setup Zone # zoneadm -z zone1 install Created zone zpool: zone1_rpool Created zone zpool: zone1_data ZFS-Pools werden automatisch erzeugt ZFS Konfiguration nach Installation # zfs list grep zone1 zone1_data 83.5K 3.91G 31K /zones/zone1/root/data1 zone1_rpool 853M 48.1G 33K /zones/zone1 Automatischer Export/Import der ZFS-Pools nodea # zoneadm -z zone1 detach Exported zone zpool: zone1_rpool Exported zone zpool: zone1_data NodeB # zoneadm -z zone1 attach Imported zone zpool: zone1_rpool Imported zone zpool: zone1_data

23 Tipps & Tricks - Delegated Admin. Erweitert die Administrationsrechte für eine lokalen Zone um einen nichtprivilegierten User/Rolle root# su - zadmin zadmin# zlogin zone1 zlogin: You lack sufficient privilege to run this command (all privs required) zadmin# logout root# zonecfg -z zone1 "add admin;set user=zadmin;set auths=login,manage;end" root# su - zadmin zadmin# pfexec zlogin zone1 [Connected to zone 'zone1' pts/2] [Connection to zone 'zone1' pts/2 closed] Authorisation Login + Verwaltung zadmin# pfexec zoneadm -z zone1 halt zadmin# pfexec zoneadm -z zone1 uninstall Are you sure you want to uninstall zone zone1 (y/[n])? n

24 Tipps & Tricks - Immutable Zone. Root-Filesystem(e) der Zone teilweise oder vollständig readonly Implementation über Privilegien zonecfg set file-mac-profile = none: strict: gesamtes Filesystem readonly, logging remote fixed-configuration: /var schreibbar (ohne configs) flexible-configuration: /var und /etc schreibbar # zoneadm -z zone1 list -p -:zone1:installed:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:-:none # zonecfg -z zone1 "set file-mac-profile=strict;commit;exit" # zoneadm -z zone1 boot # zoneadm -z zone1 list -p 4:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:R:strict # zoneadm -z zone1 reboot -w # zoneadm -z zone1 list -p 5:zone1:running:/zones/zone1:befc8c9c-465f-ef82-b540ddc2e7453aa4:solaris:excl:W:strict

25 Tipps & Tricks - IP-Verbindung Zone2Zone. # dladm create-etherstub zonelink0 # zonecfg -z zonea info anet linkname=net1 anet: linkname: net1 lower-link: zonelink0 allowed-address: /8 configure-allowed-address: true # # zonecfg -z zoneb info anet linkname=net1 anet: linkname: net1 lower-link: zonelink0 allowed-address: /8 configure-allowed-address: true #

26 Tipps & Tricks - Monitoring mit zonestat. einfaches Monitoring # zonestat 1 12 Collecting data for first interval Interval: 1, Duration: 0:00:01 SUMMARY Cpus/Online: 32/32 PhysMem: 128G VirtMem: 255G ---CPU PhysMem-- --VirtMem-- --PhysNet-- ZONE USED %PART USED %USED USED %USED PBYTE %PUSE [total] % 5006M 3.81% 20.7G 8.08% % [system] % 4450M 3.39% 19.9G 7.81% - - global % 251M 0.19% 279M 0.10% % testzone % 73.9M 0.05% 113M 0.04% % Monitoring im Kontext einer einzelnen lokalen Zone # zonestat -z testzone1 1 Monitoring im Kontext Pool/Prozessorset # zonestat -r psets 1 12 Monitoring im Kontext RSS # zonestat -r physical-memory -z testzone1 1 12

27 Tipps & Tricks - Monitoring mit fsstat. Filesystemstatistiken im Zonenkontext -z <zonenname> # fsstat -z hsz -F 1 new name name attr attr lookup rddir read read write write file remov chng get set ops ops ops bytes ops bytes ufs:hsz K K 0 0 proc:hsz nfs:hsz K M 21.3K 257K 326M 23.8K 62.5M zfs:hsz K lofs:hsz # fsstat -z hsz -a zfs 1 getattr setattr getsec setsec 277K zfs:hsz zfs:hsz zfs:hsz zfs:hsz zfs:hsz zfs:hsz

28 Zusammenfassung. Default-Nutzung von RCTL's als weitere Isolation Kein Shared-IP Modell zur direkten Verbindung nötig Etherstub + VNIC Limitierung der IP-Vergabe in der Zonenkonfigurtion als Sicherheitsfeatures bzw. Schutz vor Fehlkonfiguration Nutzung von ZoSS als Basis für "PoorMan"-HA P2V als temporäre Überbrückung bei EOL-HW

29 Quellen. Oracle Solaris Preflight Applications Checker storage/solaris11/downloads/preflight-checker-tool html

30

31 Vielen Dank für Ihre Aufmerksamkeit.

32 Doors /var/run zoneproxy_door zonestat_door Verwendung Door-Schnittstelle für Zonenproxy-Prozess für Zugriff auf IPS- Repository aus der lokalen Zone Door-Schnittstelle für zonestat-kommando zum Monitoring des Resourcenverbrauches der lokalen Zone