Sun OS Strategie + Solaris 10 Ulrich Gräf Senior Consultant, OS Ambassador Platform Technology Group Sun Microsystems Deutschland GmbH
Agenda Betriebssystem Strategie Solaris 10 Futures in Solaris 10
Traditionelle Software-Architektur Anwendungen skalieren von 1 bis einigen 100 Nutzern Shrink-Wrap App Auf dem Desktop: 1 Kopie SW = 1 Kopie HW O/S Prozessor MVS OS400 370 AS400 DGUX 88K VMS VAX Aegis 68K Solaris AIX Sparc Power Irix Linux MIPS Ultrix Alpha x86 MAC OS Power HP-UX Windows x86 Precision
Neue Software-Architektur Comp Shrink-Wrap Comp App Comp O/S MW Prozessor VMS VAX Aegis 68K Comp MW Solaris AIX Sparc Power Irix Vernetzte Komponenten 370 AS400 88K MW MVS OS400 DGUX MW Linux MIPS Ultrix Alpha x86 MAC OS Power HP-UX Windows x86 Precision Service muss auf einige 1000 oder gar Millionen gleichzeitiger Nutzer skalieren!
Software-Architekturen Comp Shrink-Wrap Comp App Comp O/S MW Prozessor VMS VAX Aegis 68K Comp MW Java Plattform Solaris AIX TM Sparc Power Irix Vernetzte Komponenten 370 AS400 88K MW MVS OS400 DGUX MW Linux MIPS Ultrix Alpha x86 MAC OS Power HP-UX Windows x86 Precision XML Windows Plattform
Suns Vision Everything of Value Connected to the Network
XML XML Services Graphs XML EJB App SQL DB JSP Web LDAP Dir cache/ filter X 106 MSG SLA Capability Capacity Computing Pools Connectivity Internet/ Intranet Storage Virtualization Storage Pools Midlets J2ME Virtualisierung Provisioning - Infrastruktur - Services Telemetry Observability
OS im Bereich Commodity HW: IBM, HP, SGI: kein Unix für Commodity! > stattdessen Linux
Suns Multi-Plattform OS-Strategie SPARC und x86 Etablierte ISV-Akzeptanz bei SPARC, beginnende bei x86 > Linux Anwendungen ausführbar (x86) Skalierung > horizontal und vertikal Sun Systeme und 3rd Party HW Berechenbarer Release-Zyklus > Binärkompatibilität write once run forever Gerichtete Innovation Ergänzt Solaris (x86 / x64) Interoperabilität ISVs: Akzeptanz der Enterprise Versionen > Red Hat > SuSE Horizontale Skalierung Sun und 3rd Party HW > breites Spektrum Fokus: Open Source? Binär- Kompatibilität? Support: Sun Partner
Multiprozessor Cluster Proc I/O Mem Mem I/O Vertikale Skalierung / Scale Up / Data Facing Proc Memory Switch Cache-kohärente SMPs Ein grosser Hauptspeicher Ein Pool an Prozessoren Cluster Mgmt. Eng gekoppelt Hohe Bandbreite, Mehrere geringe Latenz OS Flexibles, dynamisches Instanzen Scheduling durch OS Skalierung im Knoten Hochverfügbare Knoten Leistungsfähige I/O-Subsysteme Lose gekoppelt Preisgünstige kleine Knoten 1-4 Wege, wenige IO-Slots Skalierung über Zahl der Systeme Last-Scheduling durch separate Komponente (HW oder SW) Loadbalancer, Oracle RAC, App Server, Grid Job Queing Systeme i.d.r. nur zu Beginn einer TA/Session/Job Hochparallele/parallisierte Lasten (Web, HPTC) RAS durch Replikation Proc Proc Proc Mem Mem Mem I/O I/O I/O Network Switch Horizontale Skalierung / Scale Out / Network Facing
Solaris 10 Zeitablauf: > 15. November 2004 Solaris 10 Launch > 25. Januar 2005 OpenSolaris Launch > 31. Januar 2005 Revenue-Release (Download) > 7. März 2005 General Availability (DVD/CD) > 14. Juni 2005 OpenSolaris online (Source + Tools)
Solaris 10 Lizenzen Solaris 10 Lizenz ist kostenfrei > Test, Development und Produktion > SPARC und x86 / x64 > 1... beliebig viele CPUs Source ist kostenfrei verfügbar (CDDL) > Recht auf Nutzung der Patente > änderbar, distributierbar > proprietäre Ergänzungen möglich Service Vertrag auf Wunsch > ggf. in Hardware Wartung enthalten
Solaris Design Entscheidungen Reliability - Zuverlässigkeit > Bessere Bearbeitung von Fehler-Situationen >Predictive Self Healing >lange Prüfsummen in ZFS Servicability Service im laufenden Betrieb > Dynamische Rekonfiguration (auch online) Observability - Überwachbarkeit > durchgängig OS-Kern, Anwendung, Java Resource Management bessere Auslastung
? Linux = Low Cost? x86 Hardware > billig, wenn basierend auf dem Home-PC > RZ braucht enterprise-grade HW (Home-PC?) Erweiterungen (Netzwerk-, Platten- Adapter) > Lebensdauer <= 1 Jahr > Linux Treiber nur für neue Kernels > Kontrast zu langlebigen Installationen > HW-Ersatz führt zur Neuinstallation, Service-Verlust > Ersatz-HW muss ggf. von Anfang an bereit stehen
Suns Beiträge zur Community Open Systems for Open Minds Definition von Standards Referenz Implementierungen Förderung und Mitarbeit in Standardisierungsgremien NFSv4 Open Source Implementierungen NFS GridEngine GNOME.org Mozilla.org http://www.sunsource.net
Die Solaris x86 HCL wächst 18. 4. 2005: 368 Systeme (~ 161 Laptops) http://www.sun.com/bigadmin/hcl/
Die integrierte Plattform für Network Computing Open Source Software Infrastructure Services Operating Systems Sun JAVA SYSTEMS TM Java Enterprise System Java Desktop System Java Card System Java Studio N1 Solaris TM Hardware Java Mobility System SPARC Linux x86
Solaris Release Zyklus Software Express for Solaris S9 12/02 S9 4/03 S9 8/03 Beta/Express S9 12/03 S9 4/04 S9U7 Solaris 8 S8 2/02 (EOL - TBD)? 2005? Solaris 7 01/03 04/03 Solaris 10 07/03 10/03 01/04 04/04 07/04 10/04 01/05
Solaris Release Life Cycle http://www.sun.com/software/solaris/fcc/lifecycle.html
http://www.sun.com/solaris/10
Innovation in Solaris 10 Dynamic Tracing Predictive Self Healing Extreme Performance Schneller TCP/IP Stack Fault Management Out of the Box Performance Architecture Vielzahl von Optimierungen Service Management Facility Live Monitoring von produktiven Systemen Solaris Container Trusted Solaris Military-Grade Security Software Partitioning Resource Management + Zonen und vieles mehr (über 600 Projekte)... NewBoot... ZFS
Predictive Self Healing Verfügbarkeit unter allen Umständen > Fehler-Erkennung & -Aggregation, Auto Recovery Reduzierte Downtime > Proaktives Offlining von Komponenten vor Ausfall > Automatischer Restart von Services > Diagnose & vorbeugende Massnahmen in Millisekunden Reduzierte Komplexität > Vereinfachtes Error Reporting > System & Service Abhängigkeiten werden korreliert Reduziert Kosten > Weniger Downtime > Mehr Server je Administrator
Traditionelle Fehlerbehandlung Jede Komponente agiert unabhängig behandelt und meldet Fehler eigenständig Menschen adressieren Fehler, Auswirkung, und korrigierende Aktion App UFS MD WARNING:/io-unit@fe0200000/sbi@0,0/dma@0,81000/esp@0,8000000 (esp0): Connected command timeout for Target 0.0 NOTICE: correctable error detected by pci0 (upa mid 1f) during DVMA read transaction AFSR=40f40000.1f800000 AFAR=00000000.a25b4000... [AFT0] errid 0x0000004d.23105c04 Corrected Memory Error on U1004 is Intermittent [AFT0] errid 0x0000004d.23105c04 ECC Data Bit 14 was in error and corrected SD PCI CPU
Definition von Fault Management F is broken Agent Fault Management Diagnosis and event recording Fault Mgr App I saw Z Error Handling I saw Y Data gathering, detection, and management of errors Fault Any defect that may produce errors Logs I saw X F
Fault Management Architecture (FMA) Error Handler Error Detection Data Gathering Error Handling Fault Manager Diagnosis Event Recording Service Agent Action Service Restart Black Listing
Fault Management der nächsten Generation Nutzerfreundliche Fehlermeldungen mit Aussagen zu Auswirkungen und erforderlichen Aktionen Alle Ereignisse werden durch einen einzigen Fault Manager Dienst verwaltet und koordiniert SUNW-MSG-ID: SUN4U-8000-6H; TYPE: Fault, VER: 1, SEVERITY: Major EVENT-TIME: Tue Aug 10 11:30:16 PDT 2004 PLATFORM: SUNW,Sun-Fire-880, CSN: -, HOSTNAME: donuts SOURCE: cpumem-diagnosis, REV: 1.2 EVENT-ID: dd541c0b-ddc5-46eb-aba0-b4bc01500b23 DESC: The number of errors associated with this CPU has exceeded acceptable levels. Refer to http://sun.com/msg/sun4u-8000-6h for more information. AUTO-RESPONSE: An attempt will be made to remove the affected CPU from service. IMPACT: Performance of this system may be affected. REC-ACTION: Schedule a repair procedure to replace the affected CPU. Use fmdump -v -u <EVENT_ID> to identify the CPU. Manager App UFS MD SD PCI CPU
SUNW-MSG-ID: SUN4U-8000-6H; TYPE: Fault, VER: 1, SEVERITY: Major EVENT-TIME: Tue Aug 10 11:30:16 PDT 2004 PLATFORM: SUNW,Sun-Fire-880, CSN: -, HOSTNAME: donuts SOURCE: cpumem-diagnosis, REV: 1.2 EVENT-ID: dd541c0b-ddc5-46eb-aba0-b4bc01500b23 DESC: The number of errors associated with this CPU has exceeded acceptable levels. Refer to http://sun.com/msg/sun4u-8000-6h for more information. AUTO-RESPONSE: An attempt will be made to remove the affected CPU from service. IMPACT: Performance of this system may be affected. REC-ACTION: Schedule a repair procedure to replace the affected CPU. Use fmdump -v -u <EVENT_ID> to identify the CPU.
Solaris 9 (10) - Performance UFS Logging Performance Enhancements (12/02) NFS Optimierungen Neue libthread one-to-one model Multiple Page Size Support stack, heap, anon memory US-III: 8K, 64K, 512K, 4M Neue Fixed-Priority (FX) Scheduling Klasse Optimierte Defaults für Tuning-Parameter Memory Placement Optimization (9/02) DISM: Large Page support (9/02) Small System Performance (4/04)
IP Stack Streamlining Fire Engine Ziel: Sättigen eines 10 Gb Ethernet > Classification Engine für IP Pakete > TCP Offloading Engine (TOE auf Netzwerk-Karte) TCP und IP Pakete: > neue dedizierte und effiziente Algorithmen > Fastpath für TCP (weniger Kopien der Daten) Verbesserte Skalierung auf SMP-Systemen > Netzwerk-Thread pro CPU Network Cache Accelerator in IP stack integriert
Solaris 10 Performance Sun V20z
Dynamic Tracing Analyse und Diagnose in Echtzeit Bahnbrechendes Werkzeug für Tuning Sicher und umfassend > Nicht-invasiv, geringer Overhead, einfach zu nutzen > Eine Sicht auf System- und Anwendungsebene > Über 30,000 Monitoring-Punkte: Ausgelegt für Nutzung auf Produktionssystemen > Testsysteme f. Reproduktion von Problemen nur selten > Postmortem-Debugging entfällt > Keine Produktion mit speziellem OS-Kernel (kadb) Reduziert Kosten > Lösungen in Minuten oder Stunden, statt Tage / Wochen > Optimierte Anwendungen: Beispiele mit 3-300x Speedup
DTrace # mpstat CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys 12 1 27 3504 338 206 765 27 114 65 1 337 9 19 13 1 19 5725 98 68 723 22 108 120 0 692 3 17 14 0 57 3873 224 192 670 22 75 86 1 805 7 10 15 36 7 1551 42 28 689 6 68 59 0 132 2 9 16 14 7 7209 504 457 1031 37 125 244 0 459 6 30 17 5 5 4960 150 108 817 37 98 154 0 375 6 26 18 5 6 6085 1687 1661 741 60 76 248 0 434 3 33 19 0 15 10037 72 41 876 23 100 291 1 454 2 19 20 12 5 5890 746 711 992 32 122 216 2 960 10 33 21 60 5 1567 729 713 467 15 80 59 0 376 2 35 22 0 6 4378 315 291 751 17 84 142 1 312 3 16 23 0 6 12119 33 3 874 20 82 384 1 513 4 24 # dtrace -n xcalls'{@[execname] = count()}' dtrace: description 'xcalls' matched 4 probes [ letting this run for a few seconds ] ^C mozilla-bin lockd in.mpathd... nfsd tar 1 1 3709 27054 wt idl 41 31 20 61 35 48 35 54 4 60 6 62 0 64 9 71 4 53 10 53 1 80 11 62
Service Management Facility (SMF) Kompatibilität: Everything still works > Anwendungen funktionieren wie gewohnt > Aufruf dokumentierter /etc/init.d Skripte geht > Keine Änderungen an Konfigurationsdateien > (ausser inetd.conf) Konvertierung rc-scripte nach Services > nach und nach erfolgen > erfordert lediglich ein Service-Manifest > rc*.d Skripte werden durch Service-Methoden ersetzt oder als solche aufgerufen
Solaris Service Dependency Graph Fault Manager system/fmd IP Filter network/pfil network/rpc/bind Stephen Hahn's Blog http://blogs.sun.com/roller/page/sch/20040917#smf_5_a_view_from1
Service Management Facility (SMF): Architektur management agent observability agent inet-service inetd(1m) repository API svc.configd(1m) process contract svc.startd(1m) repository client init(1m) KERNEL service
Service Management Facility (SMF): CLI Allgemeine Kommandos > svcs(1) > svcadm(1m) > svccfg(1m) > svcprop(1) inetd(1m) service status listings administrative actions general property manipulation property reporting (scripting) Management Kommandos: > inetadm(1m) > inetconv(1m) administrative actions/property mods conversion of legacy inetd.conf entries
Solaris Container Netzwerk 192.9.9.1 www s t o re 192.9.9.4 appserver Resource Management + Isolation im Hinblick auf - Security - Fehler 192.9.9.2 192.9.9.3 B2 B 192.9.9.5 oltp Domain 1 Independent Users Separate Networks Independent Storage Isolated Containers Disk Storage and File Systems
Features einer Zone Filesystem (~= Komfort - chroot - Konfigurator) Netzwork Interfaces Prozesse (/proc Schutz nach Zoneid) Shared Memory (Online Konfiguration) physikalische Devices (nur konfigurierte) Name Service (hosts, passwd,...) Kein Zugriff zu anderen lokalen Zonen root ist limitiert in der lokalen Zone (Application-root) Platform-Administration: root in globaler Zone
Solaris Resource Management Solaris Container = Zones + Resource Management task project zone task task zone Workload task Classification Resource Accounting proc proc proc proc proc proc = Resource Controls pool Scheduler pset IA, TS pool Scheduler pset FSS Differentiated Services Resource Containment CPU CPU IPQoS CPU CPU RAM rcapd
Solaris Container Manager Container Management Agent Domain 1 Sun Server 1 Domain 2 Domain 3 Sun Server 2
Beispiel für minimale Zone global# zonecfg -z twilight twilight: No such zone configured Use 'create' to begin configuring a new zone. zonecfg:twilight> create zonecfg:twilight> set zonepath=/export/home/twilight zonecfg:twilight> add net zonecfg:twilight:net> set physical=hme0 zonecfg:twilight:net> set address=192.9.200.55/24 zonecfg:twilight:net> end zonecfg:twilight> verify zonecfg:twilight> commit zonecfg:twilight> ^D global# zonecfg -z twilight info zonepath zonepath: /export/home/twilight global#
Virtuelle Maschinen versus Container HyperVisor Host OS Hardware IBM LPAR HP VPAR Container Container { Container Kernel 4000 auf einer V880 getestet Kernel Eine OS Instanz <1% Overhead Kernel OS OS { OS 5-15%? Overhead Viele OS Instanzen Solaris 10 OS Kernel SPARC or x86
Layered Trusted Solaris Military Grade Security in Solaris Layered Trusted Solaris Trusted Solaris 8 Trusted Networking Trusted Desktop LabelAware Services Trusted Networking Trusted Desktop LabelAware Services Modified TCP/IP Trusted's Labels Trusted's Privileges TCP/IP Solaris Zones Solaris Privileges Solaris 10
Network Security Architecture Cert Validation Certificates Private Keys Color Index a Future release a Solaris 10 a Available back to Solaris 9 ISV Interfaces Provider IKE/ IPsec Java's JCE JCE Public Key Certificate Framework Kerberos GSS-API CRAM-MD5 GSS-API SSL Digest-MD5 SASL Secure Shell Cryptographic Framework Hardware Software Smart Crypto Crypto Card Plug-in Plug-in Plug-in Smart Card Framework
Security Platform for Sun Service Processors Directory Server Cert Validation Certificates Private Keys IKE/ IPsec Provider Java's JCE JCE GSS-API Public Key Kerberos GSS-API Certificate Framework Web Services SASL Secure Shell SSL App Server CRAM-MD5 Identity Server Digest-MD5 Web Server Cryptographic Framework Hardware Software Smart Crypto Crypto Card Plug-in Plug-in Plug-in Sun Crypto Accelerators Crypto Processors Smart Card Framework SunRay Card Readers JavaCard
Solaris Datapath NFS > NFSv4 > NFS in WANs > Security > Performance UFS > Logging-Performance (S9 12/02) > Logging Default (S9 9/04) > Multiterrabyte UFS Solaris Volume Manager > good enough volume manager > Soft Partitioning, Persistent Device Ids... > Multiterrabyte volumes (S9 4/03) > Cluster Volume Management für Oracle RAC > Export/Import von Metasets
Future: New Boot Besserer erster Eindruck für Solaris x86 Booten von ZFS Installation von mehreren CDs ohne Reboot
Future: ZFS Existierende lokale Dateisysteme > Design: 70s / 80s > Datenkorruption nicht berücksichtigt > Spiegel ist Sache des Volume Managers > Zugriff auf andere Spiegelhälfte nicht vorgesehen > Vielzahl von Limits > Grösse, Anzahl Dateien, Zylindergruppen, Fragmente,... > Metadaten sind besondere Strukturen (limitiert!) > Aufwändig zu verwalten fsck, /etc/fstab, Partitionen, Volumes Zu viele Stellschrauben (? Erfolg)
Future: ZFS End-to-end Datenintegrität Transaktionen Self-Healing Überlegene Performance Immense Kapazität (128 Bit) Einfach zu verwalten (128-Bit Prüfsummen) (Copy on Write) (Zugriff auf 2. Spiegel) (random -> sequentiell) > Volume Manager Funktionen (zpool kann viele zfs enthalten) > Mount-Punkte im ZFS space (vfstab Einträge können entfallen) > quota/reservation als Attribute eines ZFS
FS/Volume Model vs. ZFS Traditional Volumes Abstraction: virtual disk Partition/volume for each FS Grow/shrink by hand Each FS has limited bandwidth Storage is fragmented, stranded FS FS FS Volume Volume Volume ZFS Pooled Storage Abstraction: malloc/free No partitions to manage Grow/shrink automatically All bandwidth always available Pool allows space to be shared ZFS ZFS Storage Pool ZFS
SVM/UFS Administration # format... (long interactive session omitted) # metadb -a -f disk1:slice0 disk2:slice0 # metainit d10 1 1 disk1:slice1 d10: Concat/Stripe is setup # metainit d11 1 1 disk2:slice1 d11: Concat/Stripe is setup # metainit d20 -m d10 d20: Mirror is setup # metattach d20 d11 d20: submirror d11 is attached # metainit d12 1 1 disk1:slice2 d12: Concat/Stripe is setup # metainit d13 1 1 disk2:slice2 d13: Concat/Stripe is setup # metainit d21 -m d12 d21: Mirror is setup # metattach d21 d13 d21: submirror d13 is attached # metainit d14 1 1 disk1:slice3 d14: Concat/Stripe is setup # metainit d15 1 1 disk2:slice3 d15: Concat/Stripe is setup # metainit d22 -m d14 d22: Mirror is setup # metattach d22 d15 d22: submirror d15 is attached # newfs /dev/md/rdsk/d20 newfs: construct a new file system /dev/md/rdsk/d20: (y/n)? y... (many pages of 'superblock backup' output omitted) # mount /dev/md/dsk/d20 /export/home/ann # vi /etc/vfstab... while in 'vi', type this exactly: /dev/md/dsk/d20 /dev/md/rdsk/d20 /export/home/ann ufs 2 yes # newfs /dev/md/rdsk/d21 newfs: construct a new file system /dev/md/rdsk/d21: (y/n)? y... (many pages of 'superblock backup' output omitted) # mount /dev/md/dsk/d21 /export/home/ann # vi /etc/vfstab... while in 'vi', type this exactly: /dev/md/dsk/d21 /dev/md/rdsk/d21 /export/home/bob ufs 2 yes # newfs /dev/md/rdsk/d22 newfs: construct a new file system /dev/md/rdsk/d22: (y/n)? y... (many pages of 'superblock backup' output omitted) # mount /dev/md/dsk/d22 /export/home/sue # vi /etc/vfstab... while in 'vi', type this exactly: /dev/md/dsk/d22 /dev/md/rdsk/d22 /export/home/sue ufs 2 yes # format... (long interactive session omitted) # metattach d12 disk3:slice1 d12: component is attached # metattach d13 disk4:slice1 d13: component is attached # metattach d21 # growfs -M /export/home/bob /dev/md/rdsk/d21 /dev/md/rdsk/d21:... (many pages of 'superblock backup' output omitted)
ZFS Administration (Skizze*) zpool erzeugen (~ disk / volume group ) # zpool create home mirror c1t0d0 c2t0d0 Filesystem erzeugen und eintragen # zfs create home/ann /export/home/ann # zfs create home/bob /export/home/bob # zfs create home/sue /export/home/sue zpool vergrössern # zpool add home mirror c1t1d0 c2t1d0 *) Syntax kann sich noch ändern!
Danke! Haben Sie Fragen? Ulrich Gräf Ulrich.Graef@Sun.COM