Sun OS Strategie + Solaris 10

Transkript

1 Sun OS Strategie + Solaris 10 Ulrich Gräf Senior Consultant, OS Ambassador Platform Technology Group Sun Microsystems Deutschland GmbH

2 Agenda Betriebssystem Strategie Solaris 10 Futures in Solaris 10

3 Traditionelle Software-Architektur Anwendungen skalieren von 1 bis einigen 100 Nutzern Shrink-Wrap App Auf dem Desktop: 1 Kopie SW = 1 Kopie HW O/S Prozessor MVS OS AS400 DGUX 88K VMS VAX Aegis 68K Solaris AIX Sparc Power Irix Linux MIPS Ultrix Alpha x86 MAC OS Power HP-UX Windows x86 Precision

4 Neue Software-Architektur Comp Shrink-Wrap Comp App Comp O/S MW Prozessor VMS VAX Aegis 68K Comp MW Solaris AIX Sparc Power Irix Vernetzte Komponenten 370 AS400 88K MW MVS OS400 DGUX MW Linux MIPS Ultrix Alpha x86 MAC OS Power HP-UX Windows x86 Precision Service muss auf einige 1000 oder gar Millionen gleichzeitiger Nutzer skalieren!

5 Software-Architekturen Comp Shrink-Wrap Comp App Comp O/S MW Prozessor VMS VAX Aegis 68K Comp MW Java Plattform Solaris AIX TM Sparc Power Irix Vernetzte Komponenten 370 AS400 88K MW MVS OS400 DGUX MW Linux MIPS Ultrix Alpha x86 MAC OS Power HP-UX Windows x86 Precision XML Windows Plattform

6 Suns Vision Everything of Value Connected to the Network

7 XML XML Services Graphs XML EJB App SQL DB JSP Web LDAP Dir cache/ filter X 106 MSG SLA Capability Capacity Computing Pools Connectivity Internet/ Intranet Storage Virtualization Storage Pools Midlets J2ME Virtualisierung Provisioning - Infrastruktur - Services Telemetry Observability

8 OS im Bereich Commodity HW: IBM, HP, SGI: kein Unix für Commodity! > stattdessen Linux

9 Suns Multi-Plattform OS-Strategie SPARC und x86 Etablierte ISV-Akzeptanz bei SPARC, beginnende bei x86 > Linux Anwendungen ausführbar (x86) Skalierung > horizontal und vertikal Sun Systeme und 3rd Party HW Berechenbarer Release-Zyklus > Binärkompatibilität write once run forever Gerichtete Innovation Ergänzt Solaris (x86 / x64) Interoperabilität ISVs: Akzeptanz der Enterprise Versionen > Red Hat > SuSE Horizontale Skalierung Sun und 3rd Party HW > breites Spektrum Fokus: Open Source? Binär- Kompatibilität? Support: Sun Partner

10 Multiprozessor Cluster Proc I/O Mem Mem I/O Vertikale Skalierung / Scale Up / Data Facing Proc Memory Switch Cache-kohärente SMPs Ein grosser Hauptspeicher Ein Pool an Prozessoren Cluster Mgmt. Eng gekoppelt Hohe Bandbreite, Mehrere geringe Latenz OS Flexibles, dynamisches Instanzen Scheduling durch OS Skalierung im Knoten Hochverfügbare Knoten Leistungsfähige I/O-Subsysteme Lose gekoppelt Preisgünstige kleine Knoten 1-4 Wege, wenige IO-Slots Skalierung über Zahl der Systeme Last-Scheduling durch separate Komponente (HW oder SW) Loadbalancer, Oracle RAC, App Server, Grid Job Queing Systeme i.d.r. nur zu Beginn einer TA/Session/Job Hochparallele/parallisierte Lasten (Web, HPTC) RAS durch Replikation Proc Proc Proc Mem Mem Mem I/O I/O I/O Network Switch Horizontale Skalierung / Scale Out / Network Facing

11 Solaris 10 Zeitablauf: > 15. November 2004 Solaris 10 Launch > 25. Januar 2005 OpenSolaris Launch > 31. Januar 2005 Revenue-Release (Download) > 7. März 2005 General Availability (DVD/CD) > 14. Juni 2005 OpenSolaris online (Source + Tools)

12 Solaris 10 Lizenzen Solaris 10 Lizenz ist kostenfrei > Test, Development und Produktion > SPARC und x86 / x64 > 1... beliebig viele CPUs Source ist kostenfrei verfügbar (CDDL) > Recht auf Nutzung der Patente > änderbar, distributierbar > proprietäre Ergänzungen möglich Service Vertrag auf Wunsch > ggf. in Hardware Wartung enthalten

13 Solaris Design Entscheidungen Reliability - Zuverlässigkeit > Bessere Bearbeitung von Fehler-Situationen >Predictive Self Healing >lange Prüfsummen in ZFS Servicability Service im laufenden Betrieb > Dynamische Rekonfiguration (auch online) Observability - Überwachbarkeit > durchgängig OS-Kern, Anwendung, Java Resource Management bessere Auslastung

14 ? Linux = Low Cost? x86 Hardware > billig, wenn basierend auf dem Home-PC > RZ braucht enterprise-grade HW (Home-PC?) Erweiterungen (Netzwerk-, Platten- Adapter) > Lebensdauer <= 1 Jahr > Linux Treiber nur für neue Kernels > Kontrast zu langlebigen Installationen > HW-Ersatz führt zur Neuinstallation, Service-Verlust > Ersatz-HW muss ggf. von Anfang an bereit stehen

15 Suns Beiträge zur Community Open Systems for Open Minds Definition von Standards Referenz Implementierungen Förderung und Mitarbeit in Standardisierungsgremien NFSv4 Open Source Implementierungen NFS GridEngine GNOME.org Mozilla.org

16 Die Solaris x86 HCL wächst : 368 Systeme (~ 161 Laptops)

17 Die integrierte Plattform für Network Computing Open Source Software Infrastructure Services Operating Systems Sun JAVA SYSTEMS TM Java Enterprise System Java Desktop System Java Card System Java Studio N1 Solaris TM Hardware Java Mobility System SPARC Linux x86

18 Solaris Release Zyklus Software Express for Solaris S9 12/02 S9 4/03 S9 8/03 Beta/Express S9 12/03 S9 4/04 S9U7 Solaris 8 S8 2/02 (EOL - TBD)? 2005? Solaris 7 01/03 04/03 Solaris 10 07/03 10/03 01/04 04/04 07/04 10/04 01/05

19 Solaris Release Life Cycle

20

21 Innovation in Solaris 10 Dynamic Tracing Predictive Self Healing Extreme Performance Schneller TCP/IP Stack Fault Management Out of the Box Performance Architecture Vielzahl von Optimierungen Service Management Facility Live Monitoring von produktiven Systemen Solaris Container Trusted Solaris Military-Grade Security Software Partitioning Resource Management + Zonen und vieles mehr (über 600 Projekte)... NewBoot... ZFS

22 Predictive Self Healing Verfügbarkeit unter allen Umständen > Fehler-Erkennung & -Aggregation, Auto Recovery Reduzierte Downtime > Proaktives Offlining von Komponenten vor Ausfall > Automatischer Restart von Services > Diagnose & vorbeugende Massnahmen in Millisekunden Reduzierte Komplexität > Vereinfachtes Error Reporting > System & Service Abhängigkeiten werden korreliert Reduziert Kosten > Weniger Downtime > Mehr Server je Administrator

23 Traditionelle Fehlerbehandlung Jede Komponente agiert unabhängig behandelt und meldet Fehler eigenständig Menschen adressieren Fehler, Auswirkung, und korrigierende Aktion App UFS MD (esp0): Connected command timeout for Target 0.0 NOTICE: correctable error detected by pci0 (upa mid 1f) during DVMA read transaction AFSR=40f f AFAR= a25b [AFT0] errid 0x d.23105c04 Corrected Memory Error on U1004 is Intermittent [AFT0] errid 0x d.23105c04 ECC Data Bit 14 was in error and corrected SD PCI CPU

24 Definition von Fault Management F is broken Agent Fault Management Diagnosis and event recording Fault Mgr App I saw Z Error Handling I saw Y Data gathering, detection, and management of errors Fault Any defect that may produce errors Logs I saw X F

25 Fault Management Architecture (FMA) Error Handler Error Detection Data Gathering Error Handling Fault Manager Diagnosis Event Recording Service Agent Action Service Restart Black Listing

26 Fault Management der nächsten Generation Nutzerfreundliche Fehlermeldungen mit Aussagen zu Auswirkungen und erforderlichen Aktionen Alle Ereignisse werden durch einen einzigen Fault Manager Dienst verwaltet und koordiniert SUNW-MSG-ID: SUN4U H; TYPE: Fault, VER: 1, SEVERITY: Major EVENT-TIME: Tue Aug 10 11:30:16 PDT 2004 PLATFORM: SUNW,Sun-Fire-880, CSN: -, HOSTNAME: donuts SOURCE: cpumem-diagnosis, REV: 1.2 EVENT-ID: dd541c0b-ddc5-46eb-aba0-b4bc01500b23 DESC: The number of errors associated with this CPU has exceeded acceptable levels. Refer to for more information. AUTO-RESPONSE: An attempt will be made to remove the affected CPU from service. IMPACT: Performance of this system may be affected. REC-ACTION: Schedule a repair procedure to replace the affected CPU. Use fmdump -v -u <EVENT_ID> to identify the CPU. Manager App UFS MD SD PCI CPU

27 SUNW-MSG-ID: SUN4U H; TYPE: Fault, VER: 1, SEVERITY: Major EVENT-TIME: Tue Aug 10 11:30:16 PDT 2004 PLATFORM: SUNW,Sun-Fire-880, CSN: -, HOSTNAME: donuts SOURCE: cpumem-diagnosis, REV: 1.2 EVENT-ID: dd541c0b-ddc5-46eb-aba0-b4bc01500b23 DESC: The number of errors associated with this CPU has exceeded acceptable levels. Refer to for more information. AUTO-RESPONSE: An attempt will be made to remove the affected CPU from service. IMPACT: Performance of this system may be affected. REC-ACTION: Schedule a repair procedure to replace the affected CPU. Use fmdump -v -u <EVENT_ID> to identify the CPU.

28 Solaris 9 (10) - Performance UFS Logging Performance Enhancements (12/02) NFS Optimierungen Neue libthread one-to-one model Multiple Page Size Support stack, heap, anon memory US-III: 8K, 64K, 512K, 4M Neue Fixed-Priority (FX) Scheduling Klasse Optimierte Defaults für Tuning-Parameter Memory Placement Optimization (9/02) DISM: Large Page support (9/02) Small System Performance (4/04)

29 IP Stack Streamlining Fire Engine Ziel: Sättigen eines 10 Gb Ethernet > Classification Engine für IP Pakete > TCP Offloading Engine (TOE auf Netzwerk-Karte) TCP und IP Pakete: > neue dedizierte und effiziente Algorithmen > Fastpath für TCP (weniger Kopien der Daten) Verbesserte Skalierung auf SMP-Systemen > Netzwerk-Thread pro CPU Network Cache Accelerator in IP stack integriert

30 Solaris 10 Performance Sun V20z

31 Dynamic Tracing Analyse und Diagnose in Echtzeit Bahnbrechendes Werkzeug für Tuning Sicher und umfassend > Nicht-invasiv, geringer Overhead, einfach zu nutzen > Eine Sicht auf System- und Anwendungsebene > Über 30,000 Monitoring-Punkte: Ausgelegt für Nutzung auf Produktionssystemen > Testsysteme f. Reproduktion von Problemen nur selten > Postmortem-Debugging entfällt > Keine Produktion mit speziellem OS-Kernel (kadb) Reduziert Kosten > Lösungen in Minuten oder Stunden, statt Tage / Wochen > Optimierte Anwendungen: Beispiele mit 3-300x Speedup

32 DTrace # mpstat CPU minf mjf xcal intr ithr csw icsw migr smtx srw syscl usr sys # dtrace -n xcalls'{@[execname] = count()}' dtrace: description 'xcalls' matched 4 probes [ letting this run for a few seconds ] ^C mozilla-bin lockd in.mpathd... nfsd tar wt idl

33 Service Management Facility (SMF) Kompatibilität: Everything still works > Anwendungen funktionieren wie gewohnt > Aufruf dokumentierter /etc/init.d Skripte geht > Keine Änderungen an Konfigurationsdateien > (ausser inetd.conf) Konvertierung rc-scripte nach Services > nach und nach erfolgen > erfordert lediglich ein Service-Manifest > rc*.d Skripte werden durch Service-Methoden ersetzt oder als solche aufgerufen

34 Solaris Service Dependency Graph Fault Manager system/fmd IP Filter network/pfil network/rpc/bind Stephen Hahn's Blog

35 Service Management Facility (SMF): Architektur management agent observability agent inet-service inetd(1m) repository API svc.configd(1m) process contract svc.startd(1m) repository client init(1m) KERNEL service

36 Service Management Facility (SMF): CLI Allgemeine Kommandos > svcs(1) > svcadm(1m) > svccfg(1m) > svcprop(1) inetd(1m) service status listings administrative actions general property manipulation property reporting (scripting) Management Kommandos: > inetadm(1m) > inetconv(1m) administrative actions/property mods conversion of legacy inetd.conf entries

37 Solaris Container Netzwerk www s t o re appserver Resource Management + Isolation im Hinblick auf - Security - Fehler B2 B oltp Domain 1 Independent Users Separate Networks Independent Storage Isolated Containers Disk Storage and File Systems

38 Features einer Zone Filesystem (~= Komfort - chroot - Konfigurator) Netzwork Interfaces Prozesse (/proc Schutz nach Zoneid) Shared Memory (Online Konfiguration) physikalische Devices (nur konfigurierte) Name Service (hosts, passwd,...) Kein Zugriff zu anderen lokalen Zonen root ist limitiert in der lokalen Zone (Application-root) Platform-Administration: root in globaler Zone

39 Solaris Resource Management Solaris Container = Zones + Resource Management task project zone task task zone Workload task Classification Resource Accounting proc proc proc proc proc proc = Resource Controls pool Scheduler pset IA, TS pool Scheduler pset FSS Differentiated Services Resource Containment CPU CPU IPQoS CPU CPU RAM rcapd

40 Solaris Container Manager Container Management Agent Domain 1 Sun Server 1 Domain 2 Domain 3 Sun Server 2

41 Beispiel für minimale Zone global# zonecfg -z twilight twilight: No such zone configured Use 'create' to begin configuring a new zone. zonecfg:twilight> create zonecfg:twilight> set zonepath=/export/home/twilight zonecfg:twilight> add net zonecfg:twilight:net> set physical=hme0 zonecfg:twilight:net> set address= /24 zonecfg:twilight:net> end zonecfg:twilight> verify zonecfg:twilight> commit zonecfg:twilight> ^D global# zonecfg -z twilight info zonepath zonepath: /export/home/twilight global#

42 Virtuelle Maschinen versus Container HyperVisor Host OS Hardware IBM LPAR HP VPAR Container Container { Container Kernel 4000 auf einer V880 getestet Kernel Eine OS Instanz <1% Overhead Kernel OS OS { OS 5-15%? Overhead Viele OS Instanzen Solaris 10 OS Kernel SPARC or x86

43 Layered Trusted Solaris Military Grade Security in Solaris Layered Trusted Solaris Trusted Solaris 8 Trusted Networking Trusted Desktop LabelAware Services Trusted Networking Trusted Desktop LabelAware Services Modified TCP/IP Trusted's Labels Trusted's Privileges TCP/IP Solaris Zones Solaris Privileges Solaris 10

44 Network Security Architecture Cert Validation Certificates Private Keys Color Index a Future release a Solaris 10 a Available back to Solaris 9 ISV Interfaces Provider IKE/ IPsec Java's JCE JCE Public Key Certificate Framework Kerberos GSS-API CRAM-MD5 GSS-API SSL Digest-MD5 SASL Secure Shell Cryptographic Framework Hardware Software Smart Crypto Crypto Card Plug-in Plug-in Plug-in Smart Card Framework

45 Security Platform for Sun Service Processors Directory Server Cert Validation Certificates Private Keys IKE/ IPsec Provider Java's JCE JCE GSS-API Public Key Kerberos GSS-API Certificate Framework Web Services SASL Secure Shell SSL App Server CRAM-MD5 Identity Server Digest-MD5 Web Server Cryptographic Framework Hardware Software Smart Crypto Crypto Card Plug-in Plug-in Plug-in Sun Crypto Accelerators Crypto Processors Smart Card Framework SunRay Card Readers JavaCard

46 Solaris Datapath NFS > NFSv4 > NFS in WANs > Security > Performance UFS > Logging-Performance (S9 12/02) > Logging Default (S9 9/04) > Multiterrabyte UFS Solaris Volume Manager > good enough volume manager > Soft Partitioning, Persistent Device Ids... > Multiterrabyte volumes (S9 4/03) > Cluster Volume Management für Oracle RAC > Export/Import von Metasets

47 Future: New Boot Besserer erster Eindruck für Solaris x86 Booten von ZFS Installation von mehreren CDs ohne Reboot

48 Future: ZFS Existierende lokale Dateisysteme > Design: 70s / 80s > Datenkorruption nicht berücksichtigt > Spiegel ist Sache des Volume Managers > Zugriff auf andere Spiegelhälfte nicht vorgesehen > Vielzahl von Limits > Grösse, Anzahl Dateien, Zylindergruppen, Fragmente,... > Metadaten sind besondere Strukturen (limitiert!) > Aufwändig zu verwalten fsck, /etc/fstab, Partitionen, Volumes Zu viele Stellschrauben (? Erfolg)

49 Future: ZFS End-to-end Datenintegrität Transaktionen Self-Healing Überlegene Performance Immense Kapazität (128 Bit) Einfach zu verwalten (128-Bit Prüfsummen) (Copy on Write) (Zugriff auf 2. Spiegel) (random -> sequentiell) > Volume Manager Funktionen (zpool kann viele zfs enthalten) > Mount-Punkte im ZFS space (vfstab Einträge können entfallen) > quota/reservation als Attribute eines ZFS

50 FS/Volume Model vs. ZFS Traditional Volumes Abstraction: virtual disk Partition/volume for each FS Grow/shrink by hand Each FS has limited bandwidth Storage is fragmented, stranded FS FS FS Volume Volume Volume ZFS Pooled Storage Abstraction: malloc/free No partitions to manage Grow/shrink automatically All bandwidth always available Pool allows space to be shared ZFS ZFS Storage Pool ZFS

51 SVM/UFS Administration # format... (long interactive session omitted) # metadb -a -f disk1:slice0 disk2:slice0 # metainit d disk1:slice1 d10: Concat/Stripe is setup # metainit d disk2:slice1 d11: Concat/Stripe is setup # metainit d20 -m d10 d20: Mirror is setup # metattach d20 d11 d20: submirror d11 is attached # metainit d disk1:slice2 d12: Concat/Stripe is setup # metainit d disk2:slice2 d13: Concat/Stripe is setup # metainit d21 -m d12 d21: Mirror is setup # metattach d21 d13 d21: submirror d13 is attached # metainit d disk1:slice3 d14: Concat/Stripe is setup # metainit d disk2:slice3 d15: Concat/Stripe is setup # metainit d22 -m d14 d22: Mirror is setup # metattach d22 d15 d22: submirror d15 is attached # newfs /dev/md/rdsk/d20 newfs: construct a new file system /dev/md/rdsk/d20: (y/n)? y... (many pages of 'superblock backup' output omitted) # mount /dev/md/dsk/d20 /export/home/ann # vi /etc/vfstab... while in 'vi', type this exactly: /dev/md/dsk/d20 /dev/md/rdsk/d20 /export/home/ann ufs 2 yes # newfs /dev/md/rdsk/d21 newfs: construct a new file system /dev/md/rdsk/d21: (y/n)? y... (many pages of 'superblock backup' output omitted) # mount /dev/md/dsk/d21 /export/home/ann # vi /etc/vfstab... while in 'vi', type this exactly: /dev/md/dsk/d21 /dev/md/rdsk/d21 /export/home/bob ufs 2 yes # newfs /dev/md/rdsk/d22 newfs: construct a new file system /dev/md/rdsk/d22: (y/n)? y... (many pages of 'superblock backup' output omitted) # mount /dev/md/dsk/d22 /export/home/sue # vi /etc/vfstab... while in 'vi', type this exactly: /dev/md/dsk/d22 /dev/md/rdsk/d22 /export/home/sue ufs 2 yes # format... (long interactive session omitted) # metattach d12 disk3:slice1 d12: component is attached # metattach d13 disk4:slice1 d13: component is attached # metattach d21 # growfs -M /export/home/bob /dev/md/rdsk/d21 /dev/md/rdsk/d21:... (many pages of 'superblock backup' output omitted)

52 ZFS Administration (Skizze*) zpool erzeugen (~ disk / volume group ) # zpool create home mirror c1t0d0 c2t0d0 Filesystem erzeugen und eintragen # zfs create home/ann /export/home/ann # zfs create home/bob /export/home/bob # zfs create home/sue /export/home/sue zpool vergrössern # zpool add home mirror c1t1d0 c2t1d0 *) Syntax kann sich noch ändern!

53 Danke! Haben Sie Fragen? Ulrich Gräf