Speicherverwaltungs-Systeme 1. Storage Management Subsystems (SMS) 1.1. Einführung 1.2. Positionierung 1.3. SMS 1.4. Vorgehensweise für SMS 1.5. Aktuelle Funktionen des SMS Integrierte Zugriffs-Sicherung Hierarchieal Storage Manager Dynamic Cache Mangement 1.5.1. Concurrent Copy 1.5.2. Sequential Data Striping 1.5.3. Systemverwalteter Bänder-Pool 1.5.4. Stufen der Verbesserung des Speichermanagements 2. Unternehmensweite Speichersysteme 2.1. Direct Attached Storage (DAS) 2.2. Storage Area Network (SAN) 2.2.1. SAN-Verbindungstechnik 2.2.2. FC Topologien 2.3. Network Attached Storage (NAS) Seite 1 von 29
1 Storage Management Subsystems (SMS) 1.1 Einführung SMS sind Komponenten von Unternehmens-Servern, die folgende organisatorische Aufgaben lösen: Zuordnung, Plazierung, Retrieval, Backup und Archivierung von Dateien/Dateisegmenten in der Speicherhierarchie unter den Gesichtspunkten Wirtschaftlichkeit, Sicherheit und Zugriffsschnelligkeit für sehr viele Benutzer. (verteilt: Speichernetze für DASD; 1. Storage Area Networks SAN 2. Network Attached Storage NAS) Beispiel: DF SMS des OS/390 bzw. z-os Umfang: Verwaltung von Arbeitsspeichern (virtuell) dynamischem Cache im Erweiterungsspeicher Plattenperipherie (auch M/O Peripherie) Bandperipherie Seite 2 von 29
1.2 Positionierung Große, unternehmensweit eingesetzte Server Vielzahl mittlerer Systeme (Abteilungsrechner) und LAN- Verbünde zum Server; (m/o RAID-Speicher) [RAID: Redundant Array Inexpensive Storage, RAID 1 5] Arbeitsspeicherbereiche von mehreren hundert bis tausend PC/WS, entsprechend 1 TeraByte ca. 10-50 * DASD auf (Band-)Kassetten pro Benutzer Problematik der Verdopplung benutzereigener Datenbestände alle 4 Jahre (seit 1980) Seite 3 von 29
Speicherungsinduzierte Probleme: Datenverluste "missing back-ups" "out of space" Abbrüche Zugriffszeit/Platzbedarf für TAPE Speicherkosten für DASD steigen absolut und relativ (GARTNER: 80 % der HW-Kosten gingen im Jahre 2000 in ext. Speicher) Administrative Kosten der Speicherverwaltung steigen (300-500 GB/Verwalter) Jedoch: 30 % des den Benutzern zugewiesenen DASD- Speichers auf zentralen Systemen ist ungenutzt. 75 % des den Benutzern zugewiesenen Speichers bei Bändern ist ungenutzt. im Jahr 2000 waren 40 % der HW-Kosten in ungenutzten Speichermedien gebunden. Seite 4 von 29
1.3 SMS Zielsetzung: Kostengünstige und effiziente Speichernutzung Verfahren: Zentralisierte, rechneroptimierte Verwaltung der externen Speicher anhand von organisatorischen Attributen. Organisatorische Attribute: Eigentümer der Datei Erstellung (wann und wofür: back-up, temporär, kritisch,...) letzter Zugriff - nächster Zugriff Häufigkeit des Zugriffs Zugriffszeit Back-up Möglichkeit/Notwendigkeit Kritikalität der zu speichernden / archivierenden Dateien Migrationsstufe für Arbeitsdateien (... Archivierung auf off-line-medium) Seite 5 von 29
1.4 Vorgehensweise für SMS Allen Dateien werden organisatorische Attribute zugeordnet für: das gewünschte/erforderliche Service-Niveau Retrieval-Merkmale SMS Klassen Daten-Klasse: Sie definiert sowohl Platzbedarf als auch Zugriffsund Organisationsattribute (z.b. JCL-Informationen wie DSORG, DCB, SPACE, VOLUME, VSAM- Optionen) Speicherungs-Klasse: Sie wird durch maximale Zugriffszeit in Millisekunden festgelegt Seite 6 von 29
Management-Klasse für 'hierarchisches SM': Sie spezifiziert die Migration zwischen den Archivierungsmedium, Back-up-Perioden und -Generationen sowie Speicherfrist/Löschung Speichergruppe: Zusammenfassung ähnlicher Speichermedien in einem gemeinsamen Pool (z.b. alle 3380-HD- Stränge, alle typgleichen Kassetten der Bandmagazine) Benutzer verlangt jetzt eine Speichergruppe anstatt eines speziellen Gerätes/Speichermediums. Anwendungsgruppe: Sie umfaßt alle Dateien (Programme, Daten,...), die eine Anwendung (für back-up-zwecke) benötigt Seite 7 von 29
Beispiel: SMS kann aufgrund der Attribute und der ACS- Routinen (Automatic Class Selection) für eine vom Benutzer MAINT kreierte Datei PROD_LTG automatisch folgendes auslösen: Bereitstellung von 512 MB des primären Hauptspeichers mit sekundären Erweiterungen in 48 MB Schritten VSAM keyed sequential data set unit... 10 % Reserve, 12 bit-schlüssel. Cacheing auf Datei-Ebene Verfügungs-Kopie auf schneller Platte tägliches (inkrementelles) back-up mit 5 Generationen Migration auf (Band-)Kassette, falls 12 Arbeitstage inaktiv. Archivierung auf M/O Datenträger nach monatlichem Produktionslauf (e.g. der Lohn- und Gehaltsabrechnung) Seite 8 von 29
1.5 Aktuelle Funktionen des SMS (1) Integrierte Zugriffs-Sicherung (e.g. RACF) (2) Hierarchical Storage Manager (zur Migration von Dateien aus dem DASD-Pool in den Band-Pool - "active to inactive storage") (3) Dynamic Cache Management Caching auf Datei-Ebene im Erweiterungsspeicher gemäß der 3 Klassen: NEVER MUST MAY MAY: bei aktuell verfügbarem Cache mit systemberechneter Mindest-Treffer-Rate (abhängig von Cache-Belastung, m/o Treffer-Rate) Seite 9 von 29
(4) Dynamik der Cache-Zuweisung: 1. MAY-Datei erhält den Status FORCE: Erzwungenes Cacheing zur Messung der Treffer-Rate. 2. Nach Meßintervall: NORMAL, INHIBIT 3. NORMAL- Dateien erhalten Cache solange die Trefferschwelle überschritten wurde, sonst INHIBIT 4. INHIBIT- Dateien werden periodisch zu FORCE- Dateien, um Änderungen im Nutzungsverhalten für Cache-Vorteile zu messen und zu nutzen Seite 10 von 29
1.5.1 Concurrent Copy Ziel: Erhöhte Verfügbarkeit kritischer Datenbestände (z.b. Datenbasis eines Reservierungssystems mit Dauerbetrieb) während Kopier- oder Back-Up- Operationen. Verfahren: "Two-stage commit"-prozeß (cf. two phase commitment Protokoll von DBMS) "Logisch vollständig" sobald der Kopier-Befehl gestartet wurde "Physisch vollständig" sobald die Quell-Daten (-Blöcke) zum Ziel kopiert wurden (z.b. Band) Dazwischen wird vom Kanal im Plattencache die Konsistenz gewährleistet (!!) [Kritisch: große Datenbasis oder Bandsicherung] -> verteilte Ressourcen Seite 11 von 29
Großrechnerumgebung mit mehrfachen concurrentcopy-prozessen pro Magnetplatte u/o Kanal. Seite 12 von 29
1.5.2 "Sequential Data Striping" Ziel: Beschleunigung lange laufender, E-A-lastiger Jobs mit sequentiell organisierten Dateien. Verfahren: >> to stripe: in Streifen abschälen/ablegen << Sequentielle Datei wird in Zylinder zerlegt, die gleichzeitig auf n physisch getrennte DASD geschrieben werden liefert eine maximal n-fache Transferrate. SMS zwingend Verluste durch Spur-Wechsel (Vorläufer: Schreiben / Lesen von benachbarten Zylindern EINES physischen DASD) Seite 13 von 29
1.5.3 Systemverwalteter Bänder-Pool Ziel: Reduzierung des ungenutzten Bandplatzes Reduzierung zeitaufwendiger Bandwechsel Erkenntnisse: Höhere Bandkapazitäten (Kassetten von 200 MB bis 2,4 GB) vermindern Bandwechsel unzureichend. Kassettennutzung muß erhöht werden Untersuchungsergebnisse für Band-Dateien im Großrechner-Umfeld (IBM Studie '93): 60-70 % sind sehr klein 20 % gehören besser auf DASD 10 % sind kassettenübergreifend (multi-volume) 75-90 % der Kassetten werden nicht voll ausgenutzt Seite 14 von 29
1.6 Stufen der Verbesserung des Speichermanagements [Von der Montierung SEINES Bandes durch den Benutzer zur benutzertransparenten Verwaltung eines Band-Pools mit chaotischer Lagerhaltung" per SMS] 1. Bandkassetten statt Bandrollen zwecks Roboterzugriff und Montierung. 2. Automated Tape/Cassette Library (ATL) 3. System Managed Tapes (via SMS). Dateien werden (Band-) Speicher-Gruppen zugeordnet ACS-Routinen weisen die Daten-Speicherungsund Management-Klasse zu Seite 15 von 29
4. Tape Mount Management Mit Hilfe des hierarchischen Storage Management werden Dateien auf DASD gesammelt und SY- STEMGESTEUERT abgelegt. Benutzereingriffe entfallen bestmögliche Bandausnutzung (Sammelbänder) automatische Migration größenvariabler Dateien. Werkzeug: Volume Mount Analyzer für Analyse (vorher/nachher) und automatische Wartung. Ersparnisse/Vorteile: Kassettenzahl Kassettenlaufwerke Auslegung des Kassetten-Roboter-Systems Standplatz Personal [Extremfall: Bänder/5, Bandwechsel/10] Kostenreduktion SW und Verwaltung (Speicher, Rechenzeit) Seite 16 von 29
2 Unternehmensweite Speichersysteme Status: heterogene Server werden konsolidiert / zentralisiert zugehörige Speichergeräte (Bandlaufwerke, HD- Arrays, DVD/CD-ROM-Mehrfach LW) werden zusammengeführt zwecks Kostenreduktion bei Management und Wartung/Backup der verteilten und heterogenen Speicher- Plattformen durch betriebssystemübergreifende Speicherungsverfahren. Konzepte: Server Attached Storage (bisher) Storage Area Networks (SAN) Network Attached Storage (NAS) Seite 17 von 29
Konzeptvergleich von NAS und SAN: 1. NAS-Konzept: Spezialisierter Server mir zugehörigem Speichersystem zusätzlich ins LAN 2. SAN-Konzept: Speicherkomponenten werden über ein eigenes Netz verbunden LAN der Komponenten mit Hubs/Switches Vorteile: Unbegrenzte Skalierung für stark wachsenden Speicherbedarf Seite 18 von 29
2.1 DAS DAS = Direct Attached Storage Jedem Server im LAN / WAN sind Speichereinheiten direkt zugeordnet. Der Zugriff erfolgt in Blöcken (physisch) Architektur: Network Anwendung Dateisystem Disk Storage Seite 19 von 29
Defizite: DAS-Nutzung, Transferzeit im Netz, dezentrale Speicherverwaltung (backup!) aufwendig, Redundanz, homogene Betriebssysteme / Dateisysteme (zumindest Network File Systems oder Common Internet File Systems) erforderlich. Ziel: Datenkonsolidierung durch Rezentralisierung der Speicherverwaltung (Trennung von Rechner / Speicher) Zugriff von heterogenen Plattformen über ein zusätzliches, schnelles Netz zwischen verteilten Speichern (Switching Verfahren) File Sharing für heterogene BeSy der Client / Server Kostensenkung Seite 20 von 29
2.2 SAN Erstmals realisiert durch Enterprise Storage Connection (ESCON, IBM 1991) Enterprise Storage Server (1999) als Kanal-Technologie mit Switching Fibre Channel: Schnelles Protokoll (Transport Schicht von OSI / ISO) zwischen Knoten (Cluster, Server,..., Speichersubsystemen) Seite 21 von 29
Architektur: Anwendung Dateisystem Network Storage Subsystem Application Server 2.2.1 SAN-Verbindungstechnik Fibre Channel (FC) als Transportmethode für Daten zwischen Knoten (WS Server Externer Speicher) leistungsfähiger als höhere Protokolle (SCSI, IP) spezifiziert bis 1 Gb/s bis 10 km - aktuell 400 Mb/s (SCSI: bis 80 Mb/s, bis 25 Meter) (Kupfer, Fibre Channel auf Kupferadern: 30 m) elektronische ODER optische Übertragungsmedien Seite 22 von 29
2.2.2 FC Topologien Point-to-Point (zwei Geräte, e.g. Server zu Bandbibliothek / HD-Array) Arbitrated Loop Max 126 Geräte im Ring, günstige Netz-Hardware Höherer Durchsatz/Stabilität durch Hub (Sternswitch statt Ring) Dual Loop (zusätzlicher Ring) Switch Fabric [fabric: Gewebe, vermaschter, kaskadierter Schalter] Verbindung der Geräte über mehrere/ kaskadierte Switches Zeitmutiplex für Mehrfachverbindung 16 Mio. Geräte adressierbar Mischformen der Topologien üblich Seite 23 von 29
2.2.2.1 FC Vorteile LAN-freier Backup vollständige Entlastung des LAN von Datentransfer vom/zum Backup-Server; Backup-Client legt Daten direkt auf SAN-Medien ab Skalierbarkeit Transfergeschwindigekeit 2.2.2.2 FC Nachteile zwei Industriestandards Interoperationalität SAN-Konkurrenzsysteme selten unterstützt (noch) kein shared storage, i.e. Zugriff auf gemeinsame Daten von verschiedenen Plattenformen Seite 24 von 29
2.3 NAS Architektur: Anwendung Network Dateisystem Disk Storage Client NAS-Server Seite 25 von 29
Eigenschaften des NAS: NAS-Server als Datei-Server bedient Clients, DBMS-Server,... DIREKT Vermeidet das bei klassische Anwendungsservern im SAN erforderliche Durchsuchen der Dateien durch den BeSy-Kern Verwendet TCP/IP Netzanbindung, basierend auf ATM, FDDI,..., Gigabit-Ethernet NAS-Dateisystem CIFS (Common Internet FS) ist BeSy-übergreifend Trend: Koexistenz von NAS und SAN Einsatzbereiche: SAN: RZ-Umfeld mit skalierbaren Speicher-Subsystemen insbesondere Datenbankserver mit hoher Transaktionslast NAS: Netzwerk-Umfeld mit file-sharing (Office-Anwendungen, CBT, Video-Serving, CAD, Web-Server, Compute Server) Seite 26 von 29
Seite 27 von 29
Seite 28 von 29
Seite 29 von 29