Arbeitskreis Storage

Transkript

1 Arbeitskreis Storage J. Beutner, H. Frasch, M. Bader, Ch. Demont Universität Stuttgart RUS AK Storage, Jörn Beutner, Seite 1

2 AK Storage: TOP Begrüßung und Vorstellung Storage-Services des RUS TSM-Backup Netzwerk-File-Service Diskussion Vorstellungen und Anregungen der Teilnehmer Zukunft des AKs Nächste Schritte, nächstes Treffen? RUS AK Storage, Jörn Beutner, Seite 2

3 Tivoli Storage Manager (TSM) am RUS Hermann Frasch RUS AK Storage, Jörn Beutner, Seite 3

4 Historie 1998 Landeslizenz für ADSM 1 Server mit ADSM ADSTAR Distributed Storage Manager, ab 2001 TSM Tivoli Storage Manager Endspeicherung auf IBM 3590 (Magstar) Bänder in STK Powderhorn Bandbibliotheken 2006/ HBFG-Antrag zusammen mit Uni Hohenheim zum Ausbau der Kapazitäten Ende 2006 Ersatz des TSM-Servers durch 8 neue Server und der Speicher-Hardware durch NetApp VTLs (Virtuelle Libraries) Ersatz von 7 NetApp VTLs durch 4 neue VTLs RUS AK Storage, Jörn Beutner, Seite 4

5 Hardware bis Ende x IBM 3590E, 14 MB/s, 20 GB 8x IBM 3590E, 14 MB/s, 20 GB RUS AK Storage, Jörn Beutner, Seite 5

6 HBFG - Ausbau Backup 2006 Ziele Erhöhung der Speicherkapazität Notwendige Reduzierung der Backup- und Restore-Zeiten HBFG-Antrag Gemeinsame Datenhaltung der Universität Stuttgart und der Universität Hohenheim DFG-Genehmigung erteilt im 3.Q 2006 Ausschreibung Okt. bis Nov Beschaffung Dez TSM Landeslizenzvertrag Neuer Vertrag bis RUS AK Storage, Jörn Beutner, Seite 6

7 Hardware 2007 RUS AK Storage, Jörn Beutner, Seite 7

8 Hardware 2010 RUS AK Storage, Jörn Beutner, Seite 8

9 Backup-Services mit TSM 8 Server mit SLES und TSM Server TSM-Server (RUSTSM[ABDEGH]) für Backup mit einer Kopie 1 (RUSTSMC) für Archive mit 2. Kopie 1 für Tests 4 NetApp VTLs, je 12 Disk Shelves à 14 1TB-SATA-Platten, ca. 140 TB allokierbare Kapazität, 2 virtuelle Libraries mit je 600 virtuellen 100GB-Bändern 560 TB Base 10 = 510 TB Base 2 Gesamtkapazität Kein Staging, keine Migration von Platten auf Band, Daten werden direkt auf virtuelle Bänder geschrieben Client-Server-Architektur Archive nur im Rahmen der verfügbaren Kapazitäten, keine Langzeit-Archivierung! Datei-basierter Backup - Incremental-Forever-Paradigma dsmc incremental per Schedule-Prozess oder -Dienst RUS AK Storage, Jörn Beutner, Seite 9

10 Aktueller Stand 1186 Client-Nodes 774 von Stuttgart, 412 von Hohenheim 725 Windows NT/2000/XP, 286 Linux86, 52 Solaris, 28 Mac, 20 NetWare, 3 AIX, 3 Win98, 2 HPUX, 1 Win95, 6 TDP MSExchange, 2 TDP Informix Datenmenge (in TB Base 2) Gesamt Backup Archive 2.Archive -Kopie Alle ,5 Stuttgart ,3 Anzahl Dateien Gesamt Backup Archive Alle Stuttgart RUS AK Storage, Jörn Beutner, Seite 10

11 Probleme / Zukunftsfragen Exponentiell wachsende Datenmengen und Anzahl der Objekte TSM-Datenbank skaliert nicht Verlängerung der Backup- und Restore-Zeiten, Ressourcenmangel und langsame Netzverbindungen auf Client-Seite Datei-basierter Backup noch adäquat? Welche und wie viele Speichermedien? Benutzerordnung Kostenbeteiligung Auswahl der zu sichernden Filesysteme/Verzeichnisse Verlagerung der File-Services von Instituten auf NAS-Filer Nachfolge der TSM-Hardware RUS AK Storage, Jörn Beutner, Seite 11

12 Dokumentation / Support Webserver am RUS -> Dienste von A Z -> Backup/Archivierung -> Dienste/Links Tivoli Software Information Center (Client-Manuals) IBM Support Portal ADSM.ORG / ADSM-L OTRS Helpdesk backup-support@rus.uni-stuttgart.de RUS AK Storage, Jörn Beutner, Seite 12

13 Netzwerk-File-Service RUS AK Storage, Jörn Beutner, Seite 13

14 Netzwerk-File-Service Historisches und Gegenwart : AFS : DCE/DFS Vorgänger des Netzwerk-File-Service mit Windows-File-Servern und Anbindung an AD des RUS 2006: HBFG-Antrag; Beschaffung von NetApp-FAS-Systemen 2010: Ersatz und Ausbau der NetApp-FAS-Systeme Aktuelle Kapazität: ca. 325TB RUS AK Storage, Jörn Beutner, Seite 14

15 Netzwerk-File-Service Technische Funktionalität der NetApp-Systeme FAS NAS + SAN (SAN: FC und ISCSI für RUS-interne Server) NAS: CIFS NFS (HTTP) RUS AK Storage, Jörn Beutner, Seite 15

16 Netzwerk-File-Service Technische Funktionalität der NetApp-Systeme (2) Verzeichnisdienste AD / LDAP NIS Deduplikation Blockbasierte Snapshots für zeitgesteuerte Sicherungen Disaster-Recovery durch blockbasierte Spiegelung (SnapMirror) auf ein Zweitsystem RUS AK Storage, Jörn Beutner, Seite 16

17 Netzwerk-File-Service RUS AK Storage, Jörn Beutner, Seite 17

18 Netzwerk-File-Service Managed File-Services AD-Anbindung mit Self-Service CIFS Kundenspezifische Snapshots zur Datensicherung Disaster Recovery RUS AK Storage, Jörn Beutner, Seite 18

19 Netzwerk-File-Service Kunden-vFiler File-Server in administrativer (Teil)-Verantwortung des Kunden Einbindung in externe AD / (LDAP) / NIS Strukturen NFS oder CIFS Quotas Disaster Recovery Mirror RUS AK Storage, Jörn Beutner, Seite 19

20 Netzwerk-File-Service Mirror-Service Spiegel von Kunden-NetApp-Systemen Pilot: ZV-EDV RUS AK Storage, Jörn Beutner, Seite 20

21 Netzwerk-File-Service Aktuelle Arbeiten Self-Service-Quota Erweitertes Monitoring für Thin-Provisioning Vorbereitung eines zweiten Standorts (NWZ) Zukunft Entlastung TSM Mehr Managed File-Services bzw. vfiler-service Ausbau des Mirror-Service Evaluation von Backup-Technologien auf Basis von NetApp-FAS- Systemen (SnapVault) RUS AK Storage, Jörn Beutner, Seite 21

22 Landesdatenspeicher Landesdatenspeicher in Karlsruhe und Heidelberg Finanziert mit Mitteln des MWKs 6 PB Tapes und 6 TB Disks Möglichkeiten der z.b. für das TSM-Backup müssen noch geklärt werden Langzeitarchivierung Nutzung wird kostenpflichtig sein RUS AK Storage, Jörn Beutner, Seite 22

23 Entgeld für Storage-Services Unterausschuss des RUS Benutzerausschusses (BA) erarbeitet unterschiedliche Möglichkeiten der (Teil)Finanzierung von RUS- Diensten durch Gebühren RUS BA schlägt dem Rektorat die Einführung eines Entgeldes für Storage-Services (TSM-Backup und File-Service) vor Ziel: Steuerung der Nachfrage Kosten: 400 GB pro Institut und Service frei Darüber hinaus 500 pro TB und Jahr Das Rektorat lehnt die Umsetzung dieses Vorschlags zunächst ab und möchte eine Entscheidung nach der Vorlage von Entgeldmodellen für alle relevanten RUS-Services treffen RUS AK Storage, Jörn Beutner, Seite 23

24 Diskussion Ziele des AK-Storage Vorstellungen, Anregungen und Wünsche der Teilnehmer Technischer Austausch? Strategische Planung?? Weiteres Vorgehen RUS AK Storage, Jörn Beutner, Seite 24