Arbeitskreis Storage J. Beutner, H. Frasch, M. Bader, Ch. Demont Universität Stuttgart 01.07.2010 RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 1
AK Storage: TOP Begrüßung und Vorstellung Storage-Services des RUS TSM-Backup Netzwerk-File-Service Diskussion Vorstellungen und Anregungen der Teilnehmer Zukunft des AKs Nächste Schritte, nächstes Treffen? RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 2
Tivoli Storage Manager (TSM) am RUS Hermann Frasch 01.07.2010 RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 3
Historie 1998 Landeslizenz für ADSM 1 Server mit ADSM ADSTAR Distributed Storage Manager, ab 2001 TSM Tivoli Storage Manager Endspeicherung auf IBM 3590 (Magstar) Bänder in STK Powderhorn Bandbibliotheken 2006/2007 2010 HBFG-Antrag zusammen mit Uni Hohenheim zum Ausbau der Kapazitäten Ende 2006 Ersatz des TSM-Servers durch 8 neue Server und der Speicher-Hardware durch NetApp VTLs (Virtuelle Libraries) Ersatz von 7 NetApp VTLs durch 4 neue VTLs RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 4
Hardware bis Ende 2006 8x IBM 3590E, 14 MB/s, 20 GB 8x IBM 3590E, 14 MB/s, 20 GB RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 5
HBFG - Ausbau Backup 2006 Ziele Erhöhung der Speicherkapazität Notwendige Reduzierung der Backup- und Restore-Zeiten HBFG-Antrag Gemeinsame Datenhaltung der Universität Stuttgart und der Universität Hohenheim DFG-Genehmigung erteilt im 3.Q 2006 Ausschreibung Okt. bis Nov. 2006 Beschaffung Dez. 2006 TSM Landeslizenzvertrag Neuer Vertrag bis 31.12.2011 RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 6
Hardware 2007 RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 7
Hardware 2010 RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 8
Backup-Services mit TSM 8 Server mit SLES und TSM Server 5.5.4 6 TSM-Server (RUSTSM[ABDEGH]) für Backup mit einer Kopie 1 (RUSTSMC) für Archive mit 2. Kopie 1 für Tests 4 NetApp VTLs, je 12 Disk Shelves à 14 1TB-SATA-Platten, ca. 140 TB allokierbare Kapazität, 2 virtuelle Libraries mit je 600 virtuellen 100GB-Bändern 560 TB Base 10 = 510 TB Base 2 Gesamtkapazität Kein Staging, keine Migration von Platten auf Band, Daten werden direkt auf virtuelle Bänder geschrieben Client-Server-Architektur Archive nur im Rahmen der verfügbaren Kapazitäten, keine Langzeit-Archivierung! Datei-basierter Backup - Incremental-Forever-Paradigma dsmc incremental per Schedule-Prozess oder -Dienst RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 9
Aktueller Stand 1186 Client-Nodes 774 von Stuttgart, 412 von Hohenheim 725 Windows NT/2000/XP, 286 Linux86, 52 Solaris, 28 Mac, 20 NetWare, 3 AIX, 3 Win98, 2 HPUX, 1 Win95, 6 TDP MSExchange, 2 TDP Informix Datenmenge (in TB Base 2) Gesamt Backup Archive 2.Archive -Kopie Alle 320 285 35 6,5 Stuttgart 267 240 27 5,3 Anzahl Dateien Gesamt Backup Archive Alle 590.567.965 588.969.474 1.598.491 Stuttgart 526.215.746 524.972.975 1.242.771 RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 10
Probleme / Zukunftsfragen Exponentiell wachsende Datenmengen und Anzahl der Objekte TSM-Datenbank skaliert nicht Verlängerung der Backup- und Restore-Zeiten, Ressourcenmangel und langsame Netzverbindungen auf Client-Seite Datei-basierter Backup noch adäquat? Welche und wie viele Speichermedien? Benutzerordnung Kostenbeteiligung Auswahl der zu sichernden Filesysteme/Verzeichnisse Verlagerung der File-Services von Instituten auf NAS-Filer Nachfolge der TSM-Hardware RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 11
Dokumentation / Support Webserver am RUS http://www.rus.uni-stuttgart.de -> Dienste von A Z -> Backup/Archivierung http://zsd.rus.uni-stuttgart.de -> Dienste/Links Tivoli Software Information Center (Client-Manuals) http://publib.boulder.ibm.com/infocenter/tivihelp/v1r1/index.jsp IBM Support Portal http://www-947.ibm.com/support/entry/portal/overview/software/tivoli/tivoli_storage_manager ADSM.ORG / ADSM-L http://adsm.org/forum/cmps_index.php OTRS Helpdesk backup-support@rus.uni-stuttgart.de RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 12
Netzwerk-File-Service RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 13
Netzwerk-File-Service Historisches und Gegenwart 1991-97: AFS 1993-2004: DCE/DFS Vorgänger des Netzwerk-File-Service mit Windows-File-Servern und Anbindung an AD des RUS 2006: HBFG-Antrag; Beschaffung von NetApp-FAS-Systemen 2010: Ersatz und Ausbau der NetApp-FAS-Systeme Aktuelle Kapazität: ca. 325TB RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 14
Netzwerk-File-Service Technische Funktionalität der NetApp-Systeme FAS NAS + SAN (SAN: FC und ISCSI für RUS-interne Server) NAS: CIFS NFS (HTTP) RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 15
Netzwerk-File-Service Technische Funktionalität der NetApp-Systeme (2) Verzeichnisdienste AD / LDAP NIS Deduplikation Blockbasierte Snapshots für zeitgesteuerte Sicherungen Disaster-Recovery durch blockbasierte Spiegelung (SnapMirror) auf ein Zweitsystem RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 16
Netzwerk-File-Service RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 17
Netzwerk-File-Service Managed File-Services AD-Anbindung mit Self-Service CIFS Kundenspezifische Snapshots zur Datensicherung Disaster Recovery RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 18
Netzwerk-File-Service Kunden-vFiler File-Server in administrativer (Teil)-Verantwortung des Kunden Einbindung in externe AD / (LDAP) / NIS Strukturen NFS oder CIFS Quotas Disaster Recovery Mirror RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 19
Netzwerk-File-Service Mirror-Service Spiegel von Kunden-NetApp-Systemen Pilot: ZV-EDV RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 20
Netzwerk-File-Service Aktuelle Arbeiten Self-Service-Quota Erweitertes Monitoring für Thin-Provisioning Vorbereitung eines zweiten Standorts (NWZ) Zukunft Entlastung TSM Mehr Managed File-Services bzw. vfiler-service Ausbau des Mirror-Service Evaluation von Backup-Technologien auf Basis von NetApp-FAS- Systemen (SnapVault) RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 21
Landesdatenspeicher Landesdatenspeicher in Karlsruhe und Heidelberg Finanziert mit Mitteln des MWKs 6 PB Tapes und 6 TB Disks Möglichkeiten der z.b. für das TSM-Backup müssen noch geklärt werden Langzeitarchivierung Nutzung wird kostenpflichtig sein RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 22
Entgeld für Storage-Services Unterausschuss des RUS Benutzerausschusses (BA) erarbeitet unterschiedliche Möglichkeiten der (Teil)Finanzierung von RUS- Diensten durch Gebühren RUS BA schlägt dem Rektorat die Einführung eines Entgeldes für Storage-Services (TSM-Backup und File-Service) vor Ziel: Steuerung der Nachfrage Kosten: 400 GB pro Institut und Service frei Darüber hinaus 500 pro TB und Jahr Das Rektorat lehnt die Umsetzung dieses Vorschlags zunächst ab und möchte eine Entscheidung nach der Vorlage von Entgeldmodellen für alle relevanten RUS-Services treffen RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 23
Diskussion Ziele des AK-Storage Vorstellungen, Anregungen und Wünsche der Teilnehmer Technischer Austausch? Strategische Planung?? Weiteres Vorgehen RUS AK Storage, Jörn Beutner, 01.07.2010 Seite 24