SAM/FS im universitären Umfeld. Dipl. Ing. Udo Tödter 1

Größe: px

Ab Seite anzeigen:

Download "SAM/FS im universitären Umfeld. Dipl. Ing. Udo Tödter 1"

Benedikt Hafner
vor 8 Jahren
Abrufe

1 SAM/FS im universitären Umfeld Dipl. Ing. Udo Tödter 1

2 Übersicht Die FSU Jena und das URZ Historie HSM Filesysteme aktuelle Konfiguration / SAMFS Nutzung Erfahrungen / eigene Scripts Wünsche Dipl. Ing. Udo Tödter 2

3 Die FSU Jena 10 Fakultäten, ca Studenten. klassische orientierte Universität. Das Universitätsrechenzentrum (URZ) ist für die Netzstruktur (ca Arbeitsplätze über den Campus verstreut) sowie für zentrale Dienste verantwortlich. Dipl. Ing. Udo Tödter 3

4 URZ der FSU Jena 3 Standorte / 43 Mitarbeiter / Nutzer. Bereitstellung von zentralen Diensten wie Netzbetrieb, Netzzugang, Mail, WWW, File- und Backupservice. SAN über drei Standorte, URZ, Multimediazentrum und Thulb (Universitätsbibliothek). ca. 250 Server Windows, Novell Netware Solaris, Linux, AIX, ESX-Server ca. 60 TB Festplattenkapazität online. ca. 110 TB aktive Daten. Dipl. Ing. Udo Tödter 4

SAN über drei Standorte, URZ, Multimediazentrum und Thulb (Universitätsbibliothek). ca.

5 Historie HSM Filesysteme 1994 Sun CS6400+HP MO-Jukebox und ATL mit DLT2000 unter Unitree (Daten GAU). System wurde wg. schlechter Performance nicht angenommen Umstieg auf Open Vision HSM und Netbackup Im Laufe der Zeit immer wieder Umrüstungen. (1998) Ablösung der ATL durch StorageTek 9710 mit DLT 4000 Laufwerken und SAM/FS 3.x. (2000) E450, ADIC AMLJ mit DLT7000 und AIT-2 Laufwerken massive DLT Probleme ( Lesefehler, und herausspringende Tape-Leader). Dipl. Ing. Udo Tödter 5

1995 Umstieg auf Open Vision HSM und Netbackup Im Laufe der Zeit immer wieder Umrüstungen.

6 Historie HSM Filesysteme (2001) Anforderung nach kürzeren Stage Zeiten, DLT 7000 Laufwerke wurden durch 9840 Laufwerke ersetzt. (2003) Ersatz der 9840 Laufwerke durch ein Nexsan ATABEAST mit 12 TB, Diskarchivierung löst 9840 Laufwerke ab. (2003) AIT-2 zeigte zunehmend Probleme, neue Laufwerke waren nicht mehr verfügbar, Optimierung der Laufwerke durch Kombination der besten verfügbaren Laufwerke. (2006) Sunfire V490, AMLJ wird durch ADIC Scalar 2000 und 4 LTO2 Laufwerke ersetzt. Dipl. Ing. Udo Tödter 6

(2003) AIT-2 zeigte zunehmend Probleme, neue Laufwerke waren nicht mehr verfügbar, Optimierung der Laufwerke durch Kombination

7 aktuelle Konfiguration SunFire V490 Server/4 CPU/ 16GB RAM/ zwei interne Festplatten 146 GB mit abgesetzten Spiegel für Systempartitionen. SUN 6130 Diskarray als SAMFS Cache. NexSAN ATABEAST 12TB Raid (42*300GB IDE) für Diskarchivierung (1. Kopie). ADIC Scalar 2000 Library/ 4 LTO2 Laufwerke/ 800 LTO2 Medien. SAMFS 4.5. Dipl. Ing. Udo Tödter 7

8 SAMFS Nutzung Netbackup Diskcache 1.1 TB über 2 RAID-1 Volumes Netbackup schreibt die Backupdaten als 2GB Fragmente in den Diskcache. Unterschiedliche Retention Level (Aufbewahrungszeit der Backups) werden in unterschiedliche Directories geschrieben, für die jeweils ein Archiveset zuständig ist. Backups mit gleichen Retentionlevel werden also auf die gleichen Tapes geschrieben. Backups verfallen fast alle zum gleichen Zeitpunkt, dieses bedeutet wenig Arbeit für den recycler. Datenaufkommen werktags ca. 800 GB, am Wochenende ca. 2TB. Dipl. Ing. Udo Tödter 8

Archiveset zuständig ist. Backups mit gleichen Retentionlevel werden also auf die gleichen Tapes geschrieben.

9 SAMFS Nutzung Fileservice für URZ Nutzer und Fremdeinrichtungen 4 Filesysteme mit einer Einzelkapazität von 250 GB. 1. Kopie auf Disk, 2. Kopie auf Band. Zugriff auf Files via NFS, Samba, FTP, SFTP. Samba wird ungepatcht genutzt, da das Staging vom Diskarchive sehr schnell ist. SAMFS Quotierung demnächst, da das Nutzerverhalten bei der Archivierung nicht kontrollierbar ist. Gesamtdatenvolumen ca. 6 TB. Dipl. Ing. Udo Tödter 9

Samba wird ungepatcht genutzt, da das Staging vom Diskarchive sehr schnell ist.

10 Erfahrungen DLT/AIT-2 Medien sind relativ unzuverlässig, Datenverluste sind mehrfach aufgetreten. 9840/LTO-2 sehr zuverlässig, wir haben durch einen irreparablen Fehler im NexSAN ATABEAST ALLE Daten verloren, konnten aber aus der zweiten Kopie alle Files wiederherstellen. Dauer dieser Aktion zwei Wochen. AMLJ Library ca. 4 Probleme/Jahr, Scalar 2000 ca. 2 Probleme/Jahr. NexSAN ATABEAST zeigte nach 2½ Jahren Probleme an den IDE Platten, hier mehrere Reparaturversuche, GAU und Kompletttausch. Dipl. Ing. Udo Tödter 10

der zweiten Kopie alle Files wiederherstellen. Dauer dieser Aktion zwei Wochen. AMLJ Library ca. 4 Probleme/Jahr, Scalar 2000 ca.

11 eigene Scripts eigener recycler (shell script), der jedes Medium untersucht und entsprechend den Parametern Füllstand und Mingain das Medium als Kandidaten auswählt. Erfassung und Auswertung von Medienfehlern, automatisches Recyclen dieser Medien und Mail an den Admin. Recyclen der Bänder mit der ältesten Label-Time, dadurch werden alle Medien periodisch umkopiert (momentan 2 Medien pro Tag) Dipl. Ing. Udo Tödter 11

Erfassung und Auswertung von Medienfehlern, automatisches Recyclen dieser Medien und Mail an den Admin.

12 Wünsche idle_unload sollte modifiziert werden, das nicht mehr nach einer fest eingestellten Zeit der unload ausgeführt wird. Besser könnte eine Definition der Anzahl der freizuhaltenden Laufwerke sein. Hiermit könnte das Warten auf rewind/unload bei einer Medienanforderung minimiert werden. samu sollte noch eine Zeile not archdone in der Filesystemstatistik bekommen. alle Medien in einer Library sollten gleichmässiger benutzt werden, hier sollte dem archiver einen anderen Algorithmus verwenden. Dipl. Ing. Udo Tödter 12

Hiermit könnte das Warten auf rewind/unload bei einer Medienanforderung minimiert werden.

Ähnliche Dokumente

Die Speicherstruktur der FSU Jena. Udo Tödter, FSU Jena

Die Speicherstruktur der FSU Jena. Udo Tödter, FSU Jena Udo Tödter, FSU Jena Der Universitätscampus ist über die Stadt verteilt. Das URZ ist für die Bereitstellung der Dateninfrastruktur verantwortlich. Einzelne Fakultäten betreiben jedoch eigene Rechenzentren.