Langzeitdatenhaltung am Universitätsklinikum Magdeburg

Transkript

1 Magdeburg Workshop Forschungsdatenmanagement in der medizinischen Bildverarbeitung Magdeburg, Dr. Harald Hofmann Medizinisches Rechenzentrum 1

2 Datenquellen PACS Radiologie, Kardiologie u.a. Bereiche (gut strukturiert) medizintechnische Geräte (Video, EKG, EEG) Krankenaktenarchiv Mail- & Filearchiv (häufig Dubletten) Forschungsdaten 2

3 Backup, Archiv, HSM Backup: Sicherung von Daten nach Großvater-Vater-Sohn-Prinzip, ermöglicht dem Nutzer verschiedene Versionen in einem definierten Raster wieder herzustellen. Dient der Wiederherstellung von Daten im Verlustfall. Archiv: Speicherung von Daten über einen definierten Zeitraum, Nutzer darf diese Daten nicht ändern, keine Versionsverwaltung. Erfüllung gesetzlicher Vorgaben GDPdU, RÖV, BDSG etc. HSM: hierarchische Speicherung von Daten auf verschiedenen Medien samu :58:38 Feb Displays: a Archiver status w Pending stage queue c Device configuration C Memory d Daemon trace controls D Disk volume dictionary f File systems F Optical disk label g Shared clients I Inode h Help information J Preview shared memory l Usage information K Kernel statistics m Mass storage status L Shared memory tables s Device status S Sector data t Tape drive status T SCSI sense data u Staging queue U Device table v Robot catalog 3

4 Quelle: Verband Organisations- und Informationssysteme (VOI); Braunschweiger Archivtage 23. Treffen der GMDS-Arbeitsgruppe Archivierung von Krankenunterlagen Prof. Dr. Paul Schmücker 4

5 Einheit von Unternehmensspeicher und Geschäftsprozessen im Kontext eines ganzheitlichen Information LifeCycle Management Ansatz (ILM) 5

6 6

7 Administration Unternehmensspeicher 7

8 Speichervirtualisierung 8

9 Welche Technologie ist für die Archivierung optimal, Disk oder Tape? TCO über 12 Jahre laut Clipper-Studie Dezember 2010 Disk ca. 15x teurer als Tape Anschaffungskosten, Unterhaltungskosten, Raumkosten, Energie etc. Zugriffszeiten Datensicherheit Durchsatzraten Technologiewechsel Wartung (defekte Festplatte, defektes Tape, Mechanik) 9

10 Pro&Contra Diskarchivierung pro Random Access schnellerer Zugriff auf Files echtes Tiering mit SATA Lastverteilung über alle Volumes contra kein Archive Media HW Kosten höhere Betriebskosten in Vergleich zu Tape bei fehlerhaften mounten Gefahr des Datenverlustes 10

11 Auswahlkriterien HSM Auswahl: Oracle/Sun SAM-FS / QFS Gute Marktverbreitung (~ Installationen) Verfügbar für Solaris/x86 (nicht nur für SUN Sparc) Schreiben der Daten im tar -Format, sichert langfristigen Datenzugriff, auch ohne SAMFS Anzahl der Files praktisch unbegrenzt Größe eines Files praktisch unbegrenzt (>> 1 TB) 11

12 !! HP StorageWorks SAN Switch 4/32 LNK SPD HP StorageWorks SAN Switch 4/32 LNK SPD Tape hp StorageWorks hp StorageWorks Simplex Duplex ch ch U ID hp ProLiant DL380 G4 SunFire V445!! HP StorageWorks SAN Switch 4/32 LNK SPD HP StorageWorks SAN Switch 4/32 LNK SPD hp StorageWorks hp StorageWorks hp StorageWorks hp StorageWorks!! HP StorageWorks SAN Switch 4/32 LNK SPD HP StorageWorks SAN Switch 4/32 LNK SPD SunFire V445 SAMFS-Clusterkonfiguration HSM (Hierarchical Storage Management) und SAN (Storage Area Network) Serverraum H60b Serverraum H60a Serverraum H17 FC Switch SAN60B_1 Brocade 4100 FC Switch SAN60A_7 Brocade 4100 FC Switch SAN17_3 Brocade x 2x FC Switch SAN60B_2 Brocade 4100 FC Switch SAN60A_8 Brocade 4100 FC Switch SAN17_4 Brocade x 2x 4x 4x 4x 4x 2x 2x 3x 4x 4x 4x 4x 3x 2x 2x 3x 3x S u n S u n EVA-Admin. Server HP-DL380 SAM-FS V5.2 T3 SAM-FS V5.2 T3 EVA 8000 H60b StorageTek Library L500 5 LTO5 FC-Drives StorageTek Library L500 6 LTO3 FC-Drives EVA 4400 H17 EVA 8100, 4400, P6500 H17 StorageTek Library L500 6 LTO3 FC-Drives 12

13 Bandtechnologie Enterprise-Klasse: T9840 und T TB Native T10000C Performance: 240 MB/sec native 2 GB buffer 2 x 4Gb ports Redundanz 13

14 Bandtechnologie LTO5 Datentransferrate 140 MB/sec 19 Sekunden Ladezeit, ca. 52 sec Spulzeit Kapazität 1,5 Tbyte (nicht komprimiert) 14

15 Anmerkungen zum Routinebetrieb Migration der Archivmedien aller 6-10 Jahre Häufigkeit des Datenzugriffes (z.b. PACS der Radiologie: täglich 1600 Zugriffe, davon 36 auf Daten vor 2009; 2,25%) Prüfzyklen, ob Medien noch lesbar sind Single Instance Staging (wann darf das ausgelöst werden? Windows Explorer, Viren Scanner) 15

16 Anmerkungen zum Routinebetrieb Das Volumen in TB ist nicht kritisch, Entscheidend ist die Anzahl der Files (z.b. > z.b. Probleme beim Löschen, dump etc. Archivapplikationen sollten Containerfiles bilden Einsatz von WORM-Medien; Vor- und Nachteile z.b. rearchivieren, recyclen 16

17 Probleme beim Zusammenspiel Nutzer-Archivsystem-HSM Nutzer muss Information über den Status seiner Daten erhalten Nutzer muss Fortschritt des Staging-Prozesses beobachten können, das Weiterarbeiten am Client muss möglich sein. Applikation muss bei der Übergabe der Daten an das HSM auch den Status abfragen. 17

18 SAM-FS Filesysteme Usage information samcmd :20:24 Feb samcmd on samfs4 hostid: 85b2fc3a OS name: SunOS Architecture: sparc CPUs: 128 (128 online) library 10000: capacity 186.3T bytes space 60.2T bytes, usage 68% library 20000: capacity 144.2T bytes space 28.2T bytes, usage 80% library 30000: capacity 172.6T bytes space 71.1T bytes, usage 59% library totals: capacity 503.1T bytes space 159.4T bytes, usage 68% filesystem samfs01: capacity 2.0T bytes space 1.6T bytes, usage 18% filesystem samfs02: capacity 2.0T bytes space 646.7G bytes, usage 68% filesystem samfs03: capacity 4.0T bytes space 569.7G bytes, usage 86% filesystem samfs04: capacity 2.0T bytes space 1.3T bytes, usage 34% filesystem samfs05: capacity 2.0T bytes space 474.5G bytes, usage 76% filesystem samfs06: capacity 2.0T bytes space 448.4G bytes, usage 78% filesystem samfs06da: capacity 2.0T bytes space 1.9T bytes, usage 2% filesystem samfs07: capacity 2.0T bytes space 1.9T bytes, usage 4% filesystem samfs08: capacity 2.0T bytes space 1.9T bytes, usage 4% filesystem samfs08da: capacity 2.0T bytes space 1.7T bytes, usage 12% filesystem samfs10: capacity 2.0T bytes space 859.2G bytes, usage 57% filesystem samfs09: capacity 2.0T bytes space 308.6G bytes, usage 85% filesystem totals: capacity 25.5T bytes space 13.5T bytes, usage 47% 18

19 SAM-FS Filesysteme schnelle Festplattenpartitionen für inode s ma 200 m d 85% on 1.953T G 1M 16 90% 80% mm % on G G [ inodes] md % on T G ma 810 m d 74% on 1.953T G 1M 16 80% 70% mm % on G G [ inodes] md % on T G root@samfs4:/samfs09/sha_archiv/patientenakten/ / / / # sls -D xml: mode: -rwxrwx--- links: 1 owner: shaadm group: sha length: 60 admin id: 0 inode: project: noproject(2) offline; archdone; copy 1: Dec 20 10: d74e dk diskarchiv_sha01 d24/f148 copy 2: Feb 4 06: a5f3fb li SR0066 access: Nov 25 19:59 modification: Feb changed: Feb attributes: Feb creation: Feb residence: Feb 4 06:43 19

20 Archivübersicht Filesystem Disk Applikation Files Kap. samfs01 2,0 TB Alt-PACS (Medos) ,6 TB samfs02 2,0 TB Bildviewing (Chiliweb) ,3 TB samfs03 4,0 TB Zentrales Backup (Dataprotector) samfs04 2,0 TB Xcelera, ViewPoint, IMNB, Images ,9 TB ,0 TB samfs05 2,0 TB Institute ,9 TB samfs06 2,0 TB Mail- und Filearchiv, klinische Applikationen ,4 TB samfs06da 2,0 TB Diskarchiv ,5 TB samfs07 2,0 TB Pathologie-Archiv ,6 TB Samfs08, 10 2x2,0 TB PACS (Infinitt) ,0 TB samfs08da 2,0 TB Diskarchiv ,6 TB samfs09 2,0 TB Patientenakte (SHA- Archiv) ,5 TB Gesamt 26 TB ,3 TB 20

21 Infrastruktur 21

22 Klima, USV 22