Magdeburg Workshop Forschungsdatenmanagement in der medizinischen Bildverarbeitung Magdeburg,29.02.2012 Dr. Harald Hofmann Medizinisches Rechenzentrum harald.hofmann@med.ovgu.de 1
Datenquellen PACS Radiologie, Kardiologie u.a. Bereiche (gut strukturiert) medizintechnische Geräte (Video, EKG, EEG) Krankenaktenarchiv Mail- & Filearchiv (häufig Dubletten) Forschungsdaten 2
Backup, Archiv, HSM Backup: Sicherung von Daten nach Großvater-Vater-Sohn-Prinzip, ermöglicht dem Nutzer verschiedene Versionen in einem definierten Raster wieder herzustellen. Dient der Wiederherstellung von Daten im Verlustfall. Archiv: Speicherung von Daten über einen definierten Zeitraum, Nutzer darf diese Daten nicht ändern, keine Versionsverwaltung. Erfüllung gesetzlicher Vorgaben GDPdU, RÖV, BDSG etc. HSM: hierarchische Speicherung von Daten auf verschiedenen Medien samu 5.2.2 12:58:38 Feb 28 2012 Displays: a Archiver status w Pending stage queue c Device configuration C Memory d Daemon trace controls D Disk volume dictionary f File systems F Optical disk label g Shared clients I Inode h Help information J Preview shared memory l Usage information K Kernel statistics m Mass storage status L Shared memory tables s Device status S Sector data t Tape drive status T SCSI sense data u Staging queue U Device table v Robot catalog 3
Quelle: Verband Organisations- und Informationssysteme (VOI); Braunschweiger Archivtage 23. Treffen der GMDS-Arbeitsgruppe Archivierung von Krankenunterlagen Prof. Dr. Paul Schmücker 4
Einheit von Unternehmensspeicher und Geschäftsprozessen im Kontext eines ganzheitlichen Information LifeCycle Management Ansatz (ILM) 5
6
Administration Unternehmensspeicher 7
Speichervirtualisierung 8
Welche Technologie ist für die Archivierung optimal, Disk oder Tape? TCO über 12 Jahre laut Clipper-Studie Dezember 2010 Disk ca. 15x teurer als Tape Anschaffungskosten, Unterhaltungskosten, Raumkosten, Energie etc. Zugriffszeiten Datensicherheit Durchsatzraten Technologiewechsel Wartung (defekte Festplatte, defektes Tape, Mechanik) 9
Pro&Contra Diskarchivierung pro Random Access schnellerer Zugriff auf Files echtes Tiering mit SATA Lastverteilung über alle Volumes contra kein Archive Media HW Kosten höhere Betriebskosten in Vergleich zu Tape bei fehlerhaften mounten Gefahr des Datenverlustes 10
Auswahlkriterien HSM Auswahl: Oracle/Sun SAM-FS / QFS Gute Marktverbreitung (~3.000+ Installationen) Verfügbar für Solaris/x86 (nicht nur für SUN Sparc) Schreiben der Daten im tar -Format, sichert langfristigen Datenzugriff, auch ohne SAMFS Anzahl der Files praktisch unbegrenzt Größe eines Files praktisch unbegrenzt (>> 1 TB) 11
!! HP StorageWorks SAN Switch 4/32 LNK SPD HP StorageWorks SAN Switch 4/32 LNK SPD 4 4 5 5 Tape hp StorageWorks hp StorageWorks 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 2 2 3 3 8 9 10 11 16 17 18 19 24 25 26 27 12 13 14 15 20 21 22 23 28 29 30 30 8 9 10 11 16 17 18 19 24 25 26 27 12 13 14 15 20 21 22 23 28 29 30 30 1 0 0 1 Simplex Duplex ch ch 2 1 1 2 U ID hp ProLiant DL380 G4 SunFire V445!! HP StorageWorks SAN Switch 4/32 LNK SPD HP StorageWorks SAN Switch 4/32 LNK SPD 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 8 9 10 11 16 17 18 19 24 25 26 27 12 13 14 15 20 21 22 23 28 29 30 30 8 9 10 11 16 17 18 19 24 25 26 27 12 13 14 15 20 21 22 23 28 29 30 30 hp StorageWorks hp StorageWorks hp StorageWorks hp StorageWorks!! HP StorageWorks SAN Switch 4/32 LNK SPD HP StorageWorks SAN Switch 4/32 LNK SPD 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 8 9 10 11 16 17 18 19 24 25 26 27 12 13 14 15 20 21 22 23 28 29 30 30 8 9 10 11 16 17 18 19 24 25 26 27 12 13 14 15 20 21 22 23 28 29 30 30 SunFire V445 SAMFS-Clusterkonfiguration HSM (Hierarchical Storage Management) und SAN (Storage Area Network) Serverraum H60b Serverraum H60a Serverraum H17 FC Switch SAN60B_1 Brocade 4100 FC Switch SAN60A_7 Brocade 4100 FC Switch SAN17_3 Brocade 4100 2x 2x FC Switch SAN60B_2 Brocade 4100 FC Switch SAN60A_8 Brocade 4100 FC Switch SAN17_4 Brocade 4100 2x 2x 4x 4x 4x 4x 2x 2x 3x 4x 4x 4x 4x 3x 2x 2x 3x 3x S u n S u n EVA-Admin. Server HP-DL380 SAM-FS V5.2 T3 SAM-FS V5.2 T3 EVA 8000 H60b StorageTek Library L500 5 LTO5 FC-Drives StorageTek Library L500 6 LTO3 FC-Drives EVA 4400 H17 EVA 8100, 4400, P6500 H17 StorageTek Library L500 6 LTO3 FC-Drives 12
Bandtechnologie Enterprise-Klasse: T9840 und T10000 5 TB Native T10000C Performance: 240 MB/sec native 2 GB buffer 2 x 4Gb ports Redundanz 13
Bandtechnologie LTO5 Datentransferrate 140 MB/sec 19 Sekunden Ladezeit, ca. 52 sec Spulzeit Kapazität 1,5 Tbyte (nicht komprimiert) 14
Anmerkungen zum Routinebetrieb Migration der Archivmedien aller 6-10 Jahre Häufigkeit des Datenzugriffes (z.b. PACS der Radiologie: täglich 1600 Zugriffe, davon 36 auf Daten vor 2009; 2,25%) Prüfzyklen, ob Medien noch lesbar sind Single Instance Staging (wann darf das ausgelöst werden? Windows Explorer, Viren Scanner) 15
Anmerkungen zum Routinebetrieb Das Volumen in TB ist nicht kritisch, Entscheidend ist die Anzahl der Files (z.b. >100.000.000 z.b. Probleme beim Löschen, dump etc. Archivapplikationen sollten Containerfiles bilden Einsatz von WORM-Medien; Vor- und Nachteile z.b. rearchivieren, recyclen 16
Probleme beim Zusammenspiel Nutzer-Archivsystem-HSM Nutzer muss Information über den Status seiner Daten erhalten Nutzer muss Fortschritt des Staging-Prozesses beobachten können, das Weiterarbeiten am Client muss möglich sein. Applikation muss bei der Übergabe der Daten an das HSM auch den Status abfragen. 17
SAM-FS Filesysteme Usage information samcmd 5.2.2 16:20:24 Feb 27 2012 samcmd on samfs4 hostid: 85b2fc3a OS name: SunOS Architecture: sparc CPUs: 128 (128 online) library 10000: capacity 186.3T bytes space 60.2T bytes, usage 68% library 20000: capacity 144.2T bytes space 28.2T bytes, usage 80% library 30000: capacity 172.6T bytes space 71.1T bytes, usage 59% library totals: capacity 503.1T bytes space 159.4T bytes, usage 68% filesystem samfs01: capacity 2.0T bytes space 1.6T bytes, usage 18% filesystem samfs02: capacity 2.0T bytes space 646.7G bytes, usage 68% filesystem samfs03: capacity 4.0T bytes space 569.7G bytes, usage 86% filesystem samfs04: capacity 2.0T bytes space 1.3T bytes, usage 34% filesystem samfs05: capacity 2.0T bytes space 474.5G bytes, usage 76% filesystem samfs06: capacity 2.0T bytes space 448.4G bytes, usage 78% filesystem samfs06da: capacity 2.0T bytes space 1.9T bytes, usage 2% filesystem samfs07: capacity 2.0T bytes space 1.9T bytes, usage 4% filesystem samfs08: capacity 2.0T bytes space 1.9T bytes, usage 4% filesystem samfs08da: capacity 2.0T bytes space 1.7T bytes, usage 12% filesystem samfs10: capacity 2.0T bytes space 859.2G bytes, usage 57% filesystem samfs09: capacity 2.0T bytes space 308.6G bytes, usage 85% filesystem totals: capacity 25.5T bytes space 13.5T bytes, usage 47% 18
SAM-FS Filesysteme schnelle Festplattenpartitionen für inode s ma 200 m----2----d 85% on 1.953T 302.745G 1M 16 90% 80% mm 201 14% on 0 49.977G 42.764G [89683456 inodes] md 205 85% on 1 1.953T 302.745G ma 810 m----2----d 74% on 1.953T 514.688G 1M 16 80% 70% mm 811 32% on 0 199.977G 135.438G [284034464 inodes] md 815 74% on 1 1.953T 514.688G root@samfs4:/samfs09/sha_archiv/patientenakten/000000000000/00 0000000000/000000999000/000000999998# sls -D 000000999998.xml: mode: -rwxrwx--- links: 1 owner: shaadm group: sha length: 60 admin id: 0 inode: 2425008.1 project: noproject(2) offline; archdone; copy 1: ------ Dec 20 10:31 1894.18d74e dk diskarchiv_sha01 d24/f148 copy 2: ------ Feb 4 06:41 452714.a5f3fb li SR0066 access: Nov 25 19:59 modification: Feb 28 2011 changed: Feb 28 2011 attributes: Feb 28 2011 creation: Feb 28 2011 residence: Feb 4 06:43 19
Archivübersicht Filesystem Disk Applikation Files Kap. samfs01 2,0 TB Alt-PACS (Medos) 1.200.000 21,6 TB samfs02 2,0 TB Bildviewing (Chiliweb) 2.700.000 9,3 TB samfs03 4,0 TB Zentrales Backup (Dataprotector) samfs04 2,0 TB Xcelera, ViewPoint, IMNB, Images 10.000 15,9 TB 2.400.000 14,0 TB samfs05 2,0 TB Institute 1.000.000 12,9 TB samfs06 2,0 TB Mail- und Filearchiv, klinische Applikationen 6.500.000 4,4 TB samfs06da 2,0 TB Diskarchiv 16.000 4,5 TB samfs07 2,0 TB Pathologie-Archiv 400.000 5,6 TB Samfs08, 10 2x2,0 TB PACS (Infinitt) 110.000.000 24,0 TB samfs08da 2,0 TB Diskarchiv 102.000 42,6 TB samfs09 2,0 TB Patientenakte (SHA- Archiv) 8.000.000 9,5 TB Gesamt 26 TB 132.328.000 164,3 TB 20
Infrastruktur 21
Klima, USV 22