Das neue Sehen in der Histologie Virtual Slides in Forschung und Routine 10. Tag der Mikroskopie, Jena, 7. Mai 2008 1
Einführung: Virtuelle Mikroskopie - Digitale Histologie Ausgangspunkt: Telepathologie Arten der klassischen Telekonsultation/ Telepathologie: Offline Telekonsultation Versand von digitalen Ausschnittsbildern per e-mail an potentielle Zweitbefunder die Auswahl erfolgt durch den Erstbefunder Online Telepathologie Online-Übertragung vom Live-Kamerabild auf einem fernsteuerbaren vollmotorisierten Mikroskop die Bildauswahl erfolgt durch den Fernbefunder 2
Einführung: Virtuelle Mikroskopie - Digitale Histologie Ausgangspunkt: Telepathologie Das Hauptproblem der klassischen Telekonsultation/ Telepathologie: Auswahl und Dokumentation des richtigen Bildausschnittes Welcher Ausschnitt ist repräsentativ? Habe ich nichts übersehen? Lösung: Digitalisierung des gesamten Schnittes 3
Einführung: Virtuelle Mikroskopie - Digitale Histologie Definitionen Virtual Slides lösen das Hauptproblem der klassischen Telekonsultation/ Telepathologie: Vollständige Digitalisierung eines histologischen Präparates erzeugt einen Digital Slide = Virtual Slide Betrachtung und Befundung der Virtual Slides am Bildschirm über eine Viewer-Software = Virtuelles Mikroskop 4
Einführung: Virtuelle Mikroskopie - Digitale Histologie Digitalisierung von kompletten histologischen Schnittpräparaten 1. Scannen = Abtasten von Bildfeldern z.b. mit Kamm-Scan und Zusammensetzen nach dem nach Mosaix-Prinzip (das eingezeichnete Raster-Schema entspricht nicht den realen Bildfeldern, das sind praktisch wesentlich mehr!) 2. Speichern in Virtual Slide Datenformat 5
Einführung: Virtuelle Mikroskopie - Digitale Histologie Auswerten von Virtual Slides am Bildschirm Betrachtung von Virtual Slides am Bildschirm erfordert spezielle Viewer-Software Virtuelles Mikroskop verwendet für die verzögerungsfreie Darstellung von extrem großen Bilddaten spezielle Streaming-Technologien MIRAX Viewer MIRAX Java Viewer (MDSD) 6
Vergrößerung/VerkleinerungdurchZomamBildschirm We make it visible Einführung: Virtuelle Mikroskopie - Digitale Histologie Auswerten von Virtual Slides am Bildschirm 1x 5x 40x Live-Demo: MIRAX VIEWER 7
Notwendige Ressourcen für die Virtuelle Mikroskopie Komponenten für ein System für Virtual Slides Was wird für die Implementierung der Virtual Slide Technologie in der Histologie benötigt? Slide Scanner System für die vollständige native Abtastung des gesamten Gewebes auf Objektträgern Virtual Slide Datenformat für das Arbeiten und die Speicherung der extrem großen Bilddaten Viewer Software für das Virtuelle Mikroskop Evtl. Software für Web Slide Server and Telekonsultation Storage Solutions mit hoher Speicherkapazität Tools für den Export von Bilddaten 8
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie Meilensteine MIRAX SCAN MIRAX DESK MIRAX MIDI November 2004 November 2005 Juni 2007 9
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie MIRAX Systeme gemeinsame Haupteigenschaften - Sehr geringer Platzbedarf; robuster und kompakter Aufbau erfordert keine Sondermaßnahmen zur Schwingungsdämpfung Vollautomatischer/Halbautomatischer Betrieb integrierte Barcode Erkennung 1D und 2D permanenter, parametrisierbarer Autofokus Scanzeit typ. 1 20 min pro Slide abhängig von Kameraadapter und Präparatgröße (Belegung) max. Pixel-Auflösung 0.23 µm Zeiss Optik (Plan-Apochromat 20x/0.8) Slides sind SOFORT nach dem Scan auf dem Server weltweit verfügbar! 10
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie Systemvergleich MIRAX SCAN MIRAX MIDI MIRAX DESK Scannertyp Vollautomat Vollautomat Halbautomat Max. Slide-Aufnahme 300 Slides (6 x50) 12 Slides (1x12) 1 Slide Scan Modi Automatik / Manuell Automatik / Manuell Manuell Pixelauflösung 230 nm / Pixel 230 nm / Pixel 230 nm / Pixel Perm. Autofokus Standard Standard Standard Durchlicht Hellfeld Auflicht Fluoreszenz 1D/2D Barcodes Standard Option Standard Standard Option Standard Standard - Option Extended Fokus Option Option Option Abmessungen (BxTxH) in cm 61 x 53 x 54 50 x 50 x 44 26 x 25 x 25 11
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie Der Vollautomat: MIRAX SCAN - Komponenten und Aufbau - 1. Magazine 2. Sample 3. Barcode scanner 4. Preview camera 5. Halogen lamp 6. Objective 7. Scan camera 5 4 6 2 3 7 1 12
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie MIRAX Software: MIRAX SCAN Option 1D/2D-Barcode-Erkennung MIRAX SCAN Option 1D/2D-Barcode-Erkennung besonders empfohlen für Vollautomat MIRAX SCAN Erkennt alle standardisierten 1D und 2D Barcodes (z.b. Datamatrix) Erkennung erfolgt über Bildanalyse-Library von Matrox Imaging (damit stets aktuell) Bedingung: hinreichend sauberer Druck auf entsprechender Label-Fläche bzw. saubere Etiketten bei 1D Barcodes 13
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie MIRAX Software: MIRAX SCAN Option Extended Fokus MIRAX SCAN Option Erweiterte Tiefenschärfe empfohlen für sehr dicke Schnitte (z.b. Hirnschnitte) Aufnahme eines parametrisierbaren Z-Stapels an jedem Tilescan und direkte Verrechnung eines Enhance Focus Bildfeldes Verrechnung Online-Stitching wie bei 1- Ebenen-Aufnahme mit Autofokus Ergebnis ist ein 1-Ebenen-Virtual Slide, der sämtliche (relevanten) Objekte aus dem dicken Schnitt scharf abbildet Achtung! Auf Grund hoher erforderlicher Rechenleistung und enormen Zeitbedarf nicht für die tägliche Routine geeignet. 14
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie MIRAX Software: MIRAX VIEWER MIRAX VIEWER (auch als Freeware Version verfügbar) Software zur Visualisierung hochaufgelöster MIRAX Virtual Slides" Vergrößerung frei wählbar leichtes Navigieren im Präparat per Übersichtsbild, mittlere Zoom- Stellung, Arbeitsfenster und digitale Lupe Vergleichsmöglichkeit verschiedener Objektträger auf einen Blick Hinzufügen, Löschen und Bearbeiten von Annotationen, die separat abgespeichert werden Kennzeichnungsmaske zeigt die begutachtete Objektfläche und zugehörige Vergrößerung 15
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie MIRAX Software: MIRAX VIEWER Option Telekonsultationsserver MIRAX VIEWER Option Telekonsultation (incl. Web Slide Server) Erweiterung des MIRAX Viewers um folgende Funktionen: Upload von MIRAX Slides auf Web Slide Server Verwaltung von Virtual Slides und Nutzern auf einem Server über eine web-basierte Schnittstelle: Verwaltung von Nutzern und Nutzergruppen Verwaltung von Virtual Slides online Telekonsultation mehrerer Kollegen Erstellung des Berichtes einschließlich wählbarer Ansichten online Verteilung des Berichtes Kommunikation mit anderen Mitgliedern der Konferenz 16
Carl Zeiss MIRAX Systeme für die Virtuelle Mikroskopie MIRAX Software: MIRAX VIEWER Option TMA Analyse MIRAX VIEWER Option TMA Analyse Software zur Visualisierung, Annotierung und Klassifizierung von Tissue Micro Arrays (TMA) Core-Finding Import von Core Definition Files (.XLS) Klassifizierung von Cores ( Scoring ) Export der Resultate (.XLS) 17
Technik der MIRAX Systeme Grundlagen der Digitalbildaufnahme am Mikroskop Der Blick durchs Mikroskop Sehfeld und Vergrößerung Hohe Objektivvergrößerung verbessert Sichtbarkeit fürs Auge, Anpassung Vergrößerung an Auflösungsvermögen des Auges Optimierung hinsichtlich Sehfeld und Vergrößerung Sehfeld 25 / Objektiv 5x Sehfeld 25 / Objektiv 40x 18
Technik der MIRAX Systeme Grundlagen der Digitalbildaufnahme am Mikroskop Die Kamera nimmt das Zwischenbild auf! Optimierung der Objektivauswahl hinsichtlich höchster Zwischenbildauflösung! Vergrößerung Zwischenbildauflösung Apertur Objektiv: möglichst niedrige Vergrößerung und maximale Apertur Pixelauflösung = Pixelgröße des CCD- Sensors / Objektivvergrößerung Beim MIRAX: Pixelsize: 4,6 µm Objektiv: Plan-Apochromat 20x /0.8 Pixelauflösung 230 nm! 19
Technik der MIRAX Systeme Digitalbildwiedergabe und Endvergrößerung Die End-Vergrößerung eines Digitalbildes ist abhängig vom Bildwiedergabegerät! Faktoren, die die Vergrößerung bestimmen: Größe/Format des Displays bzw. der Projektion (Beispiele: 22 -Monitor, Projektionswand 2 x 1,5 m²) Anzahl der Pixel (Raster-Punkte) pro Längeneinheit (Beispiele: T221: 204 dpi, Standard-SXGA- 19 -TFT: 96 dpi) Abstand des Betrachters zum Display bzw. der Projektion (verringerter Abstand ergibt höhere End-Vergrößerung für den Betrachter) 20
Technik der MIRAX Systeme Virtual Slide Datenformat Anforderungen an ein Virtual Slide Datenformat Streaming Datenformat für schnelle Rekonstruktion und Datenpufferung von verschiedenen Ansichten - Pyramidenformat (redundante Speicherung in mehreren Zoom-Leveln) Integrierte Bilddatenkompression für schnelle Verarbeitung (Mehrprozessoranwendung) und schnelle Speicherung Möglichkeit der Integration in PACS (DICOM) Das 3D Histech/ Zeiss Virtual Slide Daten Format (.DAT) wurde streng nach diesen Erfordernissen entwickelt. 21
Technik der MIRAX Systeme Virtual Slide Datenformat Pyramidenformat 22
Technik der MIRAX Systeme Virtual Slide Datenformat Bilddatenkompression Samples: Fields of View: 699 Pixel Resolution: 230 nm Storage Size without compression: (only highest layer!) 524 MByte Storage Size with compression: (all layer!) 146 MByte Fields of View: 10364 Pixel Resolution: 230 nm Storage Size without compression: (only highest layer!) 7,8 GByte Storage Size with compression: (all layer!) 2,9 GByte 23
Technik der MIRAX Systeme Virtual Slide Datenformat Dimensionen (Vergleich1) Beispiel Google Earth (1): Brandenburger Tor = 1 FOV Berlin 12 x 8 km² = 1 Slide 24
Technik der MIRAX Systeme Virtual Slide Datenformat Dimensionen (Vergleich 2) Beispiel Google Earth (2): Brandenburger Tor = 10 Pixel D + Rand 1200 x 800 km² = 1 Slide 25
Technik der MIRAX Systeme Virtual Slide Datenformat Dimensionen (Vergleich 3) Fussballfeld = Slide Grashalm = 1 Pixel 26
Technik der MIRAX Systeme Virtual Slides - Servertechnologie Virtual Slides liegen als digitale Dateien auf einem Server! Sind weltweit verfügbar! kein Versand von Objektträgern oder Dateien!!! 27
Technik der MIRAX Systeme Virtual Slide Server Zugangsmöglichkeiten Variante 1: VPN (Vorzugsvariante im LAN) direkter Netzwerkzugang (VPN) zum virtuellen Laufwerk auf lokalem oder entferntem Slideserver (LAN / WAN) : keine Slideserver-Software erforderlich Clients benötigen lediglich Viewer-Software (als Freeware verfügbar) Variante 2: HTTP-Zugang über Internet (für Lehre und öffentliche Zugänge) Web-Slideserver-Software erforderlich (Basis: IIS) Slides müssen erst veröffentlicht werden Clients benötigen lediglich Viewer-Software (als Freeware verfügbar) Achtung! Mindestbandbreite für Upload und Download: 2 MBit/s! 28
Technik der MIRAX Systeme Virtual Slide Datenformat Export JPEG 2000 JPEG 2000 bietet beste Chancen für den zukünftigen Standard für Virtual Slide Daten Aber: kann nicht in Echtzeit (beim Scannen) geschrieben werden, da sehr rechenaufwendig (1 GB Slide ca. 2h Konvertierung!!!), Deshalb nachträgliche Konvertierung für Applikationen, die JPEG 2000 erfordern (z.b. internationale Lehrplattformen) Konverter.DAT JPEG2000 wurde von VMScope GmbH geschrieben. (kommerziell erhältlich) Beyond the scope of microscopy 29
Technik der MIRAX Systeme Eindeutige Vorteile im Wettbewerb (Zusammenfassung) sind extrem kompakt, robust und vor allem schwingungsunempfindlich bieten eine Pixelauflösung von 230 nm als Standard und realisieren das mit einem Plan-Apochromat 20x/0.8 (dem besten Objektiv für die Histologie im Markt!) Daraus resultieren bester Arbeitsabstand, besserer Kontrast, bessere Farbkorrektur. (Aperio und Hamamatsu benötigen ein 40x Objektiv für 230nm Pixelauflösung!) haben einen permanenten, parametrisierbaren Autofokus und entsprechen damit den realen Slide-Unebenheiten besser als der Wettbewerb, der mit einer Fokus Map arbeitet. Das MIRAX Virtual Slide Datenformat gestattet die sofortige Verfügbarkeit des Virtual Slides unmittelbar nach dem letzten Tilescan. 30
Applikationen Virtuelle Mikroskopie Klinische Anwendungen Lehre, Training, Fortbildung Vorteile: Slides werden nur einmal gescannt und stehen Vielen unbegrenzt zur Verfügung (Online auf Server oder evtl. Offline auf Datenträgern) kein ständiges Fertigen von Lehrserien wegen Verlusten oder Glasbruch etc. (Einsparpotenzial!) Möglichkeit völlig neuer Didaktik in der Lehre und Fortbildung Beispiele: Pathologieausbildung an der LMU München im virtuellen Hörsaal IAP Server (VMScope) 31
Applikationen Virtuelle Mikroskopie Klinische Anwendungen Lehre, Training, Fortbildung Slide Samples aus dem Grundkurs Pathologie der LMU München in Zeiss Mirax Web Gallery 32
Applikationen Virtuelle Mikroskopie Klinische Anwendungen Telepathologische Zweitbefundung Vorteile: keine technische Beschränkung in der Auswahl des Zweitbefunders mehr, wesentlich verbesserte Möglichkeiten für die Einbeziehung von Spezialisten für kritische Fälle Wegfall Postversand mit der Gefahr des Verlustes oder der Zerstörung von Slides Schneller Zugriff auf bereits im digitalen Slidearchiv vorhandene Referenzfälle 33
Applikationen Virtuelle Mikroskopie Klinische Anwendungen Telepathologische Befundung von Schnellschnitten 34
Applikationen Virtuelle Mikroskopie Klinische Anwendungen Digitales Slidearchiv Vorteile gegenüber der Lagerung von herkömmlichen Schnittpräparaten: Virtual Slides Altern nicht Gehen nicht verloren Sind beliebig kopierbar Haben eine gleichbleibende Qualität (kein Ausbleichen) Sind weltweit verfügbar Sind schnell und überall zugreifbar (rein elektronischer Zugriff) Können in ein zentrale Bild-Speicher integriert werden (PACS) 35
Applikationen Virtuelle Mikroskopie Bildanalyse für die Klinische Forschung und Pharmaforschung Bildanalyse-Applikationen Übersicht Auswertung von Slides an mehreren Standorten ohne Versand von Objektträgern (incl. speichern von Annotationen und Tracks) Ringversuche, Studien unter GxP Regulations Bildanalyse klassisch High-Content-Screening TMA-Analyse 36
Applikationen Virtuelle Mikroskopie Bildanalyse für die Klinische Forschung und Pharmaforschung Bildanalyse-Methoden Bildanalyse auf dem gesamten Slide in verschiedenen Layern beachten (RAM!) Auswertezeiten hoch! Bildanalyse auf einzelnen Regionen auf dem Slide Finden von ROIs in einem gröberen Level Export der zugehörigen Kachelbilder in dem für die Messung adäquaten Auflösungslevel (z.b. Level 0) Bildanalyse auf den Einzelkacheln Export aller Kacheln in einen Ordner anschliessende klassische Analyse aller Kacheln Achtung! Bei Level 0 sind viele tausend Einzelkacheln im Ordner, lange Auswertezeiten! Signifikanztests sollten unbedingt vorher erfolgen (Einschränkung der Anzahl der Messbilder) 37
Applikationen Virtuelle Mikroskopie Bildanalyse für die Klinische Forschung und Pharmaforschung Export von Bilddaten in Bildanalyseprogramme direkter Import nach AxioVision ( Mirax2AxioVision MIRAX AddIn), ab AxioVison 4.5 mit MosaiX direkter Import von MIRAX-DAT-Files über SDK SLIDE AC 38
Applikationen Virtuelle Mikroskopie Bildanalyse für die Klinische Forschung und Pharmaforschung Beispiel: Export in AxioVision 39
Applikationen Virtuelle Mikroskopie Bildanalyse für die Klinische Forschung und Pharmaforschung Beispiel: Import in Cellenger 40
41