Proseminar: Image Processing Toolbox mit ImageJ

Transkript

1 Proseminar: Image Processing Toolbox mit ImageJ Prof. Olaf Ronneberger Benjamin Drayer Lehrstuhl für Mustererkennung und Bildverarbeitung Institut für Informatik 17. April 2013 O. Ronneberger (LMB) Proseminar: ImageJ / 25

2 Inhalt 1 Organisation Generelle Informationen Anforderungen 2 Themenangebot 3 Warum ImageJ? 4 Platzvergabe 5 Literatur O. Ronneberger (LMB) Proseminar: ImageJ / 25

3 Allgemeines Zielgruppe Credits Ansprechpartner Anmeldung Bachelor Informatik ab 3. Fachsemester 3 ECTS Benjamin Drayer (drayer@informatik.uni-freiburg.de) Sofort Wichtige Termine: Themenvorstellung ImageJ Crashkurs / Präsentations-Techniken Erster Vortrag O. Ronneberger (LMB) Proseminar: ImageJ / 25

4 Anforderungen an die Teilnehmer Aufgaben: Selbstständige Bearbeitung eines angebotenen Themas Implementation eines ImageJ plugins (gut kommentiert!) ca. 35-minütige Präsentation des Themas Kurze Live-Demo des Plugins in Aktion Zu allen Vorträgen erscheinen, aktiv an der Diskussion teilnehmen Bewertung: 33% Verständniss 33% Implementation 33% Vortrag O. Ronneberger (LMB) Proseminar: ImageJ / 25

5 Themenübersicht Thema Betreuer Datum Erstellung von Mosaik-Bildern Dominic Mai Faltung und Korrelation zur Filterung und Detektion Thorsten Schmidt Image Warping Dominic Mai Projektive Transformation mit Homographien Philipp Fischer Image Blending Robert Bensch Intensitätsbasierte Registrierung Benjamin Drayer Hough Transformation zur Liniendetektion Benjamin Ummenhofer Background Subtraction in Videos Naveen Shankar Nagaraja (E) Canny Edge Detektor Alexey Dosovitsky (E) Edge Based Image Compression with Diffusion Peter Ochs Marker Based Watershed Kun Liu (E) Histogramm basierte Segmentierung Ahmed Abdulkadir O. Ronneberger (LMB) Proseminar: ImageJ / 25

6 Erstellung von Mosaikbildern (Dominic Mai) Problem: Optimale Wiedergabe eines Bildes mit Hilfe vieler kleiner Einzelbilder Idee: Vergleiche lokale Bereiche des Bildes mit einer Bilddatenbank und ersetze den Bildbereich durch das Bild aus der Datenbank O. Ronneberger (LMB) Proseminar: ImageJ / 25

7 Erstellung von Mosaikbildern (Dominic Mai) Problem: Optimale Wiedergabe eines Bildes mit Hilfe vieler kleiner Einzelbilder Idee: Vergleiche lokale Bereiche des Bildes mit einer Bilddatenbank und ersetze den Bildbereich durch das Bild aus der Datenbank O. Ronneberger (LMB) Proseminar: ImageJ / 25

8 Faltung und Korrelation zur Filterung... (Thorsten Schmidt) Problem: Bildverbesserung oder Extraktion von Informationen Entfernen von Bildrauschen Idee: Nutze lokale Nachbarschaften im Bild um Sto rungen zu reduzieren oder die gesuchten Strukturen hervorzuheben O. Ronneberger (LMB) Proseminar: ImageJ / 25

9 Faltung und Korrelation zur Filterung... (Thorsten Schmidt) Problem: Bildverbesserung oder Extraktion von Informationen Entfernen von Bildrauschen Idee: Nutze lokale Nachbarschaften im Bild um Sto rungen zu reduzieren oder die gesuchten Strukturen hervorzuheben O. Ronneberger (LMB) Proseminar: ImageJ / 25

10 Faltung und Korrelation zur Filterung... (Thorsten Schmidt) Problem: Bildverbesserung oder Extraktion von Informationen Entfernen von Bildrauschen Scha rfen von unscharfen Bildern Idee: Nutze lokale Nachbarschaften im Bild um Sto rungen zu reduzieren oder die gesuchten Strukturen hervorzuheben O. Ronneberger (LMB) Proseminar: ImageJ / 25

11 Faltung und Korrelation zur Filterung... (Thorsten Schmidt) Problem: Bildverbesserung oder Extraktion von Informationen Entfernen von Bildrauschen Scha rfen von unscharfen Bildern Idee: Nutze lokale Nachbarschaften im Bild um Sto rungen zu reduzieren oder die gesuchten Strukturen hervorzuheben O. Ronneberger (LMB) Proseminar: ImageJ / 25

12 Faltung und Korrelation zur Filterung... (Thorsten Schmidt) Problem: Bildverbesserung oder Extraktion von Informationen Entfernen von Bildrauschen Schärfen von unscharfen Bildern Extraktion von Kanten Idee: Nutze lokale Nachbarschaften im Bild um Störungen zu reduzieren oder die gesuchten Strukturen hervorzuheben O. Ronneberger (LMB) Proseminar: ImageJ / 25

13 Faltung und Korrelation zur Filterung... (Thorsten Schmidt) Problem: Bildverbesserung oder Extraktion von Informationen Entfernen von Bildrauschen Schärfen von unscharfen Bildern Extraktion von Kanten Idee: Nutze lokale Nachbarschaften im Bild um Störungen zu reduzieren oder die gesuchten Strukturen hervorzuheben O. Ronneberger (LMB) Proseminar: ImageJ / 25

14 ... und Detektion(Thorsten Schmidt) Problem: Finden a hnlicher Regionen in verschiedenen Bildern Idee: Verwende zu suchende Region als Filter O. Ronneberger (LMB) Proseminar: ImageJ / 25

15 ... und Detektion(Thorsten Schmidt) Problem: Finden a hnlicher Regionen in verschiedenen Bildern Korrespondierende Regionen erzeugen hohe Filter-Antwort Idee: Verwende zu suchende Region als Filter O. Ronneberger (LMB) Proseminar: ImageJ / 25

16 ... und Detektion(Thorsten Schmidt) Problem: Finden a hnlicher Regionen in verschiedenen Bildern Korrespondierende Regionen erzeugen hohe Filter-Antwort Korrespondenzen werden fu r viele Bereiche der Bildverarbeitung gebraucht, wie z.b. Stitching, Registrierung, Stereo, Optical Flow,... Idee: Verwende zu suchende Region als Filter O. Ronneberger (LMB) Proseminar: ImageJ / 25

17 Image Warping (Dominic Mai) Problem: Das Bild soll u ber eine Koordinatentransformation in ein anderes Bild u berfu hrt werden Anwendung linearer Bildtransformationen (Drehung, Verschiebung,... ) Idee: Berechne fu r jeden Pixel seine Position nach der Transformation und erzeuge damit ein ver-/entzerrtes Bild O. Ronneberger (LMB) Proseminar: ImageJ / 25

18 Image Warping (Dominic Mai) Problem: Das Bild soll u ber eine Koordinatentransformation in ein anderes Bild u berfu hrt werden Anwendung linearer Bildtransformationen (Drehung, Verschiebung,... ) Idee: Berechne fu r jeden Pixel seine Position nach der Transformation und erzeuge damit ein ver-/entzerrtes Bild O. Ronneberger (LMB) Proseminar: ImageJ / 25

19 Image Warping (Dominic Mai) Problem: Das Bild soll u ber eine Koordinatentransformation in ein anderes Bild u berfu hrt werden Anwendung linearer Bildtransformationen (Drehung, Verschiebung,... ) Anwendung/Ru ckga ngigmachung nicht-linearer radialer Verzerrungen (Linseneffekte/Zerrspiegel) Idee: Berechne fu r jeden Pixel seine Position nach der Transformation und erzeuge damit ein ver-/entzerrtes Bild O. Ronneberger (LMB) Proseminar: ImageJ / 25

20 Image Warping (Dominic Mai) Problem: Das Bild soll u ber eine Koordinatentransformation in ein anderes Bild u berfu hrt werden Anwendung linearer Bildtransformationen (Drehung, Verschiebung,... ) Anwendung/Ru ckga ngigmachung nicht-linearer radialer Verzerrungen (Linseneffekte/Zerrspiegel) Idee: Berechne fu r jeden Pixel seine Position nach der Transformation und erzeuge damit ein ver-/entzerrtes Bild O. Ronneberger (LMB) Proseminar: ImageJ / 25

21 Image Warping (Dominic Mai) Problem: Das Bild soll u ber eine Koordinatentransformation in ein anderes Bild u berfu hrt werden Anwendung linearer Bildtransformationen (Drehung, Verschiebung,... ) Anwendung/Ru ckga ngigmachung nicht-linearer radialer Verzerrungen (Linseneffekte/Zerrspiegel) Anwendung komplexerer Verzerrungen als grafischen Effekt Idee: Berechne fu r jeden Pixel seine Position nach der Transformation und erzeuge damit ein ver-/entzerrtes Bild O. Ronneberger (LMB) Proseminar: ImageJ / 25

22 Image Warping (Dominic Mai) Problem: Das Bild soll u ber eine Koordinatentransformation in ein anderes Bild u berfu hrt werden Anwendung linearer Bildtransformationen (Drehung, Verschiebung,... ) Anwendung/Ru ckga ngigmachung nicht-linearer radialer Verzerrungen (Linseneffekte/Zerrspiegel) Anwendung komplexerer Verzerrungen als grafischen Effekt Idee: Berechne fu r jeden Pixel seine Position nach der Transformation und erzeuge damit ein ver-/entzerrtes Bild O. Ronneberger (LMB) Proseminar: ImageJ / 25

23 Projektive Transformationen mit Homographien (Philipp Fischer) Problem: Bestimmen projektiver Transformation Entzerren von Fotos Malen auf planaren Fla chen im original Bild Idee: Verwende Korrespondenzen um Parameter der Transformationsmatrix zu bestimmen O. Ronneberger (LMB) Proseminar: ImageJ / 25

24 Projektive Transformationen mit Homographien (Philipp Fischer) Problem: Bestimmen projektiver Transformation Entzerren von Fotos Malen auf planaren Fla chen im original Bild Idee: Verwende Korrespondenzen um Parameter der Transformationsmatrix zu bestimmen O. Ronneberger (LMB) Proseminar: ImageJ / 25

25 Image Blending (Robert Bensch) Problem: Die ausgerichteten Bilder unterscheiden sich in ihrer Helligkeit und haben überlappende Bereiche Idee: Normiere die Helligkeit und erzeuge weiche Übergänge in den überlappenden Bereichen O. Ronneberger (LMB) Proseminar: ImageJ / 25

28 Lineare intensitätsbasierte Registrierung (Benjamin Drayer) Problem: Bringe zwei oder mehr Bilder derselben / ähnlicher Szenen bestmöglich in Übereinstimmung Wie identifiziert man korrespondierende Teile? Idee: Definiere ein Ähnlichkeitsmaß auf Grundlage der Bildintensitäten und finde die lineare Transformation, welche die Ähnlichkeit maximiert O. Ronneberger (LMB) Proseminar: ImageJ / 25

31 Hough-Transformation von Linien (Benjamin Ummenhofer) Problem: Finde Geraden in einer Szene Fahrbahnbegrenzung Fluchtpunkt Idee: Lasse jeden Bildpunkt für eine mögliche Gerade abstimmen, nimm Gerade mit den höchsten Votes O. Ronneberger (LMB) Proseminar: ImageJ / 25

34 Background subtraction in Videos (Naveen Shankar Nagaraja) Problem: Identifikation von bewegten Objekten in Videos, z.b. für Überwachung und Gestenerkennung Veränderungen in der Beleuchtung Dynamischer Hintergrund Bewegung der Kamera Idee: Vergleiche jeden Frame mit dem Hintergrundmodell, d.h. ziehe den aktuellen Frame vom Hintergrund ab O. Ronneberger (LMB) Proseminar: ImageJ / 25

41 Canny Edge Detektor (Alexey Dosovisky) Problem: Finde starke Kanten im Bild Kanten enthalten viele Informationen ( > Kompression) Invariant gegenüber Beleuchtung Idee: Verwende speziellen Filter gefolgt von Hysterese Thresholding O. Ronneberger (LMB) Proseminar: ImageJ / 25

44 Edge Based Image Compression with Diffusion(Peter Ochs) Problem: Verlustbehaftete Kompression von Comic-Bildern O. Ronneberger (LMB) Proseminar: ImageJ / 25

45 Edge Based Image Compression with Diffusion(Peter Ochs) Problem: Verlustbehaftete Kompression von Comic-Bildern Standardverfahren bei hohen Kompressionsraten schlecht: JPEG O. Ronneberger (LMB) Proseminar: ImageJ / 25

46 Edge Based Image Compression with Diffusion(Peter Ochs) Problem: Verlustbehaftete Kompression von Comic-Bildern Standardverfahren bei hohen Kompressionsraten schlecht: JPEG JPEG2000 O. Ronneberger (LMB) Proseminar: ImageJ / 25

47 Edge Based Image Compression with Diffusion(Peter Ochs) Problem: Verlustbehaftete Kompression von Comic-Bildern Standardverfahren bei hohen Kompressionsraten schlecht: JPEG JPEG2000 Idee: Verwende Informationen aus den Kanten und rekonstruiere Zwischenräume O. Ronneberger (LMB) Proseminar: ImageJ / 25

51 Marker-based Watershed zur Zellsegmentierung (Kun Liu) Problem: Finde und extrahiere Objekte aus einem Bild Idee: Betrachte das Bild (oder ein gewonnenes Kantenbild) als ein Grauwert-Relief und flute dieses von definierten Basins aus. Dort wo die Basins sich vereinen, ziehe einen Damm O. Ronneberger (LMB) Proseminar: ImageJ / 25

55 Histogrammbasierte Segmentierung und...(ahmed Abdulkadir) Problem: Segmentierung von Gehirnen in White Matter, Gray Matter und Hintergrund Idee: Lerne Intensitätsverteilungen der einzelnen Klassen aus ihren Histogrammen O. Ronneberger (LMB) Proseminar: ImageJ / 25

56 Histogrammbasierte Segmentierung und...(ahmed Abdulkadir) Problem: Segmentierung von Gehirnen in White Matter, Gray Matter und Hintergrund Idee: Lerne Intensitätsverteilungen der einzelnen Klassen aus ihren Histogrammen O. Ronneberger (LMB) Proseminar: ImageJ / 25

57 ...Connected Component Labelling von Gehirnen (Ahmed Abdulkadir) Problem: Extraktion von zusammenhängenden Bereichen. Idee: Betrachte bestimmt Nachbarschaft von Pixeln als zusammengehörend O. Ronneberger (LMB) Proseminar: ImageJ / 25

58 ...Connected Component Labelling von Gehirnen (Ahmed Abdulkadir) Problem: Extraktion von zusammenhängenden Bereichen. Idee: Betrachte bestimmt Nachbarschaft von Pixeln als zusammengehörend O. Ronneberger (LMB) Proseminar: ImageJ / 25

59 Themenübersicht Thema Schwierigkeit Betreuer Datum Theorie/Progr. Erstellung von Mosaik-Bildern / Dominic Mai Faltung und Korrelation zur Filterung und Detektion / Thorsten Schmidt Image Warping / Dominic Mai Projektive Transformation mit Homographien / Philipp Fischer Image Blending / Robert Bensch Intensitätsbasierte Registrierung / Benjamin Drayer Hough Transformation zur Liniendetektion / Benjamin Ummenhofer Background Subtraction in Videos / Naveen Shankar Nagaraja (E) Canny Edge Detektor / Alexey Dosovitsky (E) Edge Based Image Compression with Diffusion / Peter Ochs Marker Based Watershed / Kun Liu (E) Histogramm basierte Segmentierung / Ahmed Abdulkadir O. Ronneberger (LMB) Proseminar: ImageJ / 25

60 Warum ImageJ? Tool zur Bildbe- und Verarbeitung Anwendung in Biologie und Medizin Vorteile: Open Source Plattform-Unabhängig (Java basiert) flexible Plugin-Schnittstelle Große Zahl von Plugins verfügbar Nachteile Bedienung nicht immer intuitiv Kleinere Plattform-spezifische Eigenheiten O. Ronneberger (LMB) Proseminar: ImageJ / 25

61 Architektur eines ImageJ Plugins Importierte Pakete: Allgemeine ImageJ Pakete Beispiel (Image Inverter.java) import ij.*; import ij.plugin.filter.pluginfilter; import ij.process.*; import java.awt.*; public class Image_Inverter implements PlugInFilter { } public int setup(string arg, ImagePlus imp) { if (IJ.versionLessThan( 1.37j )) return DONE; else return DOES_8G+SUPPORTS_MASKING; } public void run(imageprocessor ip) { Rectangle r = ip.getroi(); for (int y = r.y; y < (r.y + r.height); y++) for (int x = r.x; x < (r.x + r.width); x++) ip.set(x, y, ip.get(x, y)); } O. Ronneberger (LMB) Proseminar: ImageJ / 25

62 Architektur eines ImageJ Plugins Importierte Pakete: Allgemeine ImageJ Pakete Bearbeitung des aktuellen Bildes Beispiel (Image Inverter.java) import ij.*; import ij.plugin.filter.pluginfilter; import ij.process.*; import java.awt.*; public class Image_Inverter implements PlugInFilter { } public int setup(string arg, ImagePlus imp) { if (IJ.versionLessThan( 1.37j )) return DONE; else return DOES_8G+SUPPORTS_MASKING; } public void run(imageprocessor ip) { Rectangle r = ip.getroi(); for (int y = r.y; y < (r.y + r.height); y++) for (int x = r.x; x < (r.x + r.width); x++) ip.set(x, y, ip.get(x, y)); } O. Ronneberger (LMB) Proseminar: ImageJ / 25

63 Architektur eines ImageJ Plugins Importierte Pakete: Allgemeine ImageJ Pakete Bearbeitung des aktuellen Bildes ImageProcessor Beispiel (Image Inverter.java) import ij.*; import ij.plugin.filter.pluginfilter; import ij.process.*; import java.awt.*; public class Image_Inverter implements PlugInFilter { } public int setup(string arg, ImagePlus imp) { if (IJ.versionLessThan( 1.37j )) return DONE; else return DOES_8G+SUPPORTS_MASKING; } public void run(imageprocessor ip) { Rectangle r = ip.getroi(); for (int y = r.y; y < (r.y + r.height); y++) for (int x = r.x; x < (r.x + r.width); x++) ip.set(x, y, ip.get(x, y)); } O. Ronneberger (LMB) Proseminar: ImageJ / 25

64 Architektur eines ImageJ Plugins Importierte Pakete: Allgemeine ImageJ Pakete Bearbeitung des aktuellen Bildes ImageProcessor Java GUI Elemente Beispiel (Image Inverter.java) import ij.*; import ij.plugin.filter.pluginfilter; import ij.process.*; import java.awt.*; public class Image_Inverter implements PlugInFilter { } public int setup(string arg, ImagePlus imp) { if (IJ.versionLessThan( 1.37j )) return DONE; else return DOES_8G+SUPPORTS_MASKING; } public void run(imageprocessor ip) { Rectangle r = ip.getroi(); for (int y = r.y; y < (r.y + r.height); y++) for (int x = r.x; x < (r.x + r.width); x++) ip.set(x, y, ip.get(x, y)); } O. Ronneberger (LMB) Proseminar: ImageJ / 25

65 Architektur eines ImageJ Plugins Importierte Pakete: Allgemeine ImageJ Pakete Bearbeitung des aktuellen Bildes ImageProcessor Java GUI Elemente Benötigte Methoden: setup(): Vorbereitung, Type-Checking und Parameter-Eingabe Beispiel (Image Inverter.java) import ij.*; import ij.plugin.filter.pluginfilter; import ij.process.*; import java.awt.*; public class Image_Inverter implements PlugInFilter { } public int setup(string arg, ImagePlus imp) { if (IJ.versionLessThan( 1.37j )) return DONE; else return DOES_8G+SUPPORTS_MASKING; } public void run(imageprocessor ip) { Rectangle r = ip.getroi(); for (int y = r.y; y < (r.y + r.height); y++) for (int x = r.x; x < (r.x + r.width); x++) ip.set(x, y, ip.get(x, y)); } O. Ronneberger (LMB) Proseminar: ImageJ / 25

66 Architektur eines ImageJ Plugins Importierte Pakete: Allgemeine ImageJ Pakete Bearbeitung des aktuellen Bildes ImageProcessor Java GUI Elemente Benötigte Methoden: setup(): Vorbereitung, Type-Checking und Parameter-Eingabe run(): Ausführung der Operation Beispiel (Image Inverter.java) import ij.*; import ij.plugin.filter.pluginfilter; import ij.process.*; import java.awt.*; public class Image_Inverter implements PlugInFilter { } public int setup(string arg, ImagePlus imp) { if (IJ.versionLessThan( 1.37j )) return DONE; else return DOES_8G+SUPPORTS_MASKING; } public void run(imageprocessor ip) { Rectangle r = ip.getroi(); for (int y = r.y; y < (r.y + r.height); y++) for (int x = r.x; x < (r.x + r.width); x++) ip.set(x, y, ip.get(x, y)); } O. Ronneberger (LMB) Proseminar: ImageJ / 25

67 Platzvergabe Wir brauchen von euch... Top 3 Wunschkandidaten basierend auf perönlichem Interesse Semester & Studiengang Evtl: Begründung warum du das Seminar unbedingt dieses Semester machen musst bis Sonntag Abend per O. Ronneberger (LMB) Proseminar: ImageJ / 25

68 Platzvergabe Wir brauchen von euch... Top 3 Wunschkandidaten basierend auf perönlichem Interesse Semester & Studiengang Evtl: Begründung warum du das Seminar unbedingt dieses Semester machen musst bis Sonntag Abend per Zuweisung der Themen basierend auf obigen Kriterien, ihr bekommt am Montag (22.04.) eine O. Ronneberger (LMB) Proseminar: ImageJ / 25

69 Platzvergabe Wir brauchen von euch... Top 3 Wunschkandidaten basierend auf perönlichem Interesse Semester & Studiengang Evtl: Begründung warum du das Seminar unbedingt dieses Semester machen musst bis Sonntag Abend per Zuweisung der Themen basierend auf obigen Kriterien, ihr bekommt am Montag (22.04.) eine Wir verwenden die Ungarische Methode: global optimale (günstigste) Zuweisung Kosten für Favoriten: 0,1,4 Kosten für andere Themen: 10 Kosten für Kein Platz : x [0, 1] Kosten für Kein Platz(Härtefall) : O. Ronneberger (LMB) Proseminar: ImageJ / 25

70 Platzvergabe Wir brauchen von euch... Top 3 Wunschkandidaten basierend auf perönlichem Interesse Semester & Studiengang Evtl: Begründung warum du das Seminar unbedingt dieses Semester machen musst bis Sonntag Abend per Zuweisung der Themen basierend auf obigen Kriterien, ihr bekommt am Montag (22.04.) eine Wir verwenden die Ungarische Methode: global optimale (günstigste) Zuweisung Kosten für Favoriten: 0,1,4 Kosten für andere Themen: 10 Kosten für Kein Platz : x [0, 1] Kosten für Kein Platz(Härtefall) : Nachdem ihr ein Thema bekommen habt, müsst ihr euch innerhalb von einer Woche bei eurem Betreuer melden O. Ronneberger (LMB) Proseminar: ImageJ / 25

71 Themenübersicht Thema Schwierigkeit Betreuer Datum Theorie/Progr. Erstellung von Mosaik-Bildern / Dominic Mai Faltung und Korrelation zur Filterung und Detektion / Thorsten Schmidt Image Warping / Dominic Mai Projektive Transformation mit Homographien / Philipp Fischer Image Blending / Robert Bensch Intensitätsbasierte Registrierung / Benjamin Drayer Hough Transformation zur Liniendetektion / Benjamin Ummenhofer Background Subtraction in Videos / Naveen Shankar Nagaraja (E) Canny Edge Detektor / Alexey Dosovitsky (E) Edge Based Image Compression with Diffusion / Peter Ochs Marker Based Watershed / Kun Liu (E) Histogramm basierte Segmentierung / Ahmed Abdulkadir O. Ronneberger (LMB) Proseminar: ImageJ / 25

72 Weitere Informationen ImageJ-Homepage: Tutorial: Empfohlene Literatur: [1] Burger und Burge. Digitale Bildverarbeitung - Eine Einführung mit Java und ImageJ 2. überarb. Aufl., Deutsch, Springer, Berlin, [2] Gonzalez and Woods. Digital Image Processing 2nd Edition, Prentice Hall, 2002 O. Ronneberger (LMB) Proseminar: ImageJ / 25