Computer Vision und Mustererkennung SS11

Transkript

1 Computer Vision und Mustererkennung SS11 Übungen

2 Kontakt Internet: RSS-Feed Kalender Dipl.-Math. Michael Schmeing m.schmeing<at>uni-muenster.de Raum 602b Prof. Dr. X. Jiang xjiang<at>uni-muenster.de Raum 601 (Nach Vereinbarung) verteiler

3 Vorlesung Termine Montags, Uhr im M6 Dienstags, Uhr im M6 Donnerstags, Uhr im M6 Ausnahmen: Dienstag, 26. April, Uhr im N2 Donnerstag, 28. April, Uhr im N2 Flexible Festlegung ob Vorlesung Übung Frei zur Programmierung

4 Übungen Schriftliche Übungen S1-Sx Programmierübungen P1-P5(?) Bonuspunkte

5 Schriftliche Übungen Übliche Zettel Gruppenabgaben (ca. 3 Personen) Lösungen werden besprochen

6 Programmierübungen Gruppenabgaben wie Schriftliche Übungen Programmierprojekt aus 5 Schritten Zwischenlösungen werden bewertet Beste Teillösungen werden veröffentlicht Abgabe besteht aus Implementierung einer Schnittstelle. GUI wird vorgegeben Vorführung am Ende des Semesters

7 Programmierprojekt Image Stitching Vier Schritte: Feature Point Erkennung und Registrierung (e.g. Harris, SURF, SIFT) Finden der Transformation (e.g. RANSAC, Least Median) Perspektivische Transformation und Interpolation Blending

8 Image Stitching

9 Programmiersprache Performanc e Zugänglich keit Bibliothek GUI Linux + Windows MATLAB Java C/C++ C# Wir benutzen C#

10 Einführung in C# Programme laufen in Laufzeitumgebung (.NET CLR, entspricht JavaVM) Garbage Collection Managed Code (keine Zeiger) Ähnliche Syntax wie Java Umfangreiche Standardbibliothek Sehr gute IDE (Visual Studio 2010)

11 Syntax Beispiel: class Program { public static void Main() { System.Console.WriteLine("Hallo Welt!"); } } Sehr gute Einführungen / Quellen: de.wikipedia.org/wiki/sprachelemente_von_c-sharp (<- sehr gut) openbook.galileocomputing.de/visual_csharp/

12 MSDNAA Zugänglich für alle Studenten der IVV5 Enthält Microsoft Software, u.a. Windows XP bis Windows 7 Visual Studio 2010 Ultimate SQL Server Zugang: <kennung>@math.uni-muenster.de Passwort wird an <kennung>@uni-muenster.de geschickt

13 Installation Windows.NET: Enthalten, bzw. mit VS2010 installiert IDE: Visual Studio 2010 Bibliotheken: siehe weiter unten Linux (Ubuntu 10.10) Mono (=.NET): Teil von Ubuntu IDE: monodevelop (z.b. über Software-Center) Bibliotheken: siehe weiter unten

14 Bibliotheken Zwei zusätzliche Bibliotheken: Emgu.CV: Computer Vision Wrapper der OpenCV Effizient und sehr umfangreich Math.NET Iridium Mathematikbibliothek U.a. Lineare Algebra, Statistik Native.NET Bibliothek *.dll: Bibliotheken *.xml: Inline-Dokumentation für die IDE *.chm: Dokumentation

15 Emgu.CV Besteht aus vier Teilen: Emgu.CV.dll: Kernbibliothek Computer Vision Emgu.CV.ML.dll: Machine Learning Emgu.CV.UI.dll: GUI-Elemente Emgu.Util.dll: Zeugs Version

16 Syntax /// <summary> /// Verschiebt das Bild in x- und y-richtung /// </summary> /// <param name="shiftx">betrag in x-richtung</param> /// <param name="shifty">betrag in y-richtung</param> /// <returns></returns> public Image<Bgr, byte> shift(int shiftx, int shifty) { int rows = image.rows; int cols = image.cols; //erstellt das zurückzugebende Bild Image<Bgr, byte> shiftimage = new Image<Bgr, byte>(cols, rows); //for-schleife über Zeilen, Spalten und Farbkanäle for (int r = 0; r < rows; r++) { for (int c = 0; c < cols; c++) { for (int d = 0; d < 3; d++) { //Randbehandlung if (r - shifty >= 0 & r - shifty < rows && c - shiftx >= 0 && c - shiftx < cols) shiftimage.data[r, c, d] = image.data[r - shifty, c - shiftx, d]; } } } return shiftimage; }

17 Syntax Image<Bgr, byte> image Bgr: BlueGreenRed : Farbkanäle Alternative: Gray byte: Farbtiefe: 256 Farben pro Kanel = 8-bit Bild Alternative: double, Int16 image[r,c] Liefert Bgr-Objekt, also Farbe, in Zeile r, Spalte c image.data[r,c,d] byte-array Liefert Intensitätswert in Zeile r, Spalte c, Kanal d Schnellerer Zugriff als image[r,c] Wichtig: x-koordinate entspricht Spalte, also (x,y) = (c,r)

18 Installation Windows Installation von libemgucv win32.exe Installiert Bibliothek Installiert Debugger Visualizer in VS2010 Alternativ: zip-archiv benutzen Projektverweise dann auf folgende Dateien legen: Emgu.CV.dll Emgu.CV.ML.dll Emgu.CV.UI.dll Emgu.Util.dll Wichtig: Alle *.dll (inklusive cvextern.dll, opencv*.dll und zedgraph.dll) müssen im Debug und Release-Ordner liegen.

19 Visual Debugger

20 Installation Linux Installation von libemgucv ubuntu x86.deb Alternativ: selbst bauen: Anleitung: Dabei allerdings nicht den Trunk auschecken, sondern: svn co / emgucv Projektverweise dann auf folgende Dateien setzen: Emgu.CV.dll Emgu.CV.ML.dll Emgu.CV.UI.dll Emgu.Util.dll

21 Math.NET Besteht aus MathNet.Iridium.dll Reine.NET-Bibliothek, d.h. ohne Einschränkungen lauffähig unter.net und Mono Version v

22 Syntax public void MatrixFunctions() { //Init Vector (12, -4, 3)' Matrix V = new Matrix(3, 1); V[0, 0] = 12; V[1, 0] = -4; V[2, 0] = 3; //Init Matrix double[,] m = new double[,] { { 1, 2, 3 }, { 2, -3, 4 }, { 3, 4, 5 } }; Matrix M = Matrix.Create(m); //Matrix Multiplikation Matrix M2 = M * V; //Typische Matrixberechnungen M2 = M.Inverse(); ComplexVector ev = M.EigenValues; Matrix evec = M.EigenVectors; double d = M.Determinant(); double n = M.Norm2(); double r = M.Rank(); //Least Squares Matrix X = M.Solve(V); //QR-Zerlegung QRDecomposition QR = M.QRDecomposition; Matrix Q = QR.Q; Matrix R = QR.R; //Cholesky-Zerlegung CholeskyDecomposition CH = M.CholeskyDecomposition; bool posdefinit = CH.IsSPD; //Eigenwert-Zerlegung EigenvalueDecomposition EV = M.EigenvalueDecomposition; //Singulärwertzerlegung SingularValueDecomposition SV = M.SingularValueDecomposition }

23 Installation Windows + Linux: Einbinden der MathNet.Iridium.dll ins Projekt

24 Programmierübung 1

25 Aufgabenstellung Komplettes Projekt wird veröffentlicht Hauptdatei: *.sln Windows: Projekt kann direkt benutzt werden Linux: Zielplattform auf.net 2.0 einstellen Projektverweise neu auf eigene Emgu.*.dll setzen Die Abgabe besteht nur aus der Datei SS11P01PT_Loesung.cs. Bitte Quellcode kommentieren

26 Aufbau Projekt besteht aus Program.cs: Hauptschleife (nichts ändern) SS11P01PT_GUI.cs: GUI SS11P01PT_Aufgabe.cs: Schnittstelle SS11P01PT_Loesung.cs: Eure Implementation SS11P01PT_LoesungGroundTruth.cs: Zum Vergleich: Bibliotheksfunktion

27 SS11P01PT_Aufgabe.cs /// <summary> /// Implementierungsschema für die erste Programmierübung. Die abstract-methode(n) sind zu implementieren /// </summary> public abstract class SS11P01PT_Aufgabe { /// <summary> /// Zu implementierende Funktion: Transformiert das Eingabebild perspektivisch und interpoliert mit Nearest Neighbor /// </summary> /// <param name="image">das zu transformierende Bild</param> /// <param name="matrix">die 3x3-Transformationsmatrix</param> /// <returns>das transformierte Bild</returns> public abstract Image<Bgr, byte> transformperspectivenn(image<bgr, byte> image, double[,] matrix); /// <summary> /// Zu implementierende Funktion: Transformiert das Eingabebild perspektivisch und interpoliert bilinear /// </summary> /// <param name="image">das zu transformierende Bild</param> /// <param name="matrix">die 3x3-Transformationsmatrix</param> /// <returns>das transformierte Bild</returns> public abstract Image<Bgr, byte> transformperspectivebl(image<bgr, byte> image, double[,] matrix); //-----Verwaltungssachen ( ) }

28 SS11P01PT_Loesung.cs class SS11P01PT_Loesung : SS11P01PT_Aufgabe { /// <summary> /// Bitte hier Namen und Matrikelnummer eintragen /// </summary> public SS11P01PT_Loesung() { authors = new String[2] { "Peter Parker", "Petra Parker" }; matrikelnummern = new int[2] { , }; } /// <summary> /// Diese Funktion ist zu implementieren /// </summary> /// <param name="image"></param> /// <param name="matrix"></param> /// <returns></returns> public override Image<Bgr, byte> transformperspectivenn(image<bgr, byte> image, double[,] matrix) { throw new NotImplementedException(); } } /// <summary> /// Diese Funktion ist zu implementieren /// </summary> /// <param name="image"></param> /// <param name="matrix"></param> /// <returns></returns> public override Image<Bgr, byte> transformperspectivebl(image<bgr, byte> image, double[,] matrix) { throw new NotImplementedException(); }

29 SS11P01PT_GUI.cs public partial class SS11P01PT_GUI : Form { private Image<Bgr, byte> image; /// <summary> /// Konstruktor des Hauptfensters /// </summary> public SS11P01PT_GUI() { //Initialisiert die GUI InitializeComponent(); //Initialisiert die Lösungen List<SS11P01PT_Aufgabe> loesungen = new List<SS11P01PT_Aufgabe>(); loesungen.add(new SS11P01PT_Loesung()); loesungen.add(new SS11P01PT_LoesungGroundTruth()); } //Alle Lösungen in die Combobox packen combobox1.items.addrange(loesungen.toarray()); //Die erste Lösung markieren combobox1.selectedindex = 0; (..) }

30 Fragen?