Begleitendes Praktikum zu Computer Vision und Mustererkennung: Vertiefung

Transkript

1 Begleitendes Praktikum zu Computer Vision und Mustererkennung: Vertiefung WS11/12

2 Übersicht Kontakt Aufgaben Bibliotheken Hinweise zu C#

3 Kontakt Internet: RSS-Feed Kalender Dipl.-Math. Michael Schmeing m.schmeing<at>uni-muenster.de Raum 602b (Nach Vereinbarung) Prof. Dr. X. Jiang xjiang<at>uni-muenster.de Raum 601 (Nach Vereinbarung) verteiler

4 Termine Werden frei festgelegt Besprechungen der Musterlösungen/besten Abgaben Vorführung

5 AUFGABEN

6 Aufgabe: Handyportoerkennung Brief mit Handyportocode

7 Abgabeplan 3 Abgaben: 1. ROI Erkennung: Identifikation der Region mit den Ziffern Abgabe Anfang November

8 Abgabenplan (2) 2. Ziffernerkennung Methoden: Neuronale Netze Support Vector Machines Abgabe Anfang Dezember

9 Abgabenplan (3) 3. Gesamtsystem Ziffern separieren: Handyportocode erkennen Abgabe Ende Januar

10 Organisation Notwendig zum Bestehen der Veranstaltung: (Teilnahme an der Vorlesung) Teilnahme an der Klausur Abgabe aller drei Aufgaben Vorführung des Gesamtsystems Übungsgruppen mit 2-3 Teilnehmern Es gibt keine Bonuspunkte kein Vorteil gegenüber den Studenten, die nur die Vorlesung besuchen Nach jeder Abgabe: Übungsstunde mit Besprechung der Musterlösung/besten Lösung

11 Aufgabenstellung Komplettes Projekt wird veröffentlicht Hauptdatei: *.sln Windows: Projekt kann direkt benutzt werden Linux: Zielplattform auf.net 2.0 einstellen Projektverweise neu auf eigene Emgu.*.dll setzen Die Abgabe besteht nur aus der Datei WS11P01Hough_LoesungXXX.cs. Dritte Aufgabe: GUI frei gestaltbar Bitte Quellcode kommentieren

12 Aufgabenstellung Projekt besteht aus Program.cs: Hauptschleife (nichts ändern) WS11P01Hough_GUI.cs: GUI WS11P01Hough_Aufgabe.cs: Schnittstelle WS11P01Hough_LoesungXXX.cs: Eure Implementation WS11P01Hough_LoesungGroundTruth.cs: Zum Vergleich: Bibliotheksfunktion Bitte XXX durch Gruppennummer ersetzen. Gruppennummer: Die letzten drei Ziffern der Summe der Matrikelnummern der Gruppenteilnehmer

13 SOFTWAREUMGEBUNG

14 MSDNAA Zugänglich für alle Studenten der IVV5 Enthält Microsoft Software, u.a. Windows XP bis Windows 7 Visual Studio 2010 Ultimate SQL Server Zugang: <kennung>@math.uni-muenster.de Passwort wird an <kennung>@uni-muenster.de geschickt Link: wu_muenster_math_inf&np1=112

15 Emgu.CV Wir benutzen Version Besteht aus sechsteilen: Emgu.CV.dll: Kernbibliothek Computer Vision Emgu.CV.ML.dll: Machine Learning Emgu.CV.UI.dll: GUI-Elemente Emgu.CV.OCR: Tesseract Engine Emgu.CV.GPU: GPU-Funktionen (benutzen wir nicht) Emgu.Util.dll: Zeugs Mehr Informationen auf der Vorlesungswebsite

16 Installation Windows Installation von libemgucv-windows-x exe Installiert Bibliothek Installiert Debugger Visualizer in VS2010 Alternativ: zip-archiv vcredist_x86.exe installieren: Benötigt, damit die OpenCV-dlls ausgeführt werden können *.dll-dateien in Projekt einfügen (nächste Folie) Visual Debugger installieren (übernächste Folie)

17 Installation Windows Projektverweise dann auf folgende Dateien legen: Emgu.CV.dll Emgu.CV.ML.dll Emgu.CV.UI.dll Emgu.CV.OCR Emgu.Util.dll Wichtig: Alle *.dll (inklusive cvextern.dll, opencv*.dll und zedgraph.dll) müssen im Debug und Release-Ordner liegen. Ebenfalls die *.xml-dateien: Tooltip-Hilfe Ausgenommen GPU-Bibliotheken: cvextern_gpu.dll, opencv_gpu{xxx}.dll, npp{xx}_{xx}_{xx}.dll, cudart{xx}_{xx}_{xx}.dll and cufft{xx}_{xx}_{xx}.dll

18 Math.NET Besteht aus MathNet.Iridium.dll Reine.NET-Bibliothek, d.h. ohne Einschränkungen lauffähig unter.net und Mono Version v Installation (Windows + Linux): Einbinden der MathNet.Iridium.dll ins Projekt

19 HINWEISE ZU C#

20 C# Allgemeine Einführung: siehe letztes Semester Hier noch zusätzliche Hinweise: Debugger Bilderzugriff CvInvoke Emgu.CV.ML Sehr gute Einführungen / Quellen: de.wikipedia.org/wiki/sprachelemente_von_c-sharp (<- sehr gut) openbook.galileocomputing.de/visual_csharp_2010/

21 Visual Debugger Bietet die Möglichkeit, im Debugger, d.h. bei angehaltenem Progamm, Bilder zu inspizieren. Installation: Wenn Emgu per *.exe installiert wurde, wird der Visual Debugger automatisch installiert Manuell aus zip-datei: Kopiere alle *.dlls aus der zip-datei nach C:\Program Files\Microsoft Visual Studio 10.0\Common7\Packages\Debugger\Visualizers (der vergleichbar) Neustart

22 Visual Debugger 2. Im Debug Modus ausführen 4. Visual Debugger aufrufen 5. Visual Debugger. Rechtsklick öffnet 3. Variablen inspizieren 6. erweitertes Menü 1. Breakpoint setzten

23 Visual Debugger Aktuelle Funktionszeiger Funktionszeiger Verschiebbar Vor und zurück Code ist veränderbar Wird on-the-fly kompiliert. Danach kann das Debuggen fortgesetzt werden. Entwicklung im Debugger möglich

24 Hinzufügen von Steuerelementen Emgu.UI.dll auswählen

25 Zugriff auf Bilder Image<Bgr, byte> Img = new Image<Bgr, byte>(400,300); Img[r,c]: Extrem langsam (nicht verwenden) Img.Data[r,c,*]. Schon besser. Aber: for (int r = 0; r < rows; r++) for (int c = 0; c < cols; c++) Img.Data[r,c,0] = 255; ist langsam. Besser: byte[,,] imgdata = Img.Data; for (int r = 0; r < rows; r++) for (int c = 0; c < cols; c++) imgdata[r,c,0] = 255; Zeigerzugriff ist noch schneller, aber fehleranfälliger

26 Klasse Image Image<Bgr, byte> Img = new Image<Bgr, byte>(400,300); Viele CV-Funktionen bietet die Klasse Image direkt an: Img.Canny() Img.Hough*() Img.Dilate/Erode() Img.Smooth*() Img.Sobel() Img.Threshold*()

27 CvInvoke Emgu ist ein Wrapper auf OpenCV Kapselt OpenCV-Funktionen (Klassen in Emgu) Wrappt OpenCV-Funktionen: In Klasse CvInvoke Mit der Klasse CvInvoke kann man (so gut wie) alle OpenCV-Funktionen benutzen (mehr, als in Emgu) Beispiel: k-means Clustering: CvInvoke.cvKMeans2(..) Bilder werden als Pointer übergeben: Img.Ptr Arrays (generell: Daten) als Matrizen Vorsicht: Nicht mit (ungenerischen) MathNET Matrizen verwechseln.

28 CvInvoke: Beispiele Binärisierung per Otsu: CvInvoke.cvThreshold(inputImg.Ptr, outputimg.ptr, 0, 255, Emgu.CV.CvEnum.THRESH.CV_THRESH_OTSU); inputimg ist ein Image<Bgr, byte> Bild, outputimg ebenfalls k-means: CvInvoke.cvKMeans2(data.Ptr, 12, labels.ptr, new MCvT ermcriteria(0.0001), 200, IntPtr.Zero, 0, centers, In tptr.zero); data ist vom Typ Matrix<float> data = new Matrix<float>(rows, cols);

29 Emgu.CV.ML Initialisierung eines Neuronalen Netzes mit 5 Neuronen in der Eingabeschicht 7 Neuronen in der verborgenen Schicht 1 Neuron in der Ausgabeschicht: Matrix<int> layersize = new Matrix<int>(new int[] { 5, 7, 1 }); NN = new ANN_MLP(layerSize,...,...,...);

30 Emgu.CV.ML Um z.b. ein ANN_MLP zu trainieren, muss zunächst ein Parameterobjekt initialisiert werden: MCvANN_MLP_TrainParams parameters = new MCvANN_MLP_TrainParams(); parameters.term_crit =...; parameters.train_method =...;... Dann wird das Neuronale Netz trainiert: NN.Train(data, labels,...,..., parameters,...);

31 Fragen?