OpenCV - Open Source Computer Vision

Transkript

1 OpenCV - Open Source Computer Vision Niklas Beuter und Christian Lang 6. Mai 2009 OpenCV - Open Source Computer Vision 1

2 Übersicht Vorteile von OpenCV 1 Vorteile von OpenCV 2 Aufbau 3 OpenCV einbinden Unterschiede Icewing OpenCV 4 Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation OpenCV - Open Source Computer Vision 2

3 OpenCV - Open Source Computer Vision 3 Vorteile von OpenCV OpenCV: entwickelt von Intel seit 1999 geschrieben in C/C++, optimiert für Echtzeitanwendungen unabhängig von Betriebssystem, Hardware und Windowmanager Optimierung durch Verwendung von Intel IPP möglich mehr als 500 Funktionen für Foto- und Videoverarbeitung, Laden und Speichern Weit verbreitet in Forschungseinrichtungen und Unternehmen Aktuelle offiziele Version: 1.0 (2006) neueste (Entwickler-) Version über Sourceforge verfügbar

4 OpenCV - Open Source Computer Vision 4 Warum OpenCV? Vorteile von OpenCV Geschwindigkeit / Echtzeitfähigkeit sehr schnelle Implementierungen dafür teilweise schwer verständlicher Source Code für Verwendung aber i.d.r. Anschauen des Source Codes nicht nötig große Anzahl von Standardalgorithmen verfügbar frei verfügbar (Open Source) Leichte Anbindung an IceWing möglich

5 OpenCV - Open Source Computer Vision 5 Module von OpenCV Aufbau

6 Aufbau Vision ( cv ): Grundlegende Bildverarbeitung (Filter, geometrische Transformationen, Farbraumumwandlungen) Bildanalyse (Featureauswahl, Morphologische Operationen, Konturverfolgung, Histogramme) Strukturelle Analyse (Formfaktoren, Planare Unterteilungen / Segmentierung) Bewegungsanalyse und Objektverfolgung Objekt-/Gesichtserkennung Kamerakalibrierung und Teile von 3D Rekonstruktion OpenCV - Open Source Computer Vision 6

7 Aufbau Kernfunktionalität ( cxcore ): Einfache Operationen auf Arrays Matrixoperationen, mathematische Funktionen DFT XML Zeichenfunktionen (2D Graphik) Komplexe Datenstrukturen: spärliche Matrizen, Wachsende Sequenzen, Graphen cxcore teilweise auch von der Intel Open Source Probabilistic Network Library benutzt OpenCV - Open Source Computer Vision 7

8 Aufbau IO/GUI ( highgui ) Aufnahme und Wiedergabe von Bildern und Videos Einfache (!) GUI mit Nutzerinteraktionen alle OpenCV e mit GUI benutzen HighGUI OpenCV - Open Source Computer Vision 8

9 Aufbau Experimentelle Funktionen ( cvaux ): 3D Vision: Stereo Kalibrierung,... Stereo Korrespondierung, Graphenverbindungen Gesichtsdetailerkennung und -tracking Shape matching, skeletons... HMMs Texturen OpenCV - Open Source Computer Vision 9

10 e Aufbau OpenCV - Open Source Computer Vision 10

11 OpenCV - Open Source Computer Vision 11 Aufbau Ein einfaches Programmbeispiel sample1.cpp #include <cv.h> #include <highgui.h> int main (int argc, char** argv) { IplImage* image; if (argc!= 2 ) return -1; image = cvloadimage(argv[1]); if (!image) return -1; cvnamedwindow("sample",1); cvshowimage("sample",image); cvwaitkey(); cvreleaseimage(&image); cvdestroywindow("sample"); return 0; }

12 OpenCV - Open Source Computer Vision 12 Aufbau Ein einfaches Programmbeispiel sample2.cpp #include <cv.h> #include <highgui.h> IplImage* image = 0; void cb_slider (int thresh) { IplImage* gray = cvcreateimage(cvgetsize(image),ipl_depth_8u,1); cvcvtcolor(image,gray,cv_bgr2gray); cvthreshold(gray,gray,thresh,255,cv_thresh_binary); CvSeq* contours = 0; CvMemStorage* storage = cvcreatememstorage(0); cvfindcontours(gray,storage,&contours); cvsetzero(gray); if (contours) cvdrawcontours(gray,contours,cvscalarall(255), cvscalarall(255),100); cvshowimage("contours",gray); cvreleaseimage(&gray); cvreleasememstorage(&storage); } int main( int argc, char** argv ) { if (argc!= 2!(image = cvloadimage(argv[1]))) return -1; cvnamedwindow("contours",1); int thresh = 100; cvcreatetrackbar("threshold","contours",&thresh,255,cb_slider); cb_slider(thresh); cvwaitkey(); return 0; }

13 OpenCV - Open Source Computer Vision 13 OpenCV mit icewing verwenden OpenCV einbinden Unterschiede Icewing OpenCV IceWing Plugin generieren export PATH=/vol/ai/releases/hardy/bin:$PATH export PKG_CONFIG_PATH=/vol/ai/releases/hardy/lib/pkgconfig:$PKG_CONFIG_PATH icewing-plugingen -cpp OpenCVTestPlugin OpenCV im Makefile OPENCV_CFLAGS OPENCV_LDFLAGS OPENCV_LIBS OPENCV_LIBDIR CXXFLAGS LDFLAGS = pkg-config opencv --cflags = pkg-config opencv --libs-only-l = pkg-config opencv --libs-only-l = pkg-config opencv --variable=libdir += $(OPENCV_CFLAGS) += $(OPENCV_LDFLAGS) -Wl,--rpath,$(OPENCV_LIBDIR) $(OPENCV_LIBS) Include header files im Plugin #include "tools/opencv.h" // IceWing OpenCV support #include <cv.h> #include <cvaux.h> #include <highgui.h> #include <cxcore.h> // unnecessary - included in cv.h

14 OpenCV - Open Source Computer Vision 14 OpenCV mit icewing verwenden OpenCV einbinden Unterschiede Icewing OpenCV Kompilieren und Linken wie üblich make clean; [make depend;] make; IceWing Aufruf icewing -sg V -l./libopencvtestplugin.so opencv.h icewing header void iw_opencv_render (prevbuffer *b, const IplImage *img, iwcoltab ctab); IplImage* iw_opencv_from_img (const iwimage *img, BOOL swaprb); iwimage* iw_opencv_to_img (const IplImage *img, BOOL swaprb); iwimage* iw_opencv_to_img_interleaved (const IplImage *img, BOOL swaprb);

15 OpenCV - Open Source Computer Vision 15 Ein einfaches Plugin OpenCV einbinden Unterschiede Icewing OpenCV OpenCV plugin bool OpenCVTestPlugin::Process (char *ident, plugdata *data) { IplImage* image = 0; iwimage* img = &((grabimagedata*)data->data)->img; image = iw_opencv_from_img(img,true); IplImage* gray = cvcreateimage(cvgetsize(image),ipl_depth_8u,1); CvMemStorage* storage = cvcreatememstorage(0); cvcvtcolor(image,gray,cv_bgr2gray); cvthreshold(gray,gray,value,255,cv_thresh_binary); CvSeq* contours = 0; cvfindcontours(gray,storage,&contours); cvsetzero(gray); if (contours) cvdrawcontours(gray,contours,cvscalarall(255),cvscalarall(255),100); iw_opencv_render(b_image,gray,iw_gray); prev_draw_buffer(b_image); if (image) cvreleaseimage(&image); if (gray) cvreleaseimage(&gray); cvreleasememstorage(&storage); return TRUE; }

16 OpenCV - Open Source Computer Vision 16 OpenCV einbinden Unterschiede Icewing OpenCV IceWing Bildformat vs. OpenCV Bildformat Standard Bildverwendung unterscheidet sich zwischen IceWing und OpenCV OpenCV (IplImage) Pixel im gleichen Speicherbereich. Farben hintereinander IceWing (iwimage) Plane orientierte Speicherverwaltung Jede plane hat die Größe des Bildes Konvertierungsroutinen zum Umwandeln

17 OpenCV - Open Source Computer Vision 17 Datenstrukturen Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation OpenCV Image IplImage -- int nchannels; // Number of color channels (1,2,3,4) -- int depth; // Pixel depth in bits: // IPL_DEPTH_8U, IPL_DEPTH_8S, // IPL_DEPTH_16U,IPL_DEPTH_16S, // IPL_DEPTH_32S,IPL_DEPTH_32F, // IPL_DEPTH_64F -- int width; // image width in pixels -- int height; // image height in pixels -- char* imagedata; // pointer to aligned image data // Note that color images are stored in BGR order -- int dataorder; // 0 - interleaved color channels, // 1 - separate color channels // cvcreateimage can only create interleaved images -- int origin; // 0 - top-left origin, // 1 - bottom-left origin (Windows bitmaps style) -- int widthstep; // size of aligned image row in bytes -- int imagesize; // image data size in bytes = height*widthstep

18 OpenCV - Open Source Computer Vision 18 Datenstrukturen Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation OpenCV Matrix CvMat // 2D array -- int type; // elements type (uchar,short,int,float,double) and flags -- int step; // full row length in bytes -- int rows, cols; // dimensions -- int height, width; // alternative dimensions reference -- union data; -- uchar* ptr; // data pointer for an unsigned char matrix -- short* s; // data pointer for a short matrix -- int* i; // data pointer for an integer matrix -- float* fl; // data pointer for a float matrix -- double* db; // data pointer for a double matrix

19 OpenCV - Open Source Computer Vision 19 Datenstrukturen Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation OpenCV N dimensionale Matrix CvMatND // N-dimensional array -- int type; // elements type (uchar,short,int,float,double) and flags -- int dims; // number of array dimensions -- union data; -- uchar* ptr; // data pointer for an unsigned char matrix -- short* s; // data pointer for a short matrix -- int* i; // data pointer for an integer matrix -- float* fl; // data pointer for a float matrix -- double* db; // data pointer for a double matrix -- struct dim[]; // information for each dimension -- size; // number of elements in a given dimension -- step; // distance between elements in a given dimension

20 OpenCV - Open Source Computer Vision 20 Zugriff auf den Bildinhalt Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation k = channel; i = row; j = column; Indirekt ineffizient, aber sicher IplImage* img = cvcreateimage(cvsize(640,480),ipl_depth_32f,3); CvScalar s = cvget2d(img,i,j); // get the (i,j) pixel value printf("b=%f, G=%f, R=%f\n",s.val[0],s.val[1],s.val[2]); s.val[0] = 111; s.val[1] = 112; s.val[2] = 113; cvset2d(img,i,j,s); // set the (i,j) pixel value Direkt effizient, aber fehleranfällig IplImage* img = cvcreateimage(cvsize(640,480),ipl_depth_8u,3); ((uchar *)(img->imagedata + i*img->widthstep))[j*img->nchannels + 0] = 111; // B ((uchar *)(img->imagedata + i*img->widthstep))[j*img->nchannels + 1] = 112; // G ((uchar *)(img->imagedata + i*img->widthstep))[j*img->nchannels + 2] = 113; // R

21 OpenCV - Open Source Computer Vision 21 Zugriff auf den Bildinhalt Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation k = channel; i = row; j = column; Pointer effizient, aber immer noch fehleranfällig IplImage* img = cvcreateimage(cvsize(640,480), IPL_DEPTH_8U,3); int height = img->height; int width = img->width; int step = img->widthstep/sizeof(uchar); int channels = img->nchannels; uchar* data = (uchar *)img->imagedata; data[i*step+j*channels+k] = 111; Verwendung der Wrapper Klasse IplImage* img = cvcreateimage(cvsize(640,480), IPL_DEPTH_8U,3); RgbImage imga(img); imga[i][j].b = 111; imga[i][j].g = 112; imga[i][j].r = 113; Wrapper Klasse elegant template<class T> class Image { private: IplImage* imgp; public: Image (IplImage* img = 0) { imgp = img; } ~Image() { imgp = 0; } void operator= (IplImage* img) { imgp = img; } inline T* operator[] (const int rowindx) { return ((T*) (imgp->imagedata + rowindx*imgp->widthstep)); } }; typedef struct { unsigned char b,g,r; } RgbPixel; typedef struct{ float b,g,r; } RgbPixelFloat; typedef Image<RgbPixel> RgbImage; typedef Image<RgbPixelFloat> RgbImageFloat; typedef Image<unsigned char> BwImage; typedef Image<float> BwImageFloat;

22 OpenCV - Open Source Computer Vision 22 Zeichnen mit OpenCV Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation Zeichenfunktionen Linien, Kreise, Ellipse,... Polygone (Gefüllt, Kontur) Text Verschiedene Farben, Linienstärken, Antialising Beliebige Bildtypen werden dabei unterstützt

23 OpenCV - Open Source Computer Vision 23 Nützliche Quellen Datenstrukturen Arbeiten mit Bildern Literatur und Dokumentation Buch Learning OpenCV von Bradski und Kaehler, O Reilly Verlag, 2008 /vol/ai/releases/hardy/share/opencv/doc/index.htm (Dokumentation zur OpenCV Installation im GZI) oder direkt (OpenCV Projektseite mit SVN, Download von Snapshots) Pakete der Version 1.0 für viele Linux Distributionen (ubuntu, OpenSUSE,...) (offizielles OpenCV Wiki) index.html (Gute Einführung in OpenCV, viele e auf diesen Folien sind daraus entnommen)