Heute DirectShow, Live Video Streams

Transkript

1 Heute, Live Video Streams Thomas Jung Filter-Architektur Beispiel Programm Computer Vision Tracking OpenCV Motivation Billige USB-Videokameras (Webcams) sind weit verbreitet Rechnerleistung erlaubt die Verarbeitung der Bilder in Echtzeit Interaktion durch Gesten möglich Media Streaming-Architektur für MS Windows Früher unter dem Namen Active Movie Aufnahme und Wiedergabe verschiedener Streams MPEG, AVI, MP3, WAV,... Z. Z. Kein MPEG2-Dekoder, Quicktime nur bis Version 2 Nutzt vorhandene Hardware automatisch funktioniert aber auch ohne Hardware-Unterstützung Ermöglicht z.b. die Erweiterung des Windows Media Players über Plugins Zusammenspiel Applikation, und Hardware-Komponenten Filtergraph-Architektur - Vorteile Streams können schnell ( in Echtzeit ) verarbeitet werden Unterschiedliche Datenquellen Dateien, Internet, Grabber-Hardware,... Unterschiedliche Datensenken Dateien, Sound- und Grafikkarte, Internet,... Synchronisation von Audio und Video Flexibilität bei unterschiedlicher Hardware DirectSound und DirectDraw für Ausgabe Einbinden von Coder/Decoder-Software

2 Filtergraph zum Abspielen von avi-dateien File Source Filter zum Lesen der Dateien AVI Splitter Filter zum Trennen in Video- und Audio-Stream Decoder Filter zum Dekodieren des Video-Streams Video Renderer Filter zur Darstellung mit DirectDraw DirectSound Device Filter schickt Daten zur Sound-Karte Filtertypen Charakterisierung durch Verbindungspunkte ( Pins ) Pins sind auch COM-Objekte Source Splitter Transform Mux Renderer Kombinierter Source / Splitter Filter - Standardfilter... diese 39 und weitere 33 Filter in der Hilfe! Filter-Interfaces class IMediaFilter HRESULT Stop(); HRESULT Pause(); HRESULT Run(REFERENCE_TIME tstart); HRESULT GetState(DWORD dwmstimeout, FILTER_STATE *State); HRESULT SetSyncSource( IReferenceClock *pclock ); HRESULT GetSyncSource( IReferenceClock **pclock ); class IBaseFilter : public IMediaFilter HRESULT EnumPins( IEnumPins **ppenum ); HRESULT FindPin( LPCWSTR Id, IPin **pppin ); HRESULT JoinFilterGraph( IFilterGraph *pgraph, LPCWSTR pname ); HRESULT QueryFilterInfo( FILTER_INFO *pinfo ); HRESULT QueryVendorInfo( LPWSTR *pvendorinfo ); Filtergraph-Manager Zentrale Komponente von Kann als eigener Thread laufen Exportiert das IMediaFilter-Interface und weitere 23 Interfaces Ist Ansprechpartner für die Applikation und gibt Zustandsänderungen (z.b. Stop) an Filter weiter Ermöglicht Applikation den Aufbau von Graphen Sorgt für Synchronisation u. Event-Handling Bietet Reference Clock Informiert Applikation über Events in den Filtern Programmbeispiel: Abspielen von avi-dateien HRESULT hr; IGraphBuilder *pgraph; IMediaControl *pcontrol; IMediaEvent *pevent; Kreieren des Filter if (FAILED(hr = CoInitialize(NULL)) Graph Managers FAILED(hr = CoCreateInstance(CLSID_FilterGraph, NULL, CLSCTX_INPROC_SERVER, IID_IGraphBuilder, (void **)&pgraph)) FAILED(hr = pgraph->queryinterface(iid_imediacontrol, (void **)&pcontrol)) FAILED(hr = pgraph->queryinterface(iid_imediaevent, (void **)&pevent)) Kreieren zweier FAILED(hr = pgraph->renderfile("c:\\example.avi", NULL)) Interfaces FAILED(hr = pcontrol->run())) Aufbauen des // Fehler... } Abspielen Filter Graphs long evcode = 0; pevent->waitforcompletion(infinite, &evcode); Wenn gewünscht, auf Ende warten

3 Datenaustausch zwischen zwei Filtern Transport beschreibt Protokoll Local memory ist häufigste Variante Mediendaten im Hauptspeicher Austausch über Pins Meistens Push Modell: Sender schickt Daten Pull Modell: Empfänger parst Daten, fordert an Zum Beispiel: AVI Splitter Alternative: Austausch innerhalb der Hardware Über Pins wird nur Kontrollinformation übertragen IPin-Interface // Vor der Verbindung Medientypen erfragen HRESULT QueryAccept(const AMEDIA_TYPE *pmt); HRESULT EnumMediaTypes(IEnumMediaTypes **ppenum); // Verbinden / Trennen HRESULT Connect(IPin *preceivepin, const AMEDIA_TYPE *pmt); HRESULT ReceiveConnection(IPin *pconnector, AMEDIA_TYPE *pmt); HRESULT Disconnect(); // Verbindung abfragen HRESULT ConnectedTo(IPin **pppin); HRESULT ConnectionMediaType(AMEDIA_TYPE *pmt); HRESULT QueryDirection(PIN_DIRECTION *ppindir); // Datenübertragung regeln HRESULT EndOfStream(); HRESULT NewSegment(REFERENCE_TIME tstart, REFERENCE_TIME tstop, double drate); Pins Qualität kann dynamisch angepasst werden Input hat Speicher Überladen CaptureTex9-Beispiel (dshowtextures.h) struct declspec(uuid("7a f-4c19-918b-5560c2819efb}")) CLSID_TextureRenderer9; Eigene Klasse class CTextureRenderer : public CBaseVideoRenderer public: Für 3D-Rendering Vordefinierte Klasse von CTextureRenderer(CCustomPresentation *ppres, LPUNKNOWN punk,hresult *phr); ~CTextureRenderer(); HRESULT CheckMediaType(const CMediaType *pmt ); // Format akzeptabel? HRESULT SetMediaType(const CMediaType *pmt ); // Videoformatbenachrichtigung HRESULT DoRenderSample(IMediaSample *pmediasample); // Neues Videosample private: CCustomPresentation* pcp; CComPtr<IDirect3DSurface9> psurfbuf; // zu texturierende Oberfläche D3DFORMAT MediaFormat; //... und deren Format LONG lvidwidth; LONG lvidheight; LONG lvidpitch; // Video format Fortsetzung: Filtergraph CComPtr<ICaptureGraphBuilder2> pcapture; CComPtr<IGraphBuilder> pgb; CComPtr<IMediaControl> pmc; CComPtr<IMediaEvent> pme; CComPtr<IBaseFilter> psrcfilter; CTextureRenderer *pctr=0; CComPtr<IBaseFilter> prenderer; CComPtr <IMoniker> pmoniker; CComPtr <ICreateDevEnum> pdevenum; CComPtr <IEnumMoniker> pclassenum; CaptureTex9 - Demo Für die Videokamera If (FAILED(hr = pgb.cocreateinstance(clsid_filtergraph, NULL, CLSCTX_INPROC)) FAILED(pGB.QueryInterface(&pMC)) FAILED(pGB.QueryInterface(&pME)) (!(prenderer = pctr = new CTextureRenderer(this, NULL, &hr))) FAILED(hr = pgb->addfilter(prenderer, L"Texture Renderer")) FAILED(hr = CoCreateInstance (CLSID_CaptureGraphBuilder2, NULL, CLSCTX_INPROC, IID_ICaptureGraphBuilder2, (void **) &(pcapture.p))) FAILED(hr = pcapture->setfiltergraph(pgb)) FAILED(hr = CoCreateInstance (CLSID_SystemDeviceEnum, NULL, CLSCTX_INPROC, IID_ICreateDevEnum, (void **) &pdevenum)) FAILED(hr = pdevenum->createclassenumerator(clsid_videoinputdevicecategory, &pclassenum, 0)) (!pclassenum) FAILED(hr = pclassenum->next (1, &pmoniker, &cfetched)) FAILED(hr = pmoniker->bindtoobject(0,0,iid_ibasefilter, (void**)&psrcfilter) FAILED(hr = pgb->addfilter(psrcfilter, L"Video Capture")) FAILED(hr = pcapture->renderstream (&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video, psrcfilter, NULL, prenderer)) FAILED(hr = pmc->run())) // Fehler... }

4 Zusammenfassung: für Datenströme unter MS Windows Filter zum Rendern, Grabbing, File-IO, etc. Filtergraph-Manager verwaltet Filter Viele vordefinierte Filter vorhanden Filter über Pins verbunden CTextureRenderer als Beispiel für neuen Filter Computer Vision Zu Deutsch: Bildverarbeitung, Bildverstehen, Computersehen,... Im Rahmen dieser Lehrveranstaltung... sollen Live-Video-Bilder die 3D-Welt beeinflussen Trivialer Fall: Überwachen eines Pixels...ist keine Höchstschwierigkeit Sonst Bildverarbeitung erforderlich! OpenCV bietet Standard-CV-Algorithmen Open Source 3 horizontale und 1 vertikale Linie: E Bildverarbeitung Szene Bildaufnahme Bildaufnahme Bilddiskretisierung Bilddiskretisierung Bildrestauration Bildrestauration Bildverbesserung Bildverbesserung Bildsegmentierung Bildsegmentierung Merkmalsextraktion Merkmalsextraktion Klassifikation Klassifikation Bildinterpretation Bildinterpretation Typ: VW Käfer 1303 Farbe: weiß Bildbeschreibung Kennzeichen: EN 0986 Monitor Monitor Menschlicher Betrachter Tracking Verfolgung von bewegten Objekten Lage des Objektes Bewegungsverlauf Motion Tracking in der Computeranimation auch elektromagnetisch Optisches Tracking Tracking durch Algorithmen der Bildverarbeitung Simpler Tracking-Algorithmus Bestimmen der bewegten Pixel durch Abziehen des unbewegten Hintergrunds Aufbau eines Motion-History-Bilds Bewegte Pixel werden mit Zeitmarke markiert, bei lange unbewegten Pixeln wird die Marke gelöscht Segmentieren der bewegten Pixel Evtl. Mitte oder Schwerpunkt pro Segment bestimmen Bewegungsgradienten der bewegten Pixel bestimmen pro Segment OpenCV High-Level-Bibliothek zur Bildverarbeitung Calibration techniques (Camera Calibration), Feature detection (Feature)... and tracking (Optical Flow), Shape analysis (Geometry, Contour Processing), Motion analysis (Motion Templates, Estimators), 3D reconstruction (View Morphing), Object segmentation and recognition OpenSource für Windows und Linux Initiiert von Intel Nutzt unter Windows

5 OpenCV - Funktionsumfang Unterstützt diverse Datentypen Z.B.: Bilder, Matrizen, Punkte, Graphen, Bäume Auch Low-Level-Funktionen Zeichenfunktionen: z.b. Ellipse o. Text Gradienten, Kantenextraktion Geometrische Transformationen Farbfilter, Histogrammfunktionen, Pyramiden und, und, und... Motempl - Demo Motempl-Demo for (;;) cvgrabframe(capture); IplImage* image = cvretrieveframe(capture) cvcvtcolor(image, buf[last], CV_BGR2GRAY ); (in Auszügen) // convert frame to grayscale // index of (last - (N-1))th frame idx2 = (last + 1) % N; last = idx2; silh = buf[idx2]; cvabsdiff(buf[idx1], buf[idx2], silh); // get difference between frames cvthreshold(silh, silh, diff_threshold, 1, CV_THRESH_BINARY); // and threshold it cvupdatemotionhistory(silh, mhi, timestamp, MHI_DURATION); // update MHI cvcvtscale(mhi, mask, 255./MHI_DURATION, (MHI_DURATION - timestamp)*255. / MHI_DURATION); // convert MHI to blue 8u image cvzero(motion); cvcvtplanetopix(mask, 0, 0, 0, motion); // calculate motion gradient orientation and valid orientation mask cvcalcmotiongradient(mhi, mask, orient, MAX_TIME_DELTA, MIN_TIME_DELTA, 3 ); cvclearmemstorage(storage); // segment motion: get sequence of motion components // segmask is marked motion components map. It is not used further seq = cvsegmentmotion(mhi, segmask, storage, timestamp, MAX_TIME_DELTA ); r / c LKDemo } for( i = -1; i < seq->total; i++ ) // draw lines and circles in picture motion!!!!! } cvshowimage("motion", motion); FaceDetect-Demo Zusammenfassung Videoströme über zugreifbar Auswertung des Videostroms zur Steuerung der 3D-Szene: Höchstschwierigkeit Zum Tracking OpenCV verwenden OpenSource-Projekt für Bildverarbeitung Beispiele relativ einfach Einbindung möglicherweise aufwändig