Grundlagen der Videotechnik Python Video/Image Einführung. Zunaechst: Gängige Linux Konsolen Befehle:

Transkript

1 Grundlagen der Videotechnik Python Video/Image Einführung Zunaechst: Gängige Linux Konsolen Befehle: Befehl : Erklaerung man Befehl : manual pages (Erklaerung) fuer Befehl. Beispiel: man cd cd : change directory, "/" : root directory, "." : current directory,.. : eine directory hoeher. Beispiel: cd.. pwd : print working directory ps : print running processes ps ef more print all processes page by page ps ef grep prozessname : prozesse mit diesem Namen werden ausgegeben. kill Nummer: Beendet Programm oder Prozess mit Process ID "Nummer", die vorher mit ps gesehen wurde. df : disk free du : disk usage, shows usage for directories whoami : print username finger username : print information about username date : show date and time time : measures time of a command, e.g. time ls who : shows who is logged in uptime: Shows time since last boot top : shows processes sorted by cpu suage mv : move, mv source destination rm : remove mkdir : make directory cat : "concatenate", outputs the contents of a file more : shows an input or file one page at a time, more filename, or from input e.g.: ls more

2 xterm : start x terminal which befehl : shows path to befehl shutdown now : shuts down computer now vi : vidual editor: terminal based editor. Befehle: esc: commmand mode, in command mode: :w write, :q quit, x delete character, i insert in write mode (enter text) ssh : secure shell, e.g. ssh servername man : manual pages, e.g. man ssh cp : copy a file or directory, e.g. cp filename directory, original is kept, unlike with mv. scp : secure copy, between networked machines, e.g. scp. user@remotemachine.edu:dir chmod : change mode: change access rights for files or directories. To make a file executable: chmod ug+x file. User and group get the right to execute the file. ifconfig : show network data like ip address sox : audio tools, e.g. command "play" wget : copy entire website trees Im Konsolen-Fenster installiere nun pythonopencv (falls nicht schon geschehen). Dies ist die sog. Open Computer Vision Library: sudo apt get install python opencv Dann starte ipython: ipython pylab import cv2 Interessante Befehle in ipython --pylab: help(funktionsname) oder?funktionsname: hilfefunktion fuer den Befehl

3 Beispiel: help(sin) Nuetzliche Befehle: cv2.imread, zum Einlesen von JPEG Bildern aus einer Datei, cv2.imwrite, zum Schreiben von JPEG Bildern in eine Datei, cv2.imshow, zum Darstellen von Bildern aus arrays, imshow, (aus der Library matplotlib.pyplot, die duch pylab schon geladen wurde) Beispiel: Nehme ein Foto auf mit unserm Python Skript imagerecdisp.py mit der Komandozeile: python imagerecdisp.py Dann lesen wir in python das Photo ein mit: photo=cv2.imread('pycolorphoto.jpg'); Wir zeigen sehen dann die Groesse des Bildes mit shape : print("photo dimensions:",photo.shape) ('Photo dimensions:', (480, 640, 3)) Hier ist 480 und 640 die Anzahl der Pixel im Bild, vertikal und horizontal. Die 3 stammt von den 3 Grundfarben Rot, Grün, Blau (RGB).

4 Beachte dass Python sie in der Reihenfolge BGR speichert. D.h. die Farbkomponenten sind der letzte Index eines Pixels, und Index 0 entspricht Blau, 1 entspricht Gruen, und Index 2 entspricht Rot. Wir haben hier Zugang zu den einzelnen Pixeln, z.b. Pixel an der Position 0,0, von der Grundfarbe Blau, ist: photo[0,0,0] 88 Die 88 sind ein Intensitaetswert, der sich zwischen 0 und 255 bei Bildern befindet (entspr. 8 bit pro Grundfarbe). Darstellen koennen wir das Bild in der Matrix photo mit dem Befehl: cv2.imshow('photo',photo) Anzeigen nur der Blau-Komponente als Graustufen-Bild (cmap bedeutet color map): cv2.imshow('blau Komponente',photo[:,:,0]) Videoverarbeitung Die OpenCV Library gibt uns auch die Möglichkeit, Daten direkt von einer Webcam am Rechner, wie dem Raspberry Pi, zu streamen! Dazu gibt es den Befehl: cap = cv2.videocapture(0)

5 Dieser greift auf die Default Kamera 0 zu, welches z.b. die angesteckte USB-Webcam ist. cap enthaelt einen Pointer mit der Adresse dieser Kamera. Einen Frame dieses Streams koennen wir auslesen mit: [retval, frame] = cap.read() wobei retval ein return value ist (der sagt ob alles in Ordnung ist), und frame enthaelt den so gewonnenen Frame. Mit cv2.imshow('frame',frame) Koennen wir diesen Frame dann in einem Fenster anzeigen. Wenn wir dies in einer unendlichen Schleife tun, bekommen wir das live Vider Kamera im Fenster angezeigt. Ein Beispielprogramm dazu ist: import cv2 #Program to capture a video from the default camera (0) and display it live on the screen cap = cv2.videocapture(0) while(true): # Capture frame by frame [retval, frame] = cap.read() # Display the resulting frame

6 cv2.imshow('frame',frame) if cv2.waitkey(1) & 0xFF == ord('q'): break # When everything done, release the capture cap.release() cv2.destroyallwindows() Speicher dies als videorecdisp.py, und rufe es dann vom Konsolenfenser auf mit: python videorecdisp.py und man erhaelt das live Video. Man beendet die Anzeige mit tippen von q. Eine praktische Anwendung ist z.b. eine Rohr Kamera mit Schwanenhals zum Inspizieren von Rohren. Ein weiteres Beispiel ist unsere Aufnahme und das Abspeichern eines Fotos von dieser Webcam: import cv2 #Program to capture an image from a camera and display it live on the screen cap = cv2.videocapture(0) # Capture frame ret, frame = cap.read()

7 # Display the resulting frame cv2.imshow('frame',frame) cv2.imwrite('pycolorphoto.jpg', frame) while(true): if cv2.waitkey(1) & 0xFF == ord('q'): break # When everything done, release the capture cap.release() cv2.destroyallwindows() Abspeichern mit dem Namen imagerecdisp.py, und start mit: python imagerecdisp.py gleich nach dem Start wird das Foto geschossen und angezeigt. Die Anzeige wird wieder mit tippen von q beendet. Das folgende Beispiel zeigt den Inhalt des obersten linken Pixels des Videos bei Start des Programms: import cv2 #Program to capture an image from a camera and display the pixel value on the screen cap = cv2.videocapture(0) # Capture one frame [ret, frame] = cap.read() print("image format: ", frame.shape)

8 print("pixel 0,0: ",frame[0,0,:]) Speichere es unter pyimageshowpixel.py und starte es mit: python pyimageshowpixel.py mit Output: ('image format: ', (480, 640, 3)) ('pixel 0,0: ', array([ 35, 167, 146], dtype=uint8)) Beachte dass wir nur das Pixel addressiert hatten, daher nur 2 Indizes: frame[0,0,:]. Der Doppelpunkt : bedeutet, dass alle Indizes dieser Dimension angesprochen werden. Auf diese Weise koennten wir auch einen Index Bereich ansprechen, durch Anfang:Ende, z.b.: 0:3 spricht die Indizes 0,1,2 an (beachte: nicht den Endwert, die 3). In unserm Fall ist die obige Schreibweise also identisch mit: frame[0,0,0:3] Als Ausgabe bekommen wir daher nicht nur einen Wert, sonder ein Array mit den Werten der 3 Grundfarben, in der Reihenfolge BGR. Rot hat hier also den Wert 146, Gruen 167, und Blau 35. Man sieht auch dass die Zahlendarstellung dazu uint8 ist, das heisst: unsigned integer mit 8 bit, also eine Zahl zwische 0 und 255 (= ).

9 Mit folgendem Programm könne wir die zu R, G, und B gehoerenden Komponenten als Video betrachten: import numpy as np import cv2 #Program to capture a video from a camera and display Original and R,G,B, compinents live on the screen cap = cv2.videocapture(0) cv2.namedwindow('original') cv2.namedwindow('b Komponente') cv2.namedwindow('g Komponente') cv2.namedwindow('r Komponente') while(true): # Capture frame by frame ret, frame = cap.read() # Display the resulting frame cv2.imshow('original',frame) cv2.imshow('b Komponente',frame[:,:,0]) cv2.imshow('g Komponente',frame[:,:,1]) cv2.imshow('r

10 Komponente',frame[:,:,2]) if cv2.waitkey(1) & 0xFF == ord('q'): break # When everything done, release the capture cap.release() cv2.destroyallwindows() Nenne es videorecdisprgb.py und starte es im Konsolenfenster mit: python videorecdisprgb.py Beachte: Die zu der jeweiligen Komponente (R,G,B) gehoerenden Farben erscheinen im zugehoerigen Video heller. Hier sieht man auch: Jedes Pixel benötigt einen Informationsgehalt von 3 Byte (Byte=8bit). Wir haben 480x640 Pixel, also Pixel pro Frames. Wenn wir 25 Frames pro Sekunde haben, kommen wir so auf x 25 x 3 bits pro sekunde (b/s), also b/s, ca. 23 Mb/s! Das ist deutlich mehr als die meisten Internet Anschluesse bieten, geschweige denn fuer drahtlose Übertragung. Wir muessen uns fuer eine (drahtlose) Uebertragung also ueberlegen, wie wir die

11 noetige Bitrate reduzieren. Eine simple Methode, die schon mal einen Faktor 3 bringt, ist ein schwarz-weiss Video statt Farbe zu uebertragen. Dies benoetigt nur 1 Byte pro pixel fuer die Helligkeit. Um den richtigen Helligkeitseindruck zu erzeugen, muessen wir die relative, unterschiedliche empfindlichkeit des menschlichen Auges fuer die 3 Grundfarben beruecksichtigen. Durch empirische untersuchung der subjektiven Helligkeitsempfindung wurde folgendes Verhaeltnis fuer die Grundfarben R,G,B gefunden: 0.299; 0.587; Wir sehen: Das Auge ist am empfindlichsten fuer die Grundfarbe Gruen, gefolgt von Rot, und deutlich geringer fuer Blau. Wenn wir also die Grundfarben-Werte unseres Videos entsprechend gewichten, bekommen wir ein passendes Schwarz-Weiss Bild. Dessen Helligkeitswert bezeichnen wir mit Y: Y=0.299*R *G *B Beachte: Da die Summe der 3 Faktoren gleich 1 ist, hat Y den gleichen Wertebereich wie R,G,B. Python Beispiel zu Berechnung der so. Luminanz Komponente Y, der Helligkeit, oder der Schwarz/Weiss Version des Bildes. Zum

12 Vergleich wird noch die Gruen Komponente wiedergegeben: python videorecprocy.py Beachte: Y gibt am besten den menschlichen Helligkeitseindruck wieder, die Gruen Komponente ist eine gewisse Approximation davon. Allerdings ist eine Schwarz/Weiss Ubertragung nicht sehr zufriedenstellend. Wie koennen wir also Farbe mit relativ geringer Bitrate uebertragen? Wieviele Pixel benoetigen wir ueberhaupt fuer eine qualitativ gute Darstellung? Fuer die Beantwortung dieser Fragen muessen wir uns die Eigenschaften des Auges ansehen.