Konzeption und Implementierung einer Videodigitalisierung und Videoausgabe unter Embedded Linux. Kolloquium von Frank Schwanz

Größe: px

Ab Seite anzeigen:

Download "Konzeption und Implementierung einer Videodigitalisierung und Videoausgabe unter Embedded Linux. Kolloquium von Frank Schwanz"

Kilian Kolbe
vor 8 Jahren
Abrufe

1 Konzeption und Implementierung einer Videodigitalisierung und Videoausgabe unter Embedded Linux Kolloquium von Frank Schwanz

2 Aufgabenstellung Im Rahmen des Projektes Initiative Intelligente Autonome Systeme wird an der FH Brandenburg ein Kernel für intelligente autonome Systeme entwickelt. Eine Teilkomponente des R-Cube-Systems ist eine eigenständige Bildverarbeitungskarte mit StrongARM-Prozessor und ARM-Linux. Zielstellung des Themas ist die Konzeption und Implementierung der Videodigitalisierung und Videoausgabe der Bildverarbeitungskarte. Hierbei sind Schnittstellen zum Auslesen der Bilddaten (vorzugsweise Video4Linux) und Ausgabe von Bilddaten (vorzugsweise Framebuffer- Device) zu entwickeln. Die Umsetzung soll besonderen Wert auf die mögliche Nutzung in kommenden Linux-Kernelversionen sowie die Performance der Lösung legen. Die Funktionsfähigkeit des Systems ist durch geeignete Teststellungen zu evaluieren.

Zielstellung des Themas ist die Konzeption und Implementierung der Videodigitalisierung und Videoausgabe der Bildverarbeitungskarte.

3 Überblick Was ist das RCube-Projekt Anforderungen an das BV-Board Die Hardware des BV-Board Resourcenverbrauch Hardware-Architektur Software-Architektur Ergebnisse

4 Das RCube-Projekt Quelle: CPU-Board LART-Board mit 32-Bit- StrongARM-Prozessor Betriebssystem Linux Aksen-Board Analoge und digitale Sensoren Motor- und Servoausgänge 8Bit Mikrocontroller BV-Board LART-Board Adapterkarte LartVIO für Videodigitalisierung und ausgabe Entwicklung der Firma Tigris Elektronik in Berlin

Aksen-Board Analoge und digitale Sensoren Motor- und Servoausgänge 8Bit

5 Anforderungen an das BV-Board Videodigitalisierung 720x576, sowie 360x288 Bildpunkte bei 25 Bildern/s RGB24, andere Formate optional Helligkeit, Kontrast, Sättigung einstellbar einfache Methoden Bilder einzulesen, Möglichkeiten zur Performanceoptimierung Videoausgabe maximale Auflösung der Videodigitalisierung, optional kleine Auflösungen RGB24, optional andere Formate einfache Methoden Bilder darzustellen allgemeine Anforderungen Dem Prozessor muss genügend Leistungsreserven für die Verarbeitung der Bilder bleiben. Powermanagementmethoden

maximale Auflösung der Videodigitalisierung, optional kleine Auflösungen RGB24, optional andere Formate einfache Methoden Bilder

6 Die Videoerweiterung LartVIO Videodigitalisierung Videodecoder SAA Videoeingänge (umschaltbar) Ausgabe CCIR 601 Videostrom (PAL 720x576, YUV) Videoausgabe Videoencoder ADV7171 Übergabe YUV Videostrom Videocontroller FPGA der Firma Altera bis zu 4992 Logikelemente ca. 6 KB RAM TV-OUT Videoencoder ADV7171 I²C Video In1 Videocontroller ACEX1K Video In2 Video In3 Videodecoder SAA7113 Video In4 CAN Conn. CAN-Bus Anpassung CAN- Controller SJA1000 High-Speed-Connector

Firma Altera bis zu 4992 Logikelemente ca.

7 Das Prozessorboard LART High-Speed-Connector Verbindung zum LartVIO StrongARM SA Bit 220 MHz Takt 32 MB RAM 4MB Flash

8 Benötige Resourcen für die Übertragung in den Hauptspeicher Bild 720x576 Pixel, Farbtiefe 16 Bit (2 Byte) YUV, YCbCr 720 * 576 * 2 Byte = 810 KByte/Bild 810 KByte/Bild * 25 Bilder/s = 20 MByte/s Bild 720x576 Pixel, Farbtiefe 24 Bit (3 Byte) RGB * 576 * 3 Byte = 1,2 MByte/Bild 1,2 MByte/Bild * 25 Bilder/s = 30 MByte/s 2 Videoströme je 20 MByte zwischen LartVIO und Prozessor 2 Videoströme je 30 MByte zwischen Prozessor und Hauptspeicher

Farbtiefe 24 Bit (3 Byte) RGB24 720 * 576 * 3 Byte = 1,2 MByte/Bild 1,2 MByte/Bild * 25 Bilder/s = 30 MByte/s

9 Speicherbus des LART Prozessor RGB24 77,25MByte/s Datenbus Speicher max. Bandbreite zwischen Prozessor und Hauptspeicher ca. 100 MByte/s notwendige Bandbreite ca. 128 MByte/s YCbCr 51,5MByte/s Videomodul YCbCr 25,775 MByte/s Videomodul YCbCr 25,775 MByte/s ca ns Bilddaten 288 Zeilen Gesamtzeile ns 20 ms Zeilen

10 Busmaster Puffer Puffer Prozessor Datenbus RGB24 64,38MByte/s Busmaster Speicher RGB24 32,19 MByte/s Nutzen der Bildaustastzeiten durch Pufferung Übertragung der Videodaten direkt in den Hauptspeicher keine Beteiligung des Prozessors, daher Bearbeitung des Videostroms im Videocontroller notwendig. Videomodul Videomodul YCbCr 25,775 MByte/s YCbCr 25,775 MByte/s

direkt in den Hauptspeicher keine Beteiligung des Prozessors, daher Bearbeitung des

11 FPGA-Design FPGA StrongARM Interface Eigenschaften und IRQs Decoderbus Schnittstelle YCbCr=> RGB + Skalierung Bild/2 Videoeingabe Modulwähler Skalierung optional weitere Videopuffer Encoderbus Schnittstelle Randererzeugung Videopuffer Skalierung RGB=>YCbCr Videoausgabe CAN-Bus Schnittstelle erweiterbar durch Module verschiedene Farbformate und Filter möglich portierbar durch Anpassung von DMA-Modul und StrongARM-Interface Skalierung 720x576 und 360x288 versch. Auflösungen bei Videoausgabe durch Randerzeugung Adressgenerator Adressgenerator DMA Lart Bus

CAN-Bus Schnittstelle erweiterbar durch Module verschiedene Farbformate und Filter möglich portierbar durch Anpassung von DMA-Modul und

12 Softwarearchitektur Applikation Applikation i2c-core i2c-algo-bit Video4Linux2-API Framebuffer- subsystem fbcon.c (nur im akt. Kernel) i2c-lartvio I2C-Busadapter lartvio_fb Framebuffertreiber adv7170 I2C-Client saa7113 I2C-Client lartvio_vin V4L2-Treiber Hardware Hardware Hardware

Kernel) i2c-lartvio I2C-Busadapter lartvio_fb Framebuffertreiber

13 Zugriff auf Bilder (Video4Linux2) Nutzt Prozessorcache Read : Bild wird kopiert Puffer der Applikation Streaming: Bildstruktur enthält Verweis auf den Speicherbereich Bildspeicher des Video4Linux2-Treiber

14 Die Treiberschnittstelle #include <linux/videodev.h> struct v4l2_format fmt; /* Videoformat */ int fd; /* Filedescriptor */ int bytes, err; /* Rückgabewerte char data[720*576]; /* Array für Bilddaten */ /* Treiber öffnen */ fd = open("/dev/video", O_RDWR); /* aktuelle Formateinstellungen lesen */ fmt.type = V4L2_BUF_TYPE_CAPTURE; err = ioctl(vid, VIDIOC_G_FMT, &fmt); /* Setzen der gewünschten Auflösung und Farbtiefe */ fmt.fmt.pix.height = 576; fmt.fmt.pix.width = 720; fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_RGB24; /* Neue Auflösung dem Treiber übergeben */ err = ioctl(vid, VIDIOC_S_FMT, &fmt); /* Lesen eines Bildes */ bytes = read(fd, data, 720*576*24 / 8);

öffnen */ fd = open("/dev/video", O_RDWR); /* aktuelle Formateinstellungen lesen */ fmt.

15 Das fertige BV-Board Videodigitalisierung Auflösungen 720x576 u. 360x288 Farbformate RGB24, YUV leicht erweiterbar Powermanagement nur aktive bei Zugriff auf die Treiber Treiberschnittstelle Standardisiert Zugriff auf Bilder mit wenigen Zeilen Code versch. Methoden zur Performanceoptimierung Performance 12,5 Bilder/s 720x Bilder/s 360x Bilder/s 720x576 bei Anzeige im Framebuffer Videoausgabe Auflösungen 86x120 bis 720x576 in Schritten von 4x4 Farbformate RGB24 Powermanagement extern abschaltbar automatische Abschaltung über Consoletreiber Treiberschnittstelle Standardisiert Bilder mit wenigen Zeilen Code Standardsoftware verwendbar Integrierte Console

Ähnliche Dokumente

Freier Linux Kernel für den Virtex4 FX12

Mitglied der Helmholtz-Gemeinschaft Embedded Linux Freier Linuxkernel für den Virtex4 FX12 23. März 2009 Georg Schardt Freier Linux Kernel für den Virtex4 FX12 Motivation Ausgangslage Bootloader Kernel