Flexible Frame Grabber-Architektur für verschiedene Kameratechniken auf FPGA-Basis

Transkript

1 Flexible Frame Grabber-Architektur für verschiedene Kameratechniken auf FPGA-Basis Von Dr. Reinhard Borst, ELTEC Elektronik AG, Mainz Das heute verfügbare Spektrum bei Bildverarbeitungslösungen reicht vom kostengünstigen PC mit einfachem Framegrabber oder mit USB-Kamera bis hin zum kompletten High-End-System mit einem Bilddurchsatz von mehreren hundert Megapixel pro Sekunde. Neue Produkte sind dabei durch folgende Trends gekennzeichnet: FPGAs (Field Programmable Gate Arrays) ersetzen zunehmend ASICs und sogar Standard-Businterfaces, Hardware-Vorverarbeitung hält bei komplexen Bildverarbeitungsaufgaben wieder verstärkt Einzug und schnellere Bussysteme wie PCI Express ermöglichen einen höheren Datendurchsatz. Framegrabber sind die Kernelemente vieler Bildverarbeitungsanwendungen, um die Bilddaten in einer rechnerkonformen Struktur zur Verfügung zu stellen. Diese Bilddaten werden von unterschiedlichsten Kameratypen geliefert. Die Ausgabeeinheit der Kamera bestimmt somit den Eingabekanal des Framegrabbers. Entsprechend den vielfältigen Kameratypen - Farb-, Schwarzweiss-, Flächen- und Zeilenkameras, genormte oder herstellerspezifische Kameraausgänge - ist auch ein entsprechendes Sortiment an unterschiedlichsten Framegrabbern erforderlich. Dem flexiblen Einsatz trägt das Design mit FPGAs Rechnung. Mit einem Basis-Design können hier mehrere Framegrabber abgedeckt werden und ein wiederprogrammierbares FPGA ermöglicht einfache Upgrades im Feld. Außerdem eröffnet der FPGA-Ansatz die schnelle und einfache Bereitstellung kundenspezifischer Lösungen. Das kann bis zur Wieder-Einführung der etwas in Vergessenheit geratenen Hardware-Vorverarbeitung gehen. Warum FPGAs? Gegenüber den bisher eingesetzten ASIC-Lösungen bieten FPGAs einen ganz wesentlichen Vorteil - die Wiederprogrammierbarkeit. Damit eröffnen sich sehr flexible Design-Lösungen, die auch bei mittleren Stückzahlen sehr ökonomisch sind. In den letzten Jahren haben FPGAs außerdem eine rasante Entwicklung erfahren und bieten nunmehr ausreichend große Logik-Ressourcen und hohe Geschwindigkeiten mit mehreren hundert MHz, die sie auch für Anwendungen in der Bildverarbeitung interessant machen. Hardware-Vorverarbeitung: Praktischerweise verfügen moderne FPGAs auch bereits über vordefinierte Schaltungen wie RAM, Bus-Interfaces oder DSP-Funktionen, die das Design eigener Algorithmen vereinfachen. Eine Bildverarbeitung erfolgt dann direkt in Hardware und ist somit nicht durch komplexe Software oder Betriebssystemfunktionen beeinflusst. In der Regel wird

2 Hardware dafür genutzt, komplette Bilder mit jedem Pixel zu bearbeiten (ikonische Verarbeitungsstufe), es werden also einfache Algorithmen mit hoher Geschwindigkeit implementiert; die Software übernimmt dann die Entscheidungen, die aber nur auf ausgewählte Bildteile angewandt werden müssen. Einige Funktionen, die sich gut in FPGAs implementieren lassen: Beleuchtungsausgleich (Shading-Korrektur) mit separaten Korrekturwerten für jedes Pixel einer Zeile oder sogar eines Bildes, der Anschluss von Standard-RAM-Modulen (SO-DIMM-Riegel) als FIFOs mit Kapazitäten von 256 MByte, interne DDR-RAM-Controller erlauben den Einsatz wiederum von Standard-RAMs als Bildreferenzspeicher für schnelle Online-Berechnungen mit mehreren Referenzbildern. Flexibler DMA: Die in den FPGAs enthaltenen DMA-Controller werden von im Hauptspeicher liegenden Skripten gesteuert, die sich der Controller wiederum selbst per DMA holt. Diese Technik, die vollständig vom Treiber aufgesetzt wird, erlaubt es, große Bilder ohne jeden Software-Eingriff selbst dann im Hauptspeicher abzulegen, wenn die virtuelle Speicherverwaltung aktiv ist. Sonst gibt es diese Technik (Scatter-Gather-DMA) nur bei SCSI-Adaptern und Netzwerk-Controllern. Es muss also nicht beim Hochfahren des Betriebssystems bereits Bildspeicher reserviert werden, der als zusammenhängender Speicher dem Paging-Mechanismus dann entzogen ist; statt dessen kann zur Laufzeit Speicher angefordert werden, der dann aber noch gegen Auslagern blockiert werden muss. Field Upgrades: Bei den Framegrabbern von ELTEC ist immer eine Aufteilung der FPGA-Funktionalität auf zwei FPGA vorgenommen worden: Ein FPGA beinhaltet das Businterface; es wird von einem Prom nach dem Reset mit Inhalt gefüllt, ansonsten könnte der PC auch gar nicht booten. Das zweite enthält alle Video-spezifischen Funktionen und wird erst beim Start der Applikation geladen. Damit kann dieser Teil leichter geändert werden und an neue Anforderung angepasst werden. Framegrabber mit speziellen Sicherheits-Features Auch bei Framegrabbern, die speziell für Sicherheits- und Überwachungs-anwendungen konzipiert sind, kommen die Vorteile von FPGAs zum Tragen. Die entsprechenden Anwendungen sind dadurch gekennzeichnet, dass viele Standard-Video-Kameras eingesetzt werden, die schnell umgeschaltet werden müssen. Nur die schnelle Umschaltung garantiert eine möglichst lückenlose Darstellung aller durch die Kameras überwachten Bereiche. Der 16 kanalige p3i_sec Framegrabber erfasst z.b. die Daten von analogen Farbkameras über 16 parallele Eingänge, die alle einen separaten AD- Wandler jeweils mit Farbseparation beinhalten. Bilder können so in Echtzeit erfasst und im PC-Hauptspeicher abgelegt werden, wobei zwischen unkomprimiertem und JPEG- Format gewählt werden kann. Über eine 4kanalige DMA lassen sich bis zu vier Bilder parallel transportieren. Die dazu nötigen DMA-Kanäle werden in einem FPGA realisiert.

3 Die Funktionalität der FPGAs beinhaltet: Eingangsmultiplexer, Skalierung, optionale JPEG-Kompression und den PCI-Transfer. Die leistungsfähige FPGA-Implementierung ermöglicht die gleichzeitige Erfassung mehrerer Kameras (2 x Farbe und 1 x SW, optional 2 x JPEG), wobei die erreichbare Bandbreite allein durch den PCI -Bus beschränkt ist. Video-Data from 16 x SAA 7114 Mux 3 x 16:1 Scal er 1 Scaler 2 Scal er 3 3 x Fi Fo 255 x 32 3 x Fi Fo 255 x 32 Fi Fo 255 x 32 Pixel-Clock Domain PCI-Cl ock Domai n Application-FPGA DMA - Controller Core-FPGA Application-FPGA programming Controller I 2 C-Bus Controller PCI-Core PCI-Bus Abb. 1: Das Hardware-Design des p3i_sec Grabbers mit 16 Kanälen basiert auf FPGAs mit verteilten Funktionen.

4 Durch den Einsatz der programmierbaren Logikbausteine für die Erfassungs- und DMA- Steuerung sind flexible Spezifikationen möglich. So lassen sich von speziellen Bildformaten bis hin zur JPEG-Kompression in Echtzeit verschiedene Lösungen erstellen, die beim Start des Grabbers nachgeladen werden können. Die schnelle Kameraumschaltung wird durch Einsatz von 16 AD-Wandlern ermöglicht. So ist es auch möglich, Kameras im NTSC- und PAL-Format gemischt zu betreiben, und Wandler- Einstellungen wie Bildgröße, Helligkeit und Kontrast individuell einzustellen. Treiber- Software gibt es für Windows und Linux. PCI Express - schnelle Busse sind im Kommen Der etablierte PCI-Bus mit einer maximalen Datentransferrate von 133 MByte/s kommt mittlerweile bei den hohen Anforderungen an die schnellen I/O-Interfaces der Framegrabber-Boards der neuesten Generation langsam an seine Grenzen. Der Framegrabber PC_Eye/Async von ELTEC nutzt den PCI Express-Bus zum Übertragen der Bilder von vier hochauflösenden Kameras. Dabei kommen die Vorteile der neuen Bus-Architektur voll zum Tragen: So ist die Geschwindigkeit von PCI Express mit mindestens 250 MB pro Sekunde (für den x1 PCI Express) etwa doppelt so hoch wie bei PCI. Außerdem lässt sich PCI Express kosteneffektiver implementieren, bei reduzierten Kosten für die Steckverbinder. Bei dem seriellen Bus werden im Gegensatz zum parallelen PCI-Bus weniger Pins benötigt und auch das Board-Design gestaltet sich einfacher als bei einem äquivalenten parallelen Bus.

5 Abb. 2: Auch der PC_Eye/Async Framegrabber nutzt FPGAs für die gleichzeitige Erfassung von 4 monochromen Analog-Kameras und bietet hohe Performance mit PCI Express Bus. In industriellen Bildverarbeitungs-Anwendungen, wo die Digitalisierung sofort nach dem externen Trigger-Signal beginnt, ist oft der Einsatz von Reset/Restart-Kameras erforderlich; dabei müssen unterschiedliche Triggerzeitpunkte für jede Kamera möglich sein. Das Design des PC_Eye/Async Boards hat ein flexibles Video-Eingangs-Modul, das die gleichzeitige Digitalisierung von bis zu vier Kamerasignalen (Quadro Mode) erlaubt. Diese Signale stammen von vier nicht-synchronisierten monochromen Kameras mit 40 MHz Datenrate und 8 Bit Auflösung über vier unabhängige AD-Wandler. Die Bilder werden als vier separate Monochrom-Bilder in einem 8-bit-per-Pixel-Format abgespeichert. Das Design des Boards basiert wieder auf zwei programmierbaren FPGAs, wobei ein Chip das PCI Express-Interface enthält. Der zweite FPGA-Chip enthält die komplette Framegrabber-Schaltung mit FIFOs, Sequenzer und Sync-Generatoren. Diese leistungsfähigen Funktionsblöcke ermöglichen sowohl den Plug&Play-Betrieb als auch einfache Modifizierungen durch einen entsprechenden Firmware-Update. Auf Basis einer modernen Treiber-Struktur ist die Anpassung von neuen Kameras einfach, so dass immer die neuesten Versionen eingesetzt werden können. Die gleichzeitige Erfassung bzw. Speicherung in den Haupt- und Grafikspeicher wird durch den Einsatz mehrerer paralleler DMA-Controller für dieselben Daten ermöglicht. Fazit Ein FPGA-gestütztes Design mit zwei getrennten Logikblöcken, das sich bereits beim PCI-Bus bewährt hat, bietet dieselbe Flexibilität jetzt auch für den PCI Express. Dr. Reinhard Borst Eltec Elektronik AG Tel /918-0 rborst@eltec.de <mailto:rborst@eltec.de> <

6