FPGA-Synthese mit VHDL für Bildverarbeitungsanwendungen

Transkript

1 Prof. Dr. JÜRGEN REICHARDT, FH Hamburg, FB E/I, Berliner Tor 3, Hamburg, etech.fh-hamburg.de Bild 1: Anteilige Verwendung verschiedener Hardwarebeschreibungssprachen 1993 und 1997 (Mehrfachnennungen waren erlaubt). Quellen [1] [19] Einführung FPGA-Synthese mit VHDL für Bildverarbeitungsanwendungen An ein modulares, parallelisierbares System zur Bilderfassung und -bearbeitung lassen sich die folgenden Anforderungen stellen: 1. Neu zu implementierende bzw. anzupassende Bildverarbeitungsoperatoren sollten leicht integrierbar sein. 2. Es sollte eine strukturierte Entwicklungsmethodik mit hierarchischen Bibliothekskomponenten verwendbar sein, die für ein Design-Reuse geeignet sind. 3. Das System sollte eine hohe Ausführungsgeschwindigkeit, insbesondere für arithmetische Operationen besitzen. 4. Die verwendete Hardware sollte eine skalierbare Komplexität der verwendeten Bausteine besitzen, um somit für eine konkrete Aufgabe die optimale Preis-/Leistungsrelation zu erzielen. 5. In Anwendungen, die z.b. ROM-Tabellen oder FIFO-Strukturen verwenden, müssen schnelle Speicherzugriffe möglich sein. Üblicherweise werden zur Realisierung dieser Anforderungen Digitale Signalprozessoren (DSPs) verwendet. In diesem Vortrag soll hingegen über einen alternativen Lösungsansatz berichtet werden: Die Verwendung von FPGAs (Field Programmable Gate Array) im Zusammenhang mit der Programmiersprache VHDL JÜRGEN REICHARDT Fachhochschule Hamburg, Fachbereich Elektrotechnik und Informatik VHDL Verilog HDL Andere C Wie insbesondere die ersten beiden Wünsche durch den Einsatz von VHDL erfüllt werden, ist Inhalt des folgenden Kapitels. Die Forderungen 3 bis 5 müssen durch die verwendete FPGA-Hardware erfüllt werden. Darauf wird im Abschnitt 3 eingegangen. Die Darstellung zweier praktischer Anwendungen im Abschnitt 4 runden diesen Bericht ab. 2 Was ist VHDL und welche Vorteile bietet VHDL beim Entwurf digitaler Systeme? Das Synonym VHDL steht für VHSIC Hardware Definition Language (VHSIC = Very High Speed Integrated Circuit). Im Gegensatz zu herkömmlichen Programmiersprachen, die eine bereits existierende Hardware mit Leben d.h. mit Software erfüllen, soll VHDL einen einheitlichen Sprachstandard zur Beschreibung von Hardware liefern. Dies bedeutet, daß anstatt einer Schaltplaneingabe moderne digitale Designs durch textuelle Beschreibungen formuliert werden. Im Gegensatz zu der ebenfalls für diesen Zweck entwickelten Sprache Verilog HDL wurde VHDL durch das IEEE erstmalig 1987 standardisiert. Diesen Vorteil nutzend setzen laut einer neueren amerikanischen Umfrage aus dem Jahr 1997 mehr als 60% aller ASIC Entwickler VHDL als Hardwarebeschreibungssprache ein [1]. Nachdem sich insbesondere in Europa dieser Sprachstandard bereits vor einigen Jahren durchgesetzt hatte, wurde offensichtlich mit ergänzenden Standardisierungsbestrebungen durch das IEEE in den letzten Jahren auch in den USA die Marktführerschaft erreicht (siehe Bild 1). Die Syntax der Sprache VHDL ist an die bekannten Programmiersprachen PASCAL bzw. ADA angelehnt [2] und daher für Elektronikentwickler leicht erlernbar. Die Nebenläufigkeit der Hardwarefunktionen bei der Analyse des Verhaltens eines VHDL-Codes bereitet jedoch Software-Entwicklern, die nur eine sequentielle Programmierung gewohnt sind, häufig Schwierigkeiten. [4]

2 Ursprünglich für Dokumentations- und Simulationszwecke konzipiert, wurden in den letzten Jahren durch die EDA (electronic design automation) - Industrie auch PC-basierte VHDL-Synthesewerkzeuge sehr erfolgreich auf dem Markt plaziert. Heutige Anwendungsbereiche von VHDL sind der Entwurf von digitalen ASICs, FPGAs und CPLDs. Die Integration von Simulation, Synthese und Dokumentation in einer Beschreibungssprache revolutionierte in den letzten Jahren die Entwicklungsmethodik digitaler Systeme. Dies ist der Grund für den Entschluß, diesen Sprachstandard auch in der Ausbildung einzusetzen, womit den Studierenden eine in Bereichen der Industrie bereits weitverbreitete Entwurfsmethodik vermittelt werden kann. Diese ist durch den intensiven Einsatz von Simulationswerkzeugen und die Möglichkeit eines Top-Down Ansatzes bei ausgeprägter Hierarchie gekennzeichnet. Vorteilhaft ist die Möglichkeit, eine zu einem frühen Zeitpunkt entworfene Testumgebung während des gesamten Entwurfs unverändert verwenden zu können. Dabei wird das zu entwerfende System zunächst in seinem Verhalten beschrieben und mit einem VHDL-Simulator eingehend hinsichtlich der Systemanforderungen analysiert. Dazu dient eine Testumgebung (testbench), in die Modelle des zu entwerfenden Systems quasi als DUT (Device under Test) eingebunden werden. Innerhalb der Testumgebung werden z.b. auch Dateizugriffe auf dem PC unterstützt. Dies ermöglicht die Emulation der Schnittstelle zwischen dem zu entwerfenden System (z.b. einer PC-Einschubkarte) und der Anwendungssoftware eine wesentliche Voraussetzung für ein erfolgreiches Hardware-Software Codesign. Ein in der Testumgebung erfolgreich analysiertes Verhaltensmodell wird anschließend geeignet partitioniert und die daraus resultierenden Funktionsblöcke schrittweise in synthesefähigen VHDL-Code umgesetzt, wobei die daraus resultierenden Testbench-Ergebnisse unverändert bleiben sollten. Ein Problem bei der Umsetzung des Verhaltensmodell in synthesefähigen Code ist die Tatsache, daß mit den CAE-Synthesewerkzeugen nicht alle VHDL-Konstrukte synthetisierbar sind [6]. Vielmehr ist beim Entwickler eine genaue Kenntnis darüber erforderlich, welche VHDL-Anweisungen mit welchen Grundstrukturen digitaler Hardware korrespondieren. Syntaktisch korrekte aber semantisch falsche Formulierungen führen z.b. zur Inferrierung von Latches oder Flipflops auch dort, wo eigentlich eine kombinatorische Logik erwünscht ist. Insbesondere beim Entwurf von Zustandsautomaten (Schaltwerken) und Schleifenkonstrukten erfordert die Architektursynthese, daß spezielle syntaktische Regeln in Form von Templates einzuhalten sind, die zudem teilweise in den Werkzeugen auf unterschiedliche Weise unterstützt werden [3] [4] [5]. Hier ist deutlich zu erkennen, daß die Architektursynthese in einigen Bereichen noch Gegenstand der Forschung ist, woraus für die am Markt verfügbaren Werkzeuge recht kurze Innovationszyklen resultieren. Für viele Anwendungen der Echtzeitbildverarbeitung ist eine effektive Umsetzung arithmetischer Operatoren in Hardware von entscheidender Bedeutung. Stand der Technik bei der Architektursynthese arithmetischer Funktionen ist die Verwendung von vorverdrahteten Modulen (z.b. Addierer, Subtrahierer, Inkrementer), sofern diese in der herstellerspezifischen Synthesebibliothek vorhanden sind. Auf diese Weise ist eine für die jeweilige Zielarchitektur flächen- oder laufzeit-optimierte Synthese der arithmetischen Operationen sichergestellt. 3 Komplexität und Struktur von FPGAs für Bildverarbeitungsanwendungen Chrakteristisches Kennzeichen von FPGAs ist deren im Vergleich zu (C)PLDs hohe Granularität: Eine große Anzahl von vergleichsweise gering komplexen Logikstrukturen (CLB=Configurable Logic Block) wird durch eine programmierbare, komplexe Mehrlagenverdrahtung miteinander verbunden. Dabei steht eine große Anzahl von Flipflops zur Verfügung, was den Entwurf komplexer Schaltwerke erleichtert [7]. Eine vom Bausteinhersteller entwickelte Design-Fitter Software bestimmt den erreichbaren Nutzungsgrad des FPGAs für digitale Schaltungen, der typischerweise bei ca. 80% liegt. Eine Reprogrammierbarkeit der Bausteine ist dann gegeben, wenn SRAM- oder EE- PROM-basierte Konfigurationen verwendet werden. Eine Rekonfiguration innerhalb einiger Millisekunden erlauben SRAM-Technologien. Damit läßt sich in sehr kurzer Zeit die Funktionalität eines FPGAs z.b. verändern, womit diese Bausteine einen sehr schnellen Coprozessor für dedizierte Anwendungen darstellen (z.b. für verschiedene Bildverarbeitungsoperatoren). Weiterer Vorteil dieser FPGAs ist, daß die für die Speicherung der Konfiguration verwendeten SRAM-Zellen in vielen Technologien auch als ultraschneller On-Chip Speicher mit Schreibzyklen unterhalb von 10 ns, verwendet werden können [8] [9]. Die Komplexität heute verfügbarer FPGAs mit SRAM Architektur reicht von 3k bis 250k Gatteräquivalenten (GÄ), wobei auch die Schwelle von 1M GÄ in Kürze durchbrochen werden wird [8]. Weitere Trends bei der FPGA- Entwicklung sind zum einen der Übergang zur 3.3V bzw. 2.5V Spannungsversorgung, sowie... FPGA-SYNTHESE MIT VHDL FÜR BILDVERARBEITUNGSANWENDUNGEN [5]

3 Bild 2: FPGA-basierte Hardwarearchitektur zur Bilddatenvorverarbeitung die Erschließung eines Low-Cost Marktsegments mit Komplexitäten bis zu 40k GÄ (z.b. die Spartan-Serie von Xilinx). Die Preise dieser FPGAs liegen bei 0.3 Pf/GÄ. Ein weiterer Trend, der insbesondere auch für Echtzeit-Bildverarbeitungsanwendungen von Bedeutung ist, sind FPGAs, die sich partiell neu konfigurieren lassen, während der übrige Teil des Bausteins die in ihm abgelegten Funktionen weiter ausführt. Besondere Charakteristik derartiger Bausteine ist die kurze Konfigurationszeit, die im Bereich von µs liegt (Xilinx XC6200), so daß echte Spezial-Coprozessoren aufgebaut werden können [8]. Die FPGA-Synthesewerkzeuge unterstützen in weiten Bereichen die Forderung des Anwenders nach einem Design-Reuse: Neben der Einbindung eigener synthesefähiger VHDL- Code-Bibliothekselemente werden Soft- und Hardmacros unterstützt [10]. Softmacros sind dabei nicht nur parametrierbare Grundstrukturen wie Zähler, Speicher, Akkumulatoren etc., die blockweise in das Design integriert werden, sondern auch komplexe Strukturen für den Entwurf digitaler Filter. Üblicherweise werden für Softmacros zur Unterstützung der Entwurfsphase VHDL-Verhaltensmodelle generiert. Die interne Plazierung und Verdrahtung von Softmacrofunktion erledigt eine vom FPGA-Hersteller zur Verfügung gestellte Software, womit eine optimale Flächenausnutzung bzw. kürzeste Signallaufzeiten sichergestellt sind. Hardmacros hingegen sind fertig entwikkelte Funktionsblöcke mit abgeschlossener interner Plazierung und Verdrahtung. Dazu gehören selbstentwickelte Funktionen aber auch solche anderer Hersteller. Für diesen Zweck arbeiten die FPGA-Hersteller weltweit mit Entwicklern von Intellectual Property eng zusammen [11], [12]. Auf diesem Wege werden heute u.a. fertig entwickelte PCI-Bus- und ATM-Schnittstellen von den FPGA-Herstellern zur Verfügung gestellt. Besondere Zielrichtung der FPGA-Hersteller ist die Durchdringung auch des Marktsegments, das ursprünglich von Festkomma-DSPs abgedeckt wurde. Die hohe Geschwindigkeit, mit der auch Multiplikationen in einem FPGA durchgeführt werden können (85 MHz für einen 8 Bit Multiplizierer [12]), macht FPGAs für den Aufbau von FIR-Filtern äußerst interessant. Dabei wird der Entwurf des eigentlichen Filters auf die Angabe von geeigneten Parametern eines Softmacros reduziert. Während bei den DSPs üblicherweise nur eine MAC-Einheit (MAC=Multiply and Accumulate) zur Verfügung steht, kann diese bei FPGAs abhängig von der zur Verfügung stehenden Chipgröße vielfach parallelisiert werden. Auf diese Weise konnte z.b. für ein 16 Bit FIR-Filter eine im Vergleich zum TMS320C6x ca. 10-fach höhere Rechenleistung bei einem 5-fach reduzierten Preis erzielt werden [20]. Eine von uns durchgeführte Abschätzung der Ausführungszeit eines 3x3-Median Filters für ein 8 Bit Grauwertbild mit 256x256 Pixeln ergab vergleichbare Ergebnisse [13], obwohl dieser Algorithmus keinerlei MACs sondern ausschließlich Vergleichsoperatoren erfordert. Für die Ausführung einer Bildbearbeitung des intern mit vier Parallelprozessoren ausgestatteten TMS320C80 (Taktfrequenz 50 MHz) wurden 3.03 ms berechnet, während eine FPGA- Abschätzung für eine dreistufige Pipelinestruktur 3.8 ms ergab. Bezogen auf den einzelnen DSP des TMS380C bedeutet dies eine etwa um den Faktor drei kürzere Ausführungszeit des FPGAs. Weiterer Vorteil einer FPGA-Lösung ist die Tatsache, daß neben der Filteranwendung im Gegensatz zum DSP weitere Logikmodule, z.b. komplexe Zustandsautomaten, mit auf dem Chip integriert werden können. 4 FPGA-Coprozessoren in der Bildverarbeitung a) Anwendungen in der Bildvorverarbeitung Eine Hardware-Konfiguration, mit der eine FPGA-basierte Bilddatenvorverarbeitung für die Segmentierung und Merkmalsextraktion durchgeführt werden kann, ist in Bild 2 dargestellt [14]. Als erster Schritt zur Realisierung des BEV- Coprozessors wurde im Rahmen einer Diplomarbeit zunächst eine PC-Einsteckkarte entwikkelt, mit der einfache VHDL-basierte Bildverarbeitungsalgorithmen an Hand statischer, im PC abgelegter Bilder untersucht werden können [15]. Die Struktur dieser Karte zeigt Bild 3. Den Kern dieser Karte stellt die Hardware eines XILINX XC4006E mit 6 kgä (256 CLBs) dar, der vollständig unter Verwendung von VHDL entworfen wurde. Die Struktur der VHDL-Komponenten zeigt Bild 4. Dieser Bau- [6]

4 stein beinhaltet die für die Kommunikation mit dem ISA- Bus erforderlichen Komponenten und erledigt neben der eigentlichen Bildverarbeitung auch die Zugriffe auf den Bildspeicher. Für den eigentlichen Bildverarbeitungsalgorithmus BEV_ALGO stehen ca. 70% der FPGA- Ressourcen zur Verfügung. Als erste Anwendungen wurden Binarisierung und Invertierung für ein Graustufen-Quellbild implementiert. Diese sehr einfachen Algorithmen belegen 5% bzw. 9% der verfügbaren FPGA-Kapazität. Die Ergebnisse für ein 100x100 Pixel großes Bild mit 8 Bit Pixeltiefe zeigt Bild 5. Als nächster zu implementierender Algorithmus ist ein Medianfilter geplant. Der Medianwert wird jeweils aus einem über das Quellbild wandernden, 3x3 Pixel großen Fenster gebildet. Dieses Filter wurde zunächst als VHDL-Verhaltensmodell implementiert, das in einer Simulationsumgebung analysiert wurde. Die Filterwirkung auf ein 256x256 Pixel großes Bild zeigt Bild 6. Das bekannte Verhalten des Median-Operators, eine Unterdrückung des Rauschens, das im Quellbild insbesondere in der Bildmitte erkennbar ist, läßt sich deutlich erkennen. Bild 3: Architektur der PC- Einschubkarte zum Testen von VHDLbasierten Bildvorverarbeitungsalgorithmen. Bild 4: Komponentenstruktur des FPGA auf der Bilderfassungskarte... FPGA-SYNTHESE MIT VHDL FÜR BILDVERARBEITUNGSANWENDUNGEN [7]

5 Bild 5: a) Graustufen Quellbild (100x100 Pixel, 8 Bit) b) Binarisiertes Bild mit Graustufenschwellwert 128 c) Invertiertes Binärbild. Bild 6: Wirkung eines 3x3-VHDL-Medianfilters auf ein verrauschtes Bild Bild 7: Sortieralgorithmus für ein Medianfilter mit 9 Elementen (aus [16]) Bei der Umsetzung in synthetisierbaren Code wird der in Bild 7 dargestellte Sortieralgorithmus für die neun Pixel P1...P9 eingesetzt [16]. Dem Bild ist zu entnehmen, welche Vergleiche durchzuführen sind, um den Medianwert zu bilden. a) Quellbild 256x256 Pixel, 8-Bit Graustufen b) Gefiltertes Bild, 3x3 Median Filter Die diesem Bild entsprechende kombinatorische Logik entspricht einer vergleichsweise langen Ausführungsdauer, die sich dadurch verkürzen läßt, daß die Topologie in eine dreistufige Pipelinestruktur umgesetzt wird. Diese ist in Bild 8 dargestellt [16]. Bild 8: Dreistufige Pipelinestruktur des Medianfilters (aus [16]) In Bild 9 ist der zugehörige VHDL-Code als überwiegend strukturelle Beschreibung dargestellt. Die Knoten in Bild 8 entsprechen einfachen Basiskomponenten (HI, LO, MED, HILO und SORT3), die Komparatorfunktion besitzen. Der Prozeß beschreibt die Signalübernahme in der Pipeline. Die Synthese dieser Filterstruktur erfordert 163 CLBs. Eine Timinganalyse ergibt eine maximale Verzögerungsdauer der kombinatorischen Logik von 57 ns. Unter Echtzeitbedingungen lassen sich damit prinzipiell d.h. mit geeigneten Speicherbausteinen oder direkt an einer geeigneten Kamera Bilder mit 512x512 Pixeln bei einer Wiederholfrequenz von 60Hz bearbeiten. Die experimentelle Überprüfung dieser Aussagen in der Zielhardware erfordert jedoch [8]

6 Im zweiten Beispiel soll eine Bildverarbeitungsanwendung vorgestellt werden, die unabhängig von einer PC-basierten Nachbearbeitung ausgeführt wird: Es handelt sich dabei um eine Bilddrehung unter Echtzeitbedingungen, bei der der Drehwinkel beliebig zwischen 0 und 360 variieren kann. Besondere Herausforderung ist dabei die Interpolation des gedrehten Bildes, die erforderlich ist, um Kantensprünge, die aus der Nichtlinearität der Sibegin TAKT: process (CLK) -- Pipeline Datenuebernahme begin if CLK'event and CLK='1' then L1 <= L2 after 10 ns; -- Uebernahme in 2. Stufe M1 <= M2 after 10 ns; H1 <= H2 after 10 ns; L0 <= L1 after 10 ns; -- Uebernahme in 1. Stufe M0 <= M1 after 10 ns; H0 <= H1 after 10 ns; end if; end process; noch den Entwurf eines modifizierten Adreßgenerators. Dieser ist erforderlich, da die Pixelzugriffe, im Gegensatz zu den oben geschilderten einfachen Anwendungen nicht mehr linear erfolgen. b) Vollständige Bildbearbeitung MEDIAN <= RESULT after 10 ns; -- Heraustakten -- nebenlaeufige Komponenteninstanziierungen (Schaltnetz) C1: SORT3 port map(in1, IN2, IN3, L2, M2, H2); C2: HI port map(l0, L1, VAR1); C3: HILO port map(m1, M2, VAR2, VAR3); C4: LO port map(h1, H2, VAR4); C5: HI port map(var1, L2, VAR21); C6: HI port map(m0, VAR2, VAR5); C7: LO port map(var5, VAR3, VAR22); C8: LO port map(h0, VAR4, VAR23); C9: MED port map(var21, VAR22, VAR23, RESULT); end STRUKTUR; nus- bzw. Cosinus-Funktion resultieren, auszugleichen. Eine eingehende Analyse möglicher Interpolationsalgorithmen hat ergeben, daß eine lineare Interpolation unter Einbeziehung der Pixelwerte der nächsten Nachbarn für einen zufriedenstellenden optischen Eindruck nicht ausreichend ist [17]. Die Architektur dieses Systems zeigt Bild 10. Das Projekt ist gekennzeichnet durch hohe Geschwindigkeitsanforderungen bei arithmetischen Operationen. Ferner wird bei der schnellen Berechnung der Sinus- und Cosinus-Funktionen davon Gebrauch gemacht, daß die FPGA-Zellen auch als ROM-Tabelle mit ultraschnellen Zugriffszeiten (Zykluszeit < 10 ns) einsetzbar sind. Bei der Synthese dieser Teilaufgaben werden Soft- Bild 9: Struktureller VHDL-Code für ein 3x3 Median Filter Bild 10: System zur FPGA-basierten Echtzeitbilddrehung... FPGA-SYNTHESE MIT VHDL FÜR BILDVERARBEITUNGSANWENDUNGEN [9]

7 macros des Herstellers sowie individueller VHDL-Code verwendet. Für das noch in der Entwicklung befindliche Projekt wurde ein Verhaltensmodell geschrieben, das z.zt. auf einem Prototyp des Bilddrehungsprozessors zusammen mit bereits existierenden VHDL-Komponenten zur Ansteuerung der Wandler in synthesefähigen Code umgesetzt wird [18]. Literatur [1] Quelle: VHDL International; Markterhebung 1997; [2] D.Pellerin, D.Taylor; VHDL Made Easy; Prentice Hall, Upper Saddle River; 1997 [3] Aurora Softwaredokumentation; Viewlogic Inc.; [4] PeakVHDL Softwaredokumentation; Accolade Design Automation Inc.; [5] FPGA-Express Softwaredokumentation; Synopsys Inc.; [6] R.Airiau, J.M.Berge, V.Olive; Circuit Synthesis with VHDL; Kluwer Academic Publishers; Boston, Dordrecht; 1994 [7] A.Auer, D.Rudolf; FPGA Feldprogrammierbare Gate Arrays; Hüthig-Verlag, Heidelberg; 1995 [8] XILINX-Datenbuch, Xilinx Inc;1998; / [9] Datenbuch der Serie FLEX 10K; Altera Corporation,1998; [10] Dokumentation zur Foundation Software V1.4, Xilinx Inc. 1998; [11] AMPP-Catalog; Altera Corporation; 1996 [12] Core Solutions Databook; Xilinx Inc.; 1997 [13] H.P.Kölzer, J.Reichardt, B.Schwarz; 2. Zwischenbericht zum F&E-Projekt Entwurf eines modularen, parallelisierbaren Bilderfassungs- und Verarbeitungssystems für Echtzeitbetrieb; FH Hamburg; 1998 [14] H.P.Kölzer, J.Reichardt, B.Schwarz; Zwischenbericht zum F&E-Projekt Entwurf eines modularen, parallelisierbaren Bilderfassungs- und Verarbeitungssystems für Echtzeitbetrieb; FH Hamburg; 1997 [15] R.Hoppe, V.Cordes; Entwicklung einer FPGA-basierten PC-Einsteckkarte zur Implementierung von Bildverarbeitungsalgorithmen mit VHDL; Diplomarbeit FH-Hamburg, FB E/I;1998 [16] J.L.Smith: Implementing Median Filters in XC4000E FPGA; XCELL 23, Xilinx Corp.; 1996 [17] R.Koppel; Entwurf eines FPGA-basierten Systems zur Echtzeitbilddrehung; Diplomarbeit FH-Hamburg, FB E/I;1998 [18] C. Scherner; Synthetisierbare Komponenten eines Systems zur Echtzeitbilddrehung; Studienarbeit FH-Hamburg, FB E/I;1998 [19] M.Jain; The VHDL forecast; IEEE Spectrum; June 1993 p.36 [20] XUP Workshops; Xilinx Corp.; 1997 [10]