Prozessor- und Rechnerarchitekturen (Master)

Transkript

1 Prozessor- und Rechnerarchitekturen (Master) Themen am : NVIDIA Tegra X1 Mobilprozessor NVIDIA Volta und Pascal ProRecArc17_V9 Ulrich Schaarschmidt HS Düsseldorf, SS U.G. Schaarschmidt - HS-D 1 Literatur Jähne, Bernd: Digitale Bildverarbeitung 2. Aufl. Springer Verlag 1991 Köhn, Carsten: Bildanalyse und Bilddatenkompression (Fraktale Verfahren und klassische Methoden im praktischen Einsatz) 1. Aufl. 1996, Carl Hanser Verlag Baxes, Gregory A.: Digital Image Processing (Principles and Applications) 1994, John Wiley & Sons, Inc U.G. Schaarschmidt - HS-D 2 U. Schaarschmidt, HS-D 1

2 Quellen: B. Eng. Sebastian Houben: Ausarbeitung in Prozessor- und Rechnerarchitekturen developer.nvidia.com/embedded-computing de.wikipedia.org/wiki/cuda Elektronik Ausgabe 6, 24. März nes.pdf en.wikipedia.org/wiki/arm_big.little en.wikipedia.org/wiki/render_output_unit en.wikipedia.org/wiki/multiply%e2%80%93accumulate_operation#fused_multiply.e add Volta_ html U.G. Schaarschmidt - HS-D 3 Übersicht Funktionsblöcke Grafikprozessor Besonderheiten Einsatz im Deep Learning Leistungsvergleich Inhalt U.G. Schaarschmidt - HS-D 4 U. Schaarschmidt, HS-D 2

3 T-X1: Übersicht Bit Octa-Core 4x ARM A57 + 4x ARM A53 Grafikeinheit mit GHz 1024 GFLOPs (FP16) 4GB DDR4 25,6 GB/s End-to-End Memory Compression 60 fps Video Input 60 fps Video Output 2x Image Signal Processors Je 650 Mpixels/s 5-8W TDP (11W Peak) U.G. Schaarschmidt 20nm Prozess - HS-D von TSMC 5 Tegra 4 Tegra K1 Tegra X U.G. Schaarschmidt - HS-D 6 U. Schaarschmidt, HS-D 3

4 T-X1: CPU Block ARMs big.little Technologie 4x ARM A57 Big Cores ~2,1 GHz 64-Bit 2MB L2 Cache (shared) 48KB L1 Instruction Cache 32KB L1 Data Cache 4x ARM A52 Little Cores ~1,3 GHz 64-Bit 512KB L2 Cache (shared) 32KB L1 Instruction Cache 32KB L1 Data Cache U.G. Schaarschmidt - HS-D 7 Bis zu 16,8 MP Displayfläche 2x 4K Displays 4K Display Controller 60 fps 10-bit Farbtiefe 8x 1080p Displays 3 Displays mit 3D Rendering U.G. Schaarschmidt - HS-D 8 U. Schaarschmidt, HS-D 4

5 Bis zu 4GB LPDDR3, LPDDR Bit Anbindung 25,6 GB/s End-to-End Kompression aller Bilddaten: Kleinerer Speicherbedarf Geringerer Energieverbrauch 30-40% Bandbreitenersparnis (zum vorgänger) U.G. Schaarschmidt - HS-D 9 Dekodierung VP9, H.264 4K 60fps H.265 4K 60fps 10-bit VP8 1080p 60fps Kodierung H.264, H.265 4K 30fps VP8 1080p 60fps U.G. Schaarschmidt - HS-D 10 U. Schaarschmidt, HS-D 5

6 USB 3.0 Host / Device Controller 2x USB 3.0 Ports (shared) 5 Gbit/s 500 MByte/s Bruttodatenrate U.G. Schaarschmidt - HS-D 11 Streaming memory-to-memory AES decryption Secure boot Boot configuration table, Boot Loader, Firmware Secure memory ROM, RAM, DRAM AES key slot protection TrustedZone Secured Peripherial Bus HW Hashing & Authentication AES CMAC, SHA1, SHA U.G. Schaarschmidt - HS-D 12 U. Schaarschmidt, HS-D 6

7 HDMI 2.0a 2160p 60fps 14,4 GBit/s HDR Farbraum 32 Kanal-Audio 1536 khz Abtastrate HDCP 2.2 Verschlüsselte Übertragung Audio & Video 4K fähig HDR fähig U.G. Schaarschmidt - HS-D 13 MIPI Display Serial Interface (DSI) 8 Links á 4 Data Lanes 1,5 Gb/s pro Link 1 Display pro Link oder 1 Display mit 2 Links edp / LVDS Interface LVDS 7-bit MHz edp 270 MHz U.G. Schaarschmidt - HS-D 14 U. Schaarschmidt, HS-D 7

8 HS400 Interface 1,2/1,8V 8-Bit Interface (11 Pins) MHz 3,2 Gb/s U.G. Schaarschmidt - HS-D 15 Serial Peripherial Interface (SPI) Master bis 65MHz Slave bis 45MHz Inter-Chip Communication (I²C) Bis 3,4MHz 7- und 10-Bit Adressen USART Controller Bis 12,5Mbit/s U.G. Schaarschmidt - HS-D 16 U. Schaarschmidt, HS-D 8

9 MIPI Camera Serial Interface 2.0 (CSI) Bis zu 6 Kameras Je 60fps Je 120fps U.G. Schaarschmidt - HS-D 17 Dual Image Signal Processor 1.3 GPixel/s 4096 Fokuspunkte 600 MPixel/s JPEG Decode / Encode U.G. Schaarschmidt - HS-D 18 U. Schaarschmidt, HS-D 9

10 5x Inter-IC Sound (I²S) Bidirektional 24,5760 MHz Sony / Philips Digital Interface (S/PDIF) Bidirektional 24-bit 192kHz U.G. Schaarschmidt - HS-D 19 T-X1: GPU Block 1 GHz 2x Streaming Multiprocessors (Maxwell) 2x Geometrie Einheiten 16x ROPs 16x Textur Einheiten 256x CUDA Cores 256KB L2 Cache 1024 GFLOP (FP16) 512 GFLOP (FP32) Unterstützte APIs: OpenGL 4.5 DirectX 12 CUDA U.G. Schaarschmidt - HS-D 20 U. Schaarschmidt, HS-D 10

11 T-X1: Maxwell GPU GigaThread Engine Kopiert Daten vom RAM in L2-Cache Erzeugt Threads, verteilt diese an die SMMs Raster Operations unit (ROP) 16 St. Kombiniert Pixel und Texel Information per Matrix- Vectorrechnung zur finalen Pixel- / Tiefeninformation L2 Cache 256KB U.G. Schaarschmidt - HS-D 21 T-X1: Maxwell GPU - Raster Engine Edge Setup Rasterizer Z-Cull U.G. Schaarschmidt - HS-D 22 U. Schaarschmidt, HS-D 11

12 T-X1: Maxwell GPU - Raster Engine Edge Setup Berechnet Positionen der Eckpunkte und Dreiecke Nicht sichtbare Dreiecke entfernt Rasterizer Berechnet Pixelabdeckung je Dreieck Bis zu 8 Pixel pro Takt Z-Cull Vergleicht Pixel mit dem Framebuffer Entfernt Pixel die bereits abgedeckt sind U.G. Schaarschmidt - HS-D 23 T-X1: Streaming Multiprocessor (Maxwell) U.G. Schaarschmidt - HS-D 24 U. Schaarschmidt, HS-D 12

13 T-X1: (SMM) Polymorph Engine Steuert Prozesse innerhalb des SMM Vertex Fetch Laden der Dreiecke Tesselator Kanten verfeinern Viewerport Transform Kamera perspektive anwenden Attribute Setup Pixel Berechnung Stream Output Ausgabe an L2 Cache Resultat geht zurück an die Raster Engine U.G. Schaarschmidt - HS-D 25 T-X1: Streaming Multiprocessor (Maxwell) U.G. Schaarschmidt - HS-D 26 U. Schaarschmidt, HS-D 13

14 T-X1: Streaming Multiprocessor (Maxwell) Warp Scheduler Thread Verteilung innerhalb SMM 16 Threads zeitversetzt parallel Dispatch Units direkt untergeordnet Eigener Instruction Buffer Datenregister x 32-Bit U.G. Schaarschmidt - HS-D 27 T-X1: Streaming Multiprocessor (Maxwell) Load/Store Units (LD/ST) Errechnen von Quell- und Zieladresse im Cache/DRAM 8x pro SMM Unterblock Special Function Units (SFU) Übergeordnete Math. Funktionen Sin / Cos Kehrwert Quadratwurzel 8x pro SMM Unterblock U.G. Schaarschmidt - HS-D 28 U. Schaarschmidt, HS-D 14

15 T-X1: Streaming Multiprocessor (Maxwell) 64KB Shared L1 Cache 4x Textureinheit Berechnet Texturadresse Sammelt 4 Texturblöcke pro Takt Anwenden von Texturfiltern Linear Bilinear Trilinear Anisotrop U.G. Schaarschmidt - HS-D 29 T-X1: Maxwell CUDA-Core (Shader) Dispatch Port Füllt die Register anhand einer Speicheradresse 3x 32Bit Input Register 1x 32Bit Output Register Fused Multiply-Add Rechnung (FMA) (A * B + C) 2x FP16, FP32, FP64 Integer FMA wird genutzt für: Skalarproduktrechnung Matrizenmultiplikation Polynomumwandlung (Horner-Schema) Newton-Verfahren U.G. Schaarschmidt - HS-D 30 U. Schaarschmidt, HS-D 15

16 Besonderheiten Enorme Parallelität Hohe Grafikleistung SOC-Ausführung Hohe Energieeffizienz CUDA-Unterstützung U.G. Schaarschmidt - HS-D 31 CUDA Compute Unified Device Architecture Ausführen von Programmteilen auf der GPU Hochgradig parallelisierbare Programmabläufe Deep Learning Vorgänger von OpenCL Nur für NVIDIA Hardware U.G. Schaarschmidt - HS-D 32 U. Schaarschmidt, HS-D 16

17 Anwendung: Deep Learning U.G. Schaarschmidt - HS-D 33 Anwendung: Deep Learning U.G. Schaarschmidt - HS-D 34 U. Schaarschmidt, HS-D 17

18 Anwendung: Deep Learning U.G. Schaarschmidt - HS-D 35 Performance Vergleich U.G. Schaarschmidt - HS-D 36 U. Schaarschmidt, HS-D 18

19 Performance Vergleich U.G. Schaarschmidt - HS-D 37 Performance Vergleich U.G. Schaarschmidt - HS-D 38 U. Schaarschmidt, HS-D 19

20 Die folgenden Folien sind direkt aus U.G. Schaarschmidt - HS-D 39 NVIDIA Volta, größte GPU der Welt? Nvidia startet die neue GPU-Generation auf der GTC Dabei bricht "Volta" gleich einige Rekorde: Nicht nur ist der Chip um einiges riesiger als jede andere GPU. Die Entwicklung hat auch unglaubliche 3 Milliarden Dollar gekostet. [ U.G. Schaarschmidt - HS-D 40 U. Schaarschmidt, HS-D 20

21 Volta und Pascla (Vollausbau) im Vergleich GV100 GP100 CUDA-Kerne (Shader) Tensor-Kerne 672 keine Shader-Multiprozessoren Textureinheiten Speichertyp HBM2 HBM2 Speicher-Interface bit bit Shared Memory 128KB, konfigurierbar 24KB L1, 64KB geteilt L2 Cache 6MB 4MB Die-Größe 815mm² 610mm² Transistor-Anzahl 21,1 Mrd 15,3 Mrd TDP 300W 300W Fertigungsprozess TSMC 12nm FFN TSMC 16nm FinFET Architektur Volta Pascal [ U.G. Schaarschmidt - HS-D 41 NVIDIA Volta, größte GPU der Welt? Neuer Grafikprozessor, neue Architektur, neue Kerne und natürlich viel mehr Leistung: Nvidia stellt den Grafikprozessor GV100 auf der jährlichen Pressekonferenz der GPU Technology Conference (GPC) in Kalifornien vor. [ U.G. Schaarschmidt - HS-D 42 U. Schaarschmidt, HS-D 21

22 Neue Architektur, neue Kerne Die Chip-Größe wächst um rund 34 Prozent. Gleichzeitig will Nvidia die Packdichte erhöhen von 25,08 Mio Transistoren auf 26,01 Transistoren pro Quadratmillimeter, für eine Gesamtzahl von 21,2 Mrd. Transistoren. Diese setzen sich zu FP32-Shadern, FP64-Shadern und 672 neuen Tensor-Kernen zusammen. Diese ergeben 84 Shader-Multiprozessoren (SM). Im ersten Grafikbeschleuniger der Tesla-Serie werden aber nur 80 SMs aktiv sein. Die Anzahl der Rechenkerne verringert sich somit auf FP32- und FP64-Shader sowie 640 Tensorkerne. Letztere sollen vorerst hauptsächlich für Deep-Learning-Anwendungen gedacht sein. Die Frage bleibt offen, ob die Kerne ihren Weg in spätere Geforce-Varianten für Heimanwender finden, oder ob sie durch zusätzliche herkömmliche Shader ersetzt werden U.G. Schaarschmidt - HS-D U.G. Schaarschmidt - HS-D 44 U. Schaarschmidt, HS-D 22

23 16 GByte HBM2 Nvidia setzt abermals auf den Grafikspeicher HBM2. Vier Cluster mit insgesamt 16 GByte werden mit 900 MHz getaktet, für eine theoretische Übertragungsleistung von 900 GByte pro Sekunde. Dafür wurde die Cache-Struktur komplett umgestellt. Auch das Thread-Scheduling soll flexibler werden. Insgesamt verspricht Jen- Hsun Huang bei MHz Boost-Takt eine Menge von 15 FP32- TFLOPs (Vergleich: die GTX 1080 Ti kommt auf 11,34 TFLOPs) und 120 TFLOPs bei Tensor-Operationen. Das erste Produkt im Verkauf wird der Nvidia DGX-1- Supercomputer mit Tesla V100 sein, der ab dem dritten Quartal zur Verfügung stehe. Zwei PCI-Express-Karten mit einer TDP von 250 und 150 Watt sollen folgen U.G. Schaarschmidt - HS-D 45 Geforce GTX 1080 Ti für Gamer Bis zur ersten Volta-Grafikkarte für Desktoprechner müssen Sie sich vermutlich bis 2018 gedulden. 4K- Gaming mit butterweichen 60 FpS ist aber jetzt schon locker drin. Insbesondere die MSI GTX 1080 Ti Gaming X 11G setzt im Test neue Maßstäbe. Wer das nötige Kleingeld und einen (oder mehrere) entsprechende Monitore hat, sollte zu diesem Grafikmonster greifen U.G. Schaarschmidt - HS-D 46 U. Schaarschmidt, HS-D 23