Hardware-beschleunigtes Cloud-Computing für die Bauteile-Identifikation (AP 6) Christian Unger, Berlin

Transkript

1 Cloud-Computing für die Christian Unger, Berlin

2 Agenda Über CPU 24/7 + Rechenzentrum Ziele des AP 6 Cloud-Infrastruktur + Schlüsseltechnologien Ergebnisse der Hardwarebeschleunigung Ausblick 2

3 Über CPU 24/7 Wer sind wir? Potsdamer HPC Cloud-Provider mit Spezialisierung auf CAE Gegründet 2006 aus PoC der TU-Berlin mit Rolls-Royce Dtl. ~ 20 Mitarbeiter Seit 2018 Tochter der IAV (Ingenieurgesellschaft Auto und Verkehr) Unsere Kunden (Auszug): 3

4 Hochsicherheitsrechenzentrum Berlin-Spandau 4

5 Arbeitspaket 6 Ziel: Aufbau einer Hardware-beschleunigten Cloud-Infrastruktur Beteiligte Konsortialpartner: Arbeitsunterpakete: HHI (AG Embedded Systems): Laufzeitanalysen Evaluierung Beschleunigerkonzepte Portierung auf Zielplattform CPU 24/7: Implementierung Cloud-Computing API Gesamtintegration / Infrastruktur Validierung / Feldtest 5

6 Integration in M3D-Workflow 6

7 Cloud-Infrastruktur Cloud Management (OpenStack) Cloud APIs / User Interfaces Tenant Firewall VPN Load balancer Admin Firewall OpenStack controller OpenStack controller OpenStack controller Autonomous deployment node Bare-metal / VM provisioning Storage / Tenant (HPC) / OpenStack Management (InfiniBand EDR with 100 Gb/s) Distribution nodes Object read+write / data replication Software-Defined Storage (CEPH) Temporary block storage Tenant communication Health monitoring + failure detection Network-Attached Accelerator Grid (NAA-Grid) Software-NAA (Golden reference) GPU-NAA Accelerator Node FPGA-NAA Accelerator Node Ceph OSD nodes (persistent storage) Ceph monitor nodes 7

8 Schlüsseltechnologien OpenStack Cloud-Management-Tool OpenSource (initiiert durch NASA und Rackspace) Proprietäre Distributionen vorhanden (z.b. Mirantis, RedHat, Oracle) Key-Features: Dynamisches Provisionieren von Compute-Nodes als VMs + Bare-Metal Virtual Networks (VLANs) zur logischen Netzwerk-Trennung Identity-Services für Authentifizierung Storage-Services Monitoring + Accounting UI / Dashboard + standardisierte APIs 8

9 Schlüsseltechnologien Ceph Software Defined Storage (OpenSource) Redundant, vertikal + horizontal skalierbar, selbstheilend Einsatz auf Commodity-Hardware (kein Vendor-Lock-in) Komponenten: Object Storage (S3-basiert) -> Datentransfers von/zur Cloud Block Storage -> Storage für VMs + Compute-Nodes Ceph FS (Parallel File System) -> Nicht im Einsatz in M3D, da erst seit kurzem Production-ready Für Entwicklung eines eigenen S3-Clients für M3D 9

10 Schlüsseltechnologien Netzwerk-Topologie mit 3 physischen Netzen und VLANs InfiniBand EDR (100 Gb/s) mit IPoIB Storage-Anbindung + Daten-Replikation Tenant-Netzwerk (z.b. für MPI-Kommunikation) OpenStack Management-Network InfiniBand nativ nicht von OpenStack unterstützt 1G Ethernet Public Network (z.b. für SSH auf Tenants) Admin/PXE Netzwerk (z.b. Netzwerk-Boot von Servern) 1G Ethernet (rein administrativ) IPMI (Intelligent Plattform Management Interface) 10

11 Schlüsseltechnologien Heterogenes Beschleunigerkonzept CPUs (x86, ARM), GPUs und rekonfigurierbare FPGAs Nutzung großer Anzahl verteilter Ressourcen, welche mit einfachen Interfaces genutzt werden können Idealer Beschleuniger für die jeweilige Anwendung auswählbar Auswahl abhängig von: Durchsatz Latenz Energieeffizienz Verfügbarkeit einer Implementierung Aufbau einer Bibliothek verfügbarer Beschleuniger- Implementierungen 11

12 Schlüsseltechnologien HNAA Runtime Resource Management / Software Framework 12

13 Schlüsseltechnologien Wiederverwendbares Framework für grundlegende FPGA Fähigkeiten wie Spezialisiertes Netzwerkinterface Speicherzugriff Accelerator Sockets als virtuelle Beschleuniger zur idealen Ressourcenausnutzung Datentransfer zwischen Accelerator Sockets Bussystem zur Steuerung und Überwachung aller Komponenten 13

14 Schlüsseltechnologien HNAA FPGA Hardware Framework Inbetriebnahme von Intel Boards: Arria 10 (Nallatech 385A, Nallatech T510) Stratix 10 (Intel Stratix 10 Dev Board) 14

15 Ergebnisse der Hardware-Beschleunigung - AP6 SIFT (CPU + FPGA) Referenz - CPU: pro CPU Kern: ~2,5 s pro HD SIFT Hardware-beschleunigt - FPGA: pro FPGA: ~0,008s (120 Frames/s bei 1920x1080) Beschleunigungsfaktor: 300 Matching auf HD-Bildern (CPU + GPU + FPGA) Referenz - CPU: Kd-Tree Matching pro CPU Kern: 17,8 s Hardware-beschleunigt - GPU: Brute-Force Matching pro GPU: 0,5 s Beschleunigungsfaktor: 39 Hardware-beschleunigt - FPGA: Kd-Tree Matching pro FPGA: 0,36s Beschleunigungsfaktor: 50 15

16 Ausblick Cloud-Technologien: Evaluierung von Container-basierten Plattformen Trend von OpenStack (VMs) zu Kubernetes (Container) Hoher Wartungsoverhead bei OpenStack: Produktives OpenStack-Rollout dauert ca. 3-6 Monate (selbst unter Einbindung externer Dienstleister) Aufbau + Betrieb: Team von mind. 5 FTE + Schulungen nötig Beschleuniger-Technologien: Entwicklung weiterer Beschleuniger für Videocodierung und Neurale Netzwerke (CNN) Verarbeitungspipelines zwischen verteilten (virtuellen) FPGAs über 100 Gbit/s Network Datenaustausch mit hohem Durchsatz und geringer Latenz Ideale Plattform für energieeffiziente Neuronale Netze 17

17 HARDWARE- ACCELERATORS COMPUTER VISION ARTIFICIAL INTELLIGENCE TECHNOLOGY INNOVATION CLOUD TECHNOLOGIES Ihr direkter Ansprechpartner Christian Unger Head of Technology Innovation 0331 / c.unger@cpu-24-7.com 18