Neuromorphic Computing am Beispiel des BrainScaleS Wafer Scale Systems

Transkript

1 Neuromorphic Computing am Beispiel des BrainScaleS Wafer Scale Systems ZKI Arbeitskreis Supercomputing Herbstreffen 2016 Electronic Vision(s) Kirchhoff-Institut für Physik Universität Heidelberg

2 Die Electronic Vision(s)-Gruppe am KIP Gruppenleiter: Johannes Schemmel, Prof. Meier 5 Postdocs 10 Doktoranden 10 Masterstudenten 10 Praktikanten/Bachelor Gegründet 1995, ursprünglich zur Entwicklung von Vision-Sensoren zur Unterstützung von Sehbehinderten Eng verknüpft mit dem ASIC-Labor des KIP Heute: Entwicklung von künstlichen neuronalen Netzen nach dem Vorbild des menschlichen Gehirns (FACETS, BrainScaleS, HBP) Theorie, Chipentwicklung, Boardentwicklung, Softwareentwicklung, Experimente

3 Das Menschliche Gehirn 100 Milliarden Nervenzellen (Neuronen) 100 Billionen Synapsen (Verbindungen) Sehr gut in Mustererkennung, Wahrnehmungskategorisierung, Kreatitivität Energieeffizient (20 Watt) Arbeitet parallel Funktionsweise künstlich nachempfinden? Neuromorphic Computing!

4 Neuronmodelle Genaue biologische Funktionsweise ist kompliziert Mathematisches Modelle abstrahieren Hypothese: Informationsübertragung durch Aktionspotentiale (Spikes) Multiple-input single-output Device

5 Neuronschaltkreis 180 nm CMOS, 200 MHz Schaltungen für: Ruhepotential Resetpotential Thresholdpotential Umkehrpotentiale Refraktärzeit Membranzeitkonstante Synaptische Zeitkonstanten... Kalibration für jedes Neuron und jeden Parameter notwendig

6 HICANN: High Input Count Analog Neural Network Chip 512 analoge Neuronen Synapsen, 10 k Inputs pro Neuron Digitale Kommunikation, Address Event Representation (AER) Sparse-Crossbar-Switches verbinden Busse Analoger Parameterspeicher (floating gates) Beschleunigte Dynamik gegenüber Biologie: I ----> C R τ = C R, τ hw τ bio = 10 4 ; τ hw = 1 µs τ bio = 10 ms

7 Wafer Scale Integration

8 Das BrainScaleS Wafer Module 20 cm Wafer Main PCB 48 Kintex-7 FPGAs (TU Dresden) Power supplies Aux. Boards (e.g. Analogauslese) Entwicklungszeit > 10 Jahre

9 Maschinenraum: Platz für 20 BrainScaleS Wafer Module

10 Computing / Software Experiment control for the BrainScaleS Neuromorphic System (i.e. the neuromorphic part of the NM-PM1) Experiment analysis Interactive use (e.g. software building, jupyter sessions,... ) Batch use (e.g. continuous integration, software simulations,... ) Software we use salt [ for configuration management frontends and node installations managed via salt server diskless nodes boot from single NFS image (+ more images for testing) r/o root and temporary r/w overlays where needed log to remote syslog; monitoring via shinken Debian we use spack [ for clean software updates and deployment custom software and calibration data deployed via continuous integration server (creates GNU environment modules for users)

11 Computing / Hardware, Data Hardware 20 nodes (Intel Haswell i7-4771, 32GiB, 10GbE) approx. 4TFLOP/s (CPUs only) 2 frontends (Intel Ivy Bridge E5-2643v2, 64GiB, 40GbE) Storage: 3TiB on SSDs, 64TiB on HDDs 4x40 48x10GbE backbone switch (HP 5900AF-48XG-4QSFP+) 20 GbE/10GbE aggregation switches for 20 BrainScaleS System Modules Data production/consumption rates: up to 48 GB/s per wafer (but typical uplink limited to 10Gbit/s) 4 GB/s onto SSD (full after 10 minutes wafer-time/real-time) 1 GB/s uplink to institute

12 Vergleich großer neuromorpher Systeme

13 Die Netzwerkbeschreibungssprache pynn PyNN ist eine simulator-unabhängige Sprache zur Beschreibung neuronaler Netze Davison AP et.al. doi: /neuro Skripte können somit fast unverändert auf verschiedenen Simulatoren oder Hardware laufen import pyhmf as pynn # import pynn. nest as pynn stimulus = pynn. Population (1, pynn. SpikeSourceArray, { spike_times : exc_spike_times}) pop = pynn. Population (1, pynn. IF_cond_exp, neuron_parameters) pynn. Projection ( stimulus, pop, con, target= excitatory )

14 Vom Netzwerk zur Hardware

15 Aus Sicht des Benutzers 1. Benutzer definieren das Netzwerk in pynn 2. Der Experiment Broker nimmt die Experimentanfragen entgegen (Webinterface, REST-API) 3. Das Mapping übersetzt das pynn-netzwerk in eine Hardwarekonfiguration 4. Optional kann das Experiment auch simuliert werden (ESS=Executable System Specification) 5. Der Experimentserver übermittelt das gemappete Netzwerk zum Host, der mit den Wafern verbunden ist Am Schluss wird das Ergebnis wieder zum User geschickt Alternativ können die Experimente auch direkt auf den Wafer-Hosts gemapped und ausgeführt werden

16 Beispiel: Synfire Chain (Spikey) A (Background) RS FS Stim. a last C D neuron index B a σ (ms) σ (ms) V m (mv) time (ms) Six networks on a universal neuromorphic computing substrate

17 Ausblick: HICANN-DLS (Digital Learning System) 65 nm Integrierte Plasticity Processing Unit (PPU) erlaubt flexible Lernregeln Demonstrating Hybrid Learning in a Flexible Neuromorphic Hardware System

18 Ausblick: Eingebettete Wafer

19 Beispiel: L 2/3 Cortical Column (Spikey) A D 35 average pyramidal rate [Hz] MC MC 2 MC1 MC2 RSNP pyramidal basket time / dwell time B E time [ms] pattern number average membrane voltage [mv] neuron # time / dwell time C F time [ms] pattern number relative active time neuron # stimulated minicolumns