Manycores: Hardware und Low-Level Programmierung

Transkript

1 Manycores: Hardware und Low-Level Programmierung Florian Sattler Universität Passau 18. Juni 2014

2 Übersicht Einführung Neue Architekturen Programmierung Supercomputing Fazit 2 / 29

3 Top / 29

4 Motivation für Exascale Computing Es gibt bereits Anwendungen wo 50 petaflops an Rechenleistung um Größenordnungen nicht reichen. Fusionsenergie Simulation/Auswertung Erdmodelle Viele Forschungsbereiche benötigen Exascale Performance oder höher 4 / 29

5 Motivation für Exascale Computing Es gibt bereits Anwendungen wo 50 petaflops an Rechenleistung um Größenordnungen nicht reichen. Fusionsenergie Simulation/Auswertung Erdmodelle Viele Forschungsbereiche benötigen Exascale Performance oder höher 4 / 29

6 Motivation für Exascale Computing Es gibt bereits Anwendungen wo 50 petaflops an Rechenleistung um Größenordnungen nicht reichen. Fusionsenergie Simulation/Auswertung Erdmodelle Viele Forschungsbereiche benötigen Exascale Performance oder höher 4 / 29

7 Motivation für Exascale Computing Es gibt bereits Anwendungen wo 50 petaflops an Rechenleistung um Größenordnungen nicht reichen. Fusionsenergie Simulation/Auswertung Erdmodelle Viele Forschungsbereiche benötigen Exascale Performance oder höher 4 / 29

8 Motivation für Exascale Computing Es gibt bereits Anwendungen wo 50 petaflops an Rechenleistung um Größenordnungen nicht reichen. Fusionsenergie Simulation/Auswertung Erdmodelle Viele Forschungsbereiche benötigen Exascale Performance oder höher 4 / 29

9 Motivation für Exascale Computing Es gibt bereits Anwendungen wo 50 petaflops an Rechenleistung um Größenordnungen nicht reichen. Fusionsenergie Simulation/Auswertung Erdmodelle Viele Forschungsbereiche benötigen Exascale Performance oder höher 4 / 29

10 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

11 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

12 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

13 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

14 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

15 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

16 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

17 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

18 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

19 Tianhe-2 Tianhe-2 Peakperformance 54,9 petaflops Linpack Performance 33,8 petaflops Energieverbrauch 17,8MW/24MW Exascale Supercomputer Peakperformance 10 exaflops Energieverbrauch 3294MW/4416MW Energieproblem! 5 / 29

20 Energieproblem Verbrauch von 4416MW Atomkraftwerk Isar 2 produziert 1410MW 3 Atomkraftwerke ein Raspberry Pi verbraucht nur 3.5 Watt Lösung? 6 / 29

21 Energieproblem Verbrauch von 4416MW Atomkraftwerk Isar 2 produziert 1410MW 3 Atomkraftwerke ein Raspberry Pi verbraucht nur 3.5 Watt Lösung? 6 / 29

22 Energieproblem Verbrauch von 4416MW Atomkraftwerk Isar 2 produziert 1410MW 3 Atomkraftwerke ein Raspberry Pi verbraucht nur 3.5 Watt Lösung? 6 / 29

23 Energieproblem Verbrauch von 4416MW Atomkraftwerk Isar 2 produziert 1410MW 3 Atomkraftwerke ein Raspberry Pi verbraucht nur 3.5 Watt Lösung? 6 / 29

24 Energieproblem Verbrauch von 4416MW Atomkraftwerk Isar 2 produziert 1410MW 3 Atomkraftwerke ein Raspberry Pi verbraucht nur 3.5 Watt Lösung? 6 / 29

25 Energieproblem Verbrauch von 4416MW Atomkraftwerk Isar 2 produziert 1410MW 3 Atomkraftwerke ein Raspberry Pi verbraucht nur 3.5 Watt Lösung? 6 / 29

26 Energieproblem Verbrauch von 4416MW Atomkraftwerk Isar 2 produziert 1410MW 3 Atomkraftwerke ein Raspberry Pi verbraucht nur 3.5 Watt Lösung? 6 / 29

27 Irdis Pi 64 Pi s MHz ARMv6 16GB RAM 224 Watt 7 / 29

28 Irdis Pi 64 Pi s MHz ARMv6 16GB RAM 224 Watt 7 / 29

29 Irdis Pi 64 Pi s MHz ARMv6 16GB RAM 224 Watt 7 / 29

30 Irdis Pi 64 Pi s MHz ARMv6 16GB RAM 224 Watt 7 / 29

31 Irdis Pi 64 Pi s MHz ARMv6 16GB RAM 224 Watt 7 / 29

32 Benchmark mit verschiedenen Problemgrößen 8 / 29

33 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

34 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

35 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

36 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

37 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

38 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

39 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

40 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

41 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

42 Vor-/Nachteile Vorteile Nachteile keine Lösung! geringe Anschaffungskosten wenig Leistung wenig Speicher stark Bandbreiten beschränkt GPU kein opencl 9 / 29

43 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

44 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

45 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

46 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

47 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

48 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

49 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

50 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

51 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

52 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

53 Neue Architekturen MPPA Multi-Purpose Processor Array von Kalray Hauptsitz Paris Gründung 2008 Board: MPPA256 Epiphany von Adapteva Hauptsitz Lexington (Boston) Gründung 2008 Board: Parallella 10 / 29

54 MPPA I/O Subsysteme 16 Cluster 16 Rechenkerne 1 Systemkern 11 / 29

55 MPPA I/O Subsysteme 16 Cluster 16 Rechenkerne 1 Systemkern 11 / 29

56 MPPA I/O Subsysteme 16 Cluster 16 Rechenkerne 1 Systemkern 11 / 29

57 MPPA I/O Subsysteme 16 Cluster 16 Rechenkerne 1 Systemkern 11 / 29

58 MPPA I/O Subsysteme 16 Cluster 16 Rechenkerne 1 Systemkern 11 / 29

59 MPPA verschiedene Varianten mit MPPA 64/256/1024 Energieverbrauch 1,8/5/7 Watt 50 GFLOPS/Watt Steigerung auf 100 GFLOPS/Watt 12 / 29

60 MPPA verschiedene Varianten mit MPPA 64/256/1024 Energieverbrauch 1,8/5/7 Watt 50 GFLOPS/Watt Steigerung auf 100 GFLOPS/Watt 12 / 29

61 MPPA verschiedene Varianten mit MPPA 64/256/1024 Energieverbrauch 1,8/5/7 Watt 50 GFLOPS/Watt Steigerung auf 100 GFLOPS/Watt 12 / 29

62 MPPA verschiedene Varianten mit MPPA 64/256/1024 Energieverbrauch 1,8/5/7 Watt 50 GFLOPS/Watt Steigerung auf 100 GFLOPS/Watt 12 / 29

63 MPPA verschiedene Varianten mit MPPA 64/256/1024 Energieverbrauch 1,8/5/7 Watt 50 GFLOPS/Watt Steigerung auf 100 GFLOPS/Watt 12 / 29

64 Epiphany eingesetzt in Parallella Chip mit 16/64 Kernen 50 GFLOPS/Watt 13 / 29

65 Epiphany eingesetzt in Parallella Chip mit 16/64 Kernen 50 GFLOPS/Watt 13 / 29

66 Epiphany eingesetzt in Parallella Chip mit 16/64 Kernen 50 GFLOPS/Watt 13 / 29

67 Epiphany eingesetzt in Parallella Chip mit 16/64 Kernen 50 GFLOPS/Watt 13 / 29

68 Memory bit words 4096 Kerne 6-bit column ID 6-bit row ID off-chip RAM 14 / 29

69 Memory bit words 4096 Kerne 6-bit column ID 6-bit row ID off-chip RAM 14 / 29

70 Memory bit words 4096 Kerne 6-bit column ID 6-bit row ID off-chip RAM 14 / 29

71 Memory bit words 4096 Kerne 6-bit column ID 6-bit row ID off-chip RAM 14 / 29

72 Memory bit words 4096 Kerne 6-bit column ID 6-bit row ID off-chip RAM 14 / 29

73 Memory bit words 4096 Kerne 6-bit column ID 6-bit row ID off-chip RAM 14 / 29

74 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

75 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

76 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

77 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

78 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

79 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

80 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

81 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

82 emesh Netzwerk cmesh (On-chip write) Schreibvorgänge zwischen Mesh Knoten 8-Byte/Cycle in jede Richtung gesamt Durchsatz 62.5 GB/s rmesh (Read request) Leseoperationen 1 alle 8 Cycle in jede Richtung 15 / 29

83 emesh Netzwerk xmesh (Off-chip write) off-chip Schreiben weitere Boards off-chip I/O 8GB/sec Süd-Nord / Ost-West Aufteilung 16 / 29

84 emesh Netzwerk xmesh (Off-chip write) off-chip Schreiben weitere Boards off-chip I/O 8GB/sec Süd-Nord / Ost-West Aufteilung 16 / 29

85 emesh Netzwerk xmesh (Off-chip write) off-chip Schreiben weitere Boards off-chip I/O 8GB/sec Süd-Nord / Ost-West Aufteilung 16 / 29

86 emesh Netzwerk xmesh (Off-chip write) off-chip Schreiben weitere Boards off-chip I/O 8GB/sec Süd-Nord / Ost-West Aufteilung 16 / 29

87 emesh Netzwerk xmesh (Off-chip write) off-chip Schreiben weitere Boards off-chip I/O 8GB/sec Süd-Nord / Ost-West Aufteilung 16 / 29

88 emesh Routing 1 Kern 32,32 schickt Leseanfrage 2 Vergleich: Spalten ID 3 Vergleich: Zeilen ID 4 Kern 39,39 sendet Daten mit cmesh/xmesh 17 / 29

89 emesh Routing 1 Kern 32,32 schickt Leseanfrage 2 Vergleich: Spalten ID 3 Vergleich: Zeilen ID 4 Kern 39,39 sendet Daten mit cmesh/xmesh 17 / 29

90 emesh Routing 1 Kern 32,32 schickt Leseanfrage 2 Vergleich: Spalten ID 3 Vergleich: Zeilen ID 4 Kern 39,39 sendet Daten mit cmesh/xmesh 17 / 29

91 emesh Routing 1 Kern 32,32 schickt Leseanfrage 2 Vergleich: Spalten ID 3 Vergleich: Zeilen ID 4 Kern 39,39 sendet Daten mit cmesh/xmesh 17 / 29

92 emesh Routing 1 Kern 32,32 schickt Leseanfrage 2 Vergleich: Spalten ID 3 Vergleich: Zeilen ID 4 Kern 39,39 sendet Daten mit cmesh/xmesh 17 / 29

93 Programmierung MPPA SigmaC IDE basierend auf Eclipse Compiler GDB integriert in Eclipse Spezielle Analyse Tools Debug Board 18 / 29

94 Programmierung MPPA SigmaC IDE basierend auf Eclipse Compiler GDB integriert in Eclipse Spezielle Analyse Tools Debug Board 18 / 29

95 Programmierung MPPA SigmaC IDE basierend auf Eclipse Compiler GDB integriert in Eclipse Spezielle Analyse Tools Debug Board 18 / 29

96 Programmierung MPPA SigmaC IDE basierend auf Eclipse Compiler GDB integriert in Eclipse Spezielle Analyse Tools Debug Board 18 / 29

97 Programmierung MPPA SigmaC IDE basierend auf Eclipse Compiler GDB integriert in Eclipse Spezielle Analyse Tools Debug Board 18 / 29

98 Programmierung MPPA SigmaC IDE basierend auf Eclipse Compiler GDB integriert in Eclipse Spezielle Analyse Tools Debug Board 18 / 29

99 Programmierung MPPA SigmaC IDE basierend auf Eclipse Compiler GDB integriert in Eclipse Spezielle Analyse Tools Debug Board 18 / 29

100 Programmierung Parallella C Syntax IDE basierend auf Eclipse E-GCC E-GDB Simulator 19 / 29

101 Programmierung Parallella C Syntax IDE basierend auf Eclipse E-GCC E-GDB Simulator 19 / 29

102 Programmierung Parallella C Syntax IDE basierend auf Eclipse E-GCC E-GDB Simulator 19 / 29

103 Programmierung Parallella C Syntax IDE basierend auf Eclipse E-GCC E-GDB Simulator 19 / 29

104 Programmierung Parallella C Syntax IDE basierend auf Eclipse E-GCC E-GDB Simulator 19 / 29

105 Programmierung Parallella C Syntax IDE basierend auf Eclipse E-GCC E-GDB Simulator 19 / 29

106 Matrixmultiplikation C ij = N 1 k=0 (A ik B kj ) Blocked by row and column Matrix A wird nach unten verschoben Matrix B verschoben nach rechts 90% Peakperformance 20 / 29

107 Matrixmultiplikation C ij = N 1 k=0 (A ik B kj ) Blocked by row and column Matrix A wird nach unten verschoben Matrix B verschoben nach rechts 90% Peakperformance 20 / 29

108 Matrixmultiplikation C ij = N 1 k=0 (A ik B kj ) Blocked by row and column Matrix A wird nach unten verschoben Matrix B verschoben nach rechts 90% Peakperformance 20 / 29

109 Matrixmultiplikation C ij = N 1 k=0 (A ik B kj ) Blocked by row and column Matrix A wird nach unten verschoben Matrix B verschoben nach rechts 90% Peakperformance 20 / 29

110 Matrixmultiplikation C ij = N 1 k=0 (A ik B kj ) Blocked by row and column Matrix A wird nach unten verschoben Matrix B verschoben nach rechts 90% Peakperformance 20 / 29

111 Matrixmultiplikation C ij = N 1 k=0 (A ik B kj ) Blocked by row and column Matrix A wird nach unten verschoben Matrix B verschoben nach rechts 90% Peakperformance 20 / 29

112 Matrixmultiplikation Code 1 f o r ( kc = 0; kc < Nside ; kc ++) { 2 matmac(me.banka[me.pingpong] 3, me.bankb[me.pingpong], me.bankc, Score); 4 5 / / Swap A banks h o r i z o n t a l l y 6 src = me. banka [me. pingpong ] ; 7 dst = me. tgta [me. pingpong ] ; 8 i f ( kc < ( Nside 1 ) ) 9 datacopy(&dmadesc[1], dst, src); / / Swap B banks v e r t i c a l l y 12 src = me. bankb [me. pingpong ] ; 13 dst = me. tgtb [me. pingpong ] ; 14 i f ( kc < ( Nside 1 ) ) 15 datacopy(&dmadesc[1], dst, src); me.pingpong = 1 - me.pingpong; / / Sync with a l l other cores 20 ebarrier(barriers, tgtbars); 21 } 21 / 29

113 Matrixmultiplikation Code 1 f o r ( kc = 0; kc < Nside ; kc ++) { 2 matmac(me.banka[me.pingpong] 3, me.bankb[me.pingpong], me.bankc, Score); 4 5 / / Swap A banks h o r i z o n t a l l y 6 src = me. banka [me. pingpong ] ; 7 dst = me. tgta [me. pingpong ] ; 8 i f ( kc < ( Nside 1 ) ) 9 datacopy(&dmadesc[1], dst, src); / / Swap B banks v e r t i c a l l y 12 src = me. bankb [me. pingpong ] ; 13 dst = me. tgtb [me. pingpong ] ; 14 i f ( kc < ( Nside 1 ) ) 15 datacopy(&dmadesc[1], dst, src); me.pingpong = 1 - me.pingpong; / / Sync with a l l other cores 20 ebarrier(barriers, tgtbars); 21 } 21 / 29

114 Matrixmultiplikation Code 1 f o r ( kc = 0; kc < Nside ; kc ++) { 2 matmac(me.banka[me.pingpong] 3, me.bankb[me.pingpong], me.bankc, Score); 4 5 / / Swap A banks h o r i z o n t a l l y 6 src = me. banka [me. pingpong ] ; 7 dst = me. tgta [me. pingpong ] ; 8 i f ( kc < ( Nside 1 ) ) 9 datacopy(&dmadesc[1], dst, src); / / Swap B banks v e r t i c a l l y 12 src = me. bankb [me. pingpong ] ; 13 dst = me. tgtb [me. pingpong ] ; 14 i f ( kc < ( Nside 1 ) ) 15 datacopy(&dmadesc[1], dst, src); me.pingpong = 1 - me.pingpong; / / Sync with a l l other cores 20 ebarrier(barriers, tgtbars); 21 } 21 / 29

115 Matrixmultiplikation Code 1 f o r ( kc = 0; kc < Nside ; kc ++) { 2 matmac(me.banka[me.pingpong] 3, me.bankb[me.pingpong], me.bankc, Score); 4 5 / / Swap A banks h o r i z o n t a l l y 6 src = me. banka [me. pingpong ] ; 7 dst = me. tgta [me. pingpong ] ; 8 i f ( kc < ( Nside 1 ) ) 9 datacopy(&dmadesc[1], dst, src); / / Swap B banks v e r t i c a l l y 12 src = me. bankb [me. pingpong ] ; 13 dst = me. tgtb [me. pingpong ] ; 14 i f ( kc < ( Nside 1 ) ) 15 datacopy(&dmadesc[1], dst, src); me.pingpong = 1 - me.pingpong; / / Sync with a l l other cores 20 ebarrier(barriers, tgtbars); 21 } 21 / 29

116 Matrixmultiplikation Code 1 f o r ( kc = 0; kc < Nside ; kc ++) { 2 matmac(me.banka[me.pingpong] 3, me.bankb[me.pingpong], me.bankc, Score); 4 5 / / Swap A banks h o r i z o n t a l l y 6 src = me. banka [me. pingpong ] ; 7 dst = me. tgta [me. pingpong ] ; 8 i f ( kc < ( Nside 1 ) ) 9 datacopy(&dmadesc[1], dst, src); / / Swap B banks v e r t i c a l l y 12 src = me. bankb [me. pingpong ] ; 13 dst = me. tgtb [me. pingpong ] ; 14 i f ( kc < ( Nside 1 ) ) 15 datacopy(&dmadesc[1], dst, src); me.pingpong = 1 - me.pingpong; / / Sync with a l l other cores 20 ebarrier(barriers, tgtbars); 21 } 21 / 29

117 Probleme Struktur des emesh Netzwerks Unterschied zwischen xmesh und cmesh einzelnes emesh maximal 4096 Kerne Initialkosten von MPI bei sehr vielen Kernen zu hoch MPI zu schwer für einzelne Kerne 22 / 29

118 Probleme Struktur des emesh Netzwerks Unterschied zwischen xmesh und cmesh einzelnes emesh maximal 4096 Kerne Initialkosten von MPI bei sehr vielen Kernen zu hoch MPI zu schwer für einzelne Kerne 22 / 29

119 Probleme Struktur des emesh Netzwerks Unterschied zwischen xmesh und cmesh einzelnes emesh maximal 4096 Kerne Initialkosten von MPI bei sehr vielen Kernen zu hoch MPI zu schwer für einzelne Kerne 22 / 29

120 Probleme Struktur des emesh Netzwerks Unterschied zwischen xmesh und cmesh einzelnes emesh maximal 4096 Kerne Initialkosten von MPI bei sehr vielen Kernen zu hoch MPI zu schwer für einzelne Kerne 22 / 29

121 Probleme Struktur des emesh Netzwerks Unterschied zwischen xmesh und cmesh einzelnes emesh maximal 4096 Kerne Initialkosten von MPI bei sehr vielen Kernen zu hoch MPI zu schwer für einzelne Kerne 22 / 29

122 Probleme Struktur des emesh Netzwerks Unterschied zwischen xmesh und cmesh einzelnes emesh maximal 4096 Kerne Initialkosten von MPI bei sehr vielen Kernen zu hoch MPI zu schwer für einzelne Kerne 22 / 29

123 Lösungen effiziente Integration von emesh in libs/apis schlanke Version von MPI (MPI lite) Zwei-Schichten-Modell mit MPI+SubProgramm automatische Code Generierung 23 / 29

124 Lösungen effiziente Integration von emesh in libs/apis schlanke Version von MPI (MPI lite) Zwei-Schichten-Modell mit MPI+SubProgramm automatische Code Generierung 23 / 29

125 Lösungen effiziente Integration von emesh in libs/apis schlanke Version von MPI (MPI lite) Zwei-Schichten-Modell mit MPI+SubProgramm automatische Code Generierung 23 / 29

126 Lösungen effiziente Integration von emesh in libs/apis schlanke Version von MPI (MPI lite) Zwei-Schichten-Modell mit MPI+SubProgramm automatische Code Generierung 23 / 29

127 Lösungen effiziente Integration von emesh in libs/apis schlanke Version von MPI (MPI lite) Zwei-Schichten-Modell mit MPI+SubProgramm automatische Code Generierung 23 / 29

128 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

129 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

130 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

131 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

132 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

133 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

134 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

135 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

136 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

137 Supercomputing mit den neuen Architekturen Exascale Supercomputer ähnlich zu Tianhe-2 10 exaflops 3294MW Rechenknoten Kerne bestehend aus Boards 10 exaflops 200MW 6% (800MW 24%) 98 Millionen Boards Kerne 24 / 29

138 Supercomputing mit den neuen Architekturen Probleme Probleme Platzverbrauch Kühlung Wartung 25 / 29

139 Supercomputing mit den neuen Architekturen Probleme Probleme Platzverbrauch Kühlung Wartung 25 / 29

140 Supercomputing mit den neuen Architekturen Probleme Probleme Platzverbrauch Kühlung Wartung 25 / 29

141 Supercomputing mit den neuen Architekturen Probleme Probleme Platzverbrauch Kühlung Wartung 25 / 29

142 Supercomputing mit den neuen Architekturen Probleme Probleme Platzverbrauch Kühlung Wartung 25 / 29

143 Supercomputing mit den neuen Architekturen Probleme Probleme Platzverbrauch Kühlung Wartung 25 / 29

144 Supercomputing mit den neuen Architekturen Probleme Möglich Lösung: Konstruktion eine PCIe Karte ähnlich zu Xeon Phi Board mit mehreren Chips Würfel mit mehreren Boards 26 / 29

145 Supercomputing mit den neuen Architekturen Probleme Möglich Lösung: Konstruktion eine PCIe Karte ähnlich zu Xeon Phi Board mit mehreren Chips Würfel mit mehreren Boards 26 / 29

146 Supercomputing mit den neuen Architekturen Probleme Möglich Lösung: Konstruktion eine PCIe Karte ähnlich zu Xeon Phi Board mit mehreren Chips Würfel mit mehreren Boards 26 / 29

147 Supercomputing mit den neuen Architekturen Probleme Möglich Lösung: Konstruktion eine PCIe Karte ähnlich zu Xeon Phi Board mit mehreren Chips Würfel mit mehreren Boards 26 / 29

148 Supercomputing mit den neuen Architekturen Probleme Möglich Lösung: Konstruktion eine PCIe Karte ähnlich zu Xeon Phi Board mit mehreren Chips Würfel mit mehreren Boards 26 / 29

149 Energieeffizienz Tianhe-2 Piz Daint Xeon Phi Nvidia GT 630(GK208) Epiphany/MPPA Zukunft MPPA 1,9 GFLOPS/Watt 3,1 GFLOPS/Watt 9 GFLOPS/Watt 27,7 GFLOPS/Watt 50 GFLOPS/Watt bis zu 100 GFLOPS/Watt 27 / 29

150 Energieeffizienz Tianhe-2 Piz Daint Xeon Phi Nvidia GT 630(GK208) Epiphany/MPPA Zukunft MPPA 1,9 GFLOPS/Watt 3,1 GFLOPS/Watt 9 GFLOPS/Watt 27,7 GFLOPS/Watt 50 GFLOPS/Watt bis zu 100 GFLOPS/Watt 27 / 29

151 Energieeffizienz Tianhe-2 Piz Daint Xeon Phi Nvidia GT 630(GK208) Epiphany/MPPA Zukunft MPPA 1,9 GFLOPS/Watt 3,1 GFLOPS/Watt 9 GFLOPS/Watt 27,7 GFLOPS/Watt 50 GFLOPS/Watt bis zu 100 GFLOPS/Watt 27 / 29

152 Energieeffizienz Tianhe-2 Piz Daint Xeon Phi Nvidia GT 630(GK208) Epiphany/MPPA Zukunft MPPA 1,9 GFLOPS/Watt 3,1 GFLOPS/Watt 9 GFLOPS/Watt 27,7 GFLOPS/Watt 50 GFLOPS/Watt bis zu 100 GFLOPS/Watt 27 / 29

153 Energieeffizienz Tianhe-2 Piz Daint Xeon Phi Nvidia GT 630(GK208) Epiphany/MPPA Zukunft MPPA 1,9 GFLOPS/Watt 3,1 GFLOPS/Watt 9 GFLOPS/Watt 27,7 GFLOPS/Watt 50 GFLOPS/Watt bis zu 100 GFLOPS/Watt 27 / 29

154 Energieeffizienz Tianhe-2 Piz Daint Xeon Phi Nvidia GT 630(GK208) Epiphany/MPPA Zukunft MPPA 1,9 GFLOPS/Watt 3,1 GFLOPS/Watt 9 GFLOPS/Watt 27,7 GFLOPS/Watt 50 GFLOPS/Watt bis zu 100 GFLOPS/Watt 27 / 29

155 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

156 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

157 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

158 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

159 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

160 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

161 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

162 Fazit Schritt in die richtige Richtung aber keine finale Lösung Hat: gute Energieeffizienz Braucht: bessere Integration in Software Libraries einfache Programmierkonzepte Codegenerator bessere Umsetzung für Cluster 28 / 29

163 Fragen? 29 / 29