Ende 2017 wurde HILBERT um neue GPU-Server des Herstellers SuperMicro (SuperServer 4028GR-TR2) erweitert: die Systeme eignen sich besonders für stark parallele GPU-Anwendungen, die von sehr vielen CUDA-Cores in einem System profitieren.
Die Server besitzen eine spezielle Platine mit mehreren PCI-Switches, an denen pro Server 10 Grafikkarten des Typs GTX1080Ti direkt angeschlossen sind und somit untereinander über die volle Geschwindigkeit von PCIe 3.0 x16 kommunizieren können (ohne dafür über die CPUs kommunizieren zu müssen). Zu den CPUs hin teilen sich alle GPUs danach die vier PCIe 3.0 x16-Lanes. Gleiches gilt für die Verbindung zur Mellanox-Infiniband-Karte.
Es empfiehlt sich daher, dass zu Beginn des Jobs so viele Daten wie möglich auf die GPUs geladen werden (z.B. mit entsprechenden CUDA-Funktionalitäten) und danach die Kommunikation nur noch zwischen den Karten stattfindet.
Die folgenden Programme sind bekannt dafür, dass sie auf den Systemen gut funktionieren:
Supermicro SYS-4028GR-TR2
| Jahr | 2017/18 |
|---|---|
| CPU-Architektur | E5-2640v4 (Broadwell), 2.40GHz |
| Cores | 2x10 |
| Peak Performance (CPU) | 832,0 GFLOPs (FP64, double precision) |
| RAM | 256 GB DDR4 |
| Netzwerk | 1Gbit/s Ethernet 56Gbit/s Infiniband FDR |
| Beschleuniger | 11GB Memory per GPU |
| Peak Performance (CUDA) | 3.544,0 GFLOPs (FP64, double precision) |
| PBS | accelerator_model=gtx1080ti |
| Nodes | 13 Nodes, hilbert[300-312] |
