NVIDIA GeForce RTX 2080 Tiには、前世代のGTX 1080 TiなどにはあったGPU間DMA転送機能がなくなったため、複数GPUでの並列学習で性能が出ないと言われています。実際はどうなのか、標準的なTensorFlowのtf_cnn_benchmarks.pyを1, 2, 4, 8, 10GPUで実行してみました（ダウンロードはここから）。テストしたネットワークはResNet50, ResNet152, Inception v3, Inception v4, VGG-16, Nasnetです。テストにはHPCDIY-XCLGPU10R4Sを使いました。スペックは、GPU：10*GeForce RTX 2080 Ti 11GB, CPU：2*Intel Xeon Gold 6230 (20C/40T 2.1G/3.9G 27.5MB 3UPI 1TB/2933M 125W) , Memory：12*32GB DDR4-2933 ECC REG DIMM, U.2 NVMeSSD：1*Samsung DC PM983, 1.92TB , NVMe PCIe3.0x4, V4 TLC VNAND, 2.5" (1.3 DWPD) です。

TESLA V100 NVLink 2枚、TITAN RTX 4枚、RTX 2080 ti 4枚、GTX 1080 ti 4枚がたまたま揃ったので、Caffeでの学習時間を測定してみました。

GTX1080tiの結果も加えました（2017/5/18)

PascalアーキテクチャのTesla P100とNVIDIA TITAN Xを、Caffeでの学習時間で比較したいとずっと思っていたのですが、なかなかその機会がありませんでした。今回同時に試すことができましたので、その結果を報告します。

10GPUマシンにGeforce GTX 1080tiを10枚実装し、nvidia-smiとdeviceQueryを実行した結果を掲載します。

PascalアーキテクチャのTesla P100とNVIDIA TITAN Xを、Caffeでの学習時間で比較したいとずっと思っていたのですが、なかなかその機会がありませんでした。今回同時に試すことができましたので、その結果を報告します。

Tesla P100 PCIe 16GB のCaffeでの学習時間(AlexNet)

NVIDIA TESLA P100 PCIe 16GB での nvidia-smi (2GPU)

NVIDIA TESLA P100 PCIe 16GB での DEVICEQUERY (2GPU)

ディープラーニングの画像分類の学習時間を、Caffeを使ってPascalアーキテクチャのGTX 1080とNVIDIA TITAN Xとで比較してみました。NVIDIA TITAN XはこれまでのGeForce GTX TITAN Xが1世代前のMaxwellアーキテクチャだったのに対し、Pascalアーキテクチャの最新世代に生まれ変わっています。名称のTITAN Xの前がGeForce GTXでなくNVIDIAに変わりました。ディープラーニングの学習時間は長時間かかるので、高性能なGPUでどれだけ学習時間が短縮されるかは是非知りたい事項です。

NVIDIA GeForce GTX 1080 でのdeviceQueryの結果