NVIDIA TITAN Xでnvidia-smiの結果

NVIDIA GeForce GTX 1080でnvidia-smiの結果

NVIDIA TITAN XでのdeviceQueryの結果

2ノード以上を使ってOpenMPIのプログラムを実行する場合、mpirunを実行するノードで実行用にセットされた環境変数を、別のノードでもセットする必要があります。例えばhybrid実行をする場合のOMP_NUM_THREADSがそれに当たります。mpirunにはそのためのオプションが用意されています。

OpenMPIとOpenMPのhybrid実行では必ず指定しなければいけないオプションがあります。指定しないと、計算時間が何倍にも増えてしまいます（OpenMPI v1.10.1辺の場合）。例えばIntel Xeon E5-2697v3が2CPUのコンピュータで2CPU間はMPIで並列、CPU内はOpenMPで並列する、2プロセス、各プロセス14スレッドの実行は
mpirun -np 2 -x OMP_NUM_THREADS=14 program
とすればよさそうですがそれではうまくいきません。

社外や学外からsshでlogin可能なネットワークに接続されるコンピュータでは、sshを使ったrootでのloginは禁止に設定しないと非常に危険です。なぜ危険かはless /var/log/secureなどとしてloginの試みの記録をご覧になってみるとすぐにわかります（/var/log/secureはrootでないと見ることができません）。

インテル® Xeon® プロセッサー E5-2600 v3 ファミリー（2014年9月8日リリース）

Infinibandのスイッチには同じポート数で、Subnet Manager付きと無しの2種類が存在します。Subnet Manager付きの方がかなり高価格です。Subnet ManagerはInfinibandのネットワークの接続を調べてInfiniband機器の各ポートにLID（Local Identifier）と呼ばれる値を割り振ります。そしてLIDに基づいてルーティングテーブルを構築します。Subnet Managerは継続してネットワークの監視を行い、接続などが変化した場合、LIDとルーティングテーブルを再構築します。Subnet Managerがないスイッチを使っても、コンピューターにドライバーと一緒にインストールされる、ソフトウェアのSubnet Managerを使うことにより、同じことができます。ソフトウェアのSubnet Managerを使っても性能が低下することはありませんが、CPUのリソースを少し消費し続けます。ソフトウェアのSubnet Managerによるリソースの消費を抑えたい場合は、

/etc/init.d/opensmd start

の代わりに、

opensmd -o

とすることでLIDの割り振りとルーティングテーブルの構築を1回だけにすることができます

参考文献はこちら

4 Node FDR Infiniband Clusterの性能評価を行った。FDR Infinibandのデーター転送速度はQDR Infinibandの約1.7倍であることが確認された。メモリーアクセスが多いプログラムの場合、メモリー帯域不足が原因で1ノード当たり16コア程度で性能は頭打ちになる。4ノードの並列実行では1ノードの3.91倍の性能になった。

過去のBlogにSPAMコメントが4万以上書き込まれていて、それを削除する過程で手順を誤り、過去のBlogも削除するハメに陥りました。最初からやり直します。過去のBlogへのリンクを辿ってきた方には申し訳ありません。同様の記事は徐々に追加していきます。よろしくお願いいたします。

SPAMメールを防ぐために、コメントはloginしないと書き込めないように設定しました。あらかじめご了承ください。