HowTo
-
July 24, 2024 74
この記事は未完成です。完成まで少しお待ちください。
今年4月にリリースされたUbuntu 24.04 LTSを使いHPC Clusterを構築します。この記事を書くに至った理由は次のとおりです。
私のお客様でHPC Clusterをお使いの方は何人かいらっしゃいますが、その中にCentOS 6.3の時代にHPC Clusterを構築させていただいて、毎年ノードを追加しながら25ノードのクラスタまで成長した事例があります。今年度1ノードを追加する際にOSも最新のものにアップグレードすることになりました。現地でスクラッチからHPC Clusterを構築するのは、時間もかかりますし、予期しないトラブルへの対処も難しいことから、私の作業場で小規模なHPC Clusterを構築して動作検証を行い、そのOSクローンを行ったUSBを使い、現地でノード数を拡大するという手順を採用しました。この記事では私の作業場での小規模HPC Cluster構築の手順を実際の体験に基づいて記述していきます。この方法で構築した26台のHPC Clusterがお客様の大学で順調に稼働しており、日夜計算が流されています。HPC Clusterを構築したい読者の役に立つよう、最短手数でのクラスタ構築の解説を行います。
この記事では4台のPCを使ってHPC Clusterを構築します(HPC Cluster構成図参照)。
-
May 21, 2024 815
以前の記事ではGPUがない場合の、Slurmのインストールと設定と使用方法を解説しましたが、この記事では8GPUのサーバーにSlurmのインストールと設定を行います。設定ファイルの自動生成のスクリプトの紹介も行っていますので、これを使えばGPUサーバーでのSlurmの設定も簡単に行うことができます。その後、tf cnn benchmarksを網羅的にジョブ投入して実行させてみます。OSはubuntu 22.04 LTSです。ubuntu 20.04 LTSとは設定ファイルの場所など微妙に異なりますので、ご注意ください
最初に、slurm-wlmパッケージをインストールします。コマンドはsudo apt install slurm-wlmを1行入力するだけですので簡単です。mungeなどの必要なパッケージは全てこのコマンド1つでインストールされます。
この後、/etc/slurm/slurm.confと/etc/slurm/gres.confを用意するのが面倒なのですが、スクリプトを使って使用するサーバーに合わせて自動生成します。それらのスクリプトの紹介も行います。
sudo apt install slurm-wlm
-
December 24, 2023 33最近のサーバーでオンボードVGAを使用した場合、解像度が1024x768以上に上らない場合があります。これでは不便なので、解像度を上げる方法を試してみます。
-
December 16, 2023 508JOB Schedulerの中でHPC環境で非常に人気のあるSlurmのインストールlと設定を行い、Intel MPIのジョブを流してみます。OSはUbuntu 20.04を使います。簡単にインストールと設定ができてすぐに使える様になります。HPC用のサーバーやワークステーションを使っているが、まだジョブスケジューラは使っていないという方は、この記事の方法で、試してみてはいかがでしょうか。
-
June 18, 2023 67GeForce RTX 4090をDeepLearningなどで並列動作させようとした場合、driverのバージョンを限定(525.105.17)しないとうまく動作しません。
-
May 11, 2023 190VirtualboxのhostOSとguestOs間でCopy&Pasteができるように設定する方法を解説します。GuestOSはubuntu 20.04です。
-
May 04, 2023 13HPCクラスター構築に役立つ、無料でダウンロード可能なソフトウェアを少しづつアップしていきますが、そのダウンロードの方法を説明します。
-
April 08, 2023 262Linuxでパスワードを忘れてログインできなくなった時、どうすればいいでしょうか。そのコンピュータがそばにあり、直接操作できれば(sshなどでのアクセスでなければ)問題を解決できます。ここでは、Ubuntu 20.04の場合を解説していきますが、他のディストリビューションでも同様に解決できると思います。
-
April 08, 2023 3236Ubuntu Desktopなどを標準インストールすると、次の画面のようなGrubメニューは表示されません。通常は何の問題もないのですが、パスワードを忘れるなどして、シングルユーザーモードでの立ち上げが必要になった場合、Grubメニューが表示されることが必要になります。