making
-
May 11, 2023 32これまでHPC Clusterの構築方法と簡単な使い方を解説してきましたが、Virtualbox上でのことでした。Virtualboxでは所詮１台のコンピュータ上で仮想のクラスターをシミュレーションしているので、性能などには限界があります。Real マシンのクラスターで性能や使い勝手がどうなるかなど、RealマシンにVirtualbox上のクラスターを移設したくなるかもしれません。今回はこの方法を解説します。
-
May 09, 2023 35MPIプログラムを複数ノードを使って実行させる場合、hostfileの作成や、またどのノードが何コア空いているかを調べたりするのに、手間と時間がかかり、思いついてパッと実行することができません。しかし、ジョブスケジューラを使えば、準備やチェックが全く不要で、直ぐにジョブの投入が可能です。今回は姫野ベンチのMPIバージョンを、lavaに投入する方法の実際を解説していきます。
-
May 08, 2023 19これまでの連載でhpcクラスターを構成するために必要なソフトウェアのインストールと設定は全て終わりました。 現在のところhpcクラスターを構成するノードはhpc01とhpc02の２台だけですが、hpc02をクローンして幾つかのファイルを修正すれば、ノードを増やすことができます。 ここではhpc03とhpc04を作ってクラスターに加えることにします。
-
May 02, 2023 46ジョブスケジューラのインストールと設定を行います。クラスターがバラバラのPC/サーバに比べて非常に便利な点に、ジョブスケジューラが使えることがあります。プログラムのパラメータや入力ファイルを少しづつ変えて、たくさん流してその結果を比較したい場合など、プログラムを多数実行したい場合は多々あります。以下では、それらのプログラムの実行をジョブと呼ぶことにします。ジョブスケジューラを使うと、多数のジョブを１つ1つ、クラスター内のコンピュータの空いているコアに実行させ、最短時間で全てのジョブの実行を完了させることができます。
-
April 19, 2023 43１台のコンピュータではプログラムの実行速度が遅い場合、複数台のコンピュータを使って、実行速度を速くできます。そのために使われる標準的な方法がMPI(Message Passing Interface)です。ライブラリとコンパイラのラッパー、起動用のコマンドなどのセットになっていて、Ubuntuを使っていれば、簡単にインストールできます。プログラムはMPI用に書き換える必要があります。ここでは、MPIのインストールと、MPI用姫野ベンチをダウンロードしてMPI用にコンパイルしてhpc01単独、hpc01とhpc02の２台で実行の比較を行います。
-
April 15, 2023 37ログインノード（hpc01）でユーザー登録すれば、クラスターの全ノードでそのユーザーが有効になるように設定を行います。
-
April 12, 2023 52クラスター構築の方針ですが、まず最小構成（hpc01とhpc02）のクラスターを完成させます。その後、hpc02をコピーしてhpc03, hpc04と作っていきます。 今回は hpc01の/homeをNFSでexportして/hpc02で読み書きできるようにします。 それだけですと、hpc02のSSDなどの空きスペースが無駄になってしまう可能性がありますので、hpc02の/homeを/home2にリネームし、他のノード(hpc01も含む）でも読み書きができるようにします。
-
April 11, 2023 41今回の作業は、 1. hpc01をコピーしてhpc02を作成する 2. hpc01でIPマスカレードして、クラスター内（hpc02）からインターネットにアクセス可能にする です。
-
April 10, 2023 53前回構築したhpc01にログインノードが有すべき機能を加えていきます。 最初にUbuntuを最新の状態にアップデートします。 ネットワークデバイス名をeth0, eth1に変更。 eth0をクラスター内ネットワークに、eth1はインターネット接続用に。 /etc/hostsをクラスター用に変更。 openssh-serverをインストールして、クラスター内ではパスワードなしでログイン可能にする。
-
April 09, 2023 99複数台のコンピュータを使用している場合、クラスター化は必須で、次の利点があります。 1. すべてのコンピュータでファイルを共有できる 2. ユーザー登録が１台のコンピュータで可能 3. ジョブのキューにいつでもジョブを投入可能 4. ジョブスケジューラが、キューのジョブを、空いているコンピュータで自動実行する 5. １台のコンピュータではジョブの実行速度が遅い場合、コンピュータを複数台使いジョブを高速実行できる しかし、いざ構築しようと思うと、意外と手間がかかるものです。実際の構築は、ネットワークの接続や、ディスプレイやキーボードなどを繋ぎ変えたりする作業もあって、肉体的に疲れる作業ですが、Virtualboxを使って１台のコンピュータ上にクラスターの全ノードを構築すれば、肉体的に疲れる作業から解放され、ソフトウェアの構築作業に集中できます。構築が終わり、動作に問題ないことが確認できれば、各仮想マシンのOSをSystemCloner for Linux by Server-Gearを使い実際のコンピュータにクローンすれば、Real Worldのクラスターが出来上ります。
Recent Posts
