hpc-cluster
-
July 24, 2024 87
この記事は未完成です。完成まで少しお待ちください。
今年４月にリリースされたUbuntu 24.04 LTSを使いHPC Clusterを構築します。この記事を書くに至った理由は次のとおりです。
私のお客様でHPC Clusterをお使いの方は何人かいらっしゃいますが、その中にCentOS 6.3の時代にHPC Clusterを構築させていただいて、毎年ノードを追加しながら25ノードのクラスタまで成長した事例があります。今年度１ノードを追加する際にOSも最新のものにアップグレードすることになりました。現地でスクラッチからHPC Clusterを構築するのは、時間もかかりますし、予期しないトラブルへの対処も難しいことから、私の作業場で小規模なHPC Clusterを構築して動作検証を行い、そのOSクローンを行ったUSBを使い、現地でノード数を拡大するという手順を採用しました。この記事では私の作業場での小規模HPC Cluster構築の手順を実際の体験に基づいて記述していきます。この方法で構築した26台のHPC Clusterがお客様の大学で順調に稼働しており、日夜計算が流されています。HPC Clusterを構築したい読者の役に立つよう、最短手数でのクラスタ構築の解説を行います。
この記事では４台のPCを使ってHPC Clusterを構築します(HPC Cluster構成図参照)。
-
May 20, 2023 14本Blogで連載の「HPC Cluster構築」の手順に従って作成した、Virtual HPC Cluster USBの使い方を説明します。 USBメモリをノートPC、デスクトップPC、ワークステーション、サーバーなどに差し込んで、Boot Deviceとして選択して立ち上げます。
-
May 20, 2023 17Virtual HPC Cluster USBを第28回計算工学講演会（つくば国際会議場）でアンケート記入で無料プレゼントします。
-
May 11, 2023 32これまでHPC Clusterの構築方法と簡単な使い方を解説してきましたが、Virtualbox上でのことでした。Virtualboxでは所詮１台のコンピュータ上で仮想のクラスターをシミュレーションしているので、性能などには限界があります。Real マシンのクラスターで性能や使い勝手がどうなるかなど、RealマシンにVirtualbox上のクラスターを移設したくなるかもしれません。今回はこの方法を解説します。
-
May 09, 2023 35MPIプログラムを複数ノードを使って実行させる場合、hostfileの作成や、またどのノードが何コア空いているかを調べたりするのに、手間と時間がかかり、思いついてパッと実行することができません。しかし、ジョブスケジューラを使えば、準備やチェックが全く不要で、直ぐにジョブの投入が可能です。今回は姫野ベンチのMPIバージョンを、lavaに投入する方法の実際を解説していきます。
-
May 08, 2023 19これまでの連載でhpcクラスターを構成するために必要なソフトウェアのインストールと設定は全て終わりました。 現在のところhpcクラスターを構成するノードはhpc01とhpc02の２台だけですが、hpc02をクローンして幾つかのファイルを修正すれば、ノードを増やすことができます。 ここではhpc03とhpc04を作ってクラスターに加えることにします。
-
May 02, 2023 46ジョブスケジューラのインストールと設定を行います。クラスターがバラバラのPC/サーバに比べて非常に便利な点に、ジョブスケジューラが使えることがあります。プログラムのパラメータや入力ファイルを少しづつ変えて、たくさん流してその結果を比較したい場合など、プログラムを多数実行したい場合は多々あります。以下では、それらのプログラムの実行をジョブと呼ぶことにします。ジョブスケジューラを使うと、多数のジョブを１つ1つ、クラスター内のコンピュータの空いているコアに実行させ、最短時間で全てのジョブの実行を完了させることができます。
-
April 19, 2023 43１台のコンピュータではプログラムの実行速度が遅い場合、複数台のコンピュータを使って、実行速度を速くできます。そのために使われる標準的な方法がMPI(Message Passing Interface)です。ライブラリとコンパイラのラッパー、起動用のコマンドなどのセットになっていて、Ubuntuを使っていれば、簡単にインストールできます。プログラムはMPI用に書き換える必要があります。ここでは、MPIのインストールと、MPI用姫野ベンチをダウンロードしてMPI用にコンパイルしてhpc01単独、hpc01とhpc02の２台で実行の比較を行います。
-
April 15, 2023 37ログインノード（hpc01）でユーザー登録すれば、クラスターの全ノードでそのユーザーが有効になるように設定を行います。
-
April 12, 2023 52クラスター構築の方針ですが、まず最小構成（hpc01とhpc02）のクラスターを完成させます。その後、hpc02をコピーしてhpc03, hpc04と作っていきます。 今回は hpc01の/homeをNFSでexportして/hpc02で読み書きできるようにします。 それだけですと、hpc02のSSDなどの空きスペースが無駄になってしまう可能性がありますので、hpc02の/homeを/home2にリネームし、他のノード(hpc01も含む）でも読み書きができるようにします。
Recent Posts
