Blog

前回の記事では、Mistral AI社が開発したLLMを小規模なマシンでChatbotにすることを紹介しました。

今回はこのChatbotにGPT4o作成の問題を入力し、出力された回答をGPT4oで採点してみました。

この記事を書く前に同じChatbotで推論の問題をいろいろ試していました（それに関しては別の記事で紹介します）。

推論以外にLLMに必要な機能をGPT4oに聞いてみました。

私の質問：LLMに必要な能力は推論の他に何がありますか

LLM（大規模言語モデル）に必要な能力は推論以外にもさまざまあります。以下に代表的な能力を挙げます。

### 1. **理解力（Comprehension）**
   - モデルが自然言語を理解し、文脈や意図を正確に把握する能力です。例えば、曖昧な言葉や異なる意味を持つ言葉を正しく解釈することが求められます。この能力は、モデルが文脈に基づいて適切な返答を生成するために必要です。

### 2. **知識の保持（Knowledge Retention）**
   - 広範なドメイン知識を持ち、それを元に正確な回答を提供できる能力です。LLMは事前に大量のテキストを学習するため、一般常識や専門知識を保持しておくことが求められます。事実に基づいた回答や、特定の分野に特化した知識を提供する際に重要です。

GeForce RTX 4080 Super *2のマシンにMistran AI社のMistral-NeMoをインストールしてChatbotを動作させ、その能力を試しています。

今回は推論能力を試してみましょう。前回と同様、GPT4oで問題を作成し、採点もGPT4oで行いました。

難易度の高い推論問題をいくつか作成しました。これらの問題は、論理的思考や複雑な条件を必要とし、より高度な推論力を試すことができます。

### 1. **条件付き自己矛盾問題**
   - **問題**: AさんとBさんは、正直者か嘘つきのどちらかです。Aさんは「Bさんは嘘をついている」と言い、Bさんは「Aさんは嘘をついている」と言いました。この場合、AさんとBさんのどちらが正直者で、どちらが嘘つきでしょうか？また、その理由を説明してください。

### 2. **多数派と少数派の推論問題**
   - **問題**: 10人の友達がパーティーにいます。そのうち7人はいつも真実を話し、3人は常に嘘をつきます。Aさん、Bさん、Cさんの3人が次のように言いました。Aさんは「Bさんと私はどちらも真実を話している」と言い、Bさんは「Aさんは嘘をついている」と言い、Cさんは「Bさんは嘘をついている」と言いました。Aさん、Bさん、Cさんのうち、誰が真実を話していて、誰が嘘をついているかを推論してください。

### 3. **条件付き時系列推論問題**
   - **問題**: ジョンは毎週月曜日と水曜日にジムに行きます。メアリーはジョンがジムに行かない日に買い物をします。サムはメアリーが買い物をしない日に映画館に行きます。次の火曜日、ジョン、メアリー、サムのうち、誰がどこに行くかを推論してください。

### 4. **相対的な時間の推論問題**
   - **問題**: アリス、ボブ、キャロルの3人がいます。アリスはボブよりも30分早く家に帰り、キャロルはアリスよりも15分遅く家に帰ります。ボブは18時30分に家に帰りました。アリスとキャロルはそれぞれ何時に家に帰ったでしょうか？

MIstral-NeMoはMIstral AI社が開発した12Bの大規模言語モデル（パラメーターの数が120億個）です。多言語で訓練されていますので、日本語でのやりとりも問題ありません。比較的入手が容易でそこまで高価でないGeForce RTX 4080 Superが２枚あれば、ダウンロードしてオフラインでChatを楽しむことができます。やりかたはここを見れば簡単です。

今回はこのマシンで、試しました。以下はChatのやりとりです。

Prompt: 日本の首都はどこですか？
日本の首都は東京です。東京は日本の政治、経済、文化の中心であり、世界でも最も人口の多い都市の一つです。東京は1868年に明治天皇が東京に遷都して以来、日本の首都として機能しています。
=====================
Prompt: 次の文を文法的に正しい日本語に修正してください。「明日、学校行く。」
「明日、学校に行きます。」と修正してください。文法的に正しい日本語としては、「に」を付けて動詞の連用形「行きます」を使うのが適切です。また、敬語を使う場合は「行きます」を「参ります」に変えて「明日、学校に参ります。」と表現することもできます。
=====================
Prompt: 「全てのAはBである。CはAである。CはBであるか？」この命題の正しさを説明してください。
この命題は、シンプル・プレミセとメジャープレミセから構成される三段論法の例です。正しい三段論法の形は次のようになります：

1. 全てのAはBである（メジャープレミセ）
2.

この記事は未完成です。完成まで少しお待ちください。

今年４月にリリースされたUbuntu 24.04 LTSを使いHPC Clusterを構築します。この記事を書くに至った理由は次のとおりです。

私のお客様でHPC Clusterをお使いの方は何人かいらっしゃいますが、その中にCentOS 6.3の時代にHPC Clusterを構築させていただいて、毎年ノードを追加しながら25ノードのクラスタまで成長した事例があります。今年度１ノードを追加する際にOSも最新のものにアップグレードすることになりました。現地でスクラッチからHPC Clusterを構築するのは、時間もかかりますし、予期しないトラブルへの対処も難しいことから、私の作業場で小規模なHPC Clusterを構築して動作検証を行い、そのOSクローンを行ったUSBを使い、現地でノード数を拡大するという手順を採用しました。この記事では私の作業場での小規模HPC Cluster構築の手順を実際の体験に基づいて記述していきます。この方法で構築した26台のHPC Clusterがお客様の大学で順調に稼働しており、日夜計算が流されています。HPC Clusterを構築したい読者の役に立つよう、最短手数でのクラスタ構築の解説を行います。

この記事では４台のPCを使ってHPC Clusterを構築します(HPC Cluster構成図参照)。

以前の記事ではGPUがない場合の、Slurmのインストールと設定と使用方法を解説しましたが、この記事では8GPUのサーバーにSlurmのインストールと設定を行います。設定ファイルの自動生成のスクリプトの紹介も行っていますので、これを使えばGPUサーバーでのSlurmの設定も簡単に行うことができます。その後、tf cnn benchmarksを網羅的にジョブ投入して実行させてみます。OSはubuntu 22.04 LTSです。ubuntu 20.04 LTSとは設定ファイルの場所など微妙に異なりますので、ご注意ください

最初に、slurm-wlmパッケージをインストールします。コマンドはsudo apt install slurm-wlmを1行入力するだけですので簡単です。mungeなどの必要なパッケージは全てこのコマンド１つでインストールされます。

この後、/etc/slurm/slurm.confと/etc/slurm/gres.confを用意するのが面倒なのですが、スクリプトを使って使用するサーバーに合わせて自動生成します。それらのスクリプトの紹介も行います。

sudo apt install slurm-wlm

消費電力が最大級のgpu、RTX4090を4枚でgpu burnすると消費電力はどのくらいになるのかIPMIから確認してみました。

使用したマシンはSupermicroのSYS-741GE-TNRT、CPU: 2 * Intel Xeon Silver 4110T TDP 150W、Memory : 16 * 32GB DDR5-4800 ECC RDIMM、SSD: 960GB M.2 PCIe Gen4 x4 NVMe M.2 SSDです。

gpu_burnを実行してしばらくすると最初のscreenshotの状態で安定します。

IPMIとは

IPMI（Intelligent Platform Management Interface）は、サーバやネットワーク機器などのコンピュータハードウェアを遠隔から管理するための標準的なインターフェイスです。この技術は、システムの健康状態を監視し、問題が発生した際に迅速に対応するために開発されました。IPMIにより、物理的なアクセスがなくても、システムの起動や再起動、監視、ログ記録などが可能になります。