Monthly Archives: September 2024

前回の記事では、Mistral AI社が開発したLLMを小規模なマシンでChatbotにすることを紹介しました。

今回はこのChatbotにGPT4o作成の問題を入力し、出力された回答をGPT4oで採点してみました。

この記事を書く前に同じChatbotで推論の問題をいろいろ試していました（それに関しては別の記事で紹介します）。

推論以外にLLMに必要な機能をGPT4oに聞いてみました。

私の質問：LLMに必要な能力は推論の他に何がありますか

LLM（大規模言語モデル）に必要な能力は推論以外にもさまざまあります。以下に代表的な能力を挙げます。

### 1. **理解力（Comprehension）**
   - モデルが自然言語を理解し、文脈や意図を正確に把握する能力です。例えば、曖昧な言葉や異なる意味を持つ言葉を正しく解釈することが求められます。この能力は、モデルが文脈に基づいて適切な返答を生成するために必要です。

### 2. **知識の保持（Knowledge Retention）**
   - 広範なドメイン知識を持ち、それを元に正確な回答を提供できる能力です。LLMは事前に大量のテキストを学習するため、一般常識や専門知識を保持しておくことが求められます。事実に基づいた回答や、特定の分野に特化した知識を提供する際に重要です。

GeForce RTX 4080 Super *2のマシンにMistran AI社のMistral-NeMoをインストールしてChatbotを動作させ、その能力を試しています。

今回は推論能力を試してみましょう。前回と同様、GPT4oで問題を作成し、採点もGPT4oで行いました。

難易度の高い推論問題をいくつか作成しました。これらの問題は、論理的思考や複雑な条件を必要とし、より高度な推論力を試すことができます。

### 1. **条件付き自己矛盾問題**
   - **問題**: AさんとBさんは、正直者か嘘つきのどちらかです。Aさんは「Bさんは嘘をついている」と言い、Bさんは「Aさんは嘘をついている」と言いました。この場合、AさんとBさんのどちらが正直者で、どちらが嘘つきでしょうか？また、その理由を説明してください。

### 2. **多数派と少数派の推論問題**
   - **問題**: 10人の友達がパーティーにいます。そのうち7人はいつも真実を話し、3人は常に嘘をつきます。Aさん、Bさん、Cさんの3人が次のように言いました。Aさんは「Bさんと私はどちらも真実を話している」と言い、Bさんは「Aさんは嘘をついている」と言い、Cさんは「Bさんは嘘をついている」と言いました。Aさん、Bさん、Cさんのうち、誰が真実を話していて、誰が嘘をついているかを推論してください。

### 3. **条件付き時系列推論問題**
   - **問題**: ジョンは毎週月曜日と水曜日にジムに行きます。メアリーはジョンがジムに行かない日に買い物をします。サムはメアリーが買い物をしない日に映画館に行きます。次の火曜日、ジョン、メアリー、サムのうち、誰がどこに行くかを推論してください。

### 4. **相対的な時間の推論問題**
   - **問題**: アリス、ボブ、キャロルの3人がいます。アリスはボブよりも30分早く家に帰り、キャロルはアリスよりも15分遅く家に帰ります。ボブは18時30分に家に帰りました。アリスとキャロルはそれぞれ何時に家に帰ったでしょうか？

MIstral-NeMoはMIstral AI社が開発した12Bの大規模言語モデル（パラメーターの数が120億個）です。多言語で訓練されていますので、日本語でのやりとりも問題ありません。比較的入手が容易でそこまで高価でないGeForce RTX 4080 Superが２枚あれば、ダウンロードしてオフラインでChatを楽しむことができます。やりかたはここを見れば簡単です。

今回はこのマシンで、試しました。以下はChatのやりとりです。

Prompt: 日本の首都はどこですか？
日本の首都は東京です。東京は日本の政治、経済、文化の中心であり、世界でも最も人口の多い都市の一つです。東京は1868年に明治天皇が東京に遷都して以来、日本の首都として機能しています。
=====================
Prompt: 次の文を文法的に正しい日本語に修正してください。「明日、学校行く。」
「明日、学校に行きます。」と修正してください。文法的に正しい日本語としては、「に」を付けて動詞の連用形「行きます」を使うのが適切です。また、敬語を使う場合は「行きます」を「参ります」に変えて「明日、学校に参ります。」と表現することもできます。
=====================
Prompt: 「全てのAはBである。CはAである。CはBであるか？」この命題の正しさを説明してください。
この命題は、シンプル・プレミセとメジャープレミセから構成される三段論法の例です。正しい三段論法の形は次のようになります：

1. 全てのAはBである（メジャープレミセ）
2.