製品紹介
-
September 04, 2024 85
MIstral-NeMoはMIstral AI社が開発した12Bの大規模言語モデル(パラメーターの数が120億個)です。多言語で訓練されていますので、日本語でのやりとりも問題ありません。比較的入手が容易でそこまで高価でないGeForce RTX 4080 Superが2枚あれば、ダウンロードしてオフラインでChatを楽しむことができます。やりかたはここを見れば簡単です。
今回はこのマシンで、試しました。以下はChatのやりとりです。
Prompt: 日本の首都はどこですか?
日本の首都は東京です。東京は日本の政治、経済、文化の中心であり、世界でも最も人口の多い都市の一つです。東京は1868年に明治天皇が東京に遷都して以来、日本の首都として機能しています。
=====================
Prompt: 次の文を文法的に正しい日本語に修正してください。「明日、学校行く。」
「明日、学校に行きます。」と修正してください。文法的に正しい日本語としては、「に」を付けて動詞の連用形「行きます」を使うのが適切です。また、敬語を使う場合は「行きます」を「参ります」に変えて「明日、学校に参ります。」と表現することもできます。
=====================
Prompt: 「全てのAはBである。CはAである。CはBであるか?」この命題の正しさを説明してください。
この命題は、シンプル・プレミセとメジャープレミセから構成される三段論法の例です。正しい三段論法の形は次のようになります:1. 全てのAはBである(メジャープレミセ)
2. -
February 17, 2024 465
消費電力が最大級のgpu、RTX4090を4枚でgpu burnすると消費電力はどのくらいになるのかIPMIから確認してみました。
使用したマシンはSupermicroのSYS-741GE-TNRT、CPU: 2 * Intel Xeon Silver 4110T TDP 150W、Memory : 16 * 32GB DDR5-4800 ECC RDIMM、SSD: 960GB M.2 PCIe Gen4 x4 NVMe M.2 SSDです。
gpu_burnを実行してしばらくすると最初のscreenshotの状態で安定します。
-
September 16, 2023 54前回も8GPUサーバーの紹介をしましたが、今回は4th Gen Intel® Xeon® Scalable processorsを2CPU搭載する8GPUサーバーを紹介します。CPUコア数は最大112、メモリスロット数は32で、128GB DIMMを搭載すると4TB実装可能です。M.2 SSDが2枚、2.5" NVMe SSDを8台、2.5" SATA SSDを8台実装可能です。ネットワークインターフェースは標準で2x 10GbE BaseT with Intel® X710-AT2が付属しています。もちろん専用のIPMI 2.0用1GbE BaseTのインターフェースもあります。シャーシの形状は4Uラックマウント型です。このサイズのサーバーをラックマウントする動画はこちらになります。
-
September 09, 2023 232GeForce RTX 4090はRTX A6000などと比較して、物理的サイズが非常に大きく、かつ消費電力も450Wと大きいため、RTX4090を8GPU搭載可能なサーバーの構築は困難と考えられますが、この記事では弊社が販売しているRTX4090を8GPU搭載可能な、AMD Epyc Genoa 2CPUのサーバーを紹介します。