AI用に、NVIDIAのGeForce RTX 4060 Ti 16GBを買ってセットアップ

NVIDIAのグラフィックボード「GeForce RTX 4060 Ti 16GBモデル」を購入し、セットアップを行った。

購入の動機

今までNVIDIA GeForce GT1030というメモリ2Gのグラフィックボードを使っていたが、AIで遊んでいるとGPUメモリが足りないためエラーが起こる機会が増えた。

その対応として、思い切ってメモリ16Gのグラフィックボードを買った。メモリ12Gのものであればもっと安く買えたが、一般家庭用の大規模言語モデルでも遊びたいと思い、16Gにした。

4060Tiの16Gモデルは発売前から楽しみにしていたが、株主優待券があるビックカメラのグラフィックボードコーナーには発売後もラインナップされなかった。

ゲーマー勢に不人気過ぎるせいか、私が探した限り池袋駅の近くの電気屋にはなかった。結局、秋葉原のパソコン工房に行き税込88,800円で買った。

古いグラフィックボードを取り外し、新しいグラフィックボードを挿す。滅多にしない作業なので、学んだことを書き留めておく。

・補助電源の8pinとは、電源ユニットから出ている6pinと2pinをガチャッと合わせたものを指す。しかもこれはかなり挿しにくい。2pinを先に挿すと良い。

・グラフィックボードのファンは下から風が当たるように付いているらしい。

・Ubuntuで既にNVIDIAのグラフィックボードを使っていた場合は、ドライバーのインストールをやり直さなくても普通に動く。

・CUDAも機械学習用のPyTorchも、設定しなくても動く。これは意外だった。以前のグラフィックボードGeForce GT1030ではセットアップに苦労した覚えがあるのだが、NVIDIA同士のグラフィックボード交換ではソフトウェアの更新は全く不要なようだ。

グラッフィックボードを交換したところ、Ubuntuがフリーズしやすくなった。この問題は、電源管理の設定変更で解決した。

グラフィックボードのメモリが16GBに増えたので、いろいろな生成AIを動かせるようになった。

stable-diffusion-webui を導入し、お絵描きができるようになった。

会話文を扱う大規模言語モデルの rinna/bilingual-gpt-neox-4b-instruction-sft も扱えるようになった。

モデルそのものを作って遊ぶこともできるようになった。