VRAMの必要量はモデルの重み、入力と出力の文脈を保持する領域、実行時の余裕を合計して考えます。同じモデルでも量子化方式、文脈長、同時利用数で結果が変わるため、モデル名だけでカードの容量を決めると過不足が生じます。
| 項目 | 何を確かめるか |
|---|---|
| モデルの重み | 配布ファイルと量子化方式 |
| 入力と出力の文脈 | 普段の文書量と同時処理数 |
| 実行時の余裕 | 処理中のピークと他アプリの負荷 |
まず重みの大きさを計算する
概算はパラメータ数×1パラメータ当たりのビット数÷8。80億パラメータをすべて4ビットで表す単純計算は約4 GBです。実ファイルには量子化用の付帯データなどがあり、全ての部分が同じビット幅とは限りません。配布ファイルのサイズも確認します。
ファイルが6GBなら、8GBのGPUに入る？
ファイルのサイズは見積もりの出発点です。仮に重みが6GB、文脈の保持に1.5GB、実行時の領域に1GB、ほかのアプリに1GBが同時に必要なら、合計9.5GBになります。この数字は説明用ですが、ファイル単体が収まるのに実行時に収まらない理由が分かります。実際はツールごとの配分や単位を確認し、同じGPUに置かれるものだけを合計します。
文脈長と実行時メモリを足す
チャット履歴や長い資料を処理すると、文脈の保持に使うメモリが増えます。普段の短文で動いても、長文のテストで不足することがあります。モデルを変えずに文脈長だけ変え、専用GPUメモリと応答時間を比較します。
文脈長は「長い質問を一回する」以上の意味を持つ
文脈にはシステムの指示や会話履歴、資料、生成する返答も関わります。短い質問をしていても、何往復もした後では条件が変わります。文脈を保持するメモリは、既に処理した入力を再利用するための領域で、KVキャッシュと呼ばれます。容量はモデルの構造やツールの設定でも変わるため、文脈長だけを見て一律に何GBとは判断できません。
容量別に購入候補を絞る
8GB、12GB、16GB、24GBといった容量で見るときは、使うモデル、文脈長、他のアプリの使用量を同じ条件にします。仮に負荷時に9GB使うなら、8GBに全てを載せる条件は満たせません。CPU併用や短い文脈で許容できるかを比べます。
足りないときに落とす条件を選ぶ
短いメールの処理が中心なら、文脈長を短くした設定で再測定できます。長い資料を扱うなら、文脈を維持して重みの小さい量子化版を試し、数字や引用の欠落を確認します。CPUとGPUに処理を分ける方法は、起動できる範囲を広げる一方、待ち時間が変わります。買い替え前に「動いたか」と「使える速さか」を別々に判断します。
記録する項目
モデルと量子化名、実行環境、GPU型番、文脈長、起動前・応答中の使用量、初回応答までの時間を記録。表示のGBとGiBが異なる場合は同じ単位に換算し、販売ページの容量と照合します。
販売ページを開く前の測定
起動前、読み込み直後、短い応答、普段の長さの応答を順に測ります。短い応答で問題なく長い応答で急に遅いなら、同じモデルで文脈だけを変えて比較。最終的な必要容量は、通常作業のピークに、同時に動かすアプリの分を見込んで決めます。
出典・確認先
資料確認日：2026年11月3日
コメント