ローカルAIが遅いときの切り分け。GPU・RAM・文脈長を順に確認

ローカルAIが遅くなったら、初回起動、入力の読み込み、出力生成を分けて測ります。どの段階に時間がかかるかが分かると、GPUの買い替え以外で試せる条件が見えてきます。

症状	先に確認する条件
最初の実行だけ遅い	モデルの読み込み時間
長い入力で遅い	入力長・文脈長
すべての返答が遅い	GPU割り当て・CPUへのオフロード

同じ短文で基準を測る

モデルを起動した直後と、同じモデルを再利用した場合を分けます。短い質問と普段の長い入力を各1件使い、最初の文字が返るまでと、返答が終わるまでを記録。モデルのロード待ちと生成待ちを一緒にしないのがポイントです。

最初の一文字が遅いのか、一文字ずつ遅いのか

開始から最初の文字まで15秒、その後は短時間で書き終わる場合と、すぐ書き始めて最後まで40秒かかる場合は、同じ「遅い」でも待つ場所が違います。前者ならモデルの読み込みや長い入力の処理、後者なら生成速度や出力の長さを調べる入口になります。最初に両方の時間を書き分けると、買い替えの判断を急がずに済みます。

GPUの専用メモリとCPUの負荷を見る

WindowsではタスクマネージャーのパフォーマンスでGPUの専用・共有メモリを確認します。GPU使用率は見ているエンジンによって読み方が変わるため、実行ツールのログやGPU割り当てと照合します。共有メモリへの移行やCPU負荷の上昇が同時に起きるかも見ます。

起動直後と、二回目を同じ質問で測る

例として、初回は回答開始まで12秒、二回目は2秒だとします。この差だけでSSDが原因とは言えませんが、モデルが読み込み済みかという条件を調べる価値があります。二回目も長文で遅いなら、短文で測り直して、入力長の影響を切り分けます。測るたびにモデルと質問が違うと、どの変更が効いたのか分かりません。

一度に一条件だけ変える

長い入力でだけ遅いなら、短い文脈で同じモデルを試します。起動時から容量が厳しいなら、サイズの小さい量子化を比較します。ほかのGPUアプリを使う日と使わない日を分け、複数の条件をまとめて変えないようにします。

GPU表示は利用率だけで判断しない

タスクマネージャーには複数のGPUエンジンがあります。見ているグラフが対象の計算を表しているか確認し、ツールが示すCPUとGPUの処理配分を併せて読みます。例えば専用メモリが上限に近づき、共有メモリやCPU負荷が増えて待ち時間も伸びるなら、同じ入力で文脈設定を下げる比較が役立ちます。

再現できるメモを残す

OS、ドライバー、モデル、量子化、実行ツールの版、メモリ、入力長を残します。負荷が上がった直前の変更点を特定できれば、買い替えの前に設定で改善できるか判断できます。

記録しておくと次回すぐ原因に戻れる

変更前と後で、起動時間、回答開始、完了時間、メモリピーク、出力の質を一行ずつ記録します。文脈を短くして速くなっても、長文の後半を取りこぼすなら業務上の改善とは限りません。速度と、最後まで仕事を完了できたかをセットで残します。

出典・確認先

Microsoft：WindowsでのGPUメモリ計測

Ollama：文脈長とメモリ

資料確認日：2026年11月3日