AI環境・PC– category –

新しい画像モデルをRelayDeskの画像スタジオから使いたい。そこでいきなり画面を作り足すのではなく、同じPCで実行環境だけを使い、赤いマグカップを一枚生成するところから始めました。画面と生成側を分けたことで、どちらを調べるべきか分かる状態を作れ...

VRAMの必要量はモデルの重み、入力と出力の文脈を保持する領域、実行時の余裕を合計して考えます。同じモデルでも量子化方式、文脈長、同時利用数で結果が変わるため、モデル名だけでカードの容量を決めると過不足が生じます。 項目何を確かめるかモデルの...

ブラウザーで生成AIを使う人と、同じ画像を手元で何十枚も作る人とでは、PCに求めるものが違います。前者なら手元のPCで足りる可能性があり、後者ならGPUのメモリやソフトの対応が買い物を左右します。ここでは、いまのPCで試すところから、候補を二台に絞...

GGUFはモデルを扱うファイル形式で、Q4やQ8は量子化の違いを表す呼び方です。低いビット幅にすると重みのサイズを抑えやすくなりますが、用途ごとの品質差や速度差は、同じ条件で試すと判断しやすくなります。 課題比較する点日本語の要約重要な固有名詞の...

ローカルAIが遅くなったら、初回起動、入力の読み込み、出力生成を分けて測ります。どの段階に時間がかかるかが分かると、GPUの買い替え以外で試せる条件が見えてきます。 症状先に確認する条件最初の実行だけ遅いモデルの読み込み時間長い入力で遅い入力...

クラウドの月額だけとPC購入価格だけを比べると、利用量や電気代、導入作業が抜けます。期間を決め、同じ作業が同じ品質で終わることを確認してから総額を比べます。 条件費用ローカルの購入費按分約3,333円ローカルの電力180円クラウド月10回1,200円クラ...