ローカルLLM– category –

VRAMの必要量はモデルの重み、入力と出力の文脈を保持する領域、実行時の余裕を合計して考えます。同じモデルでも量子化方式、文脈長、同時利用数で結果が変わるため、モデル名だけでカードの容量を決めると過不足が生じます。 項目何を確かめるかモデルの...

GGUFはモデルを扱うファイル形式で、Q4やQ8は量子化の違いを表す呼び方です。低いビット幅にすると重みのサイズを抑えやすくなりますが、用途ごとの品質差や速度差は、同じ条件で試すと判断しやすくなります。 課題比較する点日本語の要約重要な固有名詞の...