大きい量子化ならローカルAIエージェントは賢くなるのか
DeepSeek V4の3量子化を速度とPython課題の完了率で比較し、容量増加がそのまま成功につながらない条件を確認しました。
- Tested question
- 同じ284B級モデルでは、量子化ファイルを大きくするほどローカルのコーディング課題を完了しやすくなるか。
- Exact tools
- llama.cpp build 10109 (commit 0cea36222)
- llama-bench
- RTX 3090 x3
- RTX 4090 x1
- Exact models
- DeepSeek-V4-Flash-0731 UD-IQ1_M
- DeepSeek-V4-Flash-0731 UD-IQ2_M
- DeepSeek-V4-Flash-0731 UD-IQ3_XXS
- Validation method
- 各量子化でPython 3課題を各3回実行し、公開テストとモデルに見せないテストで採点。llama-benchのPP・TGは各5反復しました。
- Result
- 成功数はIQ1 6/9、IQ2 7/9、Q3 6/9。E2E中央値は144.96秒、61.84秒、230.42秒で、今回の複合条件ではIQ2が最多かつ最速でした。
- Limitations
- 各条件9回の小標本です。
- IQ1は過去の別サーバーセッションです。
- Q3はCPUオフロードを含み、バッチサイズ、KVキャッシュ、余裕容量も同一ではないため、量子化形式だけの因果比較ではありません。
- 動画は保存ログからの再構成で、採点対象実行の元画面録画ではありません。
Evidence (4)
Artifacts (1)
なぜ試したか
ローカルLLMでは、より大きい量子化を選べば仕事の完了率も上がる、と単純には決められません。そこで速度だけでなく、ツールを使うPython課題を最後まで通せるかを確認しました。
IQ1は過去の別サーバーセッション、IQ2とQ3は95.988 GiBの混在GPU環境で測定しました。各記録を未提示テストまで採点した結果、IQ2は7/9、IQ1とQ3は6/9でした。Q3は起動したものの、約9.5 GiB相当のMoE専門家重みがCPU側へ回り、容量増加は今回の仕事完了率改善へ直結しませんでした。
これはIQ3一般の評価ではありません。CPU、実効メモリ帯域、PCIe幅の寄与も分離していないため、配置条件を含む実行記録として扱います。