安いAPIはコーディングエージェントでも得か
DeepSeekとGPT-5.6 Lunaを各9回動かし、未提示テストを通った成功1回あたりの実測請求額で比較しました。
- Tested question
- APIの表示単価が安い実行先は、失敗と未提示テストを含む成功1回あたりの費用でも有利か。
- Exact tools
- OpenRouter
- DeepInfra（提供元表示: FP4）
- Azure
- 固定ミニマルハーネス
- read_file
- write_file
- run_tests
- Exact models
- deepseek-ai/DeepSeek-V4-Flash-0731
- API request: deepseek/deepseek-v4-flash-0731
- GPT-5.6 Luna
- Validation method
- 3課題を各実行先で3回ずつ実行しました。公開テストと未提示テストを分け、同じseed、reasoning=high、最大12ターンで採点しました。
- Result
- DeepSeek / DeepInfraは7/9成功、成功1回あたり$0.000849615。Luna / Azureは8/9成功、$0.017148125。今回の比較条件では約20.18倍の差でした。
- Limitations
- 各実行先9回の小標本で、統計的な信頼性順位ではありません。
- モデルだけでなく、DeepInfraとAzureというAPI提供元の差も含みます。
- LunaのAPI向け正確な公開モデルIDは確認できないため、記載していません。
- 動画は保存した計測値、API記録、独立テスト結果から再構成しています。
Evidence (4)
Artifacts (1)
問いと方法
安いトークン単価が、エージェントの仕事全体でも安いとは限りません。在庫発注、イベント集計、依存関係バッチ化の3課題18実行を固定ハーネスで回し、未提示テストも合格した実行を「成功」としました。
公開テストは両者とも9/9でしたが、未提示テストが3件の判定を変えました。Lunaは成功が1回多く、DeepSeekは成功1回あたりの実測請求額が低い結果です。ただしこれはDeepInfra対Azureを含む特定条件で、一般価格やモデル単体の順位ではありません。