AI製ブラウザゲームの完成をどう判定するか
4モデル・5実行のゲーム制作を、自己報告、別環境での確認、長時間動作、人間の試遊に分けて評価しました。
- Tested question
- AIが作ったブラウザゲームを、静止画や自己申告ではなく動作・勝敗・再挑戦・狭幅表示・人間試遊まで含めて完成と判定できるか。
- Exact tools
- ChatGPT Work
- Claude Code 2.1.220
- 独立ブラウザQA
- 人間による試遊
- Exact models
- GPT-5.6 Sol
- poolside/Laguna-S-2.1
- unsloth/Laguna-S-2.1-GGUF UD-Q4_K_S
- claude-opus-5
- claude-fable-5
- Validation method
- 90秒以内に7個回収する一画面ゲームを4モデル・5実行で制作し、自己報告、生成側のテスト、別環境での確認、人間の試遊を分けて採点しました。
- Result
- 得点はGPT 88、Laguna初回60、Laguna 524K Thinking版82、Opus 94、Fable 93。全実行で人間によるゲーム本体のソース修正は0回でした。
- Limitations
- 各条件1回です。
- ゲームの要件と採点基準は共通ですが、プロンプト、製品、ツール、権限、量子化、予算は同一ではありません。
- 公開プレイURLは確認できません。
- Opus映像は保存JSONLの再生で、同時録画ではありません。
Evidence (2)
Artifacts (3)
完成を一つの合格表示で決めない
ゲームが起動しても、数秒後の例外、勝てない条件、再挑戦の不備、狭幅での崩れは残り得ます。「作った側の自己報告」と「別環境でのブラウザ確認」、さらに人間の試遊を分けました。
5実行では300.27秒または105.03秒の連続動作を通した成果物がある一方、負の半径をCanvasへ渡して約4秒後に停止した成果物もありました。得点差は観察した実行の差で、普遍的なモデル順位ではありません。