Experiments

実験

具体的な実務の問いを置き、使用したモデルとツール、検証方法、結果、限界まで記録します。公開条件を満たした検証だけを掲載します。

Experiment公開済み
Qwen3.8-Flash-Nextが作った魚は、魚に見えたか
ローカルQwen3.8-Flash-Nextに3D水族館を構築させ、遠景の完成度と、近接試遊で判明した魚の全体形状の弱さを別々に検証しました。
公開日
2026年8月30日
Tools
custom Python aquarium harness / llama.cpp PR #27742 build b10656-035e2273 commit 035e22731a7fd70b9854b3a2d64ec68e9b1a45d3 / AtomicChat mmproj-Qwen3.8-Flash-Next-F16.gguf revision 02ee42bd03687c34abccad3c76ec51dd5522ce03 / Three.js 0.179.1 / Vite 7.1.3 / 3× RTX 3090 + 1× RTX 4090 / follow-up: llama.cpp master build b10664-e70802a01 commit e70802a01f03f0ed31a26338a5664796f3824371 / follow-up: Unsloth mmproj-F16.gguf revision 83cadfda58d30be06c110518208d1bb918b33f10
Models
Qwen3.8-Flash-Next-UD-Q4_K_XL
Links
Evidence 4 / Artifacts 4
詳細を見る
Experiment公開済み
Qwen3.8-Flash-Next Q4は4枚GPUで実用速度に届くか
103.69 GiBのUD-Q4_K_XLを3枚のRTX 3090と1枚のRTX 4090へ配置し、64 GBと128 GBのホストRAM差、反復benchmark、API応答を検証しました。
公開日
2026年8月27日
Tools
llama.cpp PR #27742 build 10656 commit 035e22731a7fd70b9854b3a2d64ec68e9b1a45d3 / CUDA 12.6 / llama-bench / llama-server OpenAI-compatible API / ASUS TUF B450-PLUS GAMING / AMD Ryzen 5 3500 / RTX 3090 24GB ×3 at 300 W / RTX 4090 24GB ×1 at 350 W / 128 GB host RAM
Models
Qwen3.8-Flash-Next-UD-Q4_K_XL revision 8bdc666649440e9bdc97e16f3f75782c98478ff5
Links
Evidence 3 / Artifacts 0
詳細を見る
Experiment公開済み
同じDeepSeek Visionを公式Harnessで動かすと良くなるか
同じVisionモデルをDeepSeek公式Harness 0.1.1-rc.2で動かし、42分の自律制作、24枚の画面確認、独立QAと208.7秒の人間試遊で先行実行と比較しました。
公開日
2026年8月23日
Tools
DeepSeek Harness 0.1.1-rc.2 / Standard/headless profile / deepseek-official provider / workspace-write permission mode / Three.js 0.179.1 / Vite 7.1.3 / stock read_image / 独立Chrome QA / source audit
Models
deepseek-v4-flash-vision-exp
Links
Evidence 4 / Artifacts 1
詳細を見る
Experiment公開済み
DeepSeek V4 Visionは3D水族館を自律制作できるか
DeepSeek V4 VisionにThree.js水族館の計画、実装、画面確認、修正を任せ、131ターンの実行と独立QA、人間試遊で完成度を検証しました。
公開日
2026年8月22日
Tools
custom Hermes coding/browser/Vision loop / Three.js 0.179.1 / Vite 7.1.3 / 独立production build / Chrome browser QA / 通常入力による人間試遊
Models
deepseek-v4-flash-vision-exp
Links
Evidence 3 / Artifacts 1
詳細を見る
Experiment公開済み
GPT Image 2で本当の透明背景を作る条件
同じpromptを二つのGPT Image 2経路で実行し、市松模様が画像に焼き込まれたRGB出力と、alpha channelを持つRGBA出力を比較しました。
公開日
2026年8月20日
Tools
openai-codex image integration tool-reported tier gpt-image-2-high, 1536×1024 / OpenAI Images API quality=high, background=transparent, output_format=png, 1536×1024 / PNG channel inspection / alpha histogram inspection
Models
gpt-image-2-high（current Codex integration route） / gpt-image-2（official Images API）
Links
Evidence 2 / Artifacts 0
詳細を見る
Experiment公開済み
Agent firewallは急増と低速攻撃をどこまで止めるか
Wardline v2.0.1へ、LLMが計画した急激なtool-call burstと低速rampを決定論的に送信し、自動blockと回避条件を比較しました。
公開日
2026年8月10日
Tools
Wardline v2.0.1 commit 2c71c4a02eb80e9026d9d55cebc977fddce5afde / deterministic local executor / inert mock MCP endpoint / loopback network / saved-log verification
Models
gpt-5.6-sol
Links
Evidence 4 / Artifacts 1
詳細を見る
Experiment公開済み
大きい量子化ならローカルAIエージェントは賢くなるのか
DeepSeek V4の3量子化を速度とPython課題の完了率で比較し、容量増加がそのまま成功につながらない条件を確認しました。
公開日
2026年8月4日
Tools
llama.cpp build 10109 (commit 0cea36222) / llama-bench / RTX 3090 x3 / RTX 4090 x1
Models
DeepSeek-V4-Flash-0731 UD-IQ1_M / DeepSeek-V4-Flash-0731 UD-IQ2_M / DeepSeek-V4-Flash-0731 UD-IQ3_XXS
Links
Evidence 4 / Artifacts 1
詳細を見る
Experiment公開済み
安いAPIはコーディングエージェントでも得か
DeepSeekとGPT-5.6 Lunaを各9回動かし、未提示テストを通った成功1回あたりの実測請求額で比較しました。
公開日
2026年8月2日
Tools
OpenRouter / DeepInfra（提供元表示: FP4） / Azure / 固定ミニマルハーネス / read_file / write_file / run_tests
Models
deepseek-ai/DeepSeek-V4-Flash-0731 / API request: deepseek/deepseek-v4-flash-0731 / GPT-5.6 Luna
Links
Evidence 4 / Artifacts 1
詳細を見る
Experiment公開済み
PCIe x1を含むマルチGPUでローカルLLMを動かす
安価な混在PCIe構成へ複数GPUと大規模GGUFを配置し、生成速度と配置上の偏りを実測しました。
公開日
2026年7月31日
Tools
llama.cpp build 10109 (commit 0cea36222) / llama-bench / ASUS TUF B450-PLUS GAMING / Ryzen 5 3500 / RTX 3090 x3 / RTX 4090 x1
Models
gemma-4-12b-it-Q8_0.gguf / gemma-4-26B-A4B-it-Q8_0.gguf / unsloth/Laguna-S-2.1-GGUF UD-Q4_K_S
Links
Evidence 4 / Artifacts 0
詳細を見る
Experiment公開済み
Blender成果物は構造検証だけで完成といえるか
3モデルの.blendファイルが機械検証50/50でも、実際にレンダーした動きには差が出ることを確認し、採点基準を改訂しました。
公開日
2026年7月29日
Tools
Hermes Agent v0.19.0 / Blender 5.2.0 LTS / Blender MCP / isometric-mini-factory-v1
Models
openai-codex / gpt-5.6-sol / anthropic / claude-opus-5 / openrouter / moonshotai/kimi-k3
Links
Evidence 1 / Artifacts 1
詳細を見る
Experiment公開済み
AI製ブラウザゲームの完成をどう判定するか
4モデル・5実行のゲーム制作を、自己報告、別環境での確認、長時間動作、人間の試遊に分けて評価しました。
公開日
2026年7月27日
Tools
ChatGPT Work / Claude Code 2.1.220 / 独立ブラウザQA / 人間による試遊
Models
GPT-5.6 Sol / poolside/Laguna-S-2.1 / unsloth/Laguna-S-2.1-GGUF UD-Q4_K_S / claude-opus-5 / claude-fable-5
Links
Evidence 2 / Artifacts 3
詳細を見る
Experiment公開済み
AIエージェントへ使い捨てVMを与える実測検証
Clawk v0.2.0上で合成リポジトリを修正し、ホストからの隔離、通信許可リスト、別環境でのテスト、再起動後の状態を確認しました。
公開日
2026年7月14日
Tools
Clawk v0.2.0 / Claude Code runner / macOS 26.3.1 / guest Linux 6.18.15 aarch64 / Go 1.26.5 / Python 3.11.2
Models
claude-fable-5
Links
Evidence 1 / Artifacts 1
詳細を見る