AI Codingプラクティス調査ログ

利用環境

• model: gpt-5.4-mini
• skill: .codex/skills/research-report/SKILL.md
• prompt source: ops/codex/prompts/daily-issue-research.md

調査命令

• 調査対象: AI Codingプラクティス: 成功確率を上げるための設計論
• 依頼内容: LLMを用いたAI Codingを、魔法の自動化ではなく成功確率を上げる工学として捉え直し、文脈、操作面、検証、統制の実務プラクティスを整理する。
• 指定カテゴリ・slug: developer-tools / ai-coding-success-practices
• 関連タグ: AI Coding, AI Agent, LLM, Software Engineering, Codex, Claude Code
• 主要な制約: 一次情報または信頼できる公開情報を優先し、主張、根拠、限界、実務含意を分けて書く。
• 参照した記事ファイル: articles/report/ai-coding-success-practices/ja/index.mdx
• 完了条件: 日本語本文を公開記事として表示し、調査ログで資料選定、採用しなかった情報、判断基準、更新条件を確認できるようにする。

調査目的

LLMを用いたAI Codingを「成功確率を上げるための開発システム」として捉え直し、実務で整備すべきプラクティスを整理した。

調査範囲

• Agentic codingとsoftware engineering agentの実務プラクティス。
• Agent harness、context engineering、tool design、evaluation、長時間作業の進捗管理。
• SWE-bench、SWE-agent、Agentlessなど、公開研究に基づく示唆。
• OpenAI CodexとAnthropic Claude Code/Agent関連の一次情報。

採用した主要情報源

• Anthropic Engineering: Building effective agents、Claude Code best practices、tool design、context engineering、long-running agents、agent evals。
• OpenAI: Introducing Codex、Codex system card addendum、Codex agent loop、harness engineering、SWE-bench Verifiedの限界。
• 学術論文: SWE-bench、SWE-agent、Agentless。

判断ログ

1. レポートの中心概念は「Agentに任せる」ではなく「成功確率を上げる」に置いた。これは、モデル能力だけではなく、文脈、操作面、検証、統制が成果を左右するため。
2. AI Codingのベストプラクティスは、単なるプロンプト術ではなく、リポジトリ構造、テスト、CI、PR、runbookまで含む開発システムとして扱った。
3. Agentic loopを万能視しないため、AgentlessとAnthropicのworkflow/agent区別を入れた。
4. ベンチマークの扱いでは、SWE-bench Verifiedの価値と限界を両方書いた。公開ベンチマークの点数を、自社コードベースでの成功確率と混同しないため。
5. 図解は、成功確率の構成要素、検証ループ、研究史の3つに絞った。本文を置き換える巨大図ではなく、読む補助として使った。

残課題

• 本レポートは公開情報に基づく実務整理であり、特定組織での定量的な成功率測定は行っていない。
• 実運用では、対象リポジトリごとにAgent評価セット、権限レベル、runbook、CI品質が異なるため、導入時にはローカル検証が必要である。
• 2026年以降のCodex/Claude Code/他Agent製品の機能、価格、提供範囲は変わる可能性があるため、導入判断時には最新ドキュメントを再確認する。