Improving token efficiency for GitHub Copilot in VS CodeVS CodeのGitHub Copilotチームは、usage-based billing下でエージェント実行のトークン消費、遅延、コンテキスト圧迫を減らすための最適化を説明している。

• VS CodeのGitHub Copilotチームは、usage-based billing下でエージェント実行のトークン消費、遅延、コンテキスト圧迫を減らすための最適化を説明している。
• OpenAIモデルでは24時間の拡張prompt caching、GPT-5.4以降のtool search、Responses APIのWebSocket化により、キャッシュヒット率、総トークン使用量、TTFTや完了時間を改善した。
• Anthropicモデルでは明示的なcache_control配置とクライアント側tool searchを組み合わせ、長いプロンプトprefixの再利用と不要なツール定義の削減を進め、今後は小型モデルのsubagent活用も検討している。

エージェント型コーディングのコストと遅延はモデル単体ではなくハーネス設計に強く左右されることを、実運用A/B実験と製品展開の観点から示している。ツール定義、キャッシュ境界、通信方式の設計が、ユーザーの課金、応答性、成功率に直結する実務課題になっている。