学习精选 · AI 工具
Codex

OpenAI 用 Codex 搭了个 Performance Factory:AI Agent 自动排查并修复 ChatGPT 性能问题

DEV Community2026-11-20约 4 分钟读完AI 整理查看原文

OpenAI 公开了 Performance Factory 的技术细节:一套跑在 Codex 上的自主 Agent 系统,自动发现、诊断并修复 ChatGPT 的性能回退问题。文章拆解了四层架构、五阶段回归处理流程,以及用第二个独立 Codex 会话做对抗式审查的机制,三个月处理了 1700 多次调查、定位 600 多个根因。

今天就能做

  • 把自己团队的故障排查流程写成结构化的技能文件加工具清单,让 Codex 或 Claude Code 告警触发后能自主跑起来
  • 给关键自动化流程加一个独立的第二 Agent 做对抗式审查,先交叉验证再交给人审批
  • 把人类角色定位在 PR 审批和架构决策上,验证和盯盘环节交给 Agent 订阅机制自动跟进

为什么手工 SRE 撑不住了

  • AI 加速写代码后,人工排查性能问题成了瓶颈:工程师此前要维护 30 多个 profiler 工具,花数小时人工比对日志和 trace
  • ChatGPT 的关键指标包括首 token 延迟、worker 启动时间等,靠人盯告警已跟不上规模
  • OpenAI 的思路是让 AI 直接进入 SRE 流程,从 IDE 里的写码助手变成 production 里的自主运维者

四层架构把 Codex 变成系统工程师

  • Task Service:工程师用 config.toml 和 Markdown prompt 定义工作流,每个故障变成一个带独立状态机的任务,数据存在模型上下文之外,方便 AI 与人之间交接
  • Dispatch Loop:定期扫描就绪任务,为每一步启动对应的 Codex 会话
  • Codex in the Cloud:通过内部 API 在安全环境启动 Codex,赋予服务身份,授权访问代码库和 telemetry(metrics、logs、traces、CPU flame graph、heap dump)
  • Subscriptions:事件订阅机制让 Agent 在等 GitHub 代码审查或 CI/CD 结果时休眠,收到 webhook 再唤醒,省算力

五阶段回归流程与对抗式审查

  • Regression Workflow 五步:检测告警 → 找根因 → 提出修复 → 审查部署 → 验证恢复
  • 告警触发后,Agent 用 perf-forensics 技能回溯时间线,比对请求分组,检查部署历史、feature flags 和源码来圈定原因
  • 为压制幻觉,引入 Adversarial Review:第二个完全独立的 Codex 会话负责反驳,检查假设和反事实场景
  • 文中例子:第一个 Agent 把变慢归咎于图片加载失败,审查方指出文件搜索服务已恢复而图片请求仍报错,迫使调查重开
  • 在 100 个案例上评估,70% 判断完全准确,其余 30% 需要补充证据

人还做什么

  • 通过审查后,Agent 自己建分支、写代码、开完整 PR,附带 CPU flame graph 和延迟图表
  • 人类工程师保留最终代码审批权
  • 部署后另一个 Agent 持续盯生产环境,延迟回到 baseline 才算任务完成

对比三种运维模式

  • 手工模式:PagerDuty/Slack 收告警,诊断要几小时到几天,靠人工 peer review
  • AI 助手模式:工程师手动把日志贴进聊天,几十分钟出结果,但流程仍会断
  • Agent 工厂模式:指标超阈值自动触发,几分钟完成诊断,双 Agent 交叉验证,三个月处理 1700+ 次调查、600+ 个根因

可以借鉴的三点

  • 把 runbook 从静态文档改造成 Agent 技能(如 perf-forensics),配上足够的 CLI/API 工具让 AI 能自主调查
  • 用多 Agent 交叉验证降低 AI 在生产环境搞坏东西的风险,准确率能提到 70% 再交给人
  • SRE 角色转型:从值夜班救火,转向设计任务状态机、写 evals 考核 AI、做架构决策

原文:[Phân tích kỹ thuật] OpenAI vận hành Performance Factory: Hệ thống AI Agent tự động sửa lỗi và duy trì tốc độ cho ChatGPT

来源:DEV Community · 2026-11-20

查看原文

本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。

登录后可以点赞、查看和发表评论