Codex Record Replay 完全指南：AI经验包时代把电脑操作录成可复用技能

AI智能体·技术深度解析你的操作，正在成为AI的经验包CodexRecord&Replay完全指南：演示一次，长期复用。把重复的电脑操作录成技能，让AI替你完成。2026-06发布·macOS首发·ComputerUse驱动适用：报销、发视频、订车位、拉报表等固定流程CodexRecord&Replay·TechnicalDeepDive·43PAGES你坐在电脑前干活，旁边有个家伙一声不吭盯着你。你点哪它看哪，你填什么它记什么。等你做完，它说一句：下次这活我来。这就是Codex发布的重磅功能——Record&Replay（录制与复现）。这次更新的三个关键词：录制（Record）——演示一遍完整操作流程，让AI观察学习。复现（Replay）——把整套流程打包成skill，下次自动执行。经验包——图形界面从「人类专属」变成「AI的现成基础设施」。本指南路线图：六章读懂Codex经验包从是什么、怎么用，到背后趋势与落地建议，按顺序读完即可全部掌握。01认识Record&Replay它是什么、解决什么问题、适用哪些场景。02七步录制实操从装插件、授权、演示到Codex起草技能的全流程。03复现与Skill机制录完怎么调、可复用上下文如何生效、与RPA的区别。04Codex怎么用电脑ComputerUse、Chrome扩展、应用内浏览器三条路径。05更大的趋势从API到GUI，操作系统与人机分工的角色变化。06边界与落地建议限制、风险与三类最适合先录的活。全程约40页·技术向解析·建议按章顺序阅读，边读边动手01认识Record&Replay它是什么，能帮我做什么？核心问题：把重复的电脑操作，录成AI能复用的技能——这一步，正在把图形界面变成AI的现成基础设施。一句话定义：演示一次，长期复用Record&Replay=录制+复现你把一套操作完整演示一遍，Codex在旁边观察学习，然后把整套流程打包成一个skill（技能）。下回要干同样的活，新开一个对话，让它调这个skill即可。四个动作，形成闭环1演示把整套操作做一遍2观察Codex全程学习3打包沉淀成skill技能4复用新对话调用，自动执行图形界面，这个为了让人类摆脱命令行而诞生的创造，正在成为AI接管电脑的现成基础设施。它瞄准哪些活？五个典型场景不是所有任务都适合——挑的是重复、看偏好、说不清但做一遍就懂的活。01报销填单据、传凭证、走审批——固定又繁琐，演示一遍即可学会。02订停车位按固定入口和你的偏好选项完成预订，隐藏选择点一次讲清。03建配置正确的Issue模板字段、标签、指派人一次配好，下次换内容直接复用。04发视频选文件、填标题、传缩略图、加字幕、设隐私——整串动作全记住。05拉周期性报表每月或每周固定口径导出、整理、分发，交给AI稳定执行。共同点：要么步骤固定又繁琐，要么藏着只有你自己知道的隐性规则——文件怎么命名、字段默认填啥、岔路口往哪走。录制时，AI在看什么？悬浮观察装置记录你的一举一动Codex在你操作时，一直在后台「观看」。它看的不只是你点了哪个按钮，更是这套动作背后的意图与节奏。观察光标与窗口：你点哪、切到哪个应用，全程可见。识别操作意图：把「填这格、选这项」翻译成「用户在做哪件事」。沉淀成说明书：最后把整套行为写成一份SKILL.md可读文档。不动你的隐私：录制中出现的密码等敏感信息，应当刻意避开。录完之后，你得到一份「技能包」机器人捧着的，就是可复用的技能包Skill=一份可复用的上下文说明书核心是一份SKILL.md，写清：何时用、输入是什么、有哪些步骤、怎么验证结果。它不是一段死的脚本，而是一份「交给AI照着理解去执行」的说明书。执行时，Codex会组合ComputerUse、浏览器、已装插件等能力。skill是活的、可迭代的录完只是开始——你能让AI打磨措辞、补细节；现场报错时，它会从skill里的信息自动适配。所以：先有一个能用的版本，再持续修到顺手。从「告诉它怎么做」到「演示给它看」过去：靠文字描述步骤要先把每一步写成prompt，AI再照字面执行。隐性规则说不清：命名习惯、默认值、决策点。写少了漏步骤，写长了没人看、也容易过时。描述与真实界面之间的「翻译损耗」很大。现在：直接演示一遍AI看着你的实际操作「学」，意图自然带出。命名、默认值、岔路口通过真实输入体现。操作即文档，不存在翻译损耗。产物是一份可读的SKILL.md，随时可改可审。本质变化：与AI协作的单位，从「一句指令」升级为「一次示范」。以前你描述流程，AI猜流程；现在你演示流程，AI记住流程。这降低了把「你脑子里的操作」转交给AI的门槛。为什么是「现在」才出现？录制功能不是突然冒出来的，它踩在三条已经成熟的能力之上。01看得懂屏幕多模态模型能理解界面截图，认出按钮、输入框与状态变化，这是「看」的基础。02动得了电脑ComputerUse让AI能移动光标、点击、输入，真正操作图形界面，是「做」的基础。03存得住经验Skill体系把一次演示沉淀成可复用文档，让「记」下来的东西能被反复调用。看+做+记，三者凑齐，录制才从「录屏」变成「学技能」。过去的录屏只能回放给人类看；今天的录制，产出的是AI能直接执行的知识。这正是「操作成为经验包」这句话的技术含义。CHAPTER02七步录制实操从装插件到第一次让AI干活，把整套流程拆成七步，照做即可。02七步，从零到第一个技能核心思路：先让它看，再让它总结，最后让它替你干。1装插件在Codex里添加Record&Replay插件。2授权给插件屏幕与操作权限。3正常干活在Mac上按平时习惯完成整套任务。4全程观察Codex在你操作时持续学习记录。5停止录制任务做完，主动结束录制。6复盘起草Codex自动起草一份skill文档。7打磨上线可要求打磨，再新开对话调用步骤1–2：先装插件，再给权限两件事决定后面能不能「看到」你的操作，一步都不能省。STEP1装Record&Replay插件打开Codex，进入插件（Plugins）入口，搜索Record&Replay并启用。它不像内置能力那样默认存在，要先「装上」才出现在对话里。提示：装完可在对话里确认插件已加载，再开始后续操作。STEP2授权屏幕与操作权限首次使用会请求屏幕录制、辅助功能等系统权限，在系统设置里点允许。权限没给足，后面「观察」会直接失败，只能看到一片空。提示：只授予本次录制够用的权限，用最小化原则。这两步的正确做法：装好→授权→用一小段操作自检，确认它能「看到」你。步骤3–4：像平时一样干活，让它全程看录制的核心是「真实」：别表演，把你平时怎么做的，原样做一遍。3正常干活：录制中的正确姿势先讲清楚目标：开始前告诉Codex你要完成什么、每次会变的输入是什么。用真实数据：文件名、金额、日期都用真实的，别填「测试123」这种占位。但别录密码：涉及账号密码的步骤，刻意绕开或稍后补。补上隐性偏好：命名规范、字段默认值、决策点，边做边说。4全程观察：Codex在做什么记录操作序列：每个窗口、每次点击、每次输入都被观察。识别关键步骤：从动作流里挑出「必要动作」与「偶然动作」。不出手打断：它只看着学，不替你做，除非你明确要求。做完就停：任务完成，立即停止录制，别多录无关操作。步骤5–6：收尾录制，复盘起草技能录制的「产出时刻」来了：从一段操作，变成一份技能文档。5停止录制做完就停：任务完成立即停止，别把无关浏览录进去。短而完整：一段干净、完整的小任务，远胜一长段混乱的操作。可随时切走：中途去查资料等临时动作，尽量避开录屏范围。6复盘起草Codex会把观察到的行为，整理成一份SKILL.md草稿。它不是执行日志，而是一份「怎么把这个活干好」的说明书。SKILL.md通常包含何时用：这个技能适合什么场景、不适用什么。输入：调用时要喂什么参数（文件、字段、选项）。步骤：完成任务的顺序与操作要点。验证：怎么判断结果对了、出了问题找哪里。步骤7：打磨skill，然后第一次调用录完只是起点，打磨与第一次实跑，才让skill真正「能用」。7打磨上线让AI打磨措辞：把SKILL.md写得清楚、可执行，而不是一堆原始笔记。补细节与边界：哪些情况适用、哪些不适用、报错时去哪排查。加验证步骤：让执行结果可自查，失败时给出清晰的下一步。第一次调用：四步走01新开对话不要沿用录制时的上下文02调用skill直接说「用某技能做某事」03喂新参数给出这次要处理的新输入04校验结果对照验证步骤确认小技巧：先录一个你手动做起来都很熟练的小活，验证闭环，再逐步扩大技能范围。录制心法：短而完整录一次的时间成本不低，用对的姿势录，产出才能直接用。该做Do先讲目标，再动手，让AI知道边界。用真实输入，保持动作自然、连续。把命名规范、默认值、决策点说出口。做完立刻停，保持录制短而完整。录完审一遍SKILL.md，再决定要不要打磨。别做Don't别录密码、验证码等敏感信息。别录一长段带偶然动作的操作。别中途乱逛网页，把无关浏览带进去。别把「测试123」当真实输入。别一录完就部署，先小范围验证。一句话：把「你会怎么做」原样交出来，AI才能学到一个能长期复用的技能。03复现与Skill机制录完的技能，到底是怎么被反复调用的？复现演示：调用「上传视频」skill你提前录好了「上传YouTube视频」的完整流程，现在只喂新参数，让AI复现。01打开上传页进入上传入口02选择视频文件从指定目录选新文件03填标题与描述按你的命名规范生成04传缩略图选择对应封面图05加字幕自动配对.mp4与.srt06设隐私与发布按规则选隐私级别07校验结果对照skill里的验证步骤，确认上传成功、设置正确现场处理报错：skill不是死脚本，而是会「读情况」的说明书执行到字幕步骤时发现系统缺Python环境——Codex没有死板重放，而是从skill的位置说明里读取环境要求，自己找替代方案继续完成上传。这正是「可复用上下文」的意义：它带着判断力执行，而不是逐像素回放。skill机制：说明书写意图，模型读屏幕执行skill不是回放录像，而是一份「目标+规则」说明书，交给模型现场发挥。①发起新对话，说「用某技能做某事」②加载skill读取SKILL.md说明书③读当前屏幕识别界面与状态变化④理解并执行按说明书分步操作、遇变化调整两者配合，才是完整的复现SKILL.md提供「目标与规则」何时用、输入格式、关键步骤、验证判据。把「你的偏好」固化成文字，稳定复用。语言模型补「现场与判断」结合当前屏幕状态与上下文，解释执行。界面变了、报错了，靠判断力兜底。和RPA有什么不同？录坐标vs录意图自动化对象：从API扩展到整个GUI传统RPA（UiPath等）录制的是坐标与DOM结构：点第几行第几列、操作哪个控件。一旦界面改版、布局变化，脚本立刻失效，需要人重录。Record&Replay录的是「意图」：SKILL.md描述要达成什么目标。语言模型结合当前屏幕状态解释执行，界面小幅变化也能兜住。定位差异：RPA依赖界面「长什么样」，Record&Replay理解界面「在表达什么」。一张表看清：Record&Replayvs传统RPA从录制对象到维护成本，五个维度逐一对比。对比维度传统RPA（UiPath/按键精灵等）Record&Replay录制对象坐标、DOM、控件路径意图与操作语义执行方式回放固定脚本语言模型结合屏幕状态解释执行界面变化极易失效，需人工重录小幅变化可自适应兜底产物形态流程脚本（.xaml等）SKILL.md可读说明书维护成本每次界面迭代都要重维护改文档即可迭代结论：RPA擅长「同一个界面跑一万次」，它擅长「跑一万个界面里的同一个目标」。哪些活适合录成skill？哪些不适合？判断标准就三个词：重复性×规则性×隐性偏好。适合：步骤固定且高频报销单据录入：字段固定、流程固定。预定停车位：按规则选位置与时段。建issue：模板固定，命名有规范。发视频：选文件、传封面、配字幕一条龙。拉周期报表：每周同样的取数路径。不适合：探索与高敏感一次性探索：本来就不重复，录了浪费。强创作判断：选题、定稿这类靠人拍板。高度敏感操作：付款、删库、发公告前要人工审核。录不出口的活：步骤依赖临时拍脑袋。边界规则：能不能复现，先问「下周一还做吗」。一句话选型：重复、有规则、藏着你的偏好的活，就是技能化的最优候选。04Codex用电脑的三种方式ComputerUse·Chrome扩展·应用内浏览器三条通道，覆盖从系统级GUI到网页的全部操作场景。其中ComputerUse是Record&Replay的依赖底座通道一：ComputerUse，直接操作整个图形界面多机械臂并行操作多个应用窗口覆盖面最广：看得到也点得到桌面一切窗口。专治没API的应用：Spotify、Xcode、系统设置、iOS模拟器、iPhone镜像都能操作。macOS可后台：边干别的边让它执行。速度偏慢：逐屏观察、逐步点击。要盯风险：钱、账户、支付、凭据操作需人工把关。Record&Replay的复现阶段，正是由它代为操作。边界：需要较新系统版本；发送、发布、购买等高风险动作会被要求先确认。通道二：Chrome扩展，接管已登录的浏览器接入方式：接管你已登录的Chrome，直接操作网页。典型场景：Gmail、Salesforce、内部仪表盘这类网页工作台。多标签串联：把跨多个标签页的步骤串成一条工作流。带用户身份：继承你的登录态，无需重新认证。风险控制：发送、发布、购买等动作需要人工审核。多标签页被链条串成工作流与ComputerUse的分工：浏览器内优先走扩展，更快更准；浏览器外的才动用ComputerUse。一句话：凡是「在浏览器里就能干完」的活，让Codex用扩展接管，比你想象中更顺滑。通道三：应用内浏览器，对话里的隔离渲染页改代码、看效果、再迭代的反馈循环形态：对话内部共享一个渲染页面。隔离性：浏览器配置、cookie、登录会话全部独立，不碰你的日常浏览器。首选场景：Web开发的调试反馈循环——改、看、再改。对比：比截图回传更直接，AI能看到真实渲染。适合让AI预览前端效果、排查布局问题的场合。边界：登录态与身份信息需单独提供，不适用于「要用你账号访问」的业务场景。怎么选通道？先问操作发生在哪里这个操作发生在哪里？桌面应用/无API选ComputerUse。看得到点得到整个桌面，专治没接口的软件。已登录的网页业务选Chrome扩展。带你的登录态，速度快，适合邮件、内部系统。本地开发预览选应用内浏览器。隔离干净，改完就看，迭代反馈最快。复现阶段记住一条：Record&Replay复现你录的流程时，默认通过ComputerUse代为操作——所以要先开启ComputerUse能力。Appshot：连按两下CMD，把窗口「指」给AI一句话：Appshot负责「指方向」。用法：连按两下CMD，把当前最前面的窗口截下来，附进对话。价值：省去大段文字描述，AI直接看到界面状态。典型场景：报错时、界面对不上时、要精确指认问题时。与录制配合：录制前用Appshot说清目标，AI理解得更准。按键触发截图卡片附进对话注意：截图会包含窗口内容，敏感信息要自己留神。一句话：录之前先「指」清楚目标，录出来的skill才更贴合你的本意。05开放生态与本地模型不锁死在云端：把Codex接到你自己的模型上。从Ollama到企业私有部署，配置一条config就能切。OSS模式：一条配置，把Codex接到自己的模型[model_providers.oss_provider]name="Ollama"base_url="http://localhost:11434"wire_api="chat"env_key="OLLAMA_API_KEY"env_key_prefix=""wire_timeout_ms=30000codex--oss#用本地provider可接的模型来源：Ollama、LMStudio、Mistral、Azure、AmazonBedrock。启动方式：加--oss参数跑本地provider，默认走oss_provider。动机：数据不出本地、私有化部署、成本可控。取舍：本地模型的视觉理解与规划能力弱于云端旗舰，录制复杂流程时建议回云端，日常简单自动化可以本地跑。五条本地模型路径，按场景挑一条从「本机跑」到「企业托管」，覆盖不同的数据与成本要求。Ollama本地一键拉取并运行开源模型个人开发者/离线环境LMStudio图形化界面加载本地模型桌面玩家/教学演示Mistral云端API接入，开箱即用已有Mistral账户的团队Azure企业级部署与合规托管政企/受管控环境Bedrock与AWS生态深度整合已深度使用AWS的团队06局限、风险与落地路径能力边界在哪里，安全红线怎么守，从哪一步开始用。当前能力边界：四道门槛先看清在开始之前，确认你的系统与版本满足这些前提。01平台门槛：仅macOS首发覆盖macOS；Windows/Linux用户需等待后续版本。02地区门槛：部分地区暂不开放欧盟、英国、瑞士等地区的用户首发期无法使用。03依赖门槛：必须先开ComputerUserequirements.toml里关掉computer_use，Record&Replay也会一起失效。04权限门槛：高风险动作要审核发送、发布、购买、涉及凭据的操作会停在确认环节。实操中最常踩的三个坑踩坑不丢人，关键是知道每个坑都有对应解法。坑坑01·界面改版录的时候是旧界面，复现时界面已经变了，流程走样。坑02·屏幕识别失败动态内容、模糊元素、非标准控件，AI可能看不清。坑03·平台版本不符非macOS或版本过低，功能不可用。应对让AI现场适配新界面，或干脆重录一次。把「界面可能变」写进skill的备注。用Appshot把当前界面指给AI，把复杂步骤拆成更小的skill。开始前核对系统要求，升级到受支持版本。趋势展望：人从操作者，变成训练者人类把技能交给AI，由它持续执行自动化基础在扩大：从API覆盖到整个图形界面。OS角色在变化：人不再是跨应用执行的中间层，AI直接接管。人的角色在迁移：从软件操作者，变成软件能力的训练者。你录的不是一次操作，而是一份可沉淀、可复用、可教给别人的经验。今天你学习使用工具，未来你教会AI使用工具。落地路径：五步把「录一遍」变成日常1开门槛：装Record&Replay插件，先开启Compute