Codex for Mac 加入原生 computer use

OpenAI 更新了 Mac 版 Codex,加入原生 computer use。它不再主要靠截图和坐标点击猜界面,而是直接读取应用的 accessibility hierarchy,在后台并行处理多个 Mac 应用,再把结果汇总回同一条代理流程。
OpenAI 更新了 Mac 版 Codex,这次最关键的变化不是模型切换,而是原生加入了一套面向 macOS 的 computer use。它可以在不把应用强行切到前台的情况下,同时操作多个 Mac 应用,再把执行结果整理回同一条代理线程。
先读应用层级,再决定怎么动手
不少桌面代理主要靠录屏、截图、坐标点击和少量 AppleScript 来猜界面,能不能点对位置、能不能穿过复杂控件,常常取决于当前窗口长什么样。Codex 这套实现走的是另一条路:它会先读取应用的 accessibility hierarchy,再把窗口层级当作上下文交给模型判断。
这条技术路线延续了此前 Sky 团队做过的桌面代理能力。对 Mac 来说,优势不只是“看见了屏幕”,而是能更具体地理解窗口里有哪些按钮、文本区域和嵌套结构,因此在复杂界面里通常比单纯靠截图推断更稳一些。
后台并行处理多个应用
这项能力的另一处变化,是 Codex 可以在后台开出并行游标,同时查看和操作多个应用,而不用把当前工作界面反复抢到前台。文中的一个例子是让它同时查看 Slack、时间线客户端和阅读器,再把值得注意的更新整理成同一份报告。

这种用法更接近真正的桌面自动化:不是只在一个窗口里点几下,而是跨几个现有应用收集信息、完成动作,再把结果回收到同一条任务里继续处理。对那些没有 API、也不适合单独写脚本的桌面流程,这种后台并行能力会更实用。
Music 能播,失败案例也会暴露出来
文中还拿同一条播放指令做了对比测试。一次尝试在另一款同类应用里停在最后一步,没有顺利触发播放,说明 computer use 不是到了每个应用里都能百分之百完成动作。

但把任务切到 Music 应用后,Codex 可以继续点开专辑并完成播放。这个差异说明它的可用性已经过了“只能演示”的阶段,但具体效果仍会受单个应用界面和控件暴露方式影响。

快捷指令安装和验证也能连成一条任务
另一组测试更接近长期工作流:Codex 不只安装了一批 .shortcut 文件,还会逐个打开、检查输出,再继续判断哪些地方需要修正。这类任务原本往往要在 Finder、快捷指令和结果验证之间来回切换,现在可以交给同一条代理流程连续完成。

如果把 Mac 当成代理执行台来看,这次更新的意义不在于替代所有脚本或 API,而是在那些现有自动化手段覆盖不到的桌面操作上,给 Codex 补上了一层更接近真实工作的执行能力。