OpenAI 扩展 ChatGPT 浏览器批注功能

摘要

OpenAI 官方开发者账号于 10 月 12 日（美国时间）在 X 上发布 154 秒演示视频，公布批注扩展功能，开发者可以为批注创建自定义控件和推荐提示词。
负责演示的 Katia Gil Guzman 展示了室内设计应用中的物品替换与颜色选择控件，以及费用应用中的推荐提示词，并表示用户的智能体比网站更了解用户。
根据 OpenAI 的说明文档，站点工具需使用 GPT-5.6 Sol 或 GPT-6 Sol，不支持声明式 API 和 iframe 内的工具，每次调用在执行前都要经过安全审查。

Annotations paired with WebMCP give your agents more context to act on.

OpenAI 扩展了 ChatGPT 桌面应用内置浏览器的批注功能，让网站开发者可以为批注添加自定义控件和推荐提示词。OpenAI 官方开发者账号于 10 月 12 日（美国时间）在 X 上发布了一段 154 秒的演示视频，并表示"将批注与 WebMCP 搭配，能让智能体获得更多可据以行动的上下文"。此次批注扩展的设计初衷，是与 WebMCP 工具配合使用，网站可借助 WebMCP 工具把操作直接交给智能体。截至采集时，该帖浏览量为 6.71 万次。

演示由在 OpenAI 负责支持开发者的 Katia Gil Guzman 主持。她表示 ChatGPT 应用最近加入了对 WebMCP 工具的支持，并将 WebMCP 工具介绍为网站向智能体开放的操作，例如搜索商品目录或更新页面内容。批注是一项既有功能，用户可以指向页面的特定部分，请 ChatGPT 进行修改。此次变化有两点。开发者可以为批注创建自定义控件，也可以通过推荐提示词在代码中触发批注，告诉用户在该页面上能做什么。

第一个演示是一款用家具目录布置房间场景的应用。在批注模式下点击场景中的物品，会出现替换为相似物品的控件，点击其他位置则会打开颜色选择器。用户无需翻找目录，也无需亲自拖动物品。据 Gil Guzman 介绍，这些控件都以 HTML 属性或 JavaScript 定义在网站代码中，并为 ChatGPT 补充用户点击了什么、想做什么的上下文。

第二个演示是一款费用管理应用。点击某笔费用后，会出现一条推荐提示词，请 ChatGPT 查找网站上没有的、关于这笔费用的上下文，随后智能体通过网站提供的 WebMCP 工具添加合适的元数据。Gil Guzman 说："WebMCP 真正的力量在于，用户的智能体了解用户的具体上下文。"她补充道："用户的智能体了解用户的偏好，可以通过插件访问用户的数据，而且比你的网站更了解用户。"

根据 METAL 核实的 OpenAI 说明文档，站点工具是 ChatGPT 对拟议中的 WebMCP 标准的实现。当网站把自身功能以一组预先定义的工具形式提供出来时，ChatGPT Work 和 Codex 可以在 ChatGPT 桌面应用的内置浏览器中发现并使用这些工具。与连接本地或远程服务器的 MCP 不同，它无需另外安装 MCP 服务器或设置连接，用户与智能体共享同一个实时页面和登录会话。文档指出，在编辑画布或浏览仪表板这类双方需要看到同一画面的场景中，这种方式尤其有用。

可用条件比较有限。文档建议站点工具使用 GPT-5.6 Sol 或 GPT-6 Sol，GPT-5.6 Luna 目前禁用 WebMCP。企业版工作区需要管理员通过策略允许，教育版工作区则无法使用。点击地址栏中的站点工具标识，可以查看页面提供的工具列表，也可以在最近使用记录中回看调用情况。OpenAI 自己的文档网站也直接提供了 5 个工具，分别是搜索文档、读取页面、读取当前路径和所选文字、跳转页面以及生成定制指南。

工程师需要关注的是批注与工具之间的界限。演示中提到批注控件也可以用 HTML 属性定义，但文档写明，通过 HTML 表单属性定义工具的声明式 API 不支持作为站点工具使用。在 iframe 内注册的工具，无论同源还是跨源，也都无法被发现。工具需要在顶层页面的 JavaScript 中通过 document.modelContext.registerTool 注册，并传入名称、描述、输入模式和执行函数。文档中的示例是一个标记为只读的页面标题读取工具。文档建议将输入范围收窄、说明副作用、返回足以验证结果的信息，并沿用现有的身份验证和权限检查。

文档还列出了安全措施。网站提供的工具定义和结果都被视为不可信内容，工具名称或"只读取数据"的说法都不能作为证据。内置浏览器在每次调用工具前都会进行安全审查，发送消息、购买、删除数据、更改权限等重大操作仍适用原有的确认政策。OpenAI 在文档中表示："这些检查可以降低风险，但并不能让网站或其输出变得可信。"用户可以在设置的浏览器权限菜单中关闭站点工具。

METAL 此前曾报道 OpenAI 举办奖金 3.5 万美元的 WebMCP 挑战赛。据报道，OpenAI 当时在挑战赛公告中写道："与其让智能体在你的界面里摸索猜测，不如明确定义它们可以如何使用你的应用。"WebMCP 规范是 W3C 网络机器学习社区组的草案，尚未进入 W3C 标准轨道。在 Chrome 中，开发者可以开启实验标志或参加源试用来进行测试。

通过此次批注扩展，网站交给智能体的东西从工具列表延伸到了屏幕上的指引。Gil Guzman 强调，随着使用智能体的人越来越多，应用也应该为此做好适配。在由网站决定能做什么、由智能体代替用户执行的结构中，留给开发者的问题是开放哪些操作，以及在哪里要求用户确认。