METAL for iPhone

AI 新闻, 现在用 App 阅读。

下载 METAL, 每天发现最新 AI 报道。

在 App Store 下载

iPhone 应用 · 免费下载

也可在 iPhone 的 App Store 中搜索 METAL AI Magazine。

METAL

Gemini桌面版被发现测试"计算机操作"功能,可直接操控屏幕

Claude和ChatGPT此前已具备的屏幕操作功能,如今在谷歌Gemini应用设置中被发现

Gemini桌面版被发现测试"计算机操作"功能,可直接操控屏幕

摘要

  • TestingCatalog在Gemini桌面版应用设置中发现了"计算机操作"功能的痕迹
  • 该功能可控制其他应用并访问指定文件夹,同时还发现了在操作前自动备份至Google Drive的选项
  • 目前处于面向可信测试者的试验阶段,预计将以提示栏中的"Task"选项形式呈现
原文视频

设置界面中留下的痕迹

Gemini桌面版应用设置的某处,留下了一个尚未开启的功能的痕迹。TestingCatalog于8月18日发现的是一个名为"计算机操作(Computer Use)"的项目。顾名思义,这是让AI代替用户操作电脑屏幕的功能,可以控制其他应用、访问指定文件夹中的文件来执行任务。目前尚未有正式发布公告,据了解该功能正处于面向可信测试者群体的试验阶段。

为何"计算机操作"成为新战场

能够直接操作屏幕的AI代理,此前已由Anthropic的Claude和OpenAI的ChatGPT率先推出。其运作方式是:AI代替人手抓取鼠标、找到需要点击的位置并点击,打开文件并填入内容。谷歌如今才开始测试这一功能,这意味着在从"只会回答问题的聊天机器人"迈向"真正代替用户完成工作的代理"这场竞争中,Gemini又向前追赶了一步。

Gemini桌面版应用此前已经通过Gemini自动规划旅行行程的功能展示了名为Gemini Spark的界面。当时Gemini Spark能够调取Gmail中的预订信息和地图数据,在Google文档中生成行程表,甚至通过Chrome代为填写机票预订表单。此次被发现的"计算机操作"功能,预计将在这一Gemini Spark界面基础上进一步扩展。

预计如何运作

根据TestingCatalog的说法,"计算机操作"功能不会以导航栏中的开关形式出现,而是会作为"Task"选项加入图像、视频生成工具所在的提示栏选择器中。打开该选项后,用户可以通过活动屏幕的迷你视图,实时查看Gemini具体执行了哪些操作。此外还准备了实用的控制装置,防止电脑在任务执行期间进入休眠状态。

其中最引人注目的是名为"Advanced Backup"的安全机制。该选项会在Gemini动手操作所选文件夹之前,自动将该文件夹备份至Google Drive,为不使用Git等版本管理工具的普通用户提供了可撤销的余地。

Gemini 데스크톱 앱 설정 화면으로 왼쪽 메뉴와 Appearance 설정 창이 보임
이미지: @testingcatalog (X)

双刃剑

这项备份功能本身的存在,也是一个颇具讽刺意味的信号。预先准备好撤销方案,等于谷歌自己也承认Gemini在执行任务过程中可能会造成不必要的文件改动。现实层面的问题也随之而来:如果所选文件夹容量达到数百GB,仅上传至Google Drive就需要相当长的时间和存储空间,任务尚未开始便可能出现瓶颈。

项目Claude、ChatGPT现有方式Gemini测试版
启用位置独立开关/模式提示栏"Task"选项
进度查看截图、日志活动屏幕迷你视图
撤销保障依赖版本管理工具Google Drive自动备份

编辑视角

谷歌为何将"计算机操作"功能握在手中、最晚才拿出来,原因不难猜测。这项功能做得好会很方便,但一旦出错,很容易直接演变成破坏用户文件的事故。在观察了Anthropic和OpenAI先行推出该功能后所经历的种种问题——点错窗口、误删非目标文件等事故——之后,谷歌选择先备好备份选项再推出,这个先后顺序本身就说明谷歌是把这项功能当作安全问题来对待的。

以这种规模的代理功能实际使用后,结论往往大同小异:最初几天会赞叹不已,但一旦把整个文件夹的操作权限交出去,出现意料之外的文件改动的那一刻起,信任感就会急剧下降。备份选项只是缓解那一瞬间冲击的最基本的安全带,并非彻底的解决方案。尤其是对于想要把数百GB项目文件夹整体托管的团队而言,现阶段更稳妥的做法是,仅将"计算机操作"功能限定用于整理文档、重复填表等低风险任务。至于包含重要代码库或客户数据的文件夹,最好等到正式发布、权限细分功能上线之后再考虑使用。

未来几周内,该功能很可能会突破可信测试者的范围,向更广泛的用户群体开放。不过,谷歌如何完善权限范围、恢复流程以及大容量文件夹的处理方式,将决定这项功能给用户留下的第一印象。

评论