Gemini 现在能操作你的 Mac 了:谷歌 AI 可在应用和网站中点击、输入并完成任务

Gemini 现在能替你操作 Mac 了。谷歌于周四(11 月 19 日)宣布,macOS 版 Gemini 应用新增 computer use 功能:AI 可在后台跨本地文件、应用和网站执行多步骤任务。你只需用自然语言描述需求,Gemini 就会负责点击、输入、操作菜单和填写表单。

它如何工作——能为你做什么

Gemini 在一个隔离的后台窗口中工作,聊天界面内提供实时预览。你的主屏幕和光标完全不受影响,因此可以在 AI 工作时继续打字、设计或接电话。谷歌列举了四种用法:加速创意工作流程(例如批量为照片调色或搭建复杂的 3D 场景)、跳过手动填表(从本地 PDF 中提取重量、尺寸和地址来填写运费报价)、将实时数据转化为现成的 Google Slides 演示文稿,以及批量上架待售商品(分析本地文件夹中的照片、调研价格并准备上架信息)。

使用时只需在提示词中加入 @Computer use。在“自定义”>“连接器”中,还会出现新的“桌面”应用,如 Blender 和 Autodesk Fusion,与现有的 Git 和 Obsidian 集成并列。

隐私与控制——附带一个提醒

谷歌承诺隐私与安全是该功能的一部分:你可以自主选择 Gemini 能访问哪些应用、实时查看每一步、随时暂停,并在关键操作执行前进行批准。使用前需要在 macOS 中授予辅助功能以及屏幕与系统音频录制权限。谷歌也在文档中自己提醒:智能体可能会在应用和网站中遇到误导性指令,因此谨慎管理权限很重要——该功能可以自动完成点击和输入,但并不能消除 AI 误解屏幕内容的风险。

谁可以使用

该功能正在逐步推出,目前仅限美国、英语用户。需要配备 Apple Silicon 芯片、运行 macOS Sequoia 15 或更高版本的 Mac、年满 18 岁的个人谷歌账号,以及 Google AI Plus、Pro 或 Ultra 订阅——以官方公告为准。不过谷歌的支持文档目前仅将 Pro 和 Ultra 列为可控制桌面应用的套餐,因此具体条款在推出期间可能发生变化。应用可从 gemini.google/mac 下载。

图片:Gemini 使用 Mac 版 computer use 在 Blender 中为一张草图建模(谷歌官方图片,来自 blog.google)。

来源:谷歌 The Keyword;TechCrunch;MacRumors;9to5Google。另请阅读:Google Duplex 成为 Gemini Tasks 的通话引擎。

透明度说明:本文在人工智能的协助下制作,交叉核对了 X 上的公开帖子与互联网来源,并在发布前经过审核。请查阅原始来源以确认信息。

Por Muse