谷歌Gemini任务自动化进入Beta测试,手机可代用户完成订餐打车
谷歌宣布基于Gemini的任务自动化功能进入Beta测试阶段,该功能通过模拟用户界面操作,可在订餐、打车等场景中代替用户执行跨应用流程,并在付款等关键环节要求人工确认。
海宇数科 · 事件日期 · 约 2 分钟 · 1 次阅读

谷歌近期将其规划已久的AI助手能力推向新阶段。基于Gemini的“任务自动化”功能现已进入Beta测试,能够模拟用户在应用界面上的操作,完成订餐、叫车等需要跨应用处理的流程,AI助手的角色由此从信息查询延伸至代办具体事务。

视觉震撼:看着手机“自己用自己”
与依赖API对接的方式不同,该自动化功能运行在虚拟窗口中,通过模拟真实用户操作来完成任务。以打车场景为例,用户发出“打车去机场”的指令后,系统会自行打开Uber,确认航站楼信息(遇到多个航站楼时会主动询问用户),并填入目的地。
在订餐场景中,用户说“帮我点一杯咖啡和牛角包”,AI会主动滑动屏幕,在星巴克菜单里找到指定单品(如Flat White),其滚动和选择过程与人工操作相似。
目前该功能优先支持外卖配送和网约车类应用。对于相应设备及后续机型的用户来说,手机承担的角色不再只是运行App的载体,而是可以理解自然语言意图并转化为具体操作的代理工具。
安全逻辑:关键节点,人类掌舵
为控制自动化带来的风险,谷歌在流程中设置了人工复核机制。
用户可以实时观看AI的每一步操作,并可通过“Take control”随时接管或终止自动化进程。
在提交订单或付款之前,系统会强制停留在支付界面,由用户核对明细并手动点击“确认”,从而使每笔交易都处于用户受控状态。
不过,AI在菜单滚动和选项识别上仍偶有不够顺畅的表现。
这种不依赖API深度适配、直接基于UI交互的自动化模式,仍在拓展AI助手的应用边界;随着算法迭代,用户有望逐步减少在多个App之间反复切换的操作。
