纯语义驱动Agent:无需视觉模型,AI仅凭语言描述即可精准操控电脑

一项名为“VCP-SoM”的新技术展示了令人震惊的AI能力,它打破了常规的“视觉感知”路径,实现了“纯语义驱动”的电脑操作。该系统不需要AI“看”到屏幕画面,仅依靠自然语言理解和窗口上下文,即可通过ScreenPilot等工具精准定位并点击图标。演示显示,它能理解诸如“右上角的小太阳图标”等指令,并支持编写步进式脚本自动完成游戏刷本等连续任务。这一创新证明了在无视觉模型介入的情况下,纯语义Agent也能实现极高精度的UI自动化。

原文链接:Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册