不越狱不装App:ESP32外挂让AI全自动操控iPhone点外卖

一个开源项目展示了在不越狱、不安装额外应用的前提下,让AI全自动操作iPhone的可行方案。该项目由ESP32开发板与运行在Safari浏览器中的网页Harness组成,能够驱动iPhone自动完成点外卖等日常操作。其工作原理是:Harness在Safari内运行,持续读取手机屏幕内容并调用大语言模型进行决策,随后通过ESP32模拟蓝牙键盘和鼠标向iPhone发送输入指令,实现界面点击与滑动,同时支持剪贴板同步,方便在手机与模型之间传递文本信息。在部署方式上,该方案强调轻量与无侵入:手机无需接线,也无需安装任何额外App,ESP32开发板单独供电,只需与手机连接同一个Wi-Fi网络即可工作。项目支持用户自选底层模型,并允许将常用操作流程封装为自定义技能,实现重复调用,降低了构建个人自动化流程的门槛。目前该方案需要iOS/iPadOS 27或以上版本的系统支持。项目代码已在GitHub开源,作者同时提供了官网与B站演示视频,完整展示了AI自动操作iPhone点外卖的全过程。这一项目为封闭生态下的手机智能体操控提供了一种低成本、可复现的工程实践参考。

事件分析

该项目的巧妙之处在于绕开了iOS生态的自动化限制。与Android提供无障碍服务接口不同,iOS长期禁止第三方直接控制界面,此方案采用’屏幕读取+硬件模拟输入’的外挂式架构:视觉层面由网页Harness截取屏幕交给多模态模型解析,操作层面由ESP32以蓝牙HID设备身份注入指令,全程不依赖私有API或越狱,符合系统对外接输入设备的既有支持。这一思路与当前’AI操作手机’的产业热点高度契合,相比厂商基于系统级Agent API的官方路径,它提供了一种设备无关、成本极低的民间实现。潜在短板在于链路延迟与稳定性,屏幕识别、模型推理、蓝牙输入环节串联,面对复杂动态界面的容错性有待验证。此外,苹果对系统自动化的政策收紧、外卖等App的风控机制,都可能影响长期可用性。若视觉操作型Agent持续成熟,这类硬件桥接方案或成为封闭生态下的过渡形态。

核心观点:iOS封锁自动化接口,开源社区却用几十元的ESP32硬件外挂撬开了AI操控手机的大门,绕过限制的巧思正是封闭生态下创新的典型路径。

原文链接:V2EX 分享发现

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册