Agent Draw 是一款基于 tldraw 无限画布 SDK 构建的 AI 智能体工具,能够实现“边讲边画”的功能。用户只需在画布上拖拽出矩形区域并进行语音描述,AI 代理便会自动在该区域内绘制相应的图表、示意图或插画。该项目利用了 tldraw 官方的 Agent starter kit,通过自定义 AreaCaptureTool 工具捕获用户选区,并结合浏览器 MediaRecorder 录制语音,随后将音频发送至 Mistral 的 Voxtral 模型进行转录。技术上,该工具采用模块级状态机管理绘图队列,确保即使连续框选多个区域,AI 也能按顺序依次处理,避免冲突。在执行层面,项目使用了 tldraw 的 agent.prompt 循环而非单次请求,确保模型能完整绘制复杂图形而不中途停止。为了提升响应速度,开发者移除了默认的 `setMyView` 和 `review` 操作,成功将模型调用次数减半。测试显示,Claude Opus 等高性能模型能处理复杂构图甚至使用钢笔工具素描,而较小模型(如 Haiku 或 Gemini Lite)则倾向于使用基础图元或过早放弃任务。该项目代码基于 MIT 协议开源,展示了 AI 智能体在实时协作与辅助演示场景下的巨大潜力。
事件分析
💡 核心观点:Agent Draw 证明了未来 AI 交互的终极形态是“意图直达行动”,将语音无缝转化为视觉逻辑,极大释放了创造力。
原文链接:Hacker News

评论前必须登录!
立即登录 注册