LeRobot 视频解码提速 15 倍:Daft 优化数据管道攻克读取瓶颈

LeRobot 已成为机器人学习领域的主导开源数据格式,但在实际应用中,解码视频帧不仅计算成本高昂,且内存消耗大,常导致 GPU 等待数据而闲置。为解决这一痛点,Eventual.ai 团队在其数据框架 Daft 中引入了原生的 LeRobot 读取器。针对早期版本中每个视频帧都要单独打开远程分片并读取索引导致的严重性能问题,团队开发了批量解码 UDF(用户自定义函数)。该优化方案通过按分片分组行、对时间戳排序并引入聚类机制,将原本逐帧的零散读取转化为批次处理,大幅减少了网络请求和解码过程中的文件寻道操作。实测数据显示,在多个公开的 LeRobot v3 数据集上,解码速度提升了 4 至 15 倍。特别是在 1080p 高分辨率数据集测试中,全量帧解码耗时从 29 分钟降至 2 分钟以内,且在结合 MediaPipe 进行手部追踪的管线中,端到端延迟降低了 75% 以上。该更新仅需 Python 代码层面调整即可实现字节级一致的结果,显著提升了机器人学习数据的处理效率。

事件分析

此次技术优化展示了“数据工程”在具身智能(Embodied AI)发展中的核心地位。随着 LeRobot 逐渐成为机器人数据的行业标准,如何高效地吞吐大规模视频数据直接决定了模型训练与迭代的效率。Daft 团队通过算法层面的聚类优化,解决了远程存储与 GPU 计算之间的 I/O 瓶颈,这表明在当前 AI 基础设施建设中,单纯增加算力已不足够,优化数据管道以最大化 GPU 利用率才是降本增效的关键。这种对底层解码逻辑的极致优化,将加速高分辨率、多模态机器人数据集的普及,推动机器人学习从“小规模实验室”向“工业化数据流”转变。

💡 核心观点:具身智能训练瓶颈已从模型算力转移至数据加载,高效的 IO 工程是释放高分辨率视频数据价值的关键。

原文链接:Hacker News

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册