开发者 Kyle 近日发布了一款名为 “mere.run” 的本地优先 AI 推理运行时,旨在解决当前本地 AI 部署中常见的环境配置复杂和依赖冲突问题。该工具通过单一命令行界面(CLI),集成了文本、图像、视频、音乐、3D 模型及语音处理等多模态生成能力。技术上,Mere.run 摒弃了对 Python 环境及 PyTorch 等传统库的依赖,转而采用原生 Swift 语言结合苹果 MLX 框架构建,并利用 llama.cpp 处理大语言模型,FFmpeg 处理音视频流,显著降低了部署门槛和系统资源占用。软件支持 arm64(Mac 及 CUDA)和 x86 架构,提供 OpenAI 兼容的 API 接口,便于开发者无缝迁移现有工作流。作者在 M4 Max 设备上公布的实测数据显示,图像生成耗时约 58 秒,带音频视频生成约 2 分 48 秒,文本生成速度达到 102 tokens/s。该项目强调隐私保护,所有模型下载后支持完全离线运行,无任何数据回传行为,遵循 MIT 协议开源,致力于帮助用户挖掘个人闲置硬件的算力潜力。
事件分析
💡 核心观点:摆脱Python依赖并利用原生技术栈,Mere.run为隐私优先的端侧多模态AI部署提供了高效的标准化范式。
原文链接:Hacker News

评论前必须登录!
立即登录 注册