NVIDIA发布了Nemotron 3.5 Lightning模型及NeMo Switchyard开源路由库，旨在解决AI智能体在高并发场景下的效率与成本问题。Nemotron 3.5 Lightning是一个300亿参数的混合专家（MoE）开源模型，专为长期运行的智能体工作负载设计，其输出速度较同类模型提升4倍，任务完成速度提升30%，并支持在RTX PC、工作站及数据中心等多样化环境中本地部署与微调。与此同时，NeMo Switchyard作为智能路由库，能够根据任务性质自动将请求分发至最合适的模型（如轻量任务用小模型，复杂推理用大模型），无需开发者修改应用代码。内部测试显示，该技术在保持前沿准确率的同时，可将任务完成成本降低至原本的三分之一。目前，CrowdStrike、LangChain、Ramp等多家科技企业已集成该技术，用于网络安全、代码审查及开发自动化等场景。
事件分析
此次发布的核心技术价值在于确立了“系统之模型”的工程范式，即通过多模型协作替代单一的大模型调用。Nemotron 3.5 Lightning 利用 MoE 架构在控制参数规模的同时实现了前沿级的推理能力，特别适合处理代码审查、工具调用等高频次、对延迟敏感的特定任务。而 NeMo Switchyard 则引入了关键的调度层，解决了长期困扰业界的模型编排难题，使得企业能够根据成本、延迟和质量要求动态调整算力资源。这种“路由+轻量化模型”的组合拳，不仅显著优化了 AI 智能体的 Token 经济性，也加速了高性能 AI 在边缘侧和私有化场景的落地。
核心观点： 英伟达通过智能路由与专用化模型重新定义AI基础设施，以“模型系统”架构打破智能体落地的高成本桎梏。
原文链接：Hacker News
评论前必须登录！
立即登录 注册