vLLM完成V1引擎迁移,DeepSeek推理速度突破2.2k tok/s

vLLM团队宣布完成向V1引擎的全面迁移,通过集成Wide-EP、双批次重叠(DBO)及专家并行负载均衡(EPLB)等优化,在H200集群上实现每GPU 2.2k tokens/s的吞吐量。这一显著性能提升解决了DeepSeek等稀疏MoE模型的部署瓶颈,获Meta、Mistral等头部企业采用,大幅降低了Token成本。

原文链接:Hacker News

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册