MiniMax 2.1 AWQ版实测:支持18.8万上下文,本地编程表现佳

Reddit社区推荐的MiniMax 2.1 AWQ量化版本表现亮眼。该模型针对MoE架构进行了深度优化,expert量化至W4A16,并使用侧重编程与DevOps的多语言数据集校准。实测显示,在vLLM 0.13.0环境下,该版本支持约18.8万长上下文,解码速度达80-100 tokens/s,且在自动化编译修复等DevOps场景中表现出色,为本地部署提供了兼顾性能与精度的优质选择。

原文链接:Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册