易安的文章

Dense vs MoE:大模型架构的选择题-IT资源栈

Dense vs MoE:大模型架构的选择题

选 Dense 还是选 MoE?这个问题在 2025 年之后已经不怎么争议了——大多数顶级闭源模型(GPT-4 系列、Gemini、DeepSeek-V3)都用了 MoE。但这不意味着 Dense 没用了。两种架构各有清晰的能力边界,选错架构的代价远大于选错模型大小。 Dense 模型就是传统的 Transformer

赞(0)易安易安架构 阅读()