源3.0 Ultra重磅开源:万亿级MoE多模态大模型,预训练效率提升49%

Yuan3.0 Ultra多模态大模型正式发布并开源。该模型采用统一架构,结合视觉编码器与103层Transformer语言主干网络,基于混合专家(MoE)技术构建。通过创新的LAEP方法,模型参数规模优化至1010B,激活参数为68.8B,预训练算力效率提升49%。此外,模型引入Localized Filtering Attention(LFA)机制以增强语义建模能力。Yuan3.0 Ultra在检索增强生成、文档理解、表格分析及工具调用等多模态任务中表现卓越。

原文链接:Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册