上海 AI 实验室(Shanghai AI Laboratory)发布了书生 Intern-S1-Pro 模型,这是目前全球开源参数规模最大的科学多模态基础模型。该模型基于混合专家架构构建,拥有 512 个专家,总参数量高达 1 万亿。然而,通过稀疏激活技术,该模型在每次调用时仅激活 8 个专家,约 220 亿参数,兼顾了庞大的规模与高效的推理能力。Intern-S1-Pro 实现了通用能力与科学能力的协同演进,并在底层架构上取得了两大核心突破。
原文链接:Linux.do
上海 AI 实验室(Shanghai AI Laboratory)发布了书生 Intern-S1-Pro 模型,这是目前全球开源参数规模最大的科学多模态基础模型。该模型基于混合专家架构构建,拥有 512 个专家,总参数量高达 1 万亿。然而,通过稀疏激活技术,该模型在每次调用时仅激活 8 个专家,约 220 亿参数,兼顾了庞大的规模与高效的推理能力。Intern-S1-Pro 实现了通用能力与科学能力的协同演进,并在底层架构上取得了两大核心突破。
原文链接:Linux.do
评论前必须登录!
立即登录 注册