上海 AI 实验室发布全球最大开源科学多模态模型:Intern-S1-Pro,总参数达 1T

上海 AI 实验室(Shanghai AI Laboratory)发布了书生 Intern-S1-Pro 模型,这是目前全球开源参数规模最大的科学多模态基础模型。该模型基于混合专家架构构建,拥有 512 个专家,总参数量高达 1 万亿。然而,通过稀疏激活技术,该模型在每次调用时仅激活 8 个专家,约 220 亿参数,兼顾了庞大的规模与高效的推理能力。Intern-S1-Pro 实现了通用能力与科学能力的协同演进,并在底层架构上取得了两大核心突破。

原文链接:Linux.do

抢沙发

评论前必须登录!

立即登录   注册