中国科学院自动化研究所李国齐、徐波团队联合沐曦MetaX发布类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0），在国产千卡GPU算力平台（沐曦曦云C550）上完成全流程训练与推理。该模型基于团队提出的“内生复杂性”理论，借鉴大脑神经元内部复杂工作机制，建立了脉冲神经元内生动力学与线性注意力模型之间的联系，并指出现有线性注意力机制是树突计算的特殊简化形式。研究团队已开源SpikingBrain-1.0-7B模型，开放76B版本（激活参数量12B）测试入口，同步公开中英文技术报告。性能方面：训练阶段具有线性或近线性复杂度，仅用约主流大模型2%的预训练数据量，即在MMLU、CMMLU、Ceval、ARC等多项基准上媲美开源Transformer模型；推理阶段利用脉冲神经元事件驱动特性，7B模型在100万Token长度下首Token生成时间（TTFT）较Transformer加速26.5倍，400万Token下加速超过100倍；在手机CPU端64k至256k长度下，解码速度较同规模Llama3.2提升4.04倍至15.39倍。团队还开发了面向国产GPU集群的训练推理框架、Triton算子库、模型并行策略及集群通信原语，7B模型稀疏度超过69.15%。该模型在法律医学文档分析、DNA序列分析、分子动力学轨迹等超长序列任务场景具有潜在效率优势。
事件分析
在Transformer仍是绝对主流的背景下，该工作与Mamba、RWKV等线性架构探索同属“非Transformer路线”，其特色在于引入脉冲神经元机制，将线性注意力解释为树突计算的简化形式，为架构复杂度的持续提升提供了理论框架。产业层面，模型全流程适配沐曦曦云C550，并配套Triton算子库与并行通信方案，对国产算力软件生态建设具有示范意义；手机CPU端的解码速度表现也显示出端侧部署潜力。需要注意的是，其基准成绩目前主要来自研发团队自评，与主流开源生态的兼容性、第三方复现及实际商用落地仍待检验。后续走向上，低功耗特性与神经形态芯片设计的衔接值得跟踪，若稀疏化与脉冲机制在更大规模模型上保持稳定，或将改变超长上下文推理的成本结构，并推动 legal、生物信息等长序列专业场景率先应用。
核心观点：以脉冲架构绕开Transformer算力瓶颈，并深度绑定国产GPU生态，或改写超长序列推理的成本结构
原文链接：Linux.do
评论前必须登录！
立即登录 注册