作者开源新型神经网络架构Fielix,以“场效应”机制替代传统注意力机制。实验显示,在27M参数模型下,Fielix初始Loss为3.0,Transformer为7.9;最终Loss Fielix为1.66,Transformer为2.59,表明学习效率显著提升。然而,训练速度较Transformer慢2倍。作者因精力有限未继续优化,欢迎社区参与完善。该项目已发布于GitHub,为AI领域提供新思路。
原文链接:Linux.do
作者开源新型神经网络架构Fielix,以“场效应”机制替代传统注意力机制。实验显示,在27M参数模型下,Fielix初始Loss为3.0,Transformer为7.9;最终Loss Fielix为1.66,Transformer为2.59,表明学习效率显著提升。然而,训练速度较Transformer慢2倍。作者因精力有限未继续优化,欢迎社区参与完善。该项目已发布于GitHub,为AI领域提供新思路。
原文链接:Linux.do
评论前必须登录!
立即登录 注册