Fielix神经网络架构:场效应革新Transformer学习效率

作者开源新型神经网络架构Fielix,以“场效应”机制替代传统注意力机制。实验显示,在27M参数模型下,Fielix初始Loss为3.0,Transformer为7.9;最终Loss Fielix为1.66,Transformer为2.59,表明学习效率显著提升。然而,训练速度较Transformer慢2倍。作者因精力有限未继续优化,欢迎社区参与完善。该项目已发布于GitHub,为AI领域提供新思路。

原文链接:Linux.do

抢沙发

评论前必须登录!

立即登录   注册