突破性发现:深度网络Hessian矩阵求逆可在线性时间内完成

研究显示,深度网络海森矩阵的逆矩阵计算存在一种高效的线性时间算法。传统方法计算复杂度随层数呈立方级增长,极不实用,而新方法利用矩阵多项式结构实现了分解优化。该算法类似于在双重网络上运行反向传播,使得Hessian逆的应用变得非常高效。这一发现有望作为随机梯度下降的预条件子,解决深度学习优化中的长期难题,大幅提升模型训练速度和收敛性。

原文链接:Hacker News

抢沙发

评论前必须登录!

立即登录   注册