研究显示,深度网络海森矩阵的逆矩阵计算存在一种高效的线性时间算法。传统方法计算复杂度随层数呈立方级增长,极不实用,而新方法利用矩阵多项式结构实现了分解优化。该算法类似于在双重网络上运行反向传播,使得Hessian逆的应用变得非常高效。这一发现有望作为随机梯度下降的预条件子,解决深度学习优化中的长期难题,大幅提升模型训练速度和收敛性。
原文链接:Hacker News
研究显示,深度网络海森矩阵的逆矩阵计算存在一种高效的线性时间算法。传统方法计算复杂度随层数呈立方级增长,极不实用,而新方法利用矩阵多项式结构实现了分解优化。该算法类似于在双重网络上运行反向传播,使得Hessian逆的应用变得非常高效。这一发现有望作为随机梯度下降的预条件子,解决深度学习优化中的长期难题,大幅提升模型训练速度和收敛性。
原文链接:Hacker News
评论前必须登录!
立即登录 注册