arXiv:2503.24322 (cs) [2025年3月31日提交]

Title:NoProp: Training Neural Networks without Back-propagation or Forward-propagation

Authors:Qinyu Li, Yee Whye Teh, Razvan Pascanu

查看由 Qinyu Li 和其他两位作者撰写的论文 NoProp: Training Neural Networks without Back-propagation or Forward-propagation 的 PDF 版本。 View PDF HTML (experimental)

摘要：用于学习的经典深度学习方法需要在每一层计算梯度项，通过将误差信号从输出反向传播到每个可学习的参数。鉴于神经网络的堆叠结构，其中每一层都建立在下面一层的表示之上，这种方法导致了分层表示。更抽象的特征位于模型的顶层，而较低层的特征预计不那么抽象。与此相反，我们介绍了一种名为 NoProp 的新学习方法，它不依赖于前向或后向传播。相反，NoProp 从扩散和流匹配方法中获得灵感，其中每一层独立地学习对嘈杂的目标进行去噪。我们相信这项工作朝着引入一种新的无梯度学习方法迈出了第一步，该方法不会学习分层表示——至少不是通常意义上的。NoProp 需要预先将每一层的表示固定为目标的噪声版本，学习一种可以在推理时利用的局部去噪过程。我们展示了我们的方法在 MNIST、CIFAR-10 和 CIFAR-100 图像分类基准上的有效性。我们的结果表明，NoProp 是一种可行的学习算法，与其他现有的无反向传播方法相比，它可以实现更高的准确性，更易于使用且计算效率更高。通过脱离传统的基于梯度的学习范式，NoProp 改变了网络中信用分配的方式，从而实现了更有效的分布式学习，并可能影响学习过程的其他特征。

Subjects: | Machine Learning (cs.LG); Machine Learning (stat.ML) ---|--- Cite as: | arXiv:2503.24322 [cs.LG] (or arXiv:2503.24322v1 [cs.LG] for this version) https://doi.org/10.48550/arXiv.2503.24322 Focus to learn more arXiv-issued DOI via DataCite (pending registration)

Submission history

From: Qinyu Li [view email] [v1] Mon, 31 Mar 2025 17:08:57 UTC (1,263 KB)

Full-text links:

Access Paper:

View a PDF of the paper titled NoProp: Training Neural Networks without Back-propagation or Forward-propagation, by Qinyu Li and 2 other authors