深度学习并没有那么神秘或与众不同：对 Deep Learning 的再思考
arXiv:2503.02113 (cs) [2025年3月3日提交]
Title: Deep Learning is Not So Mysterious or Different
查看由 Andrew Gordon Wilson 撰写的题为“Deep Learning is Not So Mysterious or Different”的论文 PDF 文件。 View PDF HTML (experimental)
摘要：深度神经网络经常被认为与其他模型类别不同，因为它违背了传统的泛化概念。常见的异常泛化行为的例子包括良性过拟合、双重下降以及过度参数化的成功。我们认为，这些现象并非神经网络所独有，也并非特别神秘。而且，这种泛化行为可以通过诸如 PAC-Bayes 和可数假设边界等长期存在的泛化框架进行直观理解和严格描述。我们将软归纳偏差作为解释这些现象的关键统一原则：与其限制假设空间以避免过拟合，不如拥抱一个灵活的假设空间，并软性偏好与数据一致的更简单的解决方案。这个原则可以编码在许多模型类别中，因此，正如它可能看起来的那样，深度学习并没有像其他模型类别那样神秘或不同。但是，我们也强调了深度学习在其他方面相对独特，例如其表征学习能力、诸如模式连通性之类的现象以及其相对普遍性。
主题：| 机器学习 (cs.LG); 机器学习 (stat.ML) ---|--- 引用方式：| arXiv:2503.02113 [cs.LG] (或 arXiv:2503.02113v1 [cs.LG] 对于此版本) https://doi.org/10.48550/arXiv.2503.02113 通过 DataCite 了解更多 arXiv 发布的 DOI
提交历史
来自: Andrew Wilson [查看电子邮件] [v1] 2025年3月3日，星期一，22:56:04 UTC (1,206 KB) 全文链接：
访问论文：
查看由 Andrew Gordon Wilson 撰写的题为“Deep Learning is Not So Mysterious or Different”的论文 PDF 文件。
查看许可 当前浏览上下文： cs.LG < 上一个 | 下一个 > new | recent | 2025-03 更改为按以下内容浏览： cs stat stat.ML