arXiv:2501.14787 (math) [2025年1月7日提交]

标题: Matrix Calculus (for Machine Learning and Beyond)

作者：Paige Bright, Alan Edelman, Steven G. Johnson

查看由 Paige Bright 和其他两位作者撰写的题为 Matrix Calculus (for Machine Learning and Beyond) 的论文 PDF 版本。 查看 PDF HTML (实验性)

摘要：本课程面向熟悉初等微积分和线性代数的本科生，介绍了微分 calculus 到更一般的向量空间上的函数的扩展，例如将矩阵作为输入并返回矩阵逆或分解的函数，ODE 解的导数，甚至随机函数的随机导数。它强调实际的计算应用，例如大规模优化和机器学习，其中必须重新构想导数，以便在复杂的计算中传播。 本课程还讨论了导致“adjoint”或“reverse-mode”微分（又名“backpropagation”）的效率问题，并对现代自动微分 (AD) 技术进行了温和的介绍。

注释：| MIT 短期课程 18.063 "Matrix Calculus" 的讲义，基于 2023 年 1 月讲授的课程（也可在 MIT OpenCourseWare 上找到） ---|--- 主题：| 历史和概述 (math.HO); 机器学习 (cs.LG); 数值分析 (math.NA); 机器学习 (stat.ML) 引用为：| arXiv:2501.14787 [math.HO] (或 arXiv:2501.14787v1 [math.HO] 用于此版本) https://doi.org/10.48550/arXiv.2501.14787 通过 DataCite 了解更多关于 arXiv 发布的 DOI 的信息。

提交历史

来自：Steven G. Johnson [查看电子邮件] [v1] 星期二，2025年1月7日 18:38:35 UTC (938 KB) 全文链接：

访问论文：

查看由 Paige Bright 和其他两位作者撰写的题为 Matrix Calculus (for Machine Learning and Beyond) 的论文 PDF 版本。