原创申明：本文为SIGAI原创文章，仅供个人学习使用，未经准许，不能用于商业目的。
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，复旦学院出版社，雷明著，由SIGAI公众号作者鼎力构筑。
序言
牛顿法是数值优化算法中的你们族，她和她的改进型在好多实际问题中得到了应用。在机器学习中，牛顿法是和梯度增长法地位相当的的主要优化算法。在本文中，SIGAI将为你们深入浅出的系统述说牛顿法的原理与应用。
牛顿法的起源
牛顿法以伟大的德国科学家牛顿命名，牛顿除了是伟大的化学学家，是近代化学的奠基人，还是伟大的物理家，他和法国物理家莱布尼兹并列发明了微积分，这是物理历史上最有划时代意义的成果之一，奠定了近代和现代物理的基石。在物理中牛顿定律的理解，也有好多以牛顿命名的公式和定律，牛顿法就是其中之一。
牛顿法除了可以拿来求解函数的极值问题，还可以拿来求解多项式的根，两者在本质上是一个问题，由于求解函数极值的思路是找寻行列式为0的点，这就是求解多项式。在本文中，我们介绍的是求解函数极值的牛顿法。
在SIGAI之前关于最优方式的系列文章“理解梯度增长法”，“理解凸优化”中，我们介绍了最优化的基本概念和原理，以及迭代法的思想，假如对这种概念还不清楚，请先阅读这两篇文章。和梯度增长法一样，牛顿法也是找寻行列式为0的点，同样是一种迭代法。核心思想是在某点处用二次函数来近似目标函数，得到行列式为0的多项式，求解该多项式，得到下一个迭代点。由于是用二次函数近似，因而可能会有偏差，须要反复这样迭代，直至抵达行列式为0的点处。下边我们开始具体的推论，先考虑一元函数的情况，之后推广到多元函数。
一元函数的情况
为了能让你们更好的理解推论过程的原理，首先考虑一元函数的情况。依据一元函数的泰勒展开公式，我们对目标函数在x0点处做泰勒展开，有：
假如忽视2次以上的项，则有：
如今我们在x0点处牛顿定律的理解，要以它为基础，找到行列式为0的点，即行列式为0。对前面方程两侧同时导数，并令行列式为0，可以得到下边的等式：
可以解得：
这样我们就得到了下一点的位置，因而走到x1。接出来重复这个过程，直至抵达行列式为0的点，由此得到牛顿法的迭代公式：
给定初始迭代点x0，反复用前面的公式进行迭代，直至达到行列式为0的点或则达到最大迭代次数。
多元函数的情况
下边推广到多元函数的情况，若果读者对梯度，的概念还不清楚，请先去看微积分教材，或则阅读SIGAI之前关于最优化的公众号文章。按照多元函数的泰勒展开公式，我们对目标函数在x0点处做泰勒展开，有：
忽视二次及以上的项，并对上式两侧同时求梯度，得到函数的求导（梯度向量）为：
其中
即为矩阵，在前面我们写成H。令函数的梯度为0，则有：
这是一个线性多项式组的解。假如将梯度向量缩写为g，里面的公式可以缩写为：
从初始点x0处开始，反复估算函数在处的矩阵和梯度向量，之后用下列公式进行迭代：
最终会抵达函数的驻点处。其中
