卡尔曼滤波与梯度下降法、牛顿法等最优化方法的区别是什么？ JHU 553.633 Monte Carlo Methods，course websitehttps：// sites.google.com/site/j hu553633/ Rubinstein，R.Y.，&Kroese，D.P.(2016).Simulation and the Monte Carlo method。
批量梯度下降法一定可以到全局最优点吗 Linear Regression 的cost function如下：是一个凸函数，也就是一个类似于开口向上的碗，它一定有最小值，并且只有一个局部极小值，那么你用梯度下降方法逐步更新theta的时候：拟合函数最终一定会收敛到全局最优解如果损失函数是非凸函数则不一定，因为参数初值的设置必然影响最终收敛的位置，能否达到全局最优解主要取决于参数初值的设置。批量梯度下降法就是最普通的梯度下降法而已，相比于随机梯度下降法来说只是更容易收敛到全局最优点，这是由于批量操作在一定程度上起到了淹没噪声影响的作用。但是，批量梯度下降法在损失函数为非凸函数的情况下仍然不能保证一定可以达到全局最优点。
梯度下降算法 如何避免局部最优 单纯的梯度下降算法是收敛于局部最优解的，如果要求实现全局最优解的话可以考虑加入退火算法或者遗传算法之类的思想，简单说就是在搜索过程中不但有基于梯度下降的方向，同时也融入少量的逆向搜索，最终设定一个收敛域即可.
