梯度下降法和共轭梯度法有何异同？ 一道考研题 共轭方向法（不一定是共轭梯度）的思想就是在N维优化问题中，每次沿一个方向优化得到极小值，后面再沿其他方向求极小值的时候，不会影响前面已经得到的沿那些。
中间梯度法
梯度下降法极小值为什么要求二阶导数 当然不是这样的，我们遇到的函数基本上都是初等函数，所以我们做大部分函数的极限时，是直接把x0代入函数式，得到值就可以了。但是这并不代表所有的函数都是这样。如果不是初等函数（很少遇到，一般是人为设定的分段函数），就不能这样做了。
梯度下降法和随机梯度下降法的区别 梯度下降和随机梯度下降之间的关键区别：1、标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的。2、在标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算。3、标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长。4、如果标准误差曲面有多个局部极小值，随机梯度下降有时可能避免陷入这些局部极小值中。相关知识：1、梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。缺点：（1）靠近极小值时收敛速度减慢。（2）直线搜索时可能会产生一些问题。（3）可能会“之字形”地下降。2、随机并行梯度下降算法，简称SPGD算法。作为一种无模型优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。
梯度法求目标函数f(x)=x1^2+x2^2-x1x2-10x1-4x2+60的极小值 grandf（x）=（2x1-x2-10，2x2-x1-4）令两个部分分别为0；得到x1=8，x2=6；f（x）=4.
共轭梯度法求解 共轭梯度法-正文 又称共轭斜量法，是解线性代数方程组和非线性方程组的1种数值方法，例如对线性代数方程组A尣＝？(1)式中A为n阶矩阵，尣和？为n维列向量，当A对称正定时，可以。
共轭梯度法求解 共轭梯度法-正文 又称共轭斜量法，是解线性代数方程组和非线性方程组的一种数值方法，例如对线性代数方程组 A尣＝？，(1)式中A为n阶矩阵，尣和？为n维列向量，当A对称正定时，。
