为什么对于有约束优化问题求解一般都要使用对偶形式？ 在许多机器学习模型中，如最大熵模型、SVM模型，在使用拉格朗日乘数法求解有约束优化问题时，都会选择使…
最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？ 经常看到资料上这么写，谁能给出详细点的解释，比如在几何方面上的解释
利用梯度下降法求解为什么损失值先下降一段时间，后逐渐上升 梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为。
