随机梯度下降法到底是什么？ 随机梯度下降主要用来求解类似于如下求和形式的优化问题： 梯度下降法： 当 很大时，每次迭代计算所有的 会非常。Optimization Methods for Large-Scale Machine Learning：。
最优化问题的简洁介绍是什么？ 因为有人问我，为什么学习机器学习必须要看最优化的书。我没有想到最合适的解答。从抄了一段，但…
优化方法的理论体系 主要有确定极值点所在区间的进退法（应用推论1）、一维盲人探路法（在进退法基础上增加一个模块）、一阶导数符号法（应用推论2）等。。（二）多维无约束优化方法。。
