求解无约束非线性最优化问题的最速下降法会产生\ 最速下降算法的不足最速下降算法也有其不足之处其中一个比较严重的问题就是存在所谓的锯齿现象.锯齿现象是指算法中迭代点的移动呈“之”字形成锯齿形状.当xk很接近极小点X时移动步长很小这就影响了算法的收敛速率.出现这种现象的原因在于最速下降算法中相邻两个迭代点的搜索方向是正交的.
牛顿法求解无约束最优化问题的方法 B6公式是从B2对x求导得到的pk是定义的方向，沿着负梯度方向，后面是证明这样确实是f(x)减小的方向。这些在《数值计算》这些书里都有。
在MATLAB中用神经网络算法求解无约束最优化问题 程序一：GA训练BP权值的主函数 function net=GABPNET(XX，YY)%使用遗传算法对BP网络权值阈值进行优化，再用BP算法训练网络%数据归一化预处理 nntwarn off XX=[1：19；2：20；3：21；4：22]'；YY=[1：4]；XX=premnmx(XX)；YY=premnmx(YY)；YY%创建网络 net=newff(minmax(XX)，[19，25，1]，{'tansig'，'tansig'，'purelin'}，'trainlm')；下面使用遗传算法对网络进行优化 P=XX；T=YY；R=size(P，1)；S2=size(T，1)；S1=25；隐含层节点数 S=R*S1+S1*S2+S1+S2；遗传算法编码长度 aa=ones(S，1)*[-1，1]；popu=50；种群规模 save data2 XX YY%是将 xx，yy 二个变数的数值存入 data2 这个MAT-file，initPpp=initializega(popu，aa，'gabpEval')；初始化种群 gen=100；遗传代数%下面调用gaot工具箱，其中目标函数定义为gabpEval[x，endPop，bPop，trace]=ga(aa，'gabpEval'，[]，initPpp，[1e-6 1 1]，'maxGenTerm'，gen，.'normGeomSelect'，[0.09]，['arithXover']，[2]，'nonUnifMutation'，[2 gen 3])；绘收敛曲线图 figure(1)plot(trace(：，1)，1./trace(：，3)，'r-')；hold on plot(trace(：，1)，1./trace(：，2)，'b-')；xlabel('Generation')；ylabel('Sum-Squared Error')；figure(2)plot(trace(：，1)，trace(：，3)，'r-')；hold on plot。
