ZKX's LAB

为什么正则化相当于约束优化 机器学习中使用正则化来防止过拟合是什么原理?

2021-04-27知识3

机器学习中常常提到的正则化到底是什么意思? 这个概念是从统计里来的。正则项的目的在于,惩罚病态的参数。参数长的越奇怪,惩罚就越重。比如在线性回…

机器学习中使用正则化来防止过拟合是什么原理? https://www.coursera.org/learn/machine-learning/?source=phoenixCdp2016AbTest?siteID=Gr6prw2kaB0-YT06BCP_.HYx.BqznFbkaA&;utm_content=10&;utm_medium=。

什么是tikhonov正则化方法 定义:正则化(regularization),是指在线性代数理论中,不适定问题通常是由一组线性代数方程定义的,而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。另外给出一个解释性定义:对于线性方程Ax=b,当解x不存在或者解不唯一时,就是所谓的病态问题(ill-posed problem).但是在很多时候,我们需要对病态问题求解,那怎么做?对于解不存在的情况,解决办法是增加一些条件找一个近似解;对于解不唯一的情况,解决办法是增加一些限制缩小解的范围。这种通过增加条件或限制要求求解病态问题的方法就是正则化方法。正则化的英文是regularization,即规则化,调整。通过一些调整或者其他办法,使病态问题也能得到唯一解。在这个调整的过程中,使用的技术就是正则化技术,所用的方法就是正则化方法。求解线性方程的标准方法是最小二乘法,即求解min向左转|向右转,对于病态的线性方程,吉洪诺夫提出使用向左转|向右转的方法,向左转|向右转叫做吉洪诺夫矩阵

#为什么正则化相当于约束优化

随机阅读

qrcode
访问手机版