正则化的具体理解

前端之家收集整理的这篇文章主要介绍了正则化的具体理解前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

对于正则化,个人很不明白其具体的含义,直到今天,我突然对正则化有了一些顿悟,用来跟大家分享


说到正则化,我们先弄明白几个概念:1.欠拟合 2.合适拟合 3.过拟合


从字面意义上说,大家对这3个概念都不陌生,具体说一下过拟合,如果我们有非常多的特征,那么通过学习得到的拟合方程有可能对训练集拟合的非常好 J(θ)=1mmi=112(hθ(x(i))y(i))20 但是对于新数据预测的很差,这就是过拟合。


而正则化,就是针对过拟合的问题提出来的,想要解决过拟合的问题有2种方法,1是降低特征的数量,此方法看似简单,其实不然,想减少特征又要把那些对结果影响大的特征保留不是一件容易的事,第二种方法就是我们今天的主题,正则化。

正则化的思路与降低维数的思路是一样的,不同在于他并没有降低特征的数量,而是减少了特征的维数。正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量。


如上图所示,左边是一个合适的拟合,而右边则是一个过拟合,直观来看我们需要做的就是将 x3,x4

的影响消除,简单的做法就是将原有的成本函数加上2个很大的惩罚项,使后两项的参数约为0。




上式就是一个正则化的成本函数,其中拉马达,我们的目标就是最小化上式。

这就是正则化的基本含义。

猜你在找的正则表达式相关文章