如何才能直观解释正则化减少过拟合的原理?
(1)过拟合
以下图为例。High Bias(高偏差)就是欠拟合,High Variance(高方差)就是过拟合。
为了将过拟合的模型变为正好(Just Right),从图中直观上来看,只需要减小高次项的权重。
这就是降低过拟合的直观理解。从数学上,我们用正则化
来降低模型的过拟合程度。
(2)正则化
简单来说,所谓正则化,就是在原Cost Fucntion上添加正则化项
(如下图)。
正则化项
能减少模型的非线性程度,从而降低模型的过拟合。从图中来看,正则化项
能将过拟合的模型(蓝色)变为Just Right的模型(粉红色)。
(3)为什么正则化有效?
分情况讨论
- A. 对于线性模型,其添加了
正则化项
的Cost Function如下图。
直观的理解,如果我们的正则化系数(lambda)无穷大,则权重w就会趋近于0。权重变小,非线性程度自然就降低了。
- B. 对于神经网络,其激活函数(以tanh为例)如下图
直观的理解,如果我们的正则化系数(lambda)无穷大,则权重w就会趋近于0。权重变小,激活函数输出z变小。z变小,就到了激活函数的线性区域
,从而降低了模型的非线性化程度。
参考
Andrew NG的视频