一、概述
在前面的线性回归和逻辑回归都，都用到非线性的拟合，看似特征多项式的阶次越高（即特征值数量越多），拟合程度越好，但是，拟合程度越好的就真的好吗。
1.1过度拟合
下面看一个线性回归的例子
上图中的第一个图是不成功的拟合，第三个图就叫做是过度拟合，这样看来，如果把过度拟合的用来判断的话，会存在很大的误差。这样，过度拟合就是如果我们有太多的特征值，在训练的时候能达到很高的拟合度，但是用来预测的时候效果却不好。
避免过度拟合的办法有两种：
1.减少特征量的数量
2.正则化（regularization）
二、正则化（regularization）
由上面那个例子看到，怎么避免过度拟合呢？我们只有把θ3和θ4设置城足够的小的值，就近似于忽略掉了 x^3和 x^4项
那么怎么实行正则化呢：
可以理解为在使得 θi最小的情况下的最好的拟合。
那么在梯度下降中，θj的迭代表达式为：
相当于对于每个θj 进行了缩小比例
原文链接：https://www.f2er.com/regex/361036.html