机器学习:正则化

前端之家收集整理的这篇文章主要介绍了机器学习:正则化前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

**************************************

注:本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后,不进行总结很容易遗忘,根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容

**************************************

正则化

过拟合问题

拟合问题举例-线性回归之房价问题:

下图左中右分别是:欠拟合、合适的拟合、过拟合

什么是过拟合(Overfitting):

如果我们有非常多的特征,那么所学的Hypothesis有可能对训练集拟合的非常好,但是对于新数据预测的很差。


拟合问题举例-逻辑回归:

与上一个例子相似,依次是欠拟合,合适的拟合以及过拟合:


过拟合问题往往源自过多的特征,例如房价问题,如果我们定义了如下的特征:

对于训练集,拟合的会非常完美:


所以针对过拟合问题,通常会考虑两种途径来解决


成本函数

依然从房价预测问题开始,这次采用的是多项式回归:

我们可以从之前的事例中看出,正是那些高次项导致了过拟合的产生,所以如果我们能让这些高次项的系数接近0的话,我们就能很好的拟合了。


我们要做的就是在一定程度上减小θ3、θ4的值,这就是正则化的基本方法。我们要做的便是修改代价函数,在其中θ3和θ4 设置一点惩罚。这样做的话,我们在尝试最小化代价时也需要将这个惩罚纳入考虑中,并最终导致选择较小一些的θ3和θ4。


这样在最小化Cost function的时候

正则化

参数θ1 θ2 θ3……θn取小一点的值,这样的优点:

-“简化”的hypothesis;

-不容易过拟合;

对于房价问题:


对除θ0以外的参数进行惩罚,也就是正则化:


其中λ又称为正则化参数(Regularization Parameter)。根据惯例,我们不对θ0 进行惩罚。经过正则化处理的模型与原模型的可能对比如下图所示:


对于正则化的线性回归模型来说,我们选择θ来最小化如下的正则化成本函数


因为如果我们令λ的值很大的话,为了使 Cost Function 尽可能的小,所有的θ的值(不包括θ0)都会在一定程度上减小。 但若λ的值太大了,那么θ(不包括θ0)都会趋近于 0,这样我们所得到的只能是一条平行于 x轴的直线。 所以对于正则化,我们要取一个合理的λ的值,这样才能更好的应用正则化。

正则化线性回归

正则化线性回归的代价函数为:


我们的目标依旧是最小化J(θ),由于正则化后的线性回归Cost function有了改变,因此梯度下降算法也需要相应的改变:


我们同样也可以利用正规方程来求解正则化线性回归模型,方法如下所示:


正则化逻辑回归模型

同样对于逻辑回归,我们也给代价函数增加一个正则化的表达式


要最小化该代价函数,通过求导,得出梯度下降算法为:


******************

作者:hao_09

时间:2015/8/11

文章地址:http://www.jb51.cc/article/p-ypvaggkb-kr.html

******************

原文链接:https://www.f2er.com/regex/360078.html

猜你在找的正则表达式相关文章