最小二乘法学习二

前端之家收集整理的这篇文章主要介绍了最小二乘法学习二前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

上一篇基本最小二乘法和带部分空间约束的最小二乘法,它们要么易过拟合,要么不易求解,下面介绍 l2约束的最小二乘法,又叫正则化最小二乘法,岭回归。

一个模型的复杂程度与系数有关,最简单的模型是直接给所有系数赋值为0,则该模型总会预测出0值,模型虽然足够简单,但是没有意义,因为它不能有效预测。

定义模型的复杂度为:

由于我们的目的是使模型不要过于复杂,所以让上述值小是有意义的,因此新的目标函数为:



前一项为数据拟合程度的惩罚项,数据拟合的越好,该项值越小,但是也有可能过于拟合样本数据导致模型过于复杂;后一项为模型复杂程度的惩罚项,当模型越复杂,该项值越大,即为了最小化目标函数,我们要让数据拟合的好同时模型不至于太复杂。其实就是在基本最小二乘法的目标函数增加了一个正则化项,所谓正则化,可以看为函数光滑性。将上式目标函数进行参数求偏微分,解得:

下面从参数空间约束的角度介绍 L2 约束的最小二乘法。


L2约束的最小二乘法是以参数空间的原点为圆心,在一定半径范围内(一般为超球)内进行参数求解。

转化为拉格朗日对偶问题为:


目标函数形式与前面分析是一致的。

下面对下面高斯核模型执行L2约束下的最小二乘学习。实例如下;

带宽h = 0.25 正则化参数λ 设置为0.1.其中,绿色曲线是基本最小二乘法结果,红色曲线是正则化下的最小二乘结果。通过加入正则项,使过拟合现象得到很好地抑制。

带宽 h 和正则化参数λ 值的选取会直接影响最终结果,为了得到更好的学习效果,应该选择合适的带宽和正则化参数。

%高斯核模型L2约束的最小二乘法学习
clear all;
close all;

n = 60;
N = 1000;
x = linspace(-4,4,n)';
X = linspace(-4,N)';
pix = pi*x;
y = sin(pix)./(pix) + 0.1*x + 0.05*randn(n,1);

x2 = x.^2;
X2 = X.^2;
hh = 2*0.25^2;%高斯核函数带宽 0.3
e =0.1;%正则化参数

k = exp(-(repmat(x2,1,n)+repmat(x2',n,1)-2*x*x')/hh);
K = exp(-(repmat(X2,N,1)-2*X*x')/hh);
t1 = k\y;
F1 = K*t1;
t2 = (k^2+1*eye(n))\(k*y);
F2 = K*t2;

figure(1);
clf;
hold on;
axis([-4 4 -0.5 1.2]);
plot(X,F1,'g-');
plot(x,y,'bo');
plot(X,F2,'r--');



一点总结:

本文先介绍了基本的最小二乘法,基于其易过拟合,介绍了部分空间约束的最小二乘法和L2约束(正则化)的最小二乘法,是的过拟合现象得到了一定缓解。但是,它们都需要选择合适的正交投影矩阵P 对参数空间选择 和正则化参数选择抑制模型复杂度。此外,对于线性模型的基函数选择和以及核函数参数也需要选择。

从机器学习的角度来说,我们要做的其实就是一种问题真实模型的逼近。我们将训练样本的模型输出与真实结果之间的差值定义为经验风险,我们需要得到一个模型,而又没有定义模型好坏的标准,直观的说,我们能想到最简单的标准就是经验风险最小化,前面所做的其实也就是对经验风险平方和最小化的求解。

这种思想其实就是用训练样本(真实世界的一部分样本)的经验风险去逼近真实风险,数学上的以局部估计整体的思想,虽不一定正确,但也是一种选择。

事实上,对于有监督学习来说,我们学习的目的不在于记忆输入训练样本,而是对未知的测试输入样本也能正确的得到输出。所以,并不是要训练样本的误差越小越好,因为训练样本的数目远远不及真实的所有样本量。上面实验中的绿色曲线为了使误差最小,基本经过了每一个点,但是它的预测效果是相当差的。我们既要克服过拟合又要得到较好的泛化能力,这个折中问题就是偏差-方差平衡。(下面关于偏差-方差的内容来自http://scott.fortmann-roe.com/docs/BiasVariance.html)

偏差:描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据,如下图第二行所示。

方差:描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,数据的分布越分散,如下图右列所示。


一个很形象的例子如下(引用知乎网友回答)

想象你开着一架黑鹰直升机,得到命令攻击地面上一只敌军部队,于是你连打数十梭子,结果有一下几种情况:
1.子弹基本上都打在队伍经过的一棵树上了,连在那棵树旁边等兔子的人都毫发无损,这就是方差小(子弹打得很集中),偏差大(跟目的相距甚远)。
2.子弹打在了树上,石头上,树旁边等兔子的人身上,花花草草也都中弹,但是敌军安然无恙,这就是方差大(子弹到处都是),偏差大(同1)。
3.子弹打死了一部分敌军,但是也打偏了些打到花花草草了,这就是方差大(子弹不集中),偏差小(已经在目标周围了)。
4.子弹一颗没浪费,每一颗都打死一个敌军,跟抗战剧里的八路军一样,这就是方差小(子弹全部都集中在一个位置),偏差小(子弹集中的位置正是它应该射向的位置)。

一个算法如果逐渐提高对训练数据的适应性(如加入更多的模型参数使模型更复杂),那么它会很好地拟合数据,趋于更小的偏差,但是会导致更大的方差。相反,如果这个模型参数较少,通常偏差较大,数据拟合性能相对不太还,但是拟合的程度对于不同数据集变化不会太大,方差较低。

一个实际有效克服过拟合的方法是交叉验证法,把训练样本中的一部分拿出来不进行学习,而作为测试样本进行最终学习结果的评价。


参考文献:《Pattern Classfication》

《机器学习基础教程》

《图解机器学习》

原文链接:https://www.f2er.com/regex/360193.html

猜你在找的正则表达式相关文章