经验风险和 结构风险

前端之家收集整理的这篇文章主要介绍了经验风险和 结构风险前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
@H_403_0@ 经验风险最小化(empirical risk):对于训练样本:[(x1,y1),(x2,y2),...,(xn,yn)] 经验风险定义为训练的模型输出与实际输出的平均损失。记做: ,也即为预测值与实际值的平均误差;当样本数较少的时候,容易造成过拟合。

@H_403_0@ 结构风险最小化(structural risk minimization):相当于对经验风险函数加上正则化条件,约束条件和模型的复杂度有关,方程为:----------其中:J(f)是模型复杂度函数;当lambda取值过小时,由前项决定,在样本数较少的时候训练出模型阶次较高,从而造成过拟合;当lambda取值过大的时候,由后项决定,最小化模型复杂度函数,从而使模型阶数过低(最小化J(f)函数),从而造成欠拟合。

@H_403_0@ 所以,结构风险最小化 是权衡训练样本的平均预测误差与模型的复杂度

猜你在找的正则表达式相关文章