看了丕子博客里(http://www.zhizhihu.com/html/y2013/4414.html)的L1、L2损失、正则,想到了svm中的目标函数,先列一下博客里的内容
什么是损失,什么是正则;什么是L1,什么是L2。一会儿是L1正则,一会儿是L2损失。
总结:L1或者L2就是某种范数(线性代数和矩阵的基本概念),既可以用于损失又可以用于正则化参数。
损失是衡量预测值和真实值的差异,正则是控制所求参数的量级。
svm中的目标函数
看一下这个式子,后面一个式子指的就是L1损失,前面那个呢,指的就是L2正则化。
之前我们在用线性回归和逻辑回归的时候,为了增强模型的泛化能力,会对模型加一个L1或者L2的正则,前面的最小二乘法表达的式子是L2损失