L1范数正则化
编辑 锁定- 中文名
- L1范数正则化
- 外文名
- L1 regularization
- 别名
- 稀疏规则算子
- 别名
- lasso
目录
L1范数正则化L1范数的定义
编辑
L1范数（L1 norm）是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。
比如 向量
， 那么A的L1范数为
L1范数正则化L1范数正规化原理
编辑L1范数正则化成本函数的构建原理
例如我们有一个数学模型的样子(structure)，
，其中x是输入，y是输出。
如果我们已知
，那么我们可以根据任何输入x的值，知道输出y的值。这叫预测(prediction)。
因此，问题进化为，我们手里有很对很多组x对应的y，但是不知道
！我们想通过测量很多组的x和y，来推断出
为多少。
我们将
T记为
，
记为
。
那么原式则写为
若
那么
因此我们现在知道
和
，我们希望通过计算得到
！
我们构建一个方程，这个方程也是最小二乘法的核心
L1范数正则化用最小二乘法学习的问题
如果我们的问题是‘黑箱’（black Box） （即 我们既不知道数学模型，也不知道参数），在拟合时，我们就不知道我们需要用几阶的多项式模型来逼近（或者几个核函数来逼近（kernel function），为了简便，不在这里赘述）。那么我们甚至连
的个数都不知道。
我们只能通过尝试和专家经验来猜测阶数。如果我们的阶数猜测多了，就会多出很多冗余的项。我们希望这些冗余项对应的权值
为0，这样我们就知道哪些项是无关的，是冗余的项。
但是只用最小二乘法确定
时，可能所有的
的绝对值都极其巨大，这是很正常的现象，但是它使得我们无法剔除无关项，得到的模型也毫无实际意义，模型处于ill-condition状态 (即输入很小的变化，就会引起输出病态的巨大的变化)。
L1范数正则化最大复杂度模型+L1正规化（惩罚项）
@H_502_225@
