ISTA算法求解L1正则化问题

正则表达式 前端之家
前端之家收集整理的这篇文章主要介绍了ISTA算法求解L1正则化问题，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

L1正则化问题：
@H_301_4@

min@H_301_4@@H_301_4@@H_301_4@x@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@+@H_301_4@λ@H_301_4@∥@H_301_4@x@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@

若 @H_301_4@ f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 可导，且 @H_301_4@ f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 满足 L-Lipschitz条件，即存在常数 @H_301_4@ L@H_301_4@>@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 使得

@H_301_4@

∥@H_301_4@∇@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@′@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@−@H_301_4@∇@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@≤@H_301_4@L@H_301_4@∥@H_301_4@x@H_301_4@@H_301_4@@H_301_4@′@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@−@H_301_4@x@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@(@H_301_4@∀@H_301_4@x@H_301_4@,@H_301_4@@H_961_301@x@H_301_4@@H_301_4@@H_301_4@′@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@

则在 @H_301_4@ x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 附近可将 @H_301_4@ f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 二阶taylor展开近似为：
@H_301_4@
@H_974_403@@H_575_404@f@H_301_4@@H_301_4@@H_301_4@@H_301_4@^@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@≃@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@+@H_301_4@⟨@H_301_4@∇@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@@H_57_502@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@,@H_301_4@x@H_301_4@−@H_301_4@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@⟩@H_301_4@@H_301_4@+@H_301_4@L@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∥@H_301_4@x@H_301_4@−@H_301_4@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@=@H_301_4@L@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∥@H_301_4@x@H_301_4@@H_403_643@−@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@−@H_301_4@1@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∇@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@)@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@+@H_301_4@c@H_301_4@o@H_301_4@n@H_301_4@s@H_301_4@t@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@

上式的最小值为：
@H_301_4@
x@H_301_4@=@H_301_4@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@−@H_301_4@1@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∇@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@0@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@

若通过梯度下降法对@H_301_4@ f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@进行最小化，则每一步迭代等价于最小化二次函数@H_301_4@ f@H_301_4@@H_301_4@@H_301_4@@H_301_4@^@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@.

L1正则化问题的迭代公式为：
@H_301_4@

x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@+@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@=@H_301_4@arg@H_301_4@@H_301_4@min@H_301_4@@H_301_4@@H_301_4@x@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∥@H_301_4@x@H_301_4@−@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@−@H_301_4@1@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∇@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@)@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@+@H_301_4@λ@H_301_4@∥@H_301_4@x@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@

令 @H_301_4@ z@H_301_4@@H_301_4@=@H_301_4@x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@−@H_301_4@1@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∇@H_301_4@f@H_301_4@@H_301_4@(@H_301_4@x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@)@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ ,然后求解：
@H_301_4@
x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@+@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@=@H_301_4@arg@H_301_4@@H_301_4@min@H_301_4@@H_301_4@@H_301_4@x@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@∥@H_301_4@x@H_301_4@−@H_301_4@z@H_301_4@@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@2@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@+@H_301_4@λ@H_301_4@∥@H_301_4@x@H_301_4@∥@H_301_4@@H_301_4@@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@

解得：
@H_301_4@
x@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@k@H_301_4@+@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@=@H_301_4@⎧@H_301_4@@H_301_4@⎩@H_301_4@@H_301_4@⎨@H_301_4@@H_301_4@⎪@H_301_4@@H_301_4@⎪@H_301_4@@H_301_4@⎪@H_301_4@@H_301_4@⎪@H_301_4@@H_301_4@@H_301_4@@H_301_4@z@H_301_4@@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@−@H_301_4@λ@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@,@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@0@H_301_4@,@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@z@H_301_4@@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@+@H_301_4@λ@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@,@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_502_1611@λ@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@<@H_301_4@z@H_301_4@@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@|@H_301_4@@H_301_4@@H_301_4@z@H_301_4@@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@|@H_301_4@@H_301_4@@H_301_4@≤@H_301_4@λ@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@λ@H_301_4@@H_301_4@@H_301_4@L@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@>@H_301_4@z@H_301_4@@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@

其中， @H_301_4@ x@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@k@H_301_4@+@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 与 @H_301_4@ z@H_301_4@@H_301_4@@H_301_4@@H_301_4@i@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 分别是 @H_301_4@ x@H_301_4@@H_301_4@@H_301_4@k@H_301_4@+@H_301_4@1@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 与 @H_301_4@ z@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 的第 @H_301_4@ i@H_301_4@@H_301_4@@H_301_4@@H_301_4@@H_301_4@ @H_301_4@ 个分量。

猜你在找的正则表达式相关文章

常用正则表达式-手机号、身份证、邮箱
一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^d{n}$ 3 至少n位的数字：^d{n,}$ 4...
JS正则表达式详解
正则表达式非常有用，查找、匹配、处理字符串、替换和转换字符串，输入输出等。下面整理一...
组内正则培训记录
0. 注： 不同语言中的正则表达式实现都会有一些不同。下文中的代码示例除特别说明的外，都...
高级正则表达式技术（Python版）
 正则表达式是从信息中搜索特定的模式的一把瑞士军刀。它们是一个巨大的工具库，其中的...
史上最全最常用的正则表达式
一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,...
正则表达式工具
正则表达式初步
分享5个可视化的正则表达式编辑工具
　　正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编...
分享5个可视化的正则表达式编辑工具
正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器...
[知识积累]--正则表达式记忆表
在工作中常常遇到正则表达式问题，有时候又会忘记这则的语法。 下面就分享一份正则表达式记...
算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript