为什么L1正则项产生稀疏的权重，L2正则项产生相对平滑的权重

L1 和L2正则项的定义如下：
$L 1 = \sum_{i} | w_{i} | L 2 = \sum_{i} (w_{i})^{2}$ $L1 = \sum_{i} |w_i|\\ L2 = \sum_{i} (w_i)^2 @H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@</li> <li>首先我们先计算一下他们对应的导数，导入如下所示： <div class="MathJax_Display"> <mfrac><mrow><mi mathvariant="normal">&#x2202;</mi><mi>L</mi><mn>1</mn></mrow><mrow><mi mathvariant="normal">&#x2202;</mi><msub><mi>w</mi><mi>i</mi></msub></mrow>@H_316_<a href="/tag/301/" target="_blank" class="keywords">301</a>@<mo>=</mo><mn>1</mn><mi>o</mi><mi>r</mi><mo>&#x2212;</mo><mn>1</mn><mo stretchy="false">&#x2192;</mo><msubsup><mi>w</mi><mi>i</mi><mrow class="MJX-TeXAtom-ORD"><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><msubsup><mi>w</mi><mi>i</mi><mi>t</mi></msubsup><mo>+</mo><mi>&#x03B7;</mi><mrow class="MJX-TeXAtom-ORD"><mo stretchy="false">(</mo><mo>&#x2212;</mo><mn>1</mn><mi>o</mi><mi>r</mi><mn>1</mn><mo stretchy="false">)</mo></mrow><mspace linebreak="newline" /><mfrac><mrow><mi mathvariant="normal">&#x2202;</mi><mi>L</mi><mn>2</mn></mrow><mrow><mi mathvariant="normal">&#x2202;</mi><msub><mi>w</mi><mi>i</mi></msub></mrow>@H_316_<a href="/tag/301/" target="_blank" class="keywords">301</a>@<mo>=</mo><msub><mi>w</mi><mi>i</mi></msub><mo stretchy="false">&#x2192;</mo><msubsup><mi>w</mi><mi>i</mi><mrow class="MJX-TeXAtom-ORD"><mi>t</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mo>=</mo><msubsup><mi>w</mi><mi>i</mi><mi>t</mi></msubsup><mo>+</mo><mi>&#x03B7;</mi><msub><mi>w</mi><mi>i</mi></msub></math>" role="presentation"> ∂L1@H_<a href="/tag/301/" target="_blank" class="keywords">301</a>_451@∂wi=1or−1→wt+1i=wti+η(−1or1)∂L2∂wi=wi→wt+1i=wti+ηwi <math xmlns="http://www.w3.org/1998/Math/MathML" display="block"> <mfrac> <mrow> <mi mathvariant="normal"> ∂ </mi> <mi> L </mi> <mn> 1 </mn> </mrow> <mrow> <mi mathvariant="normal"> ∂ </mi> <msub> <mi> w </mi> <mi> i </mi> </msub> </mrow> @H_316_<a href="/tag/301/" target="_blank" class="keywords">301</a>@ <mo> = </mo> <mn> 1 </mn> <mi> o </mi> <mi> r </mi> <mo> − </mo> <mn> 1 </mn> <mo stretchy="false"> → </mo> <msubsup> <mi> w </mi> <mi> i </mi> <mrow class="MJX-TeXAtom-ORD"> <mi> t </mi> <mo> + </mo> <mn> 1 </mn> </mrow> </msubsup> <mo> = </mo> <msubsup> <mi> w </mi> <mi> i </mi> <mi> t </mi> </msubsup> <mo> + </mo> <mi> η </mi> <mrow class="MJX-TeXAtom-ORD"> <mo stretchy="false"> ( </mo> <mo> − </mo> <mn> 1 </mn> <mi> o </mi> <mi> r </mi> <mn> 1 </mn> <mo stretchy="false"> ) </mo> </mrow> <mspace linebreak="newline"></mspace> <mfrac> <mrow> <mi mathvariant="normal"> ∂ </mi> <mi> L </mi> <mn> 2 </mn> </mrow> <mrow> <mi mathvariant="normal"> ∂ </mi> <msub> <mi> w </mi> <mi> i </mi> </msub> </mrow> @H_316_<a href="/tag/301/" target="_blank" class="keywords">301</a>@ <mo> = </mo> <msub> <mi> w </mi> <mi> i </mi> </msub> <mo stretchy="false"> → </mo> <msubsup> <mi> w </mi> <mi> i </mi> <mrow class="MJX-TeXAtom-ORD"> <mi> t </mi> <mo> + </mo> <mn> 1 </mn> </mrow> </msubsup> <mo> = </mo> <msubsup> <mi> w </mi> <mi> i </mi> <mi> t </mi> </msubsup> <mo> + </mo> <mi> η </mi> <msub> <mi> w </mi> <mi> i </mi> </msub> </math> </div><script type="math/tex; mode=display" id="MathJax-Element-1443"> \frac{\partial L1}{\partial w_i} = 1 or -1 \rightarrow w^{t+1}_i = w^t_i + \eta {(-1 or 1)}\\ \frac{\partial L2}{\partial w_i} = w_i \rightarrow w^{t+1}_i = w^t_i + \eta w_i @H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@</li> <li>所以我们看到L1每次更新的时候会更新一个定值，那么若干次迭代之后，权重就有可能减少为0。但是L2每个更新的时候更新的值的大小和<msub><mi>w</mi><mi>i</mi></msub></math>" role="presentation" style="position: relative;"> wi <math xmlns="http://www.w3.org/1998/Math/MathML"> <msub> <mi> w </mi> <mi> i </mi> </msub> </math><script type="math/tex" id="MathJax-Element-1444">w_i@H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@ 的值是有关系的。当<msub><mi>w</mi><mi>i</mi></msub></math>" role="presentation" style="position: relative;"> wi <math xmlns="http://www.w3.org/1998/Math/MathML"> <msub> <mi> w </mi> <mi> i </mi> </msub> </math><script type="math/tex" id="MathJax-Element-1445">w_i@H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@ 趋近与0时，那么对应的导数值也会更新，所以他会不停的接近0，但并不会是0。此外，我们还可以得到，L2相对L1更稳定一些。</li> <li>L1 产生0的权重也可以起到特征选择的作用，假设我们有<msub><mi>X</mi><mn>0</mn></msub><mo>.</mo><mo>.</mo><mo>.</mo><msub><mi>X</mi><mi>i</mi></msub><mo>.</mo><mo>.</mo><mo>.</mo><msub><mi>X</mi><mi>n</mi></msub></math>" role="presentation" style="position: relative;"> X0...Xi...Xn <math xmlns="http://www.w3.org/1998/Math/MathML"> <msub> <mi> X </mi> <mn> 0 </mn> </msub> <mo> . </mo> <mo> . </mo> <mo> . </mo> <msub> <mi> X </mi> <mi> i </mi> </msub> <mo> . </mo> <mo> . </mo> <mo> . </mo> <msub> <mi> X </mi> <mi> n </mi> </msub> </math><script type="math/tex" id="MathJax-Element-1446">X_0...X_i...X_n@H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@ n个特征，通过分配不同的权重<msub><mi>w</mi><mn>0</mn></msub><mo>.</mo><mo>.</mo><mo>.</mo><msub><mi>w</mi><mi>i</mi></msub><mo>.</mo><mo>.</mo><mo>.</mo><msub><mi>w</mi><mi>n</mi></msub></math>" role="presentation" style="position: relative;"> w0...wi..@H_<a href="/tag/403/" target="_blank" class="keywords">403</a>_1238@.wn <math xmlns="http://www.w3.org/1998/Math/MathML"> <msub> <mi> w </mi> <mn> 0 </mn> </msub> <mo> . </mo> <mo> . </mo> <mo> . </mo> <msub> <mi> w </mi> <mi> i </mi> </msub> <mo> . </mo> <mo> . </mo> <mo> . </mo> <msub> <mi> w </mi> <mi> n </mi> </msub> </math><script type="math/tex" id="MathJax-Element-1447">w_0...w_i...w_n@H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@，然后使用L1 来做特征选择。</li> <li>L2 可以迅速产生接近0的权值，但并不是0，所以会比较平滑。</li> <li>此外，我们还可以从几何的角度来理解。 <ul> <li>假设我们的Loss<a href="/tag/hanshu/" target="_blank" class="keywords">函数</a>是<mo stretchy="false">(</mo><mi>y</mi><mo>&#x2212;</mo><mi>w</mi><mi>x</mi><msup><mo stretchy="false">)</mo><mn>2</mn></msup></math>" role="presentation" style="position: relative;"> (y−wx)2 <math xmlns="http://www.w3.org/1998/Math/MathML"> <mo stretchy="false"> ( </mo> <mi> y </mi> <mo> − </mo> <mi> w </mi> <mi> x </mi> <msup> <mo stretchy="false"> ) </mo> <mn> 2 </mn> </msup> </math><script type="math/tex" id="MathJax-Element-1448">(y - wx)^2@H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@,那么我们的几何解释如下图所示：</li> <li></li> <li>其中左图表示L1，右图表示L2。绿色代表的是loss的等高线，<msub><mi>w</mi><mn>1</mn></msub><mo>,</mo><msub><mi>w</mi><mn>2</mn></msub></math>" role="presentation" style="position: relative;"> w1,w2 <math xmlns="http://www.w3.org/1998/Math/MathML"> <msub> <mi> w </mi> <mn> 1 </mn> </msub> <mo>,</mo> <msub> <mi> w </mi> <mn> 2 </mn> </msub> </math><script type="math/tex" id="MathJax-Element-1449">w_1,w_2@H_<a href="/tag/404/" target="_blank" class="keywords">404</a>_274@ 在L1中的取值空间如左图的菱形所示。在L2中的取值空间如右图的圆形所示。从等高线和取值空间的交点可以看到L1更容易倾向一个权重偏大一个权重为0。L2更容易倾向权重都较小。</li> </ul></li> <li><a href="javascript:void()" class="outlink" data="/link?url=https://vimsky.com/article/969.html" rel="nofollow" target="_blank">主要参考</a></li> </ul></div> <div class="topcard-tags"></div> <ul class="list-group"> <li class="list-group-item"><a href="/regex/357608.html" title="正则表达式匹配整数和正整数">上一篇：正则表达式匹配整数和正整数</a><a href="/regex/357606.html" title="邮箱/邮件地址的正则表达式及分析(JavaScript，email，regex)" class="text-muted pull-right">下一篇：邮箱/邮件地址的正则表达式及分析(</a> </li> </ul> </div> </div> </div>  <div class="row row-sm"> <div class="col-sm-12 col-md-12 col-lg-12"> <div class="card"> <ins class="adsbygoogle" style="display:block" data-ad-format="autorelaxed" data-ad-client="ca-pub-4605373693034661" data-ad-slot="9144498553"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({});$

为什么L1正则项产生稀疏的权重，L2正则项产生相对平滑的权重

猜你在找的正则表达式相关文章