今天想在网络中设置一下正则化项,百度了好久,发现caffe中的正则化情况如下:
caffe提供了两种正则化,L1和L2,其中L2正则化项是默认存在的,在caffe.proto中可以找到,如下
// regularization types supported: L1 and L2@H_403_5@ // controlled by weight_decay@H_403_5@ optional string regularization_type = 29 [default = "L2"];
说明caffe默认使用的是L2正则化
那么,我在solver文件中将它设为L1岂不就是L1正则化了。虽然我在网上没有直接的solver文件可以参考,不过试了试,确实是这样子,,,,具体就是在solver文件中加下面一句:
regularization_type: "L1"@H_403_5@
@H_403_5@
还有个点是 weight_decay 是乘在正则化向前面,控制正则化项在损失函数中所占权重的。
@H_403_5@
http://blog.csdn.net/wkk15903468980/article/details/66570674