1.简介
Batch Normalization,对每一层的输出,在每一次 mini-batch 传播后做归一化处理,通过减少上一层的输出变化来加速收敛.
好处:
Batch Normalization 让我们可以使用更大的学习率,初值可以更随意。它起到了正则项的作用,在某些情况下,有它就不需要使用Dropout了。
2.原理
3.常用库的相应方法
3.1 keras
model.add(BatchNormalization())
,直接添加进去就可以.
3.2 tf
参考
- 他人博客,论文笔记-Batch Normalization @H_403_27@