deep_learning_6.过拟合-暂退法(Dropout)
暂退法(Dropout)模型的泛化性越强,要求模型对其输入的微小变化越不敏感,也就是对噪声的适应能力越强。 那么关键是如何加入这种噪声,一种想法是无偏差(unbiased)的方式注入噪声。这样在固定住其他层时,每一层的期望值等于没有噪声时的值。我们把这种方法叫做暂退法。 暂退法其实就是在训练过程中丢弃(drop out)一些神经元。 在整个训练过程的每一次迭代中,标准暂退法包括在计算下一层之前将当