deep_learning_7.数值稳定性和模型初始化

到目前为止，我们实现的每个模型都是根据某个预先指定的分布来初始化模型的参数。这样比较容易忽略模型初始值对训练的影响。 选择哪个函数以及如何初始化参数可以决定优化算法收敛的速度有多快。 糟糕选择可能会导致我们在训练时遇到梯度爆炸或梯度消失。 梯度消失和梯度爆炸当初始值选取的点不一样时，就会造成梯度消失或者是梯度爆炸的情况 所谓梯度消失是指，梯度的值在很小的范围内变化，导数接近于平滑的直线。 梯度爆炸
Deep Learning
#Deep Learning

deep_learning_6.过拟合-暂退法(Dropout)

暂退法（Dropout）模型的泛化性越强，要求模型对其输入的微小变化越不敏感，也就是对噪声的适应能力越强。 那么关键是如何加入这种噪声，一种想法是无偏差（unbiased）的方式注入噪声。这样在固定住其他层时，每一层的期望值等于没有噪声时的值。我们把这种方法叫做暂退法。 暂退法其实就是在训练过程中丢弃（drop out）一些神经元。 在整个训练过程的每一次迭代中，标准暂退法包括在计算下一层之前将当
Deep Learning
#Deep Learning

deep_learning_5.过拟合-权重衰减法

出现过拟合的现象，是数据集的大小不能够支撑现有的模型。除了收集更多的数据外（大多数情况耗时短期内不可能做到），可以引入正则化来处理过拟合的问题。 正则化正则化一般分为两种，一种是L1范数，一种是L2范数。L2正则化线性模型构成经典的岭回归（ridge regression）算法， L1正则化线性回归是统计学中类似的基本模型， 通常被称为套索回归（lasso regression）。 为什么我们首
Deep Learning
#Deep Learning

deep_learning_4.模型选择&欠拟合和过拟合

模型选择在机器学习中，我们通常在评估几个候选模型后选择最终的模型。 这个过程叫做模型选择。 有时，需要进行比较的模型在本质上是完全不同的（比如，决策树与线性模型）。 又有时，我们需要比较不同的超参数设置下的同一类模型。 例如，训练多层感知机模型时，我们可能希望比较具有 不同数量的隐藏层、不同数量的隐藏单元以及不同的激活函数组合的模型。 为了确定候选模型中的最佳模型，我们通常会使用验证集。 验证集
Deep Learning
#Deep Learning