deep_learning_4.模型选择&欠拟合和过拟合

模型选择

在机器学习中，我们通常在评估几个候选模型后选择最终的模型。 这个过程叫做模型选择。 有时，需要进行比较的模型在本质上是完全不同的（比如，决策树与线性模型）。

又有时，我们需要比较不同的超参数设置下的同一类模型。

例如，训练多层感知机模型时，我们可能希望比较具有 不同数量的隐藏层、不同数量的隐藏单元以及不同的激活函数组合的模型。 为了确定候选模型中的最佳模型，我们通常会使用验证集。

验证集

原则上，在我们确定所有的超参数之前，我们不希望用到测试集。 如果我们在模型选择过程中使用测试数据，可能会有过拟合测试数据的风险

因此，我们决不能依靠测试数据进行模型选择。 然而，我们也不能仅仅依靠训练数据来选择模型，因为我们无法估计训练数据的泛化误差。

虽然理想情况下我们只会使用测试数据一次， 以评估最好的模型或比较一些模型效果，但现实是测试数据很少在使用一次后被丢弃。 我们很少能有充足的数据来对每一轮实验采用全新测试集。

解决此问题的常见做法是将我们的数据分成三份， 除了训练和测试数据集之外，还增加一个验证数据集（validation dataset）， 也叫验证集（validation set）。

但现实是验证数据和测试数据之间的边界模糊得令人担忧。

K 折交叉验证

当训练数据稀缺时，我们甚至可能无法提供足够的数据来构成一个合适的验证集。 这个问题的一个流行的解决方案是采用K折交叉验证。 这里，原始训练数据被分成K个不重叠的子集。 然后执行K次模型训练和验证，每次在K−1个子集上进行训练， 并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。 最后，通过对K次实验的结果取平均来估计训练和验证误差。

欠拟合和过拟合

当我们比较训练和验证误差时，我们要注意两种常见的情况。

首先，当训练误差和验证误差都很严重， 且它们之间仅有一点差距。 如果模型不能降低训练误差，这可能意味着模型过于简单（即表达能力不足）， 无法捕获试图学习的模式。 此外，由于我们的训练和验证误差之间的泛化误差很小， 我们有理由相信可以用一个更复杂的模型降低训练误差。 这种现象被称为欠拟合（underfitting）。

另一方面，当我们的训练误差明显低于验证误差时要小心， 这表明严重的过拟合（overfitting）。 注意，过拟合并不总是一件坏事。 特别是在深度学习领域，众所周知， 最好的预测模型在训练数据上的表现往往比在保留（验证）数据上好得多。 最终，我们通常更关心验证误差，而不是训练误差和验证误差之间的差距。

对于模型的欠拟合和过拟合有两个重要的影响因素：第一，模型复杂度，第二，数据集大小

• 当数据集大小不变时，模型越复杂过拟合程度就会越高，也就是在训练集上的误差小，在测试集上的误差相差较大

• 另一个重要因素是数据集的大小。 训练数据集中的样本越少，我们就越有可能（且更严重地）过拟合。 随着训练数据量的增加，泛化误差通常会减小。 此外，一般来说，更多的数据不会有什么坏处。

对于固定的任务和数据分布，模型复杂性和数据集大小之间通常存在关系。 给出更多的数据，我们可能会尝试拟合一个更复杂的模型。 能够拟合更复杂的模型可能是有益的。 如果没有足够的数据，简单的模型可能更有用。

对于许多任务，深度学习只有在有数千个训练样本时才优于线性模型。 从一定程度上来说，深度学习目前的生机要归功于 廉价存储、互联设备以及数字化经济带来的海量数据集。

欠拟合过拟合实验

import math
import numpy as np
import torch
from torch import nn
!pip install d2l
from d2l import torch as d2l

max_degree = 20 # 多项式的最大阶数
n_train,n_test = 100, 100 # 训练和测试数据集的大小
true_w = np.zeros(max_degree)
true_w[0:4] = np.array([5,1.2,-3.4,5.6])

features = np.random.normal(size=(n_train+n_test,1))
np.random.shuffle(features)
poly_features = np.power(features,np.arange(max_degree).reshape(1,-1))

for i in range(max_degree):
  poly_features[:,i] /= math.gamma(i+1) # gamma(n) = (n-1)!

labels = np.dot(poly_features,true_w)
labels += np.random.normal(scale=0.1,size=labels.shape)

true_w,features,poly_features,labels = [torch.tensor(x,dtype=torch.float32) for x in [true_w,features,poly_features,labels]]

features[:2],poly_features[:2,:],labels[:2]

def evaluate_loss(net,data_iter,loss):
  metirc = d2l.Accumulator(2)
  for X,y in data_iter:
    out = net(X)
    y = y.reshape(out.shape)
    l = loss(out,y)
    metirc.add(l.sum(),l.numel())
  return metirc[0] / metirc[1]

def train(train_features, test_features, train_labels, test_labels,
          num_epochs=400):
    loss = nn.MSELoss(reduction='none')
    input_shape = train_features.shape[-1]
    # 不设置偏置，因为我们已经在多项式中实现了它
    net = nn.Sequential(nn.Linear(input_shape, 1, bias=False))
    batch_size = min(10, train_labels.shape[0])
    train_iter = d2l.load_array((train_features, train_labels.reshape(-1,1)),
                                batch_size)
    test_iter = d2l.load_array((test_features, test_labels.reshape(-1,1)),
                               batch_size, is_train=False)
    trainer = torch.optim.SGD(net.parameters(), lr=0.01)
    animator = d2l.Animator(xlabel='epoch', ylabel='loss', yscale='log',
                            xlim=[1, num_epochs], ylim=[1e-3, 1e2],
                            legend=['train', 'test'])
    for epoch in range(num_epochs):
        d2l.train_epoch_ch3(net, train_iter, loss, trainer)
        if epoch == 0 or (epoch + 1) % 20 == 0:
            animator.add(epoch + 1, (evaluate_loss(net, train_iter, loss),
                                     evaluate_loss(net, test_iter, loss)))
    print('weight:', net[0].weight.data.numpy())

# matplotlib版本过高，会导致下面画图报错，故而降低版本
! pip uninstall matplotlib
! pip install matplotlib==3.0.0

三阶多项式函数拟合(正常)

# 从多项式特征中选择前4个维度，即1,x,x^2/2!,x^3/3!
train(poly_features[:n_train, :4], poly_features[n_train:, :4],
      labels[:n_train], labels[n_train:])

线性函数拟合(欠拟合)

高阶多项式函数拟合(过拟合)

小结

• 欠拟合是指模型无法继续减少训练误差。过拟合是指训练误差远小于验证误差。
• 由于不能基于训练误差来估计泛化误差，因此简单地最小化训练误差并不一定意味着泛化误差的减小。机器学习模型需要注意防止过拟合，即防止泛化误差过大。
• 我们应该选择一个复杂度适当的模型，避免使用数量不足的训练样本。

Q&A

1. k则交叉验证中的k怎么确定？

k在能承受的计算成本里面，k越大越好

2. 模型参数和超参数不一样吗？

模型参数是这w和b，超参数是指学习率，如果是多层感知机选择多少层

3. 类别不平衡怎么办？

可以把验证数据集平衡一下，或者可以加权重

4. k折交叉验证的目的是确定超参数吗？然后还要用这个超参数再训练一遍全数据吗？

最常见的做法是k折验证之后确定超参数，整个数据集上再全部训练一次

第二个做法是，不再训练了，就在k折中找出训练最好的那一折模型拿出来

第三种做法是，验证的k个模型全部拿出来，测试数据集对k个模型每一个都测一次，然后把预测结果取均值。坏处是代价变成k倍了，之前只用过一遍，现在要过k遍了，但好处是说模型稳定性更好了，因为你做了一个voting。

5. 为什么svm打败了多层感知机，后来深度学习cnn又打败了svm呢？

学术界其实就是赶时髦，svm打败了多层感知机是因为不那么要调参，并且有数学理论，有人推就火了。深度学习打败svm是实际效果很好，精度高了很多。其实也不要纠结这个事情，学术界这个东西可能今天火了的东西，明天又不火了。一波又一波的

6. 如果训练是不平衡的，是否先考虑测试集是否也是不平衡的，再去决定是否使用一个平衡的验证集？

首先要考虑真实的世界中，是不是一类就是百分之九十，剩下的一类就是百分之十。如果是因为采样的原因，你就应该吧小的那个百分之十的权重提升