1- 检查直觉

将一个数据集划分为训练集和测试集，可以对一个样本集进行训练，然后使用不同的样本集测试模型。工作流程如下：

在“调整模型”阶段，可以调整学习速率、添加或移除特征，到从头开始设计全新模型。
可以看到使用测试集和训练集来推动模型开发迭代，在每次迭代时，都会对训练数据进行训练并评估测试数据，并以基于测试数据的评估结果为指导来选择和更改各种模型超参数，例如学习速率和特征。

不过，当进行多轮超参数调整时，仅使用两类数据可能不太够。以上方法可能存在的问题：

多次重复执行该流程可能导致不知不觉地拟合特定测试集的特性。也就是说，基于给定测试集执行评估的次数越多，不知不觉地过拟合该测试集的风险就越高。

2- 另一个划分

将单个数据集划分为三个子集，可以大幅降低过拟合的发生几率。

使用验证集评估训练集的效果。然后，在模型“通过”验证集之后，使用测试集再次检查评估结果。工作流程如下：

在此工作流程中：

选择在验证集上获得最佳效果的模型。
使用测试集再次检查该模型。

该工作流程之所以更好，原因在于它暴露给测试集的信息更少。

提示

不断使用测试集和验证集会使其逐渐失去效果。
也就是说，使用相同数据来决定超参数设置或其他模型改进的次数越多，对于这些结果能够真正泛化到未见过的新数据的信心就越低。
请注意，验证集的失效速度通常比测试集缓慢。

如果可能的话，建议收集更多数据来“刷新”测试集和验证集。重新开始是一种很好的重置方式。

3- 练习

xxx

4- 关键词

过拟合 (overfitting)
创建的模型与训练数据过于匹配，以致于模型无法根据新数据做出正确的预测。

测试集 (test set)
数据集的子集，用于在模型经由验证集的初步验证之后测试模型。
与训练集和验证集相对。

训练集 (training set)
数据集的子集，用于训练模型。
与验证集和测试集相对。

验证集 (validation set)
数据集的一个子集，从训练集分离而来，用于调整超参数。
与训练集和测试集相对。