一个成熟合格的深度学习训练流程至少具备以下功能：

  • 在训练集上进行训练，并在验证集上进行验证；
  • 模型可以保存最优的权重，并读取权重；
  • 记录下训练集和验证集的精度，便于调参。

4.1 学习目标

  • 理解验证集的作用，并使用训练集和验证集完成训练
  • 学会使用Pytorch环境下的模型读取和加载，并了解调参流程

模型过拟合的情况有很多种原因，其中最为常见的情况是模型复杂度（Model Complexity ）太高，导致模型学习到了训练数据的方方面面，学习到了一些细枝末节的规律。

解决上述问题最好的解决方法：构建一个与测试集尽可能分布一致的样本集（可称为验证集），在训练过程中不断验证模型在验证集上的精度，并以此控制模型的训练。

  • 训练集（Train Set）：模型用于训练和调整模型参数；
  • 验证集（Validation Set）：用来验证模型精度和调整模型超参数；
  • 测试集（Test Set）：验证模型的泛化能力。

那么如何划分本地验证集？

IMG

  • 留出法（Hold-Out）

直接将训练集划分成两部分，新的训练集和验证集。这种划分方式的优点是最为直接简单；缺点是只得到了一份验证集，有可能导致模型在验证集上过拟合。留出法应用场景是数据量比较大的情况。

  • 交叉验证法（Cross Validation，CV）

将训练集划分成K份，将其中的K-1份作为训练集，剩余的1份作为验证集，循环K训练。这种划分方式是所有的训练集都是验证集，最终模型验证精度是K份平均得到。这种方式的优点是验证集精度比较可靠，训练K次可以得到K个有多样性差异的模型；CV验证的缺点是需要训练K次，不适合数据量很大的情况。

  • 自助采样法（BootStrap）

通过有放回的采样方式得到新的训练集和验证集，每次的训练集和验证集都是有区别的。这种划分方式一般适用于数据量较小的情况。

在本次赛题中已经划分为验证集，因此选手可以直接使用训练集进行训练，并使用验证集进行验证精度（当然你也可以合并训练集和验证集，自行划分验证集）。

4.2 模型训练与验证

在本节我们目标使用Pytorch来完成CNN的训练和验证过程，CNN网络结构与之前的章节中保持一致。我们需要完成的逻辑结构如下：

  • 构造训练集和验证集；
  • 每轮进行训练和验证，并根据最优验证集精度保存模型。

注意：Google colab 最好将文件放到/home/目录下，否认直接读取google driver文件速度很慢，取决于网络I/O

模型调参流程

深度学习原理少但实践性非常强，基本上很多的模型的验证只能通过训练来完成。同时深度学习有众多的网络结构和超参数，因此需要反复尝试。训练深度学习模型需要GPU的硬件支持，也需要较多的训练时间，如何有效的训练深度学习模型逐渐成为了一门学问。

深度学习有众多的训练技巧，比较推荐的阅读链接有：

http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html
http://karpathy.github.io/2019/04/25/recipe/

本节挑选了常见的一些技巧来讲解，并针对本次赛题进行具体分析。与传统的机器学习模型不同，深度学习模型的精度与模型的复杂度、数据量、正则化、数据扩增等因素直接相关。所以当深度学习模型处于不同的阶段（欠拟合、过拟合和完美拟合）的情况下，大家可以知道可以什么角度来继续优化模型。

在参加本次比赛的过程中，我建议大家以如下逻辑完成：

1.初步构建简单的CNN模型，不用特别复杂，跑通训练、验证和预测的流程；

2.简单CNN模型的损失会比较大，尝试增加模型复杂度，并观察验证集精度；

3.在增加模型复杂度的同时增加数据扩增方法，直至验证集精度不变。