有很多笔者从各种角度解释这三个名词，我想从一个自顶向下的角度解释这三个东西
1、一般而言，一个机器学习训练过程是对一个被称作“训练集”（Train Set）的样本集进行计算。
就我所见，一个训练过程在达到一定epoch或者早停条件后停止训练。这里一个epoch就是对一个训练集完整训练一次的过程。
如果是神经网络算法里，那训练集中的所有训练样本在神经网络中都进行了一次正向传播 和一次反向传播。
2、我们深入到一个epoch的里面，通常会将一个训练集进行分片，分成若干个batch，所以“batchsize”这个参数就是指一个batch的样本量。
对每一个batch进行训练和梯度计算。
3、如果一个batch训练一轮（通常是一轮即可）就更新一次参数，那一个batch训练一轮就是一个Iteration
mnist 数据集有
张图片作为训练数据，
张图片作为测试数据。假设现在选择 Batch_Size = 
对模型进行训练。迭代
次。
- 每个 Epoch 要训练的图片数量：(训练集上的所有图像)
- 训练集具有的 Batch 个数：
- 每个 Epoch 需要完成的 Batch 个数：
- 每个 Epoch 具有的 Iteration 个数：（完成一个Batch训练，相当于参数迭代一次）
- 每个 Epoch 中发生模型权重更新的次数：
- 训练 10 个Epoch后，模型权重更新的次数：
- 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
- 总共完成30000次迭代，相当于完成了
个Epoch
(参考：https://www.jianshu.com/p/22c50ded4cf7?from=groupmessage)