keras中训练数据的几种方式对比(fit和fit_generator)

一、train_on_batch

model.train_on_batch(batchX, batchY)

train_on_batch函数接受单批数据，执行反向传播，然后更新模型参数，该批数据的大小可以是任意的，即，它不需要提供明确的批量大小，属于精细化控制训练模型，大部分情况下我们不需要这么精细，99%情况下使用fit_generator训练方式即可，下面会介绍。

二、fit

model.fit(x_train, y_train, batch_size=32, epochs=10)

fit的方式是一次把训练数据全部加载到内存中，然后每次批处理batch_size个数据来更新模型参数，epochs就不用多介绍了。这种训练方式只适合训练数据量比较小的情况下使用。

三、fit_generator

利用Python的生成器，逐个生成数据的batch并进行训练，不占用大量内存，同时生成器与模型将并行执行以提高效率。例如，该函数允许我们在CPU上进行实时的数据提升，同时在GPU上进行模型训练

接口如下：

fit_generator(self, generator, steps_per_epoch, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_q_size=10, workers=1, pickle_safe=False, initial_epoch=0)

• generator：生成器函数
• steps_per_epoch：整数，当生成器返回steps_per_epoch次数据时，计一个epoch结束，执行下一个epoch。也就是一个epoch下执行多少次batch_size。
• epochs：整数，控制数据迭代的轮数，到了就结束训练。
•  callbacks=None,  list，list中的元素为keras.callbacks.Callback对象，在训练过程中会调用list中的回调函数

举例：

def generate_arrays_from_file(path):
            while True:
                with open(path) as f:
                    for line in f:
                        # create numpy arrays of input data
                        # and labels, from each line in the file
                        x1, x2, y = process_line(line)
                        yield ({'input_1': x1, 'input_2': x2}, {'output': y})
 
model.fit_generator(generate_arrays_from_file('./my_folder'),
                            steps_per_epoch=10000, epochs=10)