GAN原理手写数据集生成

本文转载自查看原文 2021-06-20 10:12 155

GAN原理介绍

GAN 来源于博弈论中的零和博弈，博弈双方，分别为生成模型与判别模型。
生成模型G捕捉样本数据的分布，用服从某一分布例如正太，高斯分布的噪声z来生成一个类似真实训练数据的样本，追求的效果是越像真实越好。
判别模型是一个二分类器，判别样本来自于训练数据还是真实数据的概率。如果来自于真实样本输出大概率，如果来自于训练数据，输出小概率。

实例demo

以造小狗的假图片为例。首先生成小狗图片的模型，称之为generator，还有一个判断小狗图片是否是真假的判别模型 discrimator。
首先输入一个的噪声，然后送入生成器，生成器的生成假图
把真图与假图。进行拼接，然后打上标签，真图标签是1,假图标签是0，送入鉴别器，鉴别器输出属于真实样本与训练样本的概率。

实际GAN（手写数据集为例）

数据预处理

导入函数库

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
import matplotlib.pyplot as plt

划分数据集

(train_image,train_labels),_=keras.datasets.mnist.load_data()

数据类型转换于归一化[-1,1]

train_images=2*tf.cast(train_image,tf.float32)/255.-1

expand_dims 设置通道,-1 加一维

train_images=2*tf.cast(train_image,tf.float32)/255.-1
# expand_dims 设置通道,-1 加一维
train_images=tf.expand_dims(train_images,-1)
train_images.shape

常用参数设置与数据集生成

Batch_Size=256
# 每回使用256
Buffer_Size=60000 #乱序范围
# 构建demo使用的数据集
dataset=tf.data.Dataset.from_tensor_slices(train_images).shuffle(Buffer_Size).batch(Batch_Size)

GAN模型的生成器与鉴别器构建

定义图片生成器
BatchNormalization()计算出当前batch的每个channel的均值mean，计算出当前batch的每个channel的方差variance，令输入减去均值再除以标准差delta，得到normalized输出x-hat，最后乘以scale参数gamma，加上shift参数beta，得到最终变换后的输出y
https://www.jianshu.com/p/437fb1a5823e
Keras中使用如Leaky ReLU等高级激活函数的方法
https://blog.csdn.net/hesongzefairy/article/details/86707352

def generator_model():
  # 第一层
  model=tf.keras.Sequential()
  # 100->256
  # 第一层
  model.add(layers.Dense(256,input_shape=(100,),use_bias=False))
  model.add(layers.BatchNormalization())
  model.add(layers.LeakyReLU())
  # 第二层
  #256->512
  model.add(layers.Dense(512,use_bias=False))
  model.add(layers.BatchNormalization())
  model.add(layers.LeakyReLU())
  # 第三层
  #512->28*28
  model.add(layers.Dense(28*28,use_bias=False,activation="tanh"))
  model.add(layers.BatchNormalization())
  model.add(layers.Reshape([28,28,1]))
  
  return model

定义判别器

def discriminator_model():
  model=tf.keras.Sequential()
  # 第一层
  model.add(layers.Flatten())
  model.add(layers.Dense(512,use_bias=False))
  model.add(layers.BatchNormalization())
  model.add(layers.LeakyReLU())
  # 第二层
  model.add(layers.Dense(512, use_bias=False))
  model.add(layers.BatchNormalization())
  model.add(layers.LeakyReLU())
  model.add(layers.Dense(1))
  # 输出一个值
  return model

设置损失函数

定义优化器

generator_opt=tf.keras.optimizers.Adam(0.0001)
discriminator_opt=tf.keras.optimizers.Adam(0.0001)
cross_entropy=keras.losses.BinaryCrossentropy(from_logits=True)

计算判别器损失

def discriminator_loss(real_out,fake_out):
  real_loss=cross_entropy(tf.ones_like(real_out),real_out)
  fake_loss=cross_entropy(tf.zeros_like(fake_out),fake_out)
  return real_loss+fake_loss

计算生成器损失

def generator_loss(fake_out):
    fake_loss = cross_entropy(tf.ones_like(fake_out), fake_out)
    return fake_loss

定义训练step

Epochs=100
input_dim=100
num_exp_to_generate=16
# 生成16*100
seed=tf.random.normal([num_exp_to_generate,input_dim])
# 定义训练步骤
generator=generator_model()
discriminator=discriminator_model()
def train_step(images):
  noise=tf.random.normal([Batch_Size,input_dim])
  with tf.GradientTape() as gen_tape,tf.GradientTape() as dis_tape:
    real_out=discriminator(images)
    gen_img=generator(noise)
    fake_out=discriminator(gen_img)
    dis_loss=discriminator_loss(real_out,fake_out)
    gen_loss=generator_loss(fake_out) 
    # 梯度下降参数计算
    gen_gard=gen_tape.gradient(gen_loss,generator.trainable_variables)
    dis_gard=dis_tape.gradient(dis_loss,discriminator.trainable_variables)
    # 进行参数更新，并反传
    discriminator_opt.apply_gradients(zip(dis_gard,discriminator.trainable_variables))
    generator_opt.apply_gradients(zip(gen_gard, generator.trainable_variables))
# 绘制训练后的图
def genrate_plot_image(gen_model,test_noise):
    pre_images=gen_model(test_noise,training=False)
    fig=plt.figure(figsize=(8,6))
    for i in range(pre_images.shape[0]):
        plt.subplot(4,4,i+1)
        plt.imshow((pre_images[i,:,:,0]+1)/2*255.)
        plt.axis('off')
    plt.show()

epoch设置

def train(dataset,epochs):
for epoch in range(epochs):
print(epoch)
for image_batch in dataset:
train_step(image_batch)
print(epoch)
if epoch%10==0:
print(epoch)
genrate_plot_image(generator,seed)

main函数

if __name__ == '__main__':
    train(dataset,500)

0
0
0

output_34_1

output_34_3

output_34_5

output_34_7

output_34_9

output_34_11

output_34_13

output_34_15

output_34_17

output_34_19

output_34_21

output_34_23

output_34_25

output_34_27

output_34_29

output_34_31

output_34_33

output_34_35

output_34_37

output_34_39

output_34_41

output_34_43

output_34_45

output_34_47

output_34_49

output_34_51

output_34_53

output_34_55

output_34_57

output_34_59

output_34_61

output_34_63

output_34_65

output_34_67

output_34_69

output_34_71

output_34_73

output_34_75

output_34_77

output_34_79

output_34_81

output_34_83

output_34_85

output_34_87

output_34_89

output_34_91

output_34_93

output_34_95

output_34_97

output_34_99

生成器描述

generator.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense (Dense)                (None, 256)               25600     
_________________________________________________________________
batch_normalization (BatchNo (None, 256)               1024      
_________________________________________________________________
leaky_re_lu (LeakyReLU)      (None, 256)               0         
_________________________________________________________________
dense_1 (Dense)              (None, 512)               131072    
_________________________________________________________________
batch_normalization_1 (Batch (None, 512)               2048      
_________________________________________________________________
leaky_re_lu_1 (LeakyReLU)    (None, 512)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 784)               401408    
_________________________________________________________________
batch_normalization_2 (Batch (None, 784)               3136      
_________________________________________________________________
reshape (Reshape)            (None, 28, 28, 1)         0         
=================================================================
Total params: 564,288
Trainable params: 561,184
Non-trainable params: 3,104
_________________________________________________________________

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 【pytorch】基于mnist数据集的dcgan手写数字生成实现 Python 3 生成手写体数字数据集 GAN——生成手写数字 PyTorch手写数字识别(MNIST数据集) TensorFlow——MNIST手写数据集手写数字识别-小数据集 LSTM实现手写数据集手写数字识别-小数据集 MNIST手写数字数据集手写数字识别-小数据集