机器学习——对天气进行简单分类

（一）选题背景

机器学习是人工智能领域一个重要的研究课题，在课堂上学习完机器学习中的猫狗识别案例后，想找个简单的数据集做个机器学习期末设计，同时借助本次作业去了解机器学习的代码原理以及其操作。

选择天气分类的主要原因：1本人手机的天气预报一直不是很准确所以就想试着做一个和天气有关的主题，2通过机器学习对天气进行识别，可以便于用户在不便的情况下对室外气候有一定了解，3该数据集较为简单适合我初步学习了解机器学习。

（二）机器学习案例设计方案

 

数据来源：

本案例中涉及的数据集来源于 kaggle 网站 Kaggle: Your Home for Data Science

本案例用keras框架对天气图片进行简单的识别分类

代码参考，python书中猫狗大战案例，kaggle网站 猫狗识别案例

（三）机器学习的实现步骤

这是我下载的数据集

 

我们先对数据进行处理编号

import os
 
image_dir = "D:/weather/kaggle_original_data/"
i = 0
for dir_name in os.listdir(image_dir):
    for image_name in os.listdir(os.path.join(image_dir, dir_name)):
        old_name = os.path.join(image_dir, dir_name, image_name)
        new_name = os.path.join(image_dir, dir_name, (dir_name + str(i) + ".jpg"))     
        print("new image name :", new_name)
        print("old image name:", old_name)
        os.rename(old_name, new_name)
        i = i + 1
    i=0

我们再创建test、train、validation三个数据集文件夹

import os
import shutil #导入os，shutil库用来创建新的数据集
#创建数据集
from os import mkdir
or_data_dir='D:\weather\kaggle_original_data'
base_dir='D:\weather\sunny_or_cloudy'
os.mkdir(base_dir) 

train_dir=os.path.join(base_dir,'train')
os,mkdir(train_dir) #创建训练集目录

validation_dir=os.path.join(base_dir,'validation')
os.mkdir(validation_dir) #创建验证集目录

test_dir=os.path.join(base_dir,'test')
os.mkdir(test_dir)  #创建测试集目录

train_sunny_dir=os.path.join(train_dir,'sunny')
os.mkdir(train_sunny_dir)  #创建sunny的训练集目录

train_cloudy_dir=os.path.join(train_dir,'cloudy')
os.mkdir(train_cloudy_dir) #创建cloudy的训练集目录

validation_sunny_dir=os.path.join(validation_dir,'sunny')
os.mkdir(validation_sunny_dir) #创建sunny验证集目录

validation_cloudy_dir=os.path.join(validation_dir,'cloudy')
os.mkdir(validation_cloudy_dir) #创建cloudy验证集目录

test_sunny_dir=os.path.join(test_dir,'sunny')
os.mkdir(test_sunny_dir)  #创建sunny的测试集目录

test_cloudy_dir=os.path.join(test_dir,'cloudy')
os.mkdir(test_cloudy_dir)  #创建cloudy的测试集目录

#将前1000个cloudy图像复制到train_dir文件夹
fnames = ['cl{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(train_cloudy_dir, fname)
    shutil.copyfile(src, dst)
    
#将以下500个cloudy图像复制到train_dir文件夹中
fnames = ['cl{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(validation_cloudy_dir, fname)
    shutil.copyfile(src, dst)

#将以下500个cloudy图像复制到test_dir文件夹   
fnames = ['cl{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(test_cloudy_dir, fname)
    shutil.copyfile(src, dst)

    
#将前1000张sunny图片复制到train_dir文件夹中
fnames = ['su{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(train_sunny_dir, fname)
    shutil.copyfile(src, dst)
    
#将以下500张sunny图片复制到train_dir文件夹中
fnames = ['su{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(validation_sunny_dir, fname) 
    shutil.copyfile(src, dst)

#将以下500个sunny图片复制到文件夹test_dir
fnames = ['su{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(test_sunny_dir, fname)
    shutil.copyfile(src, dst)

这是我分类后的数据集，分为测试集、训练集、验证集

 

数据处理好后，再进行构建网络

#构建网络
import keras
from keras import layers
from keras import models 
model = models.Sequential()#利用keras中的sequential完成网络的构建
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.summary

图像在输入网络之前先进行数据预处理

#图像在输入网络之前进行数据预处理
import keras
from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rescale=1./255) #数据归一化
test_datagen=ImageDataGenerator(rescale=1./255)

#指向训练集图片目录路径
train_dir='D:/weather/sunny_or_cloudy/train'
train_generator=train_datagen.flow_from_directory(
   train_dir,
   target_size=(150,150), #设置图片大小
   batch_size=20,
   class_mode='binary')

#指向验证集图片目录路径
validation_dir='D:/weather/sunny_or_cloudy/validation'
validation_generator=test_datagen.flow_from_directory(
   validation_dir,
   target_size=(150,150),
   batch_size=20,
   class_mode='binary')

for data_batch,labels_batch in train_generator:
    print('data batch shape:',data_batch.shape)
    print('data batch shape:',labels_batch.shape)
    break

 接下来进行模型编译和训练

我先进行了10轮的训练

#模型编译
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器训练模拟
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=10,
                           validation_data=validation_generator,
                           validation_steps=50)

再进行20轮的训练

#利用批量生成器训练模拟
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50)

根据训练的数据进行绘图

#绘制损失曲线和精度曲线
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

为了尽可能的减小过拟合的影响，进行数据加强

#为了尽可能的消除过拟合，我打算进行数据增强
#定义ImageDataGenerator参数
train_datagen = ImageDataGenerator(rescale=1./255,
                                  rotation_range=40, #将图像随机旋转40度
                                  width_shift_range=0.2, #在水平方向上平移比例为0.2
                                  height_shift_range=0.2, #在垂直方向上平移比例为0.2
                                  shear_range=0.2, #随机错切变换的角度为0.2
                                  zoom_range=0.2, #图片随机缩放的范围为0.2
                                  horizontal_flip=True, #随机将一半图像水平翻转
                                  fill_mode='nearest') #填充创建像素

test_datagen = ImageDataGenerator(rescale=1./255) 

train_generator = train_datagen.flow_from_directory(
                        train_dir,
                        target_size=(150,150), 
                        batch_size=32, 
                        class_mode='binary' 
                        )

validation_generator = test_datagen.flow_from_directory(
                        validation_dir,
                        target_size=(150,150), 
                        batch_size=32,
                        class_mode='binary'

#为了更好的消除过拟合，我打算在模型中添加一个Dropout层，添加密集连接分类器前
model = models.Sequential()
model.add(layers.Conv2D(32, (3,3), activation='relu',
                       input_shape=(150,150, 3)))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(64, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))

model.add(layers.Flatten())
model.add(layers.Dropout(0.5))
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

model.compile(optimizer=optimizers.RMSprop(lr=1e-4), 
             loss='binary_crossentropy',
             metrics=['accuracy'])

 

 

重新启动后再次运行20轮次

 

#模型编译
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器训练模拟
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50)

画出增强后的图片

#绘制损失曲线和精度曲线
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

对比之前的图片可以看出有所改善

现自定义图片，将自定义的图片导入到模型当中，查看测试识别结果

#读取用户自定义的图像文件，修改尺寸后保存
import matplotlib.pyplot as plt
from PIL import Image
import os.path

#自定义函数，将图片缩小到（150，150）的大小
def convertjpg(jpgfile,outdir,width=150,height=150):
    img=Image.open(jpgfile )
    new_img=img.resize((width,height),Image.BILINEAR)
    new_img.save(os.path.join(outdir,os.path.basename(jpgfile)))
#读取用户自定义图片
jpgfile='D:/weather/sunny_or_cloudy/sample/cl3.jpg'
convertjpg(jpgfile,'D:/weather/sunny_or_cloudy')
img_scale=plt.imread('D:/weather/sunny_or_cloudy/cl3.jpg')
plt.imshow(img_scale) #显示改变图像大小后的图片（150x150）

 

 

导入测试

#导入模型
from keras.models import load_model
#导入训练模型文件
model=load_model('weather.h6')
#model.summary

img_scale=img_scale.reshape(1,150,150,3).astype('float32')
img_scale=img_scale/255 #归一化到0——1之间

result=model.predict(img_scale)#读取图片信息
#根据result的值进行判定
if result>0.5:
    print('该图片是多云的概率为：',result)
else:
    print('该图片是晴天的概率为：',1-result)

 

 

 

全代码

#对数据图片进行重命名编号
import os
image_dir = "D:/weather/kaggle_original_data/"
i = 0
for dir_name in os.listdir(image_dir):
    for image_name in os.listdir(os.path.join(image_dir, dir_name)):
        old_name = os.path.join(image_dir, dir_name, image_name)
        new_name = os.path.join(image_dir, dir_name, (dir_name + str(i) + ".jpg"))     
        print("new image name :", new_name)
        print("old image name:", old_name)
        os.rename(old_name, new_name)
        i = i + 1
    i = 0


import shutil #导入os，shutil库用来创建新的数据集
#创建数据集
from os import mkdir
or_data_dir='D:\weather\kaggle_original_data'
base_dir='D:\weather\sunny_or_cloudy'
os.mkdir(base_dir) 
#创建训练集目录
train_dir=os.path.join(base_dir,'train')
os,mkdir(train_dir) 
#创建验证集目录
validation_dir=os.path.join(base_dir,'validation')
os.mkdir(validation_dir) 
#创建测试集目录
test_dir=os.path.join(base_dir,'test')
os.mkdir(test_dir)  
#创建sunny的训练集目录
train_sunny_dir=os.path.join(train_dir,'sunny')
os.mkdir(train_sunny_dir)  
#创建cloudy的训练集目录
train_cloudy_dir=os.path.join(train_dir,'cloudy')
os.mkdir(train_cloudy_dir) 
#创建sunny验证集目录
validation_sunny_dir=os.path.join(validation_dir,'sunny')
os.mkdir(validation_sunny_dir) 
#创建cloudy验证集目录
validation_cloudy_dir=os.path.join(validation_dir,'cloudy')
os.mkdir(validation_cloudy_dir) 
#创建sunny的测试集目录
test_sunny_dir=os.path.join(test_dir,'sunny')
os.mkdir(test_sunny_dir)  
#创建cloudy的测试集目录
test_cloudy_dir=os.path.join(test_dir,'cloudy')
os.mkdir(test_cloudy_dir)  

#将前1000个cloudy图像复制到train_dir文件夹
fnames = ['cl{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(train_cloudy_dir, fname)
    shutil.copyfile(src, dst)
#将以下500个cloudy图像复制到train_dir文件夹中
fnames = ['cl{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(validation_cloudy_dir, fname)
    shutil.copyfile(src, dst)
#将以下500个cloudy图像复制到test_dir文件夹   
fnames = ['cl{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(test_cloudy_dir, fname)
    shutil.copyfile(src, dst)
    #将前1000张sunny图片复制到train_dir文件夹中
fnames = ['su{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(train_sunny_dir, fname)
    shutil.copyfile(src, dst)
#将以下500张sunny图片复制到train_dir文件夹中
fnames = ['su{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(validation_sunny_dir, fname) 
    shutil.copyfile(src, dst)
#将以下500个sunny图片复制到文件夹test_dir
fnames = ['su{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(test_sunny_dir, fname)
    shutil.copyfile(src, dst)

#构建网络
import keras
from keras import layers
from keras import models 
model = models.Sequential()#利用keras中的sequential完成网络的构建
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.summary

#图像在输入网络之前进行数据预处理
from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rescale=1./255) #数据归一化
test_datagen=ImageDataGenerator(rescale=1./255)

#指向训练集图片目录路径
train_dir='D:/weather/sunny_or_cloudy/train'
train_generator=train_datagen.flow_from_directory(
   train_dir,
   target_size=(150,150), #设置图片大小
   batch_size=20,
   class_mode='binary')

#指向验证集图片目录路径
validation_dir='D:/weather/sunny_or_cloudy/validation'
validation_generator=test_datagen.flow_from_directory(
   validation_dir,
   target_size=(150,150),
   batch_size=20,
   class_mode='binary')

for data_batch,labels_batch in train_generator:
    print('data batch shape:',data_batch.shape)
    print('data batch shape:',labels_batch.shape)
    break

#模型编译
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器训练模拟
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=10,
                           validation_data=validation_generator,
                           validation_steps=50)
#利用批量生成器训练模拟
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50)
#绘制损失曲线和精度曲线
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

#为了尽可能的消除过拟合，我打算进行数据增强
#定义ImageDataGenerator参数
train_datagen = ImageDataGenerator(rescale=1./255,
                                  rotation_range=40, #将图像随机旋转40度
                                  width_shift_range=0.2, #在水平方向上平移比例为0.2
                                  height_shift_range=0.2, #在垂直方向上平移比例为0.2
                                  shear_range=0.2, #随机错切变换的角度为0.2
                                  zoom_range=0.2, #图片随机缩放的范围为0.2
                                  horizontal_flip=True, #随机将一半图像水平翻转
                                  fill_mode='nearest') #填充创建像素

test_datagen = ImageDataGenerator(rescale=1./255) 

train_generator = train_datagen.flow_from_directory(
                        train_dir,
                        target_size=(150,150), 
                        batch_size=32, 
                        class_mode='binary' 
                        )

validation_generator = test_datagen.flow_from_directory(
                        validation_dir,
                        target_size=(150,150), 
                        batch_size=32,
                        class_mode='binary'

#为了更好的消除过拟合，我打算在模型中添加一个Dropout层，添加密集连接分类器前
model = models.Sequential()
model.add(layers.Conv2D(32, (3,3), activation='relu',
                       input_shape=(150,150, 3)))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(64, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))

model.add(layers.Flatten())
model.add(layers.Dropout(0.5))
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

model.compile(optimizer=optimizers.RMSprop(lr=1e-4), 
             loss='binary_crossentropy',
             metrics=['accuracy'])

#重新启动后再次运行20轮次
#模型编译
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器训练模拟
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50) 
    
#将训练模型数据文件保存在文件h6中
model.save('weather.h6')
#绘制损失曲线和精度曲线
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

#读取用户自定义的图像文件，修改尺寸后保存
import matplotlib.pyplot as plt
from PIL import Image
import os.path

#自定义函数，将图片缩小到（150，150）的大小
def convertjpg(jpgfile,outdir,width=150,height=150):
    img=Image.open(jpgfile )
    new_img=img.resize((width,height),Image.BILINEAR)
    new_img.save(os.path.join(outdir,os.path.basename(jpgfile)))
#读取用户自定义图片
jpgfile='D:/weather/sunny_or_cloudy/sample/cl3.jpg'
convertjpg(jpgfile,'D:/weather/sunny_or_cloudy')
img_scale=plt.imread('D:/weather/sunny_or_cloudy/cl3.jpg')
plt.imshow(img_scale) #显示改变图像大小后的图片（150x150）


#导入模型
from keras.models import load_model
#导入训练模型文件
model=load_model('weather.h7')
#model.summary

img_scale=img_scale.reshape(1,150,150,3).astype('float32')
img_scale=img_scale/255 #归一化到0——1之间

result=model.predict(img_scale)#读取图片信息
#根据result的值进行判定
if result>0.5:
    print('该图片是多云的概率为：',result)
else:
    print('该图片是晴天的概率为：',1-result)

 

（四）总结

1.在进行本次作业设计的过程中，对机器学习有了进一步的了解，但还不是完全了解，有些地方还是依葫芦画瓢，数据处理不太好，自定义图片判定的准确度较低

2.收获：在此次设计中，我切身感受到，要学会代码就要亲自去操作去编写，碰到问题，去上网查和朋友讨论，在实践中掌握代码。

不足之处：在本设计中对于自定义的图片识别度较低，在使用数据增强和dropout后过拟合情况较前略有改善，但效果还是不好，应该在防止过拟合机制方面多做尝试。