機器學習——對天氣進行簡單分類

（一）選題背景

機器學習是人工智能領域一個重要的研究課題，在課堂上學習完機器學習中的貓狗識別案例后，想找個簡單的數據集做個機器學習期末設計，同時借助本次作業去了解機器學習的代碼原理以及其操作。

選擇天氣分類的主要原因：1本人手機的天氣預報一直不是很准確所以就想試着做一個和天氣有關的主題，2通過機器學習對天氣進行識別，可以便於用戶在不便的情況下對室外氣候有一定了解，3該數據集較為簡單適合我初步學習了解機器學習。

（二）機器學習案例設計方案

 

數據來源：

本案例中涉及的數據集來源於 kaggle 網站 Kaggle: Your Home for Data Science

本案例用keras框架對天氣圖片進行簡單的識別分類

代碼參考，python書中貓狗大戰案例，kaggle網站 貓狗識別案例

（三）機器學習的實現步驟

這是我下載的數據集

 

我們先對數據進行處理編號

import os
 
image_dir = "D:/weather/kaggle_original_data/"
i = 0
for dir_name in os.listdir(image_dir):
    for image_name in os.listdir(os.path.join(image_dir, dir_name)):
        old_name = os.path.join(image_dir, dir_name, image_name)
        new_name = os.path.join(image_dir, dir_name, (dir_name + str(i) + ".jpg"))     
        print("new image name :", new_name)
        print("old image name:", old_name)
        os.rename(old_name, new_name)
        i = i + 1
    i=0

我們再創建test、train、validation三個數據集文件夾

import os
import shutil #導入os，shutil庫用來創建新的數據集
#創建數據集
from os import mkdir
or_data_dir='D:\weather\kaggle_original_data'
base_dir='D:\weather\sunny_or_cloudy'
os.mkdir(base_dir) 

train_dir=os.path.join(base_dir,'train')
os,mkdir(train_dir) #創建訓練集目錄

validation_dir=os.path.join(base_dir,'validation')
os.mkdir(validation_dir) #創建驗證集目錄

test_dir=os.path.join(base_dir,'test')
os.mkdir(test_dir)  #創建測試集目錄

train_sunny_dir=os.path.join(train_dir,'sunny')
os.mkdir(train_sunny_dir)  #創建sunny的訓練集目錄

train_cloudy_dir=os.path.join(train_dir,'cloudy')
os.mkdir(train_cloudy_dir) #創建cloudy的訓練集目錄

validation_sunny_dir=os.path.join(validation_dir,'sunny')
os.mkdir(validation_sunny_dir) #創建sunny驗證集目錄

validation_cloudy_dir=os.path.join(validation_dir,'cloudy')
os.mkdir(validation_cloudy_dir) #創建cloudy驗證集目錄

test_sunny_dir=os.path.join(test_dir,'sunny')
os.mkdir(test_sunny_dir)  #創建sunny的測試集目錄

test_cloudy_dir=os.path.join(test_dir,'cloudy')
os.mkdir(test_cloudy_dir)  #創建cloudy的測試集目錄

#將前1000個cloudy圖像復制到train_dir文件夾
fnames = ['cl{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(train_cloudy_dir, fname)
    shutil.copyfile(src, dst)
    
#將以下500個cloudy圖像復制到train_dir文件夾中
fnames = ['cl{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(validation_cloudy_dir, fname)
    shutil.copyfile(src, dst)

#將以下500個cloudy圖像復制到test_dir文件夾   
fnames = ['cl{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(test_cloudy_dir, fname)
    shutil.copyfile(src, dst)

    
#將前1000張sunny圖片復制到train_dir文件夾中
fnames = ['su{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(train_sunny_dir, fname)
    shutil.copyfile(src, dst)
    
#將以下500張sunny圖片復制到train_dir文件夾中
fnames = ['su{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(validation_sunny_dir, fname) 
    shutil.copyfile(src, dst)

#將以下500個sunny圖片復制到文件夾test_dir
fnames = ['su{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(test_sunny_dir, fname)
    shutil.copyfile(src, dst)

這是我分類后的數據集，分為測試集、訓練集、驗證集

 

數據處理好后，再進行構建網絡

#構建網絡
import keras
from keras import layers
from keras import models 
model = models.Sequential()#利用keras中的sequential完成網絡的構建
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.summary

圖像在輸入網絡之前先進行數據預處理

#圖像在輸入網絡之前進行數據預處理
import keras
from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rescale=1./255) #數據歸一化
test_datagen=ImageDataGenerator(rescale=1./255)

#指向訓練集圖片目錄路徑
train_dir='D:/weather/sunny_or_cloudy/train'
train_generator=train_datagen.flow_from_directory(
   train_dir,
   target_size=(150,150), #設置圖片大小
   batch_size=20,
   class_mode='binary')

#指向驗證集圖片目錄路徑
validation_dir='D:/weather/sunny_or_cloudy/validation'
validation_generator=test_datagen.flow_from_directory(
   validation_dir,
   target_size=(150,150),
   batch_size=20,
   class_mode='binary')

for data_batch,labels_batch in train_generator:
    print('data batch shape:',data_batch.shape)
    print('data batch shape:',labels_batch.shape)
    break

 接下來進行模型編譯和訓練

我先進行了10輪的訓練

#模型編譯
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器訓練模擬
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=10,
                           validation_data=validation_generator,
                           validation_steps=50)

再進行20輪的訓練

#利用批量生成器訓練模擬
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50)

根據訓練的數據進行繪圖

#繪制損失曲線和精度曲線
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

為了盡可能的減小過擬合的影響，進行數據加強

#為了盡可能的消除過擬合，我打算進行數據增強
#定義ImageDataGenerator參數
train_datagen = ImageDataGenerator(rescale=1./255,
                                  rotation_range=40, #將圖像隨機旋轉40度
                                  width_shift_range=0.2, #在水平方向上平移比例為0.2
                                  height_shift_range=0.2, #在垂直方向上平移比例為0.2
                                  shear_range=0.2, #隨機錯切變換的角度為0.2
                                  zoom_range=0.2, #圖片隨機縮放的范圍為0.2
                                  horizontal_flip=True, #隨機將一半圖像水平翻轉
                                  fill_mode='nearest') #填充創建像素

test_datagen = ImageDataGenerator(rescale=1./255) 

train_generator = train_datagen.flow_from_directory(
                        train_dir,
                        target_size=(150,150), 
                        batch_size=32, 
                        class_mode='binary' 
                        )

validation_generator = test_datagen.flow_from_directory(
                        validation_dir,
                        target_size=(150,150), 
                        batch_size=32,
                        class_mode='binary'

#為了更好的消除過擬合，我打算在模型中添加一個Dropout層，添加密集連接分類器前
model = models.Sequential()
model.add(layers.Conv2D(32, (3,3), activation='relu',
                       input_shape=(150,150, 3)))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(64, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))

model.add(layers.Flatten())
model.add(layers.Dropout(0.5))
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

model.compile(optimizer=optimizers.RMSprop(lr=1e-4), 
             loss='binary_crossentropy',
             metrics=['accuracy'])

 

 

重新啟動后再次運行20輪次

 

#模型編譯
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器訓練模擬
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50)

畫出增強后的圖片

#繪制損失曲線和精度曲線
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

對比之前的圖片可以看出有所改善

現自定義圖片，將自定義的圖片導入到模型當中，查看測試識別結果

#讀取用戶自定義的圖像文件，修改尺寸后保存
import matplotlib.pyplot as plt
from PIL import Image
import os.path

#自定義函數，將圖片縮小到（150，150）的大小
def convertjpg(jpgfile,outdir,width=150,height=150):
    img=Image.open(jpgfile )
    new_img=img.resize((width,height),Image.BILINEAR)
    new_img.save(os.path.join(outdir,os.path.basename(jpgfile)))
#讀取用戶自定義圖片
jpgfile='D:/weather/sunny_or_cloudy/sample/cl3.jpg'
convertjpg(jpgfile,'D:/weather/sunny_or_cloudy')
img_scale=plt.imread('D:/weather/sunny_or_cloudy/cl3.jpg')
plt.imshow(img_scale) #顯示改變圖像大小后的圖片（150x150）

 

 

導入測試

#導入模型
from keras.models import load_model
#導入訓練模型文件
model=load_model('weather.h6')
#model.summary

img_scale=img_scale.reshape(1,150,150,3).astype('float32')
img_scale=img_scale/255 #歸一化到0——1之間

result=model.predict(img_scale)#讀取圖片信息
#根據result的值進行判定
if result>0.5:
    print('該圖片是多雲的概率為：',result)
else:
    print('該圖片是晴天的概率為：',1-result)

 

 

 

全代碼

#對數據圖片進行重命名編號
import os
image_dir = "D:/weather/kaggle_original_data/"
i = 0
for dir_name in os.listdir(image_dir):
    for image_name in os.listdir(os.path.join(image_dir, dir_name)):
        old_name = os.path.join(image_dir, dir_name, image_name)
        new_name = os.path.join(image_dir, dir_name, (dir_name + str(i) + ".jpg"))     
        print("new image name :", new_name)
        print("old image name:", old_name)
        os.rename(old_name, new_name)
        i = i + 1
    i = 0


import shutil #導入os，shutil庫用來創建新的數據集
#創建數據集
from os import mkdir
or_data_dir='D:\weather\kaggle_original_data'
base_dir='D:\weather\sunny_or_cloudy'
os.mkdir(base_dir) 
#創建訓練集目錄
train_dir=os.path.join(base_dir,'train')
os,mkdir(train_dir) 
#創建驗證集目錄
validation_dir=os.path.join(base_dir,'validation')
os.mkdir(validation_dir) 
#創建測試集目錄
test_dir=os.path.join(base_dir,'test')
os.mkdir(test_dir)  
#創建sunny的訓練集目錄
train_sunny_dir=os.path.join(train_dir,'sunny')
os.mkdir(train_sunny_dir)  
#創建cloudy的訓練集目錄
train_cloudy_dir=os.path.join(train_dir,'cloudy')
os.mkdir(train_cloudy_dir) 
#創建sunny驗證集目錄
validation_sunny_dir=os.path.join(validation_dir,'sunny')
os.mkdir(validation_sunny_dir) 
#創建cloudy驗證集目錄
validation_cloudy_dir=os.path.join(validation_dir,'cloudy')
os.mkdir(validation_cloudy_dir) 
#創建sunny的測試集目錄
test_sunny_dir=os.path.join(test_dir,'sunny')
os.mkdir(test_sunny_dir)  
#創建cloudy的測試集目錄
test_cloudy_dir=os.path.join(test_dir,'cloudy')
os.mkdir(test_cloudy_dir)  

#將前1000個cloudy圖像復制到train_dir文件夾
fnames = ['cl{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(train_cloudy_dir, fname)
    shutil.copyfile(src, dst)
#將以下500個cloudy圖像復制到train_dir文件夾中
fnames = ['cl{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(validation_cloudy_dir, fname)
    shutil.copyfile(src, dst)
#將以下500個cloudy圖像復制到test_dir文件夾   
fnames = ['cl{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/cl', fname)
    dst = os.path.join(test_cloudy_dir, fname)
    shutil.copyfile(src, dst)
    #將前1000張sunny圖片復制到train_dir文件夾中
fnames = ['su{}.jpg'.format(i) for i in range(0,1000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(train_sunny_dir, fname)
    shutil.copyfile(src, dst)
#將以下500張sunny圖片復制到train_dir文件夾中
fnames = ['su{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(validation_sunny_dir, fname) 
    shutil.copyfile(src, dst)
#將以下500個sunny圖片復制到文件夾test_dir
fnames = ['su{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(or_data_dir + '/su', fname)
    dst = os.path.join(test_sunny_dir, fname)
    shutil.copyfile(src, dst)

#構建網絡
import keras
from keras import layers
from keras import models 
model = models.Sequential()#利用keras中的sequential完成網絡的構建
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))

model.add(layers.Flatten())
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.summary

#圖像在輸入網絡之前進行數據預處理
from keras.preprocessing.image import ImageDataGenerator

train_datagen=ImageDataGenerator(rescale=1./255) #數據歸一化
test_datagen=ImageDataGenerator(rescale=1./255)

#指向訓練集圖片目錄路徑
train_dir='D:/weather/sunny_or_cloudy/train'
train_generator=train_datagen.flow_from_directory(
   train_dir,
   target_size=(150,150), #設置圖片大小
   batch_size=20,
   class_mode='binary')

#指向驗證集圖片目錄路徑
validation_dir='D:/weather/sunny_or_cloudy/validation'
validation_generator=test_datagen.flow_from_directory(
   validation_dir,
   target_size=(150,150),
   batch_size=20,
   class_mode='binary')

for data_batch,labels_batch in train_generator:
    print('data batch shape:',data_batch.shape)
    print('data batch shape:',labels_batch.shape)
    break

#模型編譯
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器訓練模擬
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=10,
                           validation_data=validation_generator,
                           validation_steps=50)
#利用批量生成器訓練模擬
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50)
#繪制損失曲線和精度曲線
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()

#為了盡可能的消除過擬合，我打算進行數據增強
#定義ImageDataGenerator參數
train_datagen = ImageDataGenerator(rescale=1./255,
                                  rotation_range=40, #將圖像隨機旋轉40度
                                  width_shift_range=0.2, #在水平方向上平移比例為0.2
                                  height_shift_range=0.2, #在垂直方向上平移比例為0.2
                                  shear_range=0.2, #隨機錯切變換的角度為0.2
                                  zoom_range=0.2, #圖片隨機縮放的范圍為0.2
                                  horizontal_flip=True, #隨機將一半圖像水平翻轉
                                  fill_mode='nearest') #填充創建像素

test_datagen = ImageDataGenerator(rescale=1./255) 

train_generator = train_datagen.flow_from_directory(
                        train_dir,
                        target_size=(150,150), 
                        batch_size=32, 
                        class_mode='binary' 
                        )

validation_generator = test_datagen.flow_from_directory(
                        validation_dir,
                        target_size=(150,150), 
                        batch_size=32,
                        class_mode='binary'

#為了更好的消除過擬合，我打算在模型中添加一個Dropout層，添加密集連接分類器前
model = models.Sequential()
model.add(layers.Conv2D(32, (3,3), activation='relu',
                       input_shape=(150,150, 3)))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(64, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPool2D((2,2)))

model.add(layers.Flatten())
model.add(layers.Dropout(0.5))
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

model.compile(optimizer=optimizers.RMSprop(lr=1e-4), 
             loss='binary_crossentropy',
             metrics=['accuracy'])

#重新啟動后再次運行20輪次
#模型編譯
from keras import optimizers
model.compile(loss='binary_crossentropy',
    optimizer=optimizers.RMSprop(lr=1e-4),
    metrics=['acc'])

#利用批量生成器訓練模擬
history=model.fit_generator(train_generator,
                           steps_per_epoch=100,
                           epochs=20,
                           validation_data=validation_generator,
                           validation_steps=50) 
    
#將訓練模型數據文件保存在文件h6中
model.save('weather.h6')
#繪制損失曲線和精度曲線
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc=history.history['val_acc']
loss = history.history['loss']
val_loss=history.history['val_loss']
epochs=range(len(acc))

plt.plot(epochs, acc,'o',label='Training acc')
plt.plot(epochs, val_acc, 'b', label='validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'o', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Train and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()
plt.show()

#讀取用戶自定義的圖像文件，修改尺寸后保存
import matplotlib.pyplot as plt
from PIL import Image
import os.path

#自定義函數，將圖片縮小到（150，150）的大小
def convertjpg(jpgfile,outdir,width=150,height=150):
    img=Image.open(jpgfile )
    new_img=img.resize((width,height),Image.BILINEAR)
    new_img.save(os.path.join(outdir,os.path.basename(jpgfile)))
#讀取用戶自定義圖片
jpgfile='D:/weather/sunny_or_cloudy/sample/cl3.jpg'
convertjpg(jpgfile,'D:/weather/sunny_or_cloudy')
img_scale=plt.imread('D:/weather/sunny_or_cloudy/cl3.jpg')
plt.imshow(img_scale) #顯示改變圖像大小后的圖片（150x150）


#導入模型
from keras.models import load_model
#導入訓練模型文件
model=load_model('weather.h7')
#model.summary

img_scale=img_scale.reshape(1,150,150,3).astype('float32')
img_scale=img_scale/255 #歸一化到0——1之間

result=model.predict(img_scale)#讀取圖片信息
#根據result的值進行判定
if result>0.5:
    print('該圖片是多雲的概率為：',result)
else:
    print('該圖片是晴天的概率為：',1-result)

 

（四）總結

1.在進行本次作業設計的過程中，對機器學習有了進一步的了解，但還不是完全了解，有些地方還是依葫蘆畫瓢，數據處理不太好，自定義圖片判定的准確度較低

2.收獲：在此次設計中，我切身感受到，要學會代碼就要親自去操作去編寫，碰到問題，去上網查和朋友討論，在實踐中掌握代碼。

不足之處：在本設計中對於自定義的圖片識別度較低，在使用數據增強和dropout后過擬合情況較前略有改善，但效果還是不好，應該在防止過擬合機制方面多做嘗試。