第9章--基於水色圖像的水質評價(一個svm實例)

from sklearn import svm

1. 數據預處理

　　針對《Python數據分析與挖掘實戰》一書中第9章“基於水色圖像的水質評價”。需要對原始的203張圖片進行預處理，得到專家樣本集。然后再使用svm分類器進行訓練測試。

#!/usr/bin/env python
#-*- coding:utf-8 -*-
#數據預處理

from PIL import Image
import matplotlib.pyplot as plt 
import os
import numpy as np 
import pandas as pd 

inputfile='../data/images'
outputfile='../data/result.xls'

#注意此處:得到一個包含圖片名(如：'1_10.jpg')的列表
imgslist=os.listdir(inputfile)  

result=[]
for i in range(len(imgslist)):  #203張待處理圖片
    #label,number=imgslist[i].rstrip('.jpg').split('_')  #label,number分別表示類別和序號
    la=imgslist[i].rstrip('.jpg').split('_')  
    #將列表中數字字符串轉換為數值
    la_numbers=[int(x) for x in la]
    
    '''1.圖片切割'''
    img=Image.open(inputfile+'/'+imgslist[i])
    M,N=img.size
    box=[N/2-50,M/2-50,N/2+50,M/2+50]
    roi=img.crop(box)
    '''切割完成(100×100)'''

    '''2.特征提取'''
    #R,G,B=roi.split()  #分離三個顏色通道
    roi3=np.array(roi)/[256.0,256.0,256.0] 
    E=1.0/10000*(roi3.sum(axis=0).sum(axis=0))  #一階顏色矩;有100×100個像素
    err=roi3-E
    delta=np.sqrt(1.0/10000*(err**2).sum(axis=0).sum(axis=0))  #二階顏色矩
    #s=pow(1.0/N*(pow(roi3-E,3).sum(axis=0).sum(axis=0)),1.0/3)
    a=1.0/10000*(pow(err,3).sum(axis=0).sum(axis=0))
    s=abs(a)**(1.0/3)*-1  #三階顏色矩;注意：負數開立方方法
    '''
    r_E,g_E,b_E=E
    r_del,g_del,b_del=delta
    r_s,g_s,b_s=s
    '''
    re=np.concatenate((la_numbers,E,delta,s))  #數組水平拼接，concatenate((a,b),axis=0)
    result.append(re)
    '''特征提取完畢'''

cols=[u'水質類別',u'序號',u'R通道一階矩',u'G通道一階矩',u'B通道一階矩',\
        u'R通道二階矩',u'G通道二階矩',u'B通道二階矩',\
        u'R通道三階矩',u'G通道三階矩',u'B通道三階矩',]
res=pd.DataFrame(result,columns=cols)
res.to_excel(outputfile,index=False)  #index=False

2. svm

#!/usr/bin/env python
#-*- coding:utf-8 -*-

import pandas as pd 
import numpy as np 

inputfile='../data/moment.csv'
data=pd.read_csv(inputfile,encoding='gbk')  #讀取數據，指定編碼為gbk
data=data.as_matrix()

'''
出現問題：采用random.shuffle(data)導致data發生不可預知的變化
解決辦法：采用numpy.random.shuffle(data)沒有問題
'''
#from random import shuffle  #引入隨機函數
np.random.shuffle(data)
data_train=data[:int(0.8*len(data)),:]  #選取80%為訓練數據
data_test=data[int(0.8*len(data)):,:]  #選取20%為測試數據

x_train=data_train[:,2:]*30  #放大特征
y_train=data_train[:,0].astype(int)
x_test=data_test[:,2:]*30  #放大特征
y_test=data_test[:,0].astype(int)

'''導入模型相關的函數，建立並且訓練模型'''
from sklearn import svm
model=svm.SVC()
model.fit(x_train,y_train)

'''保存/加載模型'''
import pickle
pickle.dump(model,open('../tmp/svm.model','wb'))
#model=pickle.load(open('../tmp/svm.model','rb'))

'''導入輸出相關的庫，生成混淆矩陣'''
from sklearn import metrics
cm_train=metrics.confusion_matrix(y_train,model.predict(x_train))  #訓練數據的混淆矩陣
cm_test=metrics.confusion_matrix(y_test,model.predict(x_test))  #測試數據的混淆矩陣

'''保存結果'''
outputfile1='../tmp/cm_train.xls'
outputfile2='../tmp/cm_test.xls'
pd.DataFrame(cm_train,index=range(1,6),columns=range(1,6)).to_excel(outputfile1)
pd.DataFrame(cm_test,index=range(1,6),columns=range(1,6)).to_excel(outputfile2)

部分原始數據展示：

得到結果：

cm_train:

cm_test:                    

遇到問題：

11 '''
12 出現問題：采用random.shuffle(data)導致data發生不可預知的變化（破壞了原數據）
13 解決辦法：采用numpy.random.shuffle(data)沒有問題
14 '''