【Python算法】分類與預測——logistic回歸分析

1.logistic回歸定義

logistic回歸是一種廣義線性回歸（generalized linear model），因此與多重線性回歸分析有很多相同之處。它們的模型形式基本上相同，都具有 w‘x+b，其中w和b是待求參數，其區別在於他們的因變量不同，多重線性回歸直接將w‘x+b作為因變量，即y =w‘x+b，而logistic回歸則通過函數L將w‘x+b對應一個隱狀態p，p =L(w‘x+b),然后根據p 與1-p的大小決定因變量的值。如果L是logistic函數，就是logistic回歸，如果L是多項式函數就是多項式回歸。

logistic回歸的因變量可以是二分類的，也可以是多分類的，但是二分類的更為常用，也更加容易解釋，多類可以使用softmax方法進行處理。實際中最為常用的就是二分類的logistic回歸。

2.操作系統

　　操作機：Linux_Ubuntu
　　操作機默認用戶：root

3.實驗工具

Python是一種計算機程序設計語言。是一種動態的、面向對象的腳本語言，最初被設計用於編寫自動化腳本(shell)，隨着版本的不斷更新和語言新功能的添加，越來越多被用於獨立的、大型項目的開發。Python已經成為最受歡迎的程序設計語言之一。自從2004年以后，python的使用率呈線性增長。2011年1月，它被TIOBE編程語言排行榜評為2010年度語言。

由於Python語言的簡潔性、易讀性以及可擴展性，在國外用Python做科學計算的研究機構日益增多，一些知名大學已經采用Python來教授程序設計課程。例如卡耐基梅隆大學的編程基礎、麻省理工學院的計算機科學及編程導論就使用Python語言講授。

眾多開源的科學計算軟件包都提供了Python的調用接口，例如著名的計算機視覺庫OpenCV、三維可視化庫VTK、醫學圖像處理庫ITK。而Python專用的科學計算擴展庫就更多了，例如如下3個十分經典的科學計算擴展庫：NumPy、SciPy和matplotlib，它們分別為Python提供了快速數組處理、數值運算以及繪圖功能。因此Python語言及其眾多的擴展庫所構成的開發環境十分適合工程技術、科研人員處理實驗數據、制作圖表，甚至開發科學計算應用程序。

4.Numpy

NumPy系統是Python的一種開源的數值計算擴展。這種工具可用來存儲和處理大型矩陣，比Python自身的嵌套列表（nested list structure)結構要高效的多（該結構也可以用來表示矩陣（matrix））。

NumPy（Numeric Python）提供了許多高級的數值編程工具，如：矩陣數據類型、矢量處理，以及精密的運算庫。專為進行嚴格的數字處理而產生。多為很多大型金融公司使用，以及核心的科學計算組織如：Lawrence Livermore，NASA用其處理一些本來使用C++，Fortran或Matlab等所做的任務。

5.scikit-learn

scikit-learn，Python 中的機器學習，簡單高效的數據挖掘和數據分析工具，可供大家使用，可在各種環境中重復使用，建立在 NumPy，SciPy 和 matplotlib 上開放源碼，可商業使用 - BSD license。

6.Matplotlib

Matplotlib 是一個 Python 的 2D繪**，它以各種硬拷貝格式和跨平台的交互式環境生成出版質量級別的圖形。通過 Matplotlib，開發者可以僅需要幾行代碼，便可以生成繪圖，直方圖，功率譜，條形圖，錯誤圖，散點圖等。

7.pandas

Python Data Analysis Library 或 pandas 是基於NumPy 的一種工具，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標准的數據模型，提供了高效地操作大型數據集所需的工具。pandas提供了大量能使我們快速便捷地處理數據的函數和方法。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。

8.導入所需要的庫:numpy,matplotlib.pyplot,pandas

代碼如下:

# Importing the libraries
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

9.加載數據集

代碼如下：

# Importing the dataset
dataset = pd.read_csv('/mnt/dataset_29/Social_Network_Ads_82e4aa0627105a2d22b70d7ad0bfeda0.csv')   注意：數據集以實際位置為准
X = dataset.iloc[:, [2, 3]].values
y = dataset.iloc[:, 4].values

注意：實驗中以數據集的具體為准。

如下給出數據，可將數據創建響相應的數據集用於字日常訓練，也可在實驗平台中數據集模塊下的的“社交網絡數據集”中進行查看。
數據集如下：（見附件）

10.將數據集分割為訓練集和測試集

代碼如下：

# Splitting the dataset into the Training set and Test set
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 0)

11.特征縮放

代碼如下：

# Feature Scaling
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)

12.使用邏輯回歸對數據進行處理

代碼如下：

from sklearn.linear_model import LogisticRegression
classifier = LogisticRegression()
classifier.fit(X_train, y_train)

13.對測試集進行分類

代碼如下：

# Predicting the Test set results
y_pred = classifier.predict(X_test)

14.制造混淆矩陣評估分類器性能

代碼如下：

from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)

15.繪制訓練集和測試集

繪制訓練集數據結果：

from matplotlib.colors import ListedColormap
X_set,y_set=X_train,y_train
X1,X2=np. meshgrid(np. arange(start=X_set[:,0].min()-1, stop=X_set[:, 0].max()+1, step=0.01),
                   np. arange(start=X_set[:,1].min()-1, stop=X_set[:,1].max()+1, step=0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(),X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(),X1.max())
plt.ylim(X2.min(),X2.max())
for i,j in enumerate(np. unique(y_set)):
    plt.scatter(X_set[y_set==j,0],X_set[y_set==j,1],
                c = ListedColormap(('red', 'green'))(i), label=j)

plt. title(' LOGISTIC(Training set)')
plt. xlabel(' Age')
plt. ylabel(' Estimated Salary')
plt. legend()
plt. show()

給測試集數據分類：

X_set,y_set=X_test,y_test
X1,X2=np. meshgrid(np. arange(start=X_set[:,0].min()-1, stop=X_set[:, 0].max()+1, step=0.01),
                   np. arange(start=X_set[:,1].min()-1, stop=X_set[:,1].max()+1, step=0.01))

plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(),X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(),X1.max())
plt.ylim(X2.min(),X2.max())
for i,j in enumerate(np. unique(y_set)):
    plt.scatter(X_set[y_set==j,0],X_set[y_set==j,1],
                c = ListedColormap(('red', 'green'))(i), label=j)

plt. title(' LOGISTIC(Test set)')
plt. xlabel(' Age')
plt. ylabel(' Estimated Salary')
plt. legend()
plt. show()

社交網絡測試數據集.csv.zip

作者：Micker