第二周：python實現線性回歸（啞變量回歸）的高效方法

我怎么覺得自己就像小學生在寫青創日記……

知道了pickle是啥。pickle提供了一個簡單的持久化功能。可以將對象以文件的形式存放在磁盤上。

獲得了一些pickle文件，需要找出最快的回歸的方法。

有一個很厲害的人叫Tirthajyoti Sarkar，寫了一篇筆記，比較了八種常用的方法：

https://www.freecodecamp.org/news/data-science-with-python-8-ways-to-do-linear-regression-and-measure-their-speed-b5577d75f8b/

他的github上有代碼，我就跑了一遍試試。

結果也正如文中所寫，發現對於多元線性回歸，最快的方法就是

result = np.linalg.lstsq(A, y)

原理應當跟求廣義逆矩陣（MoorePenrose_inverse）是一樣的，詳情見官方文檔：https://numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html

這個result返回的是個四元變量。所以也可以寫成

x, residuals, rank, s = np.linalg.lstsq(A, y)

x就是系數矩陣，residuals就要注意了，它是殘差之和！！所以只有一行。哎orz。如果要獲得每個殘差，就簡單計算一下，反正numpy算矩陣乘法快得很。

代碼是這樣的：

import pickle
import pandas as pd
import numpy as np
import time
from scipy import linspace, polyval, polyfit, sqrt, stats, randn, optimize
import statsmodels.api as sm

file1 = open('D:\實習\啞變量回歸數據\LF001.pkl','rb') #factor
#數據從20190121開始有效(第2690列)
file2 = open('D:\實習\啞變量回歸數據\sector.pkl','rb') #需要轉置，列名為股票代碼，行名為日期
temp= pickle.load(file1)
sector = pd.DataFrame(pickle.load(file2))
sector = sector.iloc[:, 2690:]
factor = pd.DataFrame(temp.values.T, index=temp.columns, columns=temp.index)
factor = factor.iloc[:, 2690:]
sector.insert(sector.shape[1], 'temp', 1) #在右面新加一列為1
yx = pd.concat([factor, sector], axis=1, sort=False)  # 列合並
d_yx = yx.dropna()  # 刪掉有na的行
# 從323列再切成兩個表
# n_yx = d_yx.values
factor = d_yx.iloc[:, :322]
sector = d_yx.iloc[:, 323:]
df_dummies = pd.get_dummies(sector[20190121])
sector = df_dummies
A = sector.values
y = factor.values
start = time.time()
for i in range(0, 500):
    result = np.linalg.lstsq(A, y)
    # x, residuals, rank, s = np.linalg.lstsq(A, y)
    residuals = y - A.dot(result[0])
end = time.time()
print(end-start)

前面數據處理比較周折。因為要用dropna丟掉nan值的數據，所以我是比較蠢的先把兩個表合成一個表，然后dropna完了再拆成兩個表。

pd.get_dummies特別好使，直接就就把行業轉成啞變量了。因為每一列日期都是一樣的，所以我就選了第一天的（sector[20190121]）

有一個小技巧就是.values可以把dataframe轉成一個ndarray對象，然后就可以放進lstsq這個函數里用了！

殘差手算一下，用實際值-擬合值：

residuals = y - A.dot(result[0])

最后學到了一個方法。為了確定這個方法的效率，可以打開任務管理器，看性能

 

 然后把程序循環個幾百次，看執行的時候八個線程是不是都是滿的。結果確實是，說明這個本身就是並行處理，效率很高。