一、摘要：
本项目通过对学生成绩信息读取和可视化来展现学生学业情况，并建立模型对排名进行预测。二、选题背景：
学成成绩排名预测是一项非常重要的研究内容,本文针对学生成绩排名预测的问题,采用多元线性回归对学生成绩进行回归分析,得到的关于成绩排名的回归模型,能够有效的对学生的排名进行预测三、数据说明：
成绩数据通过Excel表格函数批量生成。四、实施过程及代码：
1 import pandas as pd 2 import numpy as np 3 import matplotlib.pyplot as plt 4 plt.rcParams['font.sans-serif']=['SimHei']#这两句作用为防止中文乱码 5 plt.rcParams['axes.unicode_minus']=False 6 path = r'D:\program\逻辑回归录取预测\成绩表.xlsx' 7 data = pd.read_excel(path, sheet_name = '工作表1',usecols = [i for i in range(0,16)]) 8 # data['列名称'] = 1 9 data.head()
1 print(len(data.index.values)) 2 # 行索引 3 print(data.index.values) 4 # 列数 5 print(len(data.columns.values)) 6 # 列索引 7 print(data.columns.values)
查看每一门课程的平均分 ,通过观察柱状图可看出每个课程平均成绩均在74-76范围内，说明每门课学生掌握的程度和老师的教学质量无太大差别
1 course_name = data.columns.values[2:] 2 course_score = [] 3 for name in course_name: 4 sum = 0 5 for score in data[name]: 6 sum+=score 7 course_score.append(sum/len(data[name])) 8 print(course_score) 9 plt.subplot(221) 10 plt.bar(course_name[:4], course_score[:4]) 11 plt.tight_layout() 12 plt.title('课程平均分',fontsize=10) 13 plt.xlabel('课程') 14 plt.ylabel('平均分') 15 16 plt.subplot(222) 17 plt.bar(course_name[4:7], course_score[4:7]) 18 plt.tight_layout() 19 plt.title('课程平均分',fontsize=10) 20 plt.xlabel('课程') 21 plt.ylabel('平均分') 22 23 plt.subplot(223) 24 plt.bar(course_name[7:9], course_score[7:9]) 25 plt.tight_layout() 26 plt.title('课程平均分',fontsize=10) 27 plt.xlabel('课程') 28 plt.ylabel('平均分') 29 30 plt.subplot(224) 31 plt.bar(course_name[9:11], course_score[9:11]) 32 plt.tight_layout() 33 plt.title('课程平均分',fontsize=10) 34 plt.xlabel('课程') 35 plt.ylabel('平均分') 36 plt.show()
求出总分以便进行排名
1 org_score = [] 2 sum_score = [] 3 for i in range(len(data.index.values)): 4 a = data.loc[i].values 5 sum = 0 6 for score in a[2:]: 7 sum+=score 8 org_score.append(sum) 9 sum_score.append(sum) 10
1 org_score[:10]
将求得的总分添加进成绩表格
1 data['总分'] = org_score 2 data.head()
对总分求均值，查看总分分布情况,通过观察趋势图可以看出学生成绩大致服从均值为1049的正态分布
1 sum_s = 0 2 for i in org_score: 3 sum_s+=i 4 print(sum_s/len(data.index.values)) 5 xuhao = [] 6 pingjunfen = [] 7 for i in range(len(data.index.values)): 8 xuhao.append(i+1) 9 pingjunfen.append(sum_s/len(data.index.values)) 10 print(len(xuhao)) 11 print(len(pingjunfen))
1 fig,ax = plt.subplots() 2 ax.scatter(xuhao,pingjunfen,color='r') 3 ax.plot(xuhao,org_score,color='y') 4 plt.title('学生平均分分布') 5 plt.legend(('个人平均分','总体平均分'),loc='upper left') 6 plt.show()
计算排名并添加进表格
1 #对总分进行从高到低排序 2 sum_score.sort(reverse=True) 3 sum_score[:20]
1 score_list = [] 2 rank = [] 3 for i in range(1,len(data.index.values)+1): 4 rank.append(i)
1 rank[:20]
1 len(rank)
1 len(sum_score)
1 for i in range(len(sum_score)):#得到分数与对应排名的表格 2 score_list.append(sum_score[i]) 3 score_list.append(rank[i])
1 score_list[:20]
1 len(score_list)
1 paiming = []#存放排名信息 2 for i in range(len(org_score)): 3 if org_score[i] in score_list: 4 paiming.append(score_list[score_list.index(org_score[i])+1])
1 paiming
1 len(paiming)
1 data['排名'] = paiming[:2029]#将排名信息添加进表格 2 data.head()
1 path = r'D:\program\逻辑回归录取预测\成绩表-排名.xlsx' 2 pd.DataFrame(data).to_excel(path, sheet_name='Sheet1', index=False, header=True)#保存修改后的表格
建立线性回归函数，进行训练和预测
1 final_org = [] 2 for i in sum_score: 3 final_org.append([i])
1 final_org
1 #定义线性回归函数 2 ''' 3 线性回归算法 4 ''' 5 class LinearRegression_1(): 6 def __init__(self): #1.新建变量 7 self.w = None 8 9 def fit(self, X, y): #2.训练集的拟合 10 X = np.insert(X, 0, 1, axis=1) #增加一个维度 11 # print (X.shape) 12 X_ = np.linalg.inv(X.T.dot(X)) #公式：求X的转置（.T）与X矩阵相乘（.dot(X)），再求其逆矩阵（np.linalg.inv()） 13 self.w = X_.dot(X.T).dot(y) #上述公式与X的转置进行矩阵相乘，再与y进行矩阵相乘 14 15 def predict(self, X): #3.测试集的测试反馈 16 X = np.insert(X, 0, 1, axis=1) #增加一个维度 17 y_pred = X.dot(self.w) #X与self.w所表示的矩阵相乘 18 return y_pred
1 #画出排名和成绩对应的变化趋势图。可以看出大概在950-1100的范围其趋势图接近一条直线 2 fig,ax = plt.subplots() 3 ax.scatter(sum_score,rank) 4 plt.title('Real Data') 5 plt.legend(('Data Points','Data Points'),loc='upper right') 6 plt.xlabel('分数') 7 plt.ylabel('排名') 8 plt.show()
1 #确认训练数据和测试数据 2 paiming_train = rank[200:1200] 3 score_train = sum_score[200:1200] 4 paiming_real = rank[1200:1800] 5 score_test = final_org[1200:1800]
1 #确认训练数据和测试数据 2 paiming_train_1 = rank[200:1200] 3 score_train_1 = final_org[200:1200] 4 paiming_real_1 = rank[1200:1800] 5 score_test_1 = final_org[1200:1800]
1 r = LinearRegression_1()#建立线性回归模型 2 r.fit(score_train_1,paiming_train_1)#训练 3 paiming_test = r.predict(score_test_1)#将测试数据放入模型进行预测
1 #画出实际数据与预测数据的趋势图，可以看出在分数990-1040区间实际与预测值大致相同 2 fig,ax = plt.subplots() 3 ax.plot(score_test,paiming_test,color='r') 4 ax.scatter(score_test,paiming_real,color='b') 5 plt.legend(('LinearRegressionl','Real Data'),loc='upper right') 6 plt.xlabel('score') 7 plt.ylabel('rank') 8 plt.show()
上述线性回归模型只在大部分区间使用，为了顾及更多数据我们调整容量即使用二次函数来进行拟合，二次函数拟合的准确率大于刚才的一次函数模型，可以覆盖更多的区间
1 import numpy as np 2 import matplotlib.pyplot as plt 3 from sklearn.linear_model import LinearRegression 4 from sklearn.linear_model import Lasso 5 from sklearn.linear_model import Ridge 6 x_data = np.array(sum_score) 7 y_data = np.array(rank) 8 x_data = x_data.reshape(-1,1) 9 y_data = y_data.reshape(-1,1) 10 X2 = np.hstack([x_data ** 3,x_data ** 2, x_data]) 11 print(X2.shape) 12 model = LinearRegression() # 线性回归 13 model.fit(X2,y_data) 14 y_pre = model.predict(X2) 15 t = np.arange(len(x_data)) 16 print(model.coef_) 17 print(model.intercept_) 18 print(model.score(X2 ,y_data)) 19 plt.plot(x_data,y_pre,color='r') 20 plt.scatter(x_data, y_data) 21 plt.legend(('Pridict','Data Points'),loc='upper right') 22 plt.show()
完整代码：
1 import pandas as pd 2 import numpy as np 3 import matplotlib.pyplot as plt 4 plt.rcParams['font.sans-serif']=['SimHei']#这两句作用为防止中文乱码 5 plt.rcParams['axes.unicode_minus']=False 6 path = r'D:\program\逻辑回归录取预测\成绩表.xlsx' 7 data = pd.read_excel(path, sheet_name = '工作表1',usecols = [i for i in range(0,16)]) 8 # data['列名称'] = 1 9 data.head() 10 11 print(len(data.index.values)) 12 # 行索引 13 print(data.index.values) 14 # 列数 15 print(len(data.columns.values)) 16 # 列索引 17 print(data.columns.values) 18 19 20 course_name = data.columns.values[2:] 21 course_score = [] 22 for name in course_name: 23 sum = 0 24 for score in data[name]: 25 sum+=score 26 course_score.append(sum/len(data[name])) 27 print(course_score) 28 plt.subplot(221) 29 plt.bar(course_name[:4], course_score[:4]) 30 plt.tight_layout() 31 plt.title('课程平均分',fontsize=10) 32 plt.xlabel('课程') 33 plt.ylabel('平均分') 34 35 plt.subplot(222) 36 plt.bar(course_name[4:7], course_score[4:7]) 37 plt.tight_layout() 38 plt.title('课程平均分',fontsize=10) 39 plt.xlabel('课程') 40 plt.ylabel('平均分') 41 42 plt.subplot(223) 43 plt.bar(course_name[7:9], course_score[7:9]) 44 plt.tight_layout() 45 plt.title('课程平均分',fontsize=10) 46 plt.xlabel('课程') 47 plt.ylabel('平均分') 48 49 plt.subplot(224) 50 plt.bar(course_name[9:11], course_score[9:11]) 51 plt.tight_layout() 52 plt.title('课程平均分',fontsize=10) 53 plt.xlabel('课程') 54 plt.ylabel('平均分') 55 plt.show() 56 57 org_score = [] 58 sum_score = [] 59 for i in range(len(data.index.values)): 60 a = data.loc[i].values 61 sum = 0 62 for score in a[2:]: 63 sum+=score 64 org_score.append(sum) 65 sum_score.append(sum) 66 67 68 org_score[:10] 69 70 data['总分'] = org_score 71 data.head() 72 73 sum_s = 0 74 for i in org_score: 75 sum_s+=i 76 print(sum_s/len(data.index.values)) 77 xuhao = [] 78 pingjunfen = [] 79 for i in range(len(data.index.values)): 80 xuhao.append(i+1) 81 pingjunfen.append(sum_s/len(data.index.values)) 82 print(len(xuhao)) 83 print(len(pingjunfen)) 84 85 fig,ax = plt.subplots() 86 ax.scatter(xuhao,pingjunfen,color='r') 87 ax.plot(xuhao,org_score,color='y') 88 plt.title('学生平均分分布') 89 plt.legend(('个人平均分','总体平均分'),loc='upper left') 90 plt.show() 91 92 #对总分进行从高到低排序 93 sum_score.sort(reverse=True) 94 sum_score[:20] 95 96 score_list = [] 97 rank = [] 98 for i in range(1,len(data.index.values)+1): 99 rank.append(i) 100 101 rank[:20] 102 103 len(rank) 104 105 len(sum_score) 106 107 for i in range(len(sum_score)):#得到分数与对应排名的表格 108 score_list.append(sum_score[i]) 109 score_list.append(rank[i]) 110 111 score_list[:20] 112 113 len(score_list) 114 115 paiming = []#存放排名信息 116 for i in range(len(org_score)): 117 if org_score[i] in score_list: 118 paiming.append(score_list[score_list.index(org_score[i])+1]) 119 120 paiming 121 122 len(paiming) 123 124 data['排名'] = paiming[:2029]#将排名信息添加进表格 125 data.head() 126 127 path = r'D:\program\逻辑回归录取预测\成绩表-排名.xlsx' 128 pd.DataFrame(data).to_excel(path, sheet_name='Sheet1', index=False, header=True)#保存修改后的表格 129 130 final_org = [] 131 for i in sum_score: 132 final_org.append([i]) 133 134 final_org 135 136 #定义线性回归函数 137 ''' 138 线性回归算法 139 ''' 140 class LinearRegression_1(): 141 def __init__(self): #1.新建变量 142 self.w = None 143 144 def fit(self, X, y): #2.训练集的拟合 145 X = np.insert(X, 0, 1, axis=1) #增加一个维度 146 # print (X.shape) 147 X_ = np.linalg.inv(X.T.dot(X)) #公式：求X的转置（.T）与X矩阵相乘（.dot(X)），再求其逆矩阵（np.linalg.inv()） 148 self.w = X_.dot(X.T).dot(y) #上述公式与X的转置进行矩阵相乘，再与y进行矩阵相乘 149 150 def predict(self, X): #3.测试集的测试反馈 151 X = np.insert(X, 0, 1, axis=1) #增加一个维度 152 y_pred = X.dot(self.w) #X与self.w所表示的矩阵相乘 153 return y_pred 154 155 #画出排名和成绩对应的变化趋势图。可以看出大概在950-1100的范围其趋势图接近一条直线 156 fig,ax = plt.subplots() 157 ax.scatter(sum_score,rank) 158 plt.title('Real Data') 159 plt.legend(('Data Points','Data Points'),loc='upper right') 160 plt.xlabel('分数') 161 plt.ylabel('排名') 162 plt.show() 163 164 #确认训练数据和测试数据 165 paiming_train = rank[200:1200] 166 score_train = sum_score[200:1200] 167 paiming_real = rank[1200:1800] 168 score_test = final_org[1200:1800] 169 170 #确认训练数据和测试数据 171 paiming_train_1 = rank[200:1200] 172 score_train_1 = final_org[200:1200] 173 paiming_real_1 = rank[1200:1800] 174 score_test_1 = final_org[1200:1800] 175 176 r = LinearRegression_1()#建立线性回归模型 177 r.fit(score_train_1,paiming_train_1)#训练 178 paiming_test = r.predict(score_test_1)#将测试数据放入模型进行预测 179 180 #画出实际数据与预测数据的趋势图，可以看出在分数990-1040区间实际与预测值大致相同 181 fig,ax = plt.subplots() 182 ax.plot(score_test,paiming_test,color='r') 183 ax.scatter(score_test,paiming_real,color='b') 184 plt.legend(('LinearRegressionl','Real Data'),loc='upper right') 185 plt.xlabel('score') 186 plt.ylabel('rank') 187 plt.show() 188 189 import numpy as np 190 import matplotlib.pyplot as plt 191 from sklearn.linear_model import LinearRegression 192 from sklearn.linear_model import Lasso 193 from sklearn.linear_model import Ridge 194 x_data = np.array(sum_score) 195 y_data = np.array(rank) 196 x_data = x_data.reshape(-1,1) 197 y_data = y_data.reshape(-1,1) 198 X2 = np.hstack([x_data ** 3,x_data ** 2, x_data]) 199 print(X2.shape) 200 model = LinearRegression() # 线性回归 201 model.fit(X2,y_data) 202 y_pre = model.predict(X2) 203 t = np.arange(len(x_data)) 204 print(model.coef_) 205 print(model.intercept_) 206 print(model.score(X2 ,y_data)) 207 plt.plot(x_data,y_pre,color='r') 208 plt.scatter(x_data, y_data) 209 plt.legend(('Pridict','Data Points'),loc='upper right') 210 plt.show()
五、总结：
针对学生成绩进行了一元线性回归分析和多元线性回归，通过拟合曲线可得知成绩与排名的关系更加符合多元线性回归模型。使用该预测模型可在得知学生总分的情况下大致的预测出学生排名。