天池精准醫療大賽——人工智能輔助糖尿病遺傳風險預測

作為天池上的新手，第一次參加天池阿里雲線上的比賽，糖尿病預測，

一般的數據挖掘比賽，流程：數據清洗，特征工程（找特征，特征組合），不斷的嘗試的不同算法，不斷調參，也可以考慮將多個模型進行線性組合

大賽初賽數據共包含兩個文件，訓練文件d_train.csv和測試文件d_test.csv，每個文件第一行是字段名，之后每一行代表一個個體。文件共包含42個字段，包含數值型、字符型、日期型等眾多數據類型，部分字段內容在部分人群中有缺失，其中第一列為個體ID號。訓練文件的最后一列為標簽列，既需要預測的目標血糖值。

初賽是關於利用特征預測血糖值，以csv格式文件進行提交。

下面直接切入正題：

代碼文件：xgboost_test.py，將代碼放在新建項目下，並新建一個文件夾data，原始的數據放在data文件夾中。最終結果會保存在當前項目的目錄下.csv文件。

算法思路：單模型+原始33個特征

（1） 最初想法：使用最近鄰的插補方法，即找一條與空缺值相近的且完整的記錄對空缺數據的進行插補，將插補后的數據和原始的未插補的數據都帶入算法模型中進行驗證，發現插補后的數據誤差較大，果斷放棄。最終仍然使用的是原始的帶空缺值的數據用於訓練模型。

（2） 在公布a榜測試集答案后，把a榜的數據作為訓練集，把訓練集拼接起來，增加了訓練集的樣本數量。

（3） 由於最開始的訓練集中存在血糖值異常大的記錄，刪除訓練集中血糖為38的那一行。由於與乙肝的缺失值太多，且相關性不高，因此刪除了乙肝等5個特征屬性，以及刪除了‘id’、‘性別’、‘體檢日期’特征屬性。

（4） 在開始部分計算了各個特征與‘血糖’的Persona相關性系數，去相關系數較大的幾個特征用於訓練模型，發現效果不及用33個特征。因此算法模型采用的33個特征，進行血糖的預測。

（5） 在不斷嘗試過catboost，LightGBM ,神經網絡等基本的算法模型和調參后，發現使用xgboost效果的最好，在無數次不斷調參后，達到最優的效果，及最終的成績86名|0.6316

最終比較幸運的初賽86名，進入復賽

代碼：

import pandas as pd
import xgboost as xgb
from sklearn.metrics import mean_squared_error

# 將兩部分的訓練集train1，train2共同組合成總得訓練集train
train1=pd.read_csv(r"data/d_train_20180102.csv",encoding='gbk')
# 合並訓練集
train2_1=pd.read_csv(r"data/d_test_A_20180102.csv",encoding='gbk')
train2_2=pd.read_csv(r"data/d_answer_a_20180128.csv",encoding="gbk",header=None)
train2_2.rename(columns={0:'血糖'},inplace=True) #取名“血糖”
train2=pd.concat([train2_1,train2_2],axis=1)
train=pd.concat([train1,train2],axis=0)

# 刪除特別大的‘血糖’異常值
columns=len(train.columns)
train.drop(train.index[[i for i in train.index if train.iloc[i,columns-1]>30]],inplace=True)
# 測試集
test=pd.read_csv(r"data/d_test_B_20180128.csv",encoding='gbk')
# validate=pd.read_csv(r"data/d_answer_b_20180130.csv",encoding='utf-8',header=None)
del_feat=['性別','體檢日期','乙肝表面抗原', '乙肝表面抗體', '乙肝e抗原', '乙肝e抗體', '乙肝核心抗體']
# 刪除特征
feat=[]
for i in train.columns:
    if i not in del_feat:
        feat.append(i)
train=train[feat]
feat.remove('血糖') #測試集不需要‘血糖’屬性
test=test[feat]

y_train = train["血糖"]
x_train = train.drop(['id','血糖'], axis=1)
y_test = test.drop('id', axis=1)

# training xgboost
dtrain = xgb.DMatrix(x_train, label=y_train)
dtest = xgb.DMatrix(y_test)

params = {'booster': 'gbtree',
          'objective': 'reg:linear',
          'eval_metric': 'rmse',
          'max_depth': 6,#通常取值：3-10
          'gamma':0.2,#給定了所需的最低loss function的值
          'lambda': 100,
          'subsample': 1,#用於訓練模型的子樣本占整個樣本集合的比例
          'colsample_bytree': 0.6,
          'min_child_weight': 12,  # 5~10,孩子節點中最小的樣本權重和，即調大這個參數能夠控制過擬合
          'eta': 0.02,#更新過程中用到的收縮步長，取值范圍為：[0,1]
          'sample_type': 'uniform',
          'normalize': 'tree',
          'rate_drop': 0.1,
          'skip_drop': 0.9,
          'seed': 100,
          'nthread':-1
          }

bst_nb = 700
watchlist = [(dtrain, '訓練誤差')]
model = xgb.train(params, dtrain, num_boost_round=bst_nb, evals=watchlist)  # 訓練模型

y_pred = model.predict(dtest)

# print((mean_squared_error(validate,y_pred))/2)
y_predDF=pd.DataFrame({None:y_pred})
y_predDF.to_csv("SMUDMers_test_B_res.csv",header=None,index=False,float_format="%.2f")

順便把大佬們的思路粘貼一下：

豆腐大佬：初賽626方案（實際加上后驗可以達到600）+（A榜線下81線上815）+復賽基本思路和方案

吳飛：天池精准醫療大賽——人工智能輔助糖尿病遺傳風險預測0.596931925方法代碼分享

吳飛：人工智能輔助糖尿病遺傳風險預測 XGBoost, LightGBM, NN,CATBOOST and OLS實驗代碼 線上0.8429