天池新人賽-天池新人實戰賽o2o優惠券使用預測（一）

　　第一次參加天池新人賽，主要目的還是想考察下自己對機器學習上的成果，以及系統化的實現一下所學的東西。看看自己的掌握度如何，能否順利的完成一個分析工作。為之后的學習奠定基礎。

　　這次成績並不好，只是把整個機器學習的流程熟悉了下。我本人總結如下：

　　步驟一：讀懂題目含義，分析賽題的數據

　　步驟二：特征工程的設計，這部分非常重要，好的特征工程能大大提高模型的准確率

　　步驟三：訓練算法。區分訓練集、測試集等。

　　步驟四：測試模型，看效果如何。

 

　　賽題可以去天池的官網查看，里面有賽題說明，賽題數據等等

　　https://tianchi.aliyun.com/getStart/introduction.htm?spm=5176.11165418.333.1.3c2e613cd1CCDk&raceId=231593

　　以下是代碼部分：

　　

import numpy as np
import pandas as pd

#導入數據
train_online = pd.read_csv('ccf_online_stage1_train.csv')
train_offline = pd.read_csv('ccf_offline_stage1_train.csv')
test = pd.read_csv('ccf_offline_stage1_test_revised.csv')

#將數據合並，以便統一對數據進行處理。都是線下數據
all_offline = pd.concat([train_offline,test])

#查看每一列的異常值
f = lambda x:sum(x.isnull())
all_offline.apply(f)

　　

#Data的空值 賦值為null，統一空值的格式
all_offline['Date'] = all_offline['Date'].fillna('null')

#將online與offline的數據合並
pd.merge(all_offline,train_online,on=['Merchant_id','User_id'])

#通過合並數據，發現兩者並無交集，題目要求只用線下預測，故排除線上online數據，
#只用offline數據

#根據賽題的要求，把正負樣本標注出來
def is_used(column):
    if column['Date']!='null' and column['Coupon_id']!='null':
        return 1
    elif column['Date']=='null' and column['Coupon_id']!='null':
        return -1
    else:
        return 0

all_offline['is_used'] = all_offline.apply(is_used,axis=1)

#Coupon_id 優惠券ID的具體數值意義不大，因此我們把他轉換成：是否有優惠券
def has_coup(x):
    if x['Coupon_id'] != 'null':
        return 1
    else:
        return 0
    
all_offline['has_coup']=all_offline.apply(has_coup,axis=1)

#由於Discount_rate優惠率的特殊格式:"150:20",很難使用算法來計算使用
#根據實際情況，優惠力度是能夠影響優惠券的使用頻率的。因此需要對Discount_rate進行轉化
#根據Discount_rate標識出折扣率
import re
regex=re.compile('^\d+:\d+$')

def discount_percent(y):
    if y['Discount_rate'] == 'null' and y['Date_received'] == 'null':
        return 'null'
    elif re.match(regex,y['Discount_rate']):
        num_min,num_max=y['Discount_rate'].split(':')
        return float(num_max)/float(num_min)
    else:
        return y['Discount_rate']

all_offline['discount_percent'] = all_offline.apply(discount_percent,axis=1)

 

#在進一步想，優惠力度會影響優惠券使用的概率，x:y這種滿減的類型，x具體是多少，勢必也會影響優惠券使用率
#講滿x元的標出x元
def discount_limit(y):
    if y['Discount_rate'] == 'null' and y['Date_received'] == 'null':
        return 'null'
    elif re.match(regex,y['Discount_rate']):
        num_min,num_max=y['Discount_rate'].split(':')
        return num_min
    else:
        return 0

all_offline['discount_limit'] = all_offline.apply(discount_limit,axis=1)
all_offline.head(10)

　　

 

#由於賽題需要的是，優惠券領取后15天的使用概率
#因此，我們在is_used的基礎上，在對領券時間 Date_received 和使用時間Date，進行比較，判斷是否在15天內使用
#時間比較
import datetime
#標注15天內使用優惠券的情況
def used_in_15days(z):
    if z['is_used'] == 1 and z['Date'] != 'null' and z['Date_received'] != 'null':
        days= (datetime.datetime.strptime(z['Date'],"%Y%m%d")-datetime.datetime.strptime(z['Date_received'],"%Y%m%d"))
        if days.days < 15:
            return 1
        else:
            return 0
    else:
        return 0
        
all_offline['used_in_15days']=all_offline.apply(used_in_15days,axis=1)

#再來觀察discount_percent，discount_limit這2個特征，看數據的分布情況。
all_offline['discount_percent'].value_counts()

 　　

all_offline['discount_limit'].value_counts()

 　　

#將discount_percent分段
def discount_percent_layer(columns):
    if columns['discount_percent']=='null':
        return 'null'
    
    columns['discount_percent']=float(columns['discount_percent'])
    if columns['discount_percent'] <= 0.1:
        return 0.1
    elif columns['discount_percent'] <= 0.2:
        return 0.2
    elif columns['discount_percent'] <= 0.3:
        return 0.3
    elif columns['discount_percent'] <= 0.4:
        return 0.4
    else:
        return 0.5

all_offline['discount_percent_layer']=all_offline.apply(discount_percent_layer,axis=1)
all_offline['discount_percent_layer'].value_counts()

 ·　　

#將discount_limit分段
def discount_limit_layer(columns):
    if columns =='null':
        return 'null'
    
    columns=int(columns)
    if columns <= 10:
        return 10
    elif columns <= 20:
        return 20
    elif columns <= 30:
        return 30
    elif columns <= 50:
        return 50
    elif columns <= 100:
        return 100
    elif columns <= 200:
        return 200
    else:
        return 300

all_offline['discount_limit_layer']=all_offline['discount_limit'].apply(discount_limit_layer)
all_offline['discount_limit_layer'].value_counts()

 　　

總結：
　　此時 Coupon_id 被處理成 has_coup（1代表領取優惠券，0代表沒有領取優惠券）
　　Date,Date_received 被處理成 used_in_15days。表示是否在15天內使用過優惠券
　　Discount_rate 被處理成 discount_percent（折扣率），discount_limit（滿多少）
　　Merchant_id，User_id 是unicode值,不需要進行處理

#剩下Distance，看下Distance的分布情況
all_offline['Distance'].value_counts()

　　

#保存數據，以便后期使用起來方便
train_finall,test_finall = all_offline[:train_offline.shape[0]],all_offline[train_offline.shape[0]:]
all_offline.to_csv(r'output\all_offline.csv')
train_finall.to_csv(r'output\train_finall.csv')
test_finall.to_csv(r'output\test_finall.csv')

#one_hot處理
all_offline_new=all_offline.drop(
        ['Coupon_id','Date','Date_received','Discount_rate','Merchant_id',
         'User_id','discount_percent','discount_limit'],axis=1)
all_offline_new=pd.get_dummies(all_offline_new)

#把測試集跟驗證集分開
train01,test01=all_offline_new[:len(train_offline)],all_offline_new[len(train_offline):]

#把沒有領券的去掉
train02=train01[train01['has_coup']==1]

#由於特征集 都是領券的人，故把 has_coup 字段刪掉
train02=train02.drop(['has_coup'],axis=1)
test01=test01.drop(['has_coup'],axis=1)

x_train=train02.drop(['used_in_15days'],axis=1)
y_train=pd.DataFrame({"used_in_15days":train02['used_in_15days']})
x_text=test01.drop(['used_in_15days'],axis=1)

#建模
from sklearn.linear_model import LinearRegression

clf=LinearRegression()
clf.fit(x_train,y_train)

#用模型進行預測
predict=clf.predict(x_text)


result=pd.read_csv('ccf_offline_stage1_test_revised.csv')
result['probability']=predict

result=result.drop(['Merchant_id','Discount_rate','Distance'],axis=1)


#發現最終預測有負值，直接歸為0
result['probability']=result['probability'].apply(lambda x: 0 if x<0 else x)

result.to_csv(r'output/sample_submission.csv',index=False)