數據源：提取碼: g6vv
寫這篇文章的目的是通過實踐加深數據分析流程的印象，方便以后忘記時快速回顧，文末附有自己寫的數據分析報告。
數據來源CDNow網站的用戶購買明細。一共有用戶ID，購買日期，購買數量，購買金額四個字段
消費行業或者是電商行業一般是通過訂單數，訂單額，購買日期，用戶ID這四個字段來分析的，基本上這四個字段就可以進行很豐富的分析。
分析步驟：先清洗好數據，然后從消費趨勢、用戶方向、訂單方向分析數據所反映的問題
任務：缺失值的處理、數據類型的轉化
任務：每月的消費總金額、每月的訂單數、每月的銷量、每月的消費人數
任務：用戶消費金額和購買數量的描述統計、用戶消費金額和購買數量的散點圖、用戶消費金額的分布圖（二八法則）、用戶購買數量的分布圖、用戶累計消費金額的占比
任務：用戶第一次消費時間、用戶最后一次消費時間、用戶分層、用戶購買周期
1.啟動jupyter notebook，新建puython3文件
2.導入庫並加載數據
1 import pandas as pd 2 import numpy as np 3 import matplotlib.pyplot as plt 4 from datetime import datetime 5 %matplotlib inline 6 plt.rcParams['font.family'] = ['sans-serif'] # 解決中文亂碼 7 plt.rcParams['font.sans-serif'] = ['SimHei'] 8 # 設置顯示圖形用svg矢量格式， 9 %config InlineBackend.figure_format = 'svg' 10 11 columns = ['user_id','order_dt','order_products','order_amount'] # 為打開的文件指定列名（CDNOW_master.txt文件沒有列名只有數據） 12 df = pd.read_table(r"C:/CHB/CDNOW_master.txt", names = columns, sep = '\s+') # 文件CDNOW_master.txt以空格分隔，\s+表示匹配任意空白符
3.用 head+info+describe 觀察數據，看數據是否干凈：有沒有缺失值、數據類型是否正確（數據類型正確與否很重要，拿到數據需要首先看數據類型，以避免接下來出現數據類型問題，pandas數據類型轉換）
沒有缺失值，但有些數據類型不符合我們的分析要求：如order_dt應該是datetime64類型才對
用戶平均購買2個商品，中位數在2個商品，75分位數在3個商品，說明絕大部分訂單的購買量都不多。最大值在99個，數字比較高。
購買金額的情況差不多，大部分訂單都集中在小額，說明有小部分用戶會購買大量商品。
一般而言，消費類的數據分布，都是長尾形態。大部分用戶都是小額，然而小部分用戶貢獻了收入的大頭，俗稱二八。
4. 把 order_dt 字段的數據類型轉為datetime64，astype也可以將時間格式進行轉換，比如[M]轉化成月份，周是W。
1 df['order_dt'] = pd.to_datetime(df.order_dt,format = '%Y%m%d') # Y四位數的日期部分，y表示兩位數的日期部分 2 df['month'] = df.order_dt.values.astype('datetime64[M]') # 衍生一個month字段用於接下來的分析（月份依舊顯示日，只是變為月初的形式。）
1.先對數據按月分組，然后求出每月的銷量並繪圖
1 fig,axes = plt.subplots(1,1) 2 plt.plot(grouped_month.order_amount.sum()) 3 plt.title("CDNow網站月度銷售金額走勢圖") 4 plt.xlabel("月份") 5 plt.ylabel("銷售金額") 6 plt.grid(b = "true") 7 plt.savefig("month_amount.jpg")
按月統計每個月的CD銷量。從圖中可以看到，前幾個月的銷量非常高漲。數據比較異常。而后期的銷量則很平穩。
2.每月的消費總金額
1 fig,axes = plt.subplots(1,1) 2 plt.plot(grouped_month.order_products.sum()) 3 plt.title("CDNow網站月度銷售量走勢圖") 4 plt.xlabel("月份") 5 plt.ylabel("銷售量") 6 plt.grid(b = "true") 7 plt.savefig("month_products.jpg")
金額一樣呈現早期銷售額多，后期平穩下降的趨勢。
3.每月的訂單數
1 fig,axes = plt.subplots(1,1) 2 plt.plot(grouped_month.user_id.count()) 3 plt.title("CDNow網站月度訂單量走勢圖") 4 plt.xlabel("月份") 5 plt.ylabel("訂單量") 6 plt.grid(b = "true") 7 plt.savefig("month_count.jpg")
前三個月的消費訂單數在10000筆左右，后續月份的消費人數則在2500人左右。
4.每月的消費人數（重復的不算）
1 fig,axes = plt.subplots(1,1) 2 plt.plot(df.groupby('month').user_id.nunique()) 3 plt.title("CDNow網站月度消費人數走勢圖") 4 plt.xlabel("月份") 5 plt.ylabel("消費人數量") 6 plt.grid(b = "true") 7 plt.savefig("month_people_count.jpg")
一樣是前期消費人數多，后期平穩下降的趨勢。
5.用數據透視表看每月數據的趨勢
df.pivot_table(index = 'month', values = ['order_products','order_amount','user_id'], aggfunc = {'order_products':'sum','order_amount':'sum','user_id':'count'}).head()
小結：每月的銷量、銷售金額、訂單數和消費人數都是前三個月非常高，之后趨於平穩。
為什么會呈現這個原因呢？我們假設是用戶身上出了問題，早期時間段的用戶中有異常值，第二假設是各類促銷營銷，但這里只有消費數據，所以無法判斷。
有時候我們也需要從個體來看這個人的消費能力如何，這里划分了五個方向如下：
1.先按用戶分組，然后求用戶消費金額和購買數量的描述統計
1 group_user = df.groupby('user_id') 2 group_user.sum().describe()
從用戶角度看，每位用戶平均購買7張CD，最多的用戶購買了1033張。用戶的平均消費金額（客單價）100元，標准差是240
結合分位數和最大值看，平均值才和75分位接近，肯定存在小部分的高額消費用戶。
消費、金融和錢相關的數據，基本上都符合二八法則，小部分的用戶占了消費的大頭
2.用戶消費金額和購買數量散點圖
1 group_user.sum().query('order_amount < 4000'). plot.scatter(x = 'order_amount' , y = 'order_products') # query后面只支持string形式的值
x軸是用戶個人消費金額，y軸是用戶個人購買數量，呈線性關系，因為這是CD網站的銷售數據，商品比較單一，消費金額和購買數量掛鈎。
這里把消費金額大於4000的點排除在外，因為從上面用戶消費金額和消費次數的描述統計來看，大於4000已屬於異常值了，而且也沒多少個點，還不如排除在外，重點關注大部分用戶的分布情況。
如果不設置條件，散點圖如下圖，顯然上圖好一點，上圖已經夠表達出分布規律了
3.用戶消費金額的分布圖（二八法則）
group_user.sum().order_amount. plot.hist(bins = 20) # bins = 20,就是分成20塊，最高金額是14000，每個項就是700
x軸是消費金額，y軸是用戶數，從上圖直方圖可知，大部分用戶的消費能力確實不高，絕大部分用戶集中在很低的消費檔次（700）。高消費用戶在圖上幾乎看不到，這也確實符合消費行為的行業規律。
說大部分可能有點籠統，我們具體算一下有多少用戶消費金額小於等於700，有多少用戶消費金額大於700
group_user.sum().query('order_amount <= 700').count()
group_user.sum().query('order_amount > 700').count()
print("消費金額小於等於700的用戶有: 23171位，占比: {:.2%}".format(23171/(23171+399)))
4.用戶購買數量的分布圖（二八法則）
group_user.sum().query('order_products < 100').order_products.hist(bins = 40) # 購買數量設置小於100，分成40塊，每塊就是2.5
大部分用戶的購買數量落在區間 [0,20]
5.用戶累計消費金額的占比（百分之多少的用戶占了百分之多少的消費額）
1 user_cumsum = group_user.sum().sort_values('order_amount').apply(lambda x: x.cumsum() / x.sum()) # axis = 0按列計算 cumsum滾動累加求和 sort_values排序，升序 2 user_cumsum
user_cumsum.reset_index().order_amount.plot().grid(b=True) # reset_index重設索引，grid(b=True)開啟網格線
拿消費界限計算各自消費總額
1.用戶第一次消費時間（首購）
在很多行業里面首購是一個很重要的維度，它和渠道息息相關，尤其是針對客單價比較高客戶留存率比價低的行業，第一次客戶從哪里來可以拓展出很多運營方式
group_user.month.min().value_counts()
求月份的最小值，即用戶消費行為中的第一次消費時間。所有用戶的第一次消費都集中在前三個月。
2.用戶最后一次消費時間
group_user.month.max().value_counts()
group_user.max().order_dt.value_counts().plot()
用戶最后一次消費比第一次消費分布廣，大部分最后一次消費集中在前三個月，說明很多客戶購買一次就不再進行購買。
隨着時間的增長，最后一次購買數也在遞增，消費呈現流失上升的情況，用戶忠誠度在慢慢下降。
3.用戶分層（RFM）
1 rfm = df.pivot_table(index = 'user_id', 2 values = ['order_products','order_amount','order_dt'], 3 aggfunc = {'order_dt':'max','order_amount':'sum','order_products':'sum'}) 4 5 rfm.head()
order_amount消費總金額，order_products消費產品數，order_dt最近一次消費時間
order_products求的是消費產品數，把它替換成消費次數也是可以，但是因為我們這里消費次數是比較固定的，所以使用消費產品數的維度。
1 rfm['R'] =-(rfm.order_dt - rfm.order_dt.max()) / np.timedelta64(1,'D') 2 #-(rfm.order_dt - rfm.order_dt.max())結果為時間類型，將時間格式轉化為整數或者浮點數的形式，可以除以單位‘D’，也可以用astype轉化 3 rfm.rename(columns ={'order_products':'F', 'order_amount':'M'},inplace = True ) 4 rfm = rfm[['R','F', 'M']] 5 rfm.head()
獲得三個字段的值后定義分層函數進行用戶分層
1 def rfm_func(x): 2 level = x.apply(lambda x :'1' if x >= 0 else '0') 3 label = level.R + level.F + level.M 4 d = { 5 '111':'重要價值客戶', 6 '011':'重要保持客戶', 7 '101':'重要挽留客戶', 8 '001':'重要發展客戶', 9 '110':'一般價值客戶', 10 '010':'一般保持客戶', 11 '100':'一般挽留客戶', 12 '000':'一般發展客戶' 13 } 14 result = d[label] 15 return result 16 17 rfm['label'] = rfm[['R','F','M']].apply(lambda x : x - x.mean()).apply(rfm_func,axis = 1) # axis = 1列，即把rfm_func結果放到列 18 rfm.head()
統計一下每個層次的用戶有多少
rfm.groupby('label').count()
畫餅圖看一下占比
1 x = rfm.groupby('label').count().R 2 plt.pie(x.values, labels=x.index, autopct='%.0f%%')
可以看到，一般挽留和一般發展的用戶占了大部分，重要保持客戶排名第二
rfm.groupby('label').sum().M
畫餅圖看一下占比
1 y = rfm.groupby('label').sum().M 2 plt.pie(y.values, labels=y.index, autopct='%.0f%%')
結合上一個圖看，一般挽留客戶人數占60%，但銷售額只占18%，重要保持客戶占19%，銷售額占64%，消費的大頭主要是重要保持客戶
4.用戶購買周期
1 order_diff = group_user.apply(lambda x : x.order_dt - x.order_dt.shift()) # 將用戶分組后，每個用戶的訂單購買時間進行錯位相減 2 order_diff.describe()
用戶的平均購買周期是68天，絕大部分用戶的購買周期都低於100天
用戶購買周期分布
小結：用戶首購集中在前三個月並且最后一次購物也集中在前三個月，很多用戶都是在前三個月購買一次后就不買了，這些用戶大多屬於一般發展和一般挽留客戶，只貢獻了1/4的銷售額，剩下的用戶購買量大，貢獻了銷售額的大頭。
