python数据分析之金融欺诈行为检测
- 项目的思维导图
- 数据分析与处理
- 声明所使用的库
`import numpy as np
import pandas as pd #panda主要用于处理结构化的数据列表，具有数据挖掘和数据分析，对数据进行清洗
import matplotlib.pyplot as plt #绘图工具
import matplotlib.cm as cm #色彩映射函数
import seaborn as sns #基于Matplotlib图形可视化的python包，便于做出统计图表
from sklearn import preprocessing #数据建模用的一个库
from scipy.stats import skew,boxcox
import os`
- 处理数据的结构
注意：代码中处理的是csv文件，这里为了简单明了，使用excel呈现出
关于数据列的解释如下
（1）step:对应现实中的时间单位（小时）
（2）type:转账类型
（3）amout:金额
（4）nameOrig: 转账发起人
（5）oldbalanceOrg: 转帐前发起人账户余额
（6）newbalanceOrig: 转账后发起人账户余额
（7）nameDest: 转账收款人
（8）oldbalanceDest: 转账前收款人账户余额，收款人是商户（M开头）时没有该项信息
（9）newbalanceDest: 转账后收款人余额，收款人是商户（M开头）时没有该项信息
（10）isFraud：该转账行为是欺诈行为
（11）isFlaggedFraud: 商业模型为了控制大额转账并且标记为非法操作，在这儿，非法操作是指转账金额超过20万。
- 读取文件
在代码所在的文件夹中创建一个新的文件夹，用于存放数据集
dataset_path='./pythonjinrong'
csvfile_path=os.path.join(dataset_path,'PS.csv')
#解压数据集
raw_data=pd.read_csv(csvfile_path)
- 统计数据集中的各转账类型的数量
print('转账类型记录统计：')
print(raw_data['type'].value_counts())
fig,ax=plt.subplots(1,1,figsize=(8,4))
raw_data['type'].value_counts().plot(kind='bar',title='Transaction Type',ax=ax,figsize=(8,4))
plt.show()
结果会输出统计数量结果，以及绘制柱形图，从下图中可以看出数量最多的类型是支付类型（PAYMENT)，共1391例，最少的是借款（DEBIT)，共152例
- 查看各类型中欺诈行为的数量
（1）首先，用“0”表示没有欺诈行为，用“1”表示存在欺诈行为
（2）统计存在欺诈行为的类型的数量
#查看转账类型和欺诈标记的记录
ax=raw_data.groupby(['type','isFraud']).size().plot(kind='bar')
ax.set_title('#of transactions vs (type+isFraud)')
ax.set_xlabel('(type,isFraud)')
ax.set_ylabel('#of transaction')
#添加标注
for p in ax.patches:
ax.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))
（3）运行结果如下
从结果分析，存在欺诈行为的类型有现金提取（CASH_OUT)和转账(DEBIT)
- 使用箱线图比较欺诈行为和正常行为
#对数据进行分析
fig,axs=plt.subplots(2,2,figsize=(10,10))
transfer_data=raw_data[raw_data['type']=='TRANSFER']
a=sns.boxplot(x='isFlaggedFraud',y='amount',data=transfer_data,ax=axs[0][0])
axs[0][0].set_yscale('log') #比较金额
b=sns.boxplot(x='isFlaggedFraud',y='oldbalanceDest',data=transfer_data,ax=axs[0][1])
axs[0][1].set(ylim=(0,0.5e8)) #比较转账前收款人账户余额
c=sns.boxplot(x='isFlaggedFraud',y='oldbalanceOrg',data=transfer_data,ax=axs[1][0])
axs[1][0].set(ylim=(0,3e7)) #比较转账前付款人的账户余额
d=sns.regplot(x='oldbalanceOrg',y='amount',data=transfer_data[transfer_data['isFlaggedFraud']==1])
plt.show()
由于小编的电脑内存仅剩几个G，所以跑不动高达481968k的数据集，所以自己提取了204K的数据运行，但结果不佳，图1是204k数据跑的结果，图2、3是换了设备后大数据集的结果
结果差别还是挺大的，所以还是要有一台配置好的电脑。
从大数据集跑出来的结果可以分析出以下几个特点
图（1）欺诈行为涉及的金额大——重要特点
图（4）之前账户的余额与转账金额的关系——可能呈线性关系
- 数据处理（数据清洗和数据合并）
（1）首先将数据集中不存在欺诈行为的类型去掉，保留存在欺诈的取款和转账两种类型，然后重新设置索引
#数据处理：包括数据清洗和样本数据合并
used_data=raw_data[(raw_data['type']=='TRANSFER') | (raw_data['type']=='CASH_OUT')]
#去掉不用的数据
used_data.drop(['step','nameOrig','nameDest','isFlaggedFraud'],axis=1,inplace=True)
#重新设置索引
used_data=used_data.reset_index(drop=True)
（2）将取款（CASH_OUT)和转账（DEBIT)两种类型分别表示为“0”和“1”
#将type转换成类别数据，即0，1
type_label_encoder=preprocessing.LabelEncoder()
type_category=type_label_encoder.fit_transform(used_data['type'].values)
used_data['typeCategory']=type_category
#print(used_data.head())
sns.heatmap(used_data.corr()) #使用PRT相关技术分析变量间的相关性
预览前五行数据可以看到处理后的表格
在输出结果中，通过typeCategory这一列，我们可以看到两种类型都已被编码
相关程度图如下，颜色越浅，相关度越高
从图中可以看出，转帐前和转账后付款人和收款人的余额有很大的相关性，余额也跟转账金额有关系。
- 查看转账和取款类型数量
#查看转账类型记录个数
ax=used_data['type'].value_counts().plot(kind='bar',title="Transaction Type",figsize=(6,6))
for p in ax.patches:
ax.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))
plt.show()
结果如下：
从这个图中可以看出取款类型多于转账类型
注意：绘制此图时，建议把绘制相关性图的那行代码注释掉，不然画出来的两个图就混到一起了。
- 查看正常行为与欺诈行为数量
#查看转账类型中欺诈记录个数
ax1=pd.value_counts(used_data['isFraud'],sort=True).sort_index().plot(kind='bar',title="Fraud Transaction Count")
for p in ax1.patches:
ax1.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))
plt.show()
结果如下
从这张图可以看出，正常行为远远多于欺诈行为。
- 数学模型的构建
（1）准备模型
由上面的分析可知，金融欺诈行为数量远远小于正常行为，为了构建模型，采用下采样法取出与欺诈行为数量相等的正常行为，然后输出比例验证下采样法。
#准备模型
feature_names=['amount','oldbalanceOrg','newbalanceOrig','oldbalanceDest','newbalanceDest','typeCategory']
X=used_data[feature_names]
y=used_data['isFraud']
#print(X.head())
#print(y.head())
#用下采样法处理不平衡数据
#欺诈记录的条数
number_records_fraud=len(used_data[used_data['isFraud']==1])
#欺诈记录的索引
fraud_indices=used_data[used_data['isFraud']==1].index.values
#得到非欺诈记录的索引
nonfraud_indices=used_data[used_data['isFraud']==0].index
#随即选取相同数量的非欺诈记录
random_nonfraud_indices=np.random.choice(nonfraud_indices,number_records_fraud,replace=False)
random_nonfraud_indices=np.array(random_nonfraud_indices)
#整合两样本的索引
under_sample_indices=np.concatenate([fraud_indices,random_nonfraud_indices])
under_sample_data=used_data.iloc[under_sample_indices,:]
X_undersample=under_sample_data[feature_names].values
y_undersample=under_sample_data['isFraud'].values
print("非欺诈记录比例:",len(under_sample_data[under_sample_data['isFraud']==0])/len(under_sample_data))
print("欺诈记录比例：",len(under_sample_data[under_sample_data['isFraud']==1])/len(under_sample_data))
print("欠采样记录数：",len(under_sample_data))
比例输出结果如下：
从之前的统计中可以知道金融欺诈行为的数量为16，取出相同数量的正常行为16例，所以欠采样记录数为32
（2）模型构建
采用逻辑回归模型，该模型主要用于分类问题，特别是分为0和1两类的问题
#数据建模
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve,auc
#分割训练集和测试集
X_train,X_test,y_train,y_test=train_test_split(X_undersample,y_undersample,test_size=0.3,random_state=0)
lr_model=LogisticRegression()
lr_model.fit(X_train,y_train)
y_pred_score=lr_model.predict_proba(X_test)
fpr,tpr,thresholds=roc_curve(y_test,y_pred_score[:,1])
roc_auc=auc(fpr,tpr)
#绘制ROC曲线
plt.title('Receiver Operating Characteristic')
plt.plot(fpr,tpr,'b',label='AUC=%0.2f'%roc_auc)
plt.legend(loc='lower right')
plt.plot([0,1],[0,1],'r--')
plt.xlim([-0.1,1.0])
plt.ylim([-0.1,1.01])
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.show()
ROC曲线的AUC越接近1，说明模型越好，在这儿AUC=0.78，说明模型还可以。
然后，项目就做完了。
备注：数据在kaggle里，链接：https://www.kaggle.com/ntnu-testimon/paysim1
