R語言-缺失值判斷以及處理

 

#####缺失值判斷以及處理#####

#舉例1：向量類型判斷缺失值is.na和缺失值的填補which

(x<-c(1,2,3,NA))

is.na(x)  #返回一個邏輯向量，TRUE為缺失值，FALSE為非缺失值

table(is.na(x))  #統計分類個數

sum(x)  #當向量存在缺失值的時候統計結果也是缺失值

sum(x,na.rm = TRUE)  #很多函數里都有na.rm=TRUE參數，此參數可以在運算時移除缺失值

(x[which(is.na(x))]<-0)  #可以用which()函數代替缺失值，which()函數返回符合條件的響應位置

 

#舉例2：數據框類型判斷缺失值is.na、缺失值的填補which、缺失值所在行的刪除na.omit

(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))

is.na(test)  #test中空值的判斷

which(is.na(test),arr.ind = T)  #arr.ind=T可以返回缺失值的相應行列坐標

test[which(is.na(test),arr.ind = T)]<-0 #結合which進行缺失替代

(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9))))  #na.omit函數可以直接刪除值所在的行

 

#舉例3：識別缺失值的基本語法匯總

str(airquality)

complete.cases(airquality)  #判斷個案是否有缺失值

 

airquality[complete.cases(airquality),]  #列出沒有缺失值的行

nrow(airquality[complete.cases(airquality),])  #計算沒有缺失值的樣本量

 

airquality[!complete.cases(airquality),]  #列出有缺失的值的行

nrow(airquality[!complete.cases(airquality),])  #計算有缺失值的樣本量

 

is.na(airquality$Ozone)  #TRUE為缺失值，FALSE為非缺失值

table(is.na(airquality$Ozone))

complete.cases(airquality$Ozone)  #FALSE為缺失值，TRUE為非缺失值

table(complete.cases(airquality$Ozone))

 

#可用sum()和mean()函數來獲取關於缺失數據的有用信息

sum(is.na(airquality$Ozone))  #查看缺失值的個數

sum(complete.cases(airquality$Ozone))  #查看沒有缺失值的個數

mean(is.na(airquality$Ozone))  #查看缺失值的占比

mean(is.na(airquality))  #查看數據集airquality中樣本有缺失值的占比

 

#舉例4：探索缺失值模式

#列表缺失值探索

library(mice)

md.pattern(airquality)

 

#圖形缺失值探索

library(VIM)

aggr(airquality,prop=FALSE,number=TRUE)

aggr(airquality,prop=TRUE,number=TRUE) #生成相同的圖形，但用比例代替了計數

aggr(airquality,prop=FALSE,number=FALSE)  #選項numbers = FALSE（默認）刪去數值型標簽

 

#舉例5：刪除缺失值

airquality[complete.cases(airquality),] #方法一：刪除缺失值行

na.omit(airquality) #方法二：刪除缺失值的行

 

#舉例6：缺失值回歸模型插補

newnhanes2<-nhanes2

sub<-which(is.na(newnhanes2[,4]))  #返回newnhanes2數據集中第4列NA的行標識

datatr<-newnhanes2[-sub,]  #方法一：將第4列不為NA的數存入數據集datatr中

datatr<-newnhanes2[complete.cases(newnhanes2[,4]),]  #方法二：將第4列不為NA的數存入數據集datatr中

datate<-newnhanes2[sub,]  #方法一：將第4列為NA的數存入數據集datate中

datate<-newnhanes2[is.na(newnhanes2[,4]),]  #方法二：將第4列為NA的數存入數據集datate中

fit<-lm(chl~age,data = datatr)  #利用datatr中age為自變量，chl為因變量構建線性回歸模型lm

newnhanes2[sub,4]<-round(predict(fit,datate))  #利用datate中數據按照模型fit對nhanes2中chl中的缺失數據進行預測

 

#舉例7：缺失值隨機森林插補

library(missForest)

z<-missForest(airquality)  #用隨機森林迭代彌補缺失值

air.full<-z$ximp

zz<-missForest(nhanes2)

nhanes2.full<-zz$ximp

 

#舉例8：線性回歸模型插補

mice::md.pattern(airquality)

index1<-is.na(airquality$Ozone) #對Ozone變量進行缺失值處理

dput(colnames(airquality))  #求出變量列名稱

Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #訓練集，需注意什么時候用!,什么時候用-

Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #測試集

fit<-lm(Ozone~.,data = Ozone_train) #建立線性回歸模型

summary(fit)

airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )

 

index2<-is.na(airquality$Solar.R)  #Solar.R變量進行缺失值處理,Ozone變量數據已補齊

Solar.R_train<-airquality[!index2,]  #訓練集

Solar.R_test<-airquality[index2,]  #測試集

Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)

summary(Solar.R_fit)

airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)

mice::md.pattern(airquality)

 

#knn和bag缺失值插補(利用caret包中的preProcess函數，method參數有多種方式可選)

question<-read.csv("問卷調研數據.csv")

question<-question[,-1]

str(question)

for(i in 1:ncol(question)){

  question[,i]<-as.factor(question[,i])

}  #批量修改為因子類型

str(question)

 

#舉例9：利用KNN算法進行缺失值插補(只能對數值型變量處理)

question<-read.csv("問卷調研數據.csv")

question<-question[,-1]

mice::md.pattern(question)  #列表缺失值探索

library(caret)

knn.model<-preProcess(question,method = "knnImpute") #KNN處理數值型數據(歐式距離),不能處理因子型數據

question1<-predict(knn.model,newdata = question)

install.packages("RANN")

mice::md.pattern(question1)

table(question1$性別)  #不是之前的1和2了

table(question$性別)

#最后結果：knn不適合處理該數據，需要做啞變量處理，再套模型

 

#舉例10：利用袋裝算法進行缺失值插補(只能對數值型變量處理)

question<-read.csv("問卷調研數據.csv")

question<-question[,-1]  

mice::md.pattern(question) #列表缺失值探索

library(caret)

bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立

install.packages("ipred")

question2<-predict(bag.model,question) #預測結果

mice::md.pattern(question2)  #列表缺失值探索

table(question2$性別)

#最后結果：bag算法不適合處理該數據