R語言中的數據處理包dplyr、tidyr筆記

dplyr包是Hadley Wickham的新作，主要用於數據清洗和整理，該包專注dataframe數據格式，從而大幅提高了數據處理速度，並且提供了與其它數據庫的接口；tidyr包的作者是Hadley Wickham， 該包用於“tidy”你的數據，這個包常跟dplyr結合使用。

本文將介紹dplyr包的下述五個函數用法：

• 篩選: filter()
• 排列: arrange()
• 選擇: select()
• 變形: mutate()
• 匯總: summarise()
• 分組: group_by()

以及tidyr包的下述四個函數用法：

• gather—寬數據轉為長數據；
• spread—長數據轉為寬數據；
• unit—多列合並為一列；
• separate—將一列分離為多列；

　dplyr、tidyr包安裝及載入

install.packages("dplyr") install.packages("tidyr") library(dplyr) library(tidyr)

使用datasets包中的mtcars數據集做演示，首先將過長的數據整理成友好的tbl_df數據：

mtcars_df = tbl_df(mtcars)

dplyr包基本操作

　1.1 篩選: filter()

按給定的邏輯判斷篩選出符合要求的子數據集

filter(mtcars_df,mpg==21,hp==110) # A tibble: 2 x 11 mpg cyl disp hp drat wt qsec vs am gear carb <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> 1 21 6 160 110 3.9 2.620 16.46 0 1 4 4 2 21 6 160 110 3.9 2.875 17.02 0 1 4 4

　1.2 排列: arrange()

按給定的列名依次對行進行排序：

arrange(mtcars_df, disp) #可對列名加 desc(disp) 進行倒序 # A tibble: 32 x 11 mpg cyl disp hp drat wt qsec vs am gear carb <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> 1 33.9 4 71.1 65 4.22 1.835 19.90 1 1 4 1 2 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2 3 32.4 4 78.7 66 4.08 2.200 19.47 1 1 4 1 4 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1 5 30.4 4 95.1 113 3.77 1.513 16.90 1 1 5 2 6 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 7 21.5 4 120.1 97 3.70 2.465 20.01 1 0 3 1 8 26.0 4 120.3 91 4.43 2.140 16.70 0 1 5 2 9 21.4 4 121.0 109 4.11 2.780 18.60 1 1 4 2 10 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2 # ... with 22 more rows 

　1.3 選擇: select()

用列名作參數來選擇子數據集:

select(mtcars_df, disp:wt) # A tibble: 32 x 4 disp hp drat wt * <dbl> <dbl> <dbl> <dbl> 1 160.0 110 3.90 2.620 2 160.0 110 3.90 2.875 3 108.0 93 3.85 2.320 4 258.0 110 3.08 3.215 5 360.0 175 3.15 3.440 6 225.0 105 2.76 3.460 7 360.0 245 3.21 3.570 8 146.7 62 3.69 3.190 9 140.8 95 3.92 3.150 10 167.6 123 3.92 3.440 # ... with 22 more rows 

　1.4 變形: mutate()

對已有列進行數據運算並添加為新列:

mutate(mtcars_df,
  NO = 1:dim(mtcars_df)[1]) # A tibble: 32 x 12 mpg cyl disp hp drat wt qsec vs am gear carb NO <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <int> 1 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4 1 2 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4 2 3 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 3 4 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1 4 5 18.7 8 360.0 175 3.15 3.440 17.02 0 0 3 2 5 6 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1 6 7 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4 7 8 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2 8 9 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2 9 10 19.2 6 167.6 123 3.92 3.440 18.30 1 0 4 4 10 # ... with 22 more rows 

　1.5 匯總: summarise()

對數據框調用其它函數進行匯總操作, 返回一維的結果:

summarise(mtcars_df, 
    mdisp = mean(disp, na.rm = TRUE)) # A tibble: 1 x 1 mdisp <dbl> 1 230.7219 

　1.6 分組: group_by()

當對數據集通過group_by()添加了分組信息后，mutate()，arrange() 和 summarise() 函數會自動對這些 tbl 類數據執行分組操作。

cars <- group_by(mtcars_df, cyl)
countcars <- summarise(cars, count = n()) # count = n()用來計算次數 # A tibble: 3 x 2 cyl count <dbl> <int> 1 4 11 2 6 7 3 8 14

tidyr包基本操作

　2.1 寬轉長：gather()

使用gather()函數實現寬表轉長表，語法如下：

gather(data, key, value, …, na.rm = FALSE, convert = FALSE) data：需要被轉換的寬形表 key：將原數據框中的所有列賦給一個新變量key value：將原數據框中的所有值賦給一個新變量value …：可以指定哪些列聚到同一列中 na.rm：是否刪除缺失值 widedata <- data.frame(person=c('Alex','Bob','Cathy'),grade=c(2,3,4),score=c(78,89,88)) widedata person grade score 1 Alex 2 78 2 Bob 3 89 3 Cathy 4 88 longdata <- gather(widedata, variable, value,-person) longdata person variable value 1 Alex grade 2 2 Bob grade 3 3 Cathy grade 4 4 Alex score 78 5 Bob score 89 6 Cathy score 88

　2.2 長轉寬：spread()

有時，為了滿足建模或繪圖的要求，往往需要將長形表轉換為寬形表，或將寬形表變為長形表。如何實現這兩種數據表類型的轉換。使用spread()函數實現長表轉寬表，語法如下：

spread(data, key, value, fill = NA, convert = FALSE, drop = TRUE) data：為需要轉換的長形表 key：需要將變量值拓展為字段的變量 value：需要分散的值 fill：對於缺失值，可將fill的值賦值給被轉型后的缺失值 mtcarsSpread <- mtcarsNew %>% spread(attribute, value) head(mtcarsSpread) car am carb cyl disp drat gear hp mpg qsec vs wt 1 AMC Javelin 0 2 8 304 3.15 3 150 15.2 17.30 0 3.435 2 Cadillac Fleetwood 0 4 8 472 2.93 3 205 10.4 17.98 0 5.250 3 Camaro Z28 0 4 8 350 3.73 3 245 13.3 15.41 0 3.840 4 Chrysler Imperial 0 4 8 440 3.23 3 230 14.7 17.42 0 5.345 5 Datsun 710 1 1 4 108 3.85 4 93 22.8 18.61 1 2.320 6 Dodge Challenger 0 2 8 318 2.76 3 150 15.5 16.87 0 3.520 

　2.3 合並：unit()

unite的調用格式如下：

unite(data, col, …, sep = “_”, remove = TRUE) data：為數據框 col：被組合的新列名稱 …：指定哪些列需要被組合 sep：組合列之間的連接符，默認為下划線 remove：是否刪除被組合的列 wideunite<-unite(widedata, information, person, grade, score, sep= "-") wideunite information 1 Alex-2-78 2 Bob-3-89 3 Cathy-4-88

　2.4 拆分：separate()

separate()函數可將一列拆分為多列，一般可用於日志數據或日期時間型數據的拆分，語法如下：

separate(data, col, into, sep = “[^[:alnum:]]+”, remove = TRUE, convert = FALSE, extra = “warn”, fill = “warn”, …) data：為數據框 col：需要被拆分的列 into：新建的列名，為字符串向量 sep：被拆分列的分隔符 remove：是否刪除被分割的列 widesep <- separate(wideunite, information,c("person","grade","score"), sep = "-") widesep person grade score 1 Alex 2 78 2 Bob 3 89 3 Cathy 4 88

可見separate()函數和unite()函數的功能相反。