dplyr包是Hadley Wickham的新作，主要用於數據清洗和整理，該包專注dataframe數據格式，從而大幅提高了數據處理速度，並且提供了與其它數據庫的接口；tidyr包的作者是Hadley Wickham， 該包用於“tidy”你的數據，這個包常跟dplyr結合使用。
dplyr、tidyr包安裝及載入
install.packages("dplyr") install.packages("tidyr") library(dplyr) library(tidyr)
使用datasets包中的mtcars數據集做演示，首先將過長的數據整理成友好的tbl_df數據：
mtcars_df = tbl_df(mtcars)
一、dplyr包基本操作
1.1 篩選: filter()
按給定的邏輯判斷篩選出符合要求的子數據集
filter(mtcars_df,mpg==21,hp==110) # A tibble: 2 x 11 mpg cyl disp hp drat wt qsec vs am gear carb <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> 1 21 6 160 110 3.9 2.620 16.46 0 1 4 4 2 21 6 160 110 3.9 2.875 17.02 0 1 4 4
1.2 排列: arrange()
按給定的列名依次對行進行排序：
arrange(mtcars_df, disp) #可對列名加 desc(disp) 進行倒序 # A tibble: 32 x 11 mpg cyl disp hp drat wt qsec vs am gear carb <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> 1 33.9 4 71.1 65 4.22 1.835 19.90 1 1 4 1 2 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2 3 32.4 4 78.7 66 4.08 2.200 19.47 1 1 4 1 4 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1 5 30.4 4 95.1 113 3.77 1.513 16.90 1 1 5 2 6 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 7 21.5 4 120.1 97 3.70 2.465 20.01 1 0 3 1 8 26.0 4 120.3 91 4.43 2.140 16.70 0 1 5 2 9 21.4 4 121.0 109 4.11 2.780 18.60 1 1 4 2 10 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2 # ... with 22 more rows
1.3 選擇: select()
用列名作參數來選擇子數據集:
select(mtcars_df, disp:wt) # A tibble: 32 x 4 disp hp drat wt * <dbl> <dbl> <dbl> <dbl> 1 160.0 110 3.90 2.620 2 160.0 110 3.90 2.875 3 108.0 93 3.85 2.320 4 258.0 110 3.08 3.215 5 360.0 175 3.15 3.440 6 225.0 105 2.76 3.460 7 360.0 245 3.21 3.570 8 146.7 62 3.69 3.190 9 140.8 95 3.92 3.150 10 167.6 123 3.92 3.440 # ... with 22 more rows
1.4 變形: mutate()
對已有列進行數據運算並添加為新列:
mutate(mtcars_df, NO = 1:dim(mtcars_df)[1]) # A tibble: 32 x 12 mpg cyl disp hp drat wt qsec vs am gear carb NO <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <int> 1 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4 1 2 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4 2 3 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 3 4 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1 4 5 18.7 8 360.0 175 3.15 3.440 17.02 0 0 3 2 5 6 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1 6 7 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4 7 8 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2 8 9 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2 9 10 19.2 6 167.6 123 3.92 3.440 18.30 1 0 4 4 10 # ... with 22 more rows
1.5 匯總: summarise()
對數據框調用其它函數進行匯總操作, 返回一維的結果:
summarise(mtcars_df, mdisp = mean(disp, na.rm = TRUE)) # A tibble: 1 x 1 mdisp <dbl> 1 230.7219
1.6 分組: group_by()
當對數據集通過group_by()添加了分組信息后，mutate()，arrange() 和 summarise() 函數會自動對這些 tbl 類數據執行分組操作。
cars <- group_by(mtcars_df, cyl) countcars <- summarise(cars, count = n()) # count = n()用來計算次數 # A tibble: 3 x 2 cyl count <dbl> <int> 1 4 11 2 6 7 3 8 14
Batting %>%group_by(playerID) %>%summarise(total = sum(G)) %>%arrange(desc(total)) %>%head(5)
二、tidyr包基本操作
2.1 寬轉長：gather()
使用gather()函數實現寬表轉長表，語法如下：
gather(data, key, value, …, na.rm = FALSE, convert = FALSE) data：需要被轉換的寬形表 key：將原數據框中的所有列賦給一個新變量key value：將原數據框中的所有值賦給一個新變量value …：可以指定哪些列聚到同一列中 na.rm：是否刪除缺失值 widedata <- data.frame(person=c('Alex','Bob','Cathy'),grade=c(2,3,4),score=c(78,89,88)) widedata person grade score 1 Alex 2 78 2 Bob 3 89 3 Cathy 4 88 longdata <- gather(widedata, variable, value,-person) longdata person variable value 1 Alex grade 2 2 Bob grade 3 3 Cathy grade 4 4 Alex score 78 5 Bob score 89 6 Cathy score 88
2.2 長轉寬：spread()
有時，為了滿足建模或繪圖的要求，往往需要將長形表轉換為寬形表，或將寬形表變為長形表。如何實現這兩種數據表類型的轉換。使用spread()函數實現長表轉寬表，語法如下：
spread(data, key, value, fill = NA, convert = FALSE, drop = TRUE) data：為需要轉換的長形表 key：需要將變量值拓展為字段的變量 value：需要分散的值 fill：對於缺失值，可將fill的值賦值給被轉型后的缺失值 mtcarsSpread <- mtcarsNew %>% spread(attribute, value) head(mtcarsSpread) car am carb cyl disp drat gear hp mpg qsec vs wt 1 AMC Javelin 0 2 8 304 3.15 3 150 15.2 17.30 0 3.435 2 Cadillac Fleetwood 0 4 8 472 2.93 3 205 10.4 17.98 0 5.250 3 Camaro Z28 0 4 8 350 3.73 3 245 13.3 15.41 0 3.840 4 Chrysler Imperial 0 4 8 440 3.23 3 230 14.7 17.42 0 5.345 5 Datsun 710 1 1 4 108 3.85 4 93 22.8 18.61 1 2.320 6 Dodge Challenger 0 2 8 318 2.76 3 150 15.5 16.87 0 3.520
2.3 合並：unit()
unite的調用格式如下：
unite(data, col, …, sep = “_”, remove = TRUE) data：為數據框 col：被組合的新列名稱 …：指定哪些列需要被組合 sep：組合列之間的連接符，默認為下划線 remove：是否刪除被組合的列 wideunite<-unite(widedata, information, person, grade, score, sep= "-") wideunite information 1 Alex-2-78 2 Bob-3-89 3 Cathy-4-88
2.4 拆分：separate()
separate()函數可將一列拆分為多列，一般可用於日志數據或日期時間型數據的拆分，語法如下：
separate(data, col, into, sep = “[^[:alnum:]]+”, remove = TRUE, convert = FALSE, extra = “warn”, fill = “warn”, …) data：為數據框 col：需要被拆分的列 into：新建的列名，為字符串向量 sep：被拆分列的分隔符 remove：是否刪除被分割的列 widesep <- separate(wideunite, information,c("person","grade","score"), sep = "-") widesep person grade score 1 Alex 2 78 2 Bob 3 89 3 Cathy 4 88
三、data.table
R語言data.table包是自帶包data.frame的升級版，用於數據框格式數據的處理，最大的特點快。包括兩個方面，一方面是寫的快，代碼簡潔，只要一行命令就可以完成諸多任務，另一方面是處理快，內部處理的步驟進行了程序上的優化，使用多線程，甚至很多函數是使用C寫的，大大加快數據運行速度。因此，在對大數據處理上，使用data.table無疑具有極高的效率。這里我們主要講的是它對數據框結構的快捷處理。
可見separate()函數和unite()函數的功能相反。
和data.frame的高度兼容
DT = data.table(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9)
下面DT都是用這個data.table
可見它是屬於data.table和data.frame類，並且取列，維數，都可以采用data.frame的方法。
DF = data.frame(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9) DT = data.table(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9) DF DT identical(dim(DT), dim(DF)) # TRUE identical(DF$a, DT$a) # TRUE is.list(DF) # TRUE is.list(DT) # TRUE is.data.frame(DT) # TRUE
不過data.frame默認將非數字轉化為因子；而data.table 會將非數字轉化為字符
data.table數據框也可使用dplyr包的管道，這里不作闡述。
data.table常用的函數
as.data.table(x, keep.rownames=FALSE, ...) 將一個R對象轉化為data.table，R可以時矢量，列表，data.frame等，keep.rownames決定是否保留行名或者列表名，默認FALSE,如果TRUE,將行名存在"rn"行中，keep.rownames="id",行名保存在"id"行中。
DF = data.frame(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9) #新建data.frame DF DT=as.data.table(DF,keep.rownames=TRUE)
setDT(x, keep.rownames=FALSE, key=NULL, check.names=FALSE) 把一個R對象轉化為data.table，比as.data.table快，因為以傳地址的方式直接修改原對象，沒有拷貝
copy(x) 深度拷貝一個data.table，x即data.table對象。data.table為了加快速度，會直接在對象地址修改，因此如果需要就要在修改前copy，直接修改的命令有:=添加一列，set系列命令比如下面提到的setattr,setnames,setorder等；當使用dt_names = names(DT)的時候，修改dt_names會修改原data.table的列名，如果不想被修改，這個時候應copy原data.table，也可以使用dt_names <- copy(names(DT))直接copy列名，這樣不必copy整個data.table。
kDT=copy(DT) #kDT時DT的一個copy
rowid(..., prefix=NULL) 產生unique的id，prefix參數在id前面加前綴
setattr 設置DT的屬性，setattr(x,name,value) x時data.table,list或者data.frame,而name時屬性名，value時屬性值，setnames(x,old,new)，設置x的列名，old是舊列名或者數字位置，new是新列名
setcolorder(x,neworder) 重新安排列的順序，neworder字符矢量或者行數
set(DT,rownum,colnum,value)直接修改某個位置的值，rownum行號，colnum，列號，行號列號推薦使用整型，保證最快速度，方法是在數字后面加L，比如1L，value是需要賦予的值。比：=還快，通常和循環配合使用
至於這個操作究竟有多快，可以看一下(參照官方manual的命令），另外個人覺得最牛的三個函數是set(）,fread,和fwrite
fread
fread(input, sep="auto", sep2="auto", nrows=-1L, header="auto", na.strings="NA", file, stringsAsFactors=FALSE, verbose=getOption("datatable.verbose"), autostart=1L, skip=0L, select=NULL, drop=NULL, colClasses=NULL, integer64=getOption("datatable.integer64"), # default: "integer64" dec=if (sep!=".") "." else ",", col.names, check.names=FALSE, encoding="unknown", quote="\"", strip.white=TRUE, fill=FALSE, blank.lines.skip=FALSE, key=NULL, showProgress=getOption("datatable.showProgress"), # default: TRUE data.table=getOption("datatable.fread.datatable") # default: TRUE )
input輸入的文件，或者字符串（至少有一個"\n")；
sep列之間的分隔符；
sep2，分隔符內再分隔的分隔符，功能還沒有應用；
nrow，讀取的行數，默認-l全部，nrow=0僅僅返回列名；
header第一行是否是列名；
na.strings,對NA的解釋；
file文件路徑，再確保沒有執行shell命令時很有用，也可以在input參數輸入;
stringsASFactors是否轉化字符串為因子，
verbose，是否交互和報告運行時間；
autostart，機器可讀這個區域任何行號，默認1L,如果這行是空，就讀下一行;
skip跳過讀取的行數，為1則從第二行開始讀，設置了這個選項，就會自動忽略autostart選項，也可以是一個字符,skip="string",那么會從包含該字符的行開始讀；
select,需要保留的列名或者列號，不要其它的；
drop,需要取掉的列名或者列號，要其它的；
colClasses，類字符矢量，用於罕見的覆蓋而不是常規使用，只會使一列變為更高的類型，不能降低類型；
integer64,讀如64位的整型數;
dec,小數分隔符，默認"."不然就是","
col.names,給列名，默認試用header或者探測到的，不然就是V+列號;
encoding，默認"unknown"，其它可能"UTF-8"或者"Latin-1"，不是用來重新編碼的，而是允許處理的字符串在本機編碼;
quote,默認"""，如果以雙引開頭，fread強有力的處理里面的引號，如果失敗了就會用其它嘗試，如果設置quote="",默認引號不可用
strip.white，默認TRUE，刪除結尾空白符，如果FALSE,只取掉header的結尾空白符；
fill,默認FALSE，如果TRUE，不等長的區域可以自動填上，利於文件順利讀入；
blank.lines.skip,默認FALSE,如果TRUE，跳過空白行
key，設置key，用一個或多個列名，會傳遞給setkey
showProgress,TRUE會顯示腳本進程，R層次的C代碼
data.table,TRUE返回data.table，FALSE返回data.frame
實例如下，1.8GB的數據讀入94秒，可見讀入文件速度非常快，
fwrite
fwrite(x, file = "", append = FALSE, quote = "auto", sep = ",", sep2 = c("","|",""), eol = if (.Platform$OS.type=="windows") "\r\n" else "\n", na = "", dec = ".", row.names = FALSE, col.names = TRUE, qmethod = c("double","escape"), logicalAsInt = FALSE, dateTimeAs = c("ISO","squash","epoch","write.csv"), buffMB = 8L, nThread = getDTthreads(), showProgress = getOption("datatable.showProgress"), verbose = getOption("datatable.verbose"))
x,具有相同長度的列表，比如data.frame和data.table等；
file，輸出文件名,""意味着直接輸出到操作台；
append，如果TRUE,在原文件的后面添加；
quote，如果"auto",因子和列名只有在他們需要的時候才會被加上雙引號，例如該部分包括分隔符，或者以"\n"結尾的一行，或者雙引號它自己，如果FALSE，那么區域不會加上雙引號，如果TRUE，就像寫入CSV文件一樣，除了數字，其它都加上雙引號；
sep,列之間的分隔符；
sep2,對於是list的一列，寫出去時list成員間以sep2分隔，它們是處於一列之內，然后內部再用字符分開；
eol，行分隔符，默認Windows是"\r\n",其它的是"\n"；
na,na值的表示，默認""；
dec，小數點的表示，默認"."；
row.names，是否寫出行名，因為data.table沒有行名，所以默認FALSE；
col.names ，是否寫出列名，默認TRUE，如果沒有定義，並且append=TRUE和文件存在，那么就會默認使用FALSE;
qmethod,怎樣處理雙引號，"escape",類似於C風格，用反斜杠逃避雙引，“double",默認，雙引號成對；
logicalAsInt,邏輯值作為數字寫出還是作為FALSE和TRUE寫出；
dateTimeAS, 決定 Date/IDate,ITime和POSIXct的寫出，"ISO"默認，-2016-09-12, 18:12:16和2016-09-12T18:12:16.999999Z;"squash",-20160912,181216和20160912181216999;"epoch",-17056，65536和1473703936;"write.csv"，就像write.csv一樣寫入時間，僅僅對POSIXct有影響，as.character將digits.secs轉化字符並通過R內部UTC轉回本地時間。前面三個選項都是用新的特定C代碼寫的，較快
buffMB,每個核心給的緩沖大小，在1到1024之間，默認80MB
nThread,用的核心數。
showProgress，在工作台顯示進程，當用file==""時，自動忽略此參數
verbose，是否交互和報告時間
data.table數據框結構處理語法
data.table[ i , j , by]
i 決定顯示的行,可以是整型，可以是字符，可以是表達式，j 是對數據框進行求值，決定顯示的列，by對數據進行指定分組，除了by ，也可以添加其它的一系列參數：
keyby，with,nomatch,mult,rollollends,which,.SDcols,on。
i 決定顯示的行
DT = data.table(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9) #新建data.table對象DT DT[2] #取第二行 DT[2:3] #取第二到第三行 DT[order(x)] #將DT按照X列排序，簡化操作,另外排序也可以setkey(DT,x)，出來的DT就已經是按照x列排序的了。用haskey(DT)判斷DT是否已經設置了key，可以設置多個列作為key DT[y>2] # DT$y>2的行 DT[!2:4] #除了2到4行剩余的行 DT["a",on="x"] #on 參數，DT[D,on=c("x","y")]取DT上"x","y"列上與D上“x"、"y"的列相關聯的行，與D進行merge。比如此例取出DT 中 X 列為"a"的行，和"a"進行merge。on參數的第一列必須是DT的第一列 DT[.("a"), on="x"] #和上面一樣.()有類似與c()的作用 DT["a", on=.(x)] #和上面一樣 DT[x=="a"] # 和上面一樣,和使用on一樣，都是使用二分查找法，所以它們速度比用data.frame的快。也可以用setkey之后的DT,輸入DT["a"]或者DT["a",on=.(x)]如果有幾個key的話推薦用on DT[x!="b" | y!=3] #x列不等於"b"或者y列不等於3的行 DT[.("b", 3), on=.(x, v)] #取DT的x,v列上x="b",v=3的行
j 對數據框進行求值輸出
j 參數對數據進行運算，比如sum,max,min,tail等基本函數，輸出基本函數的計算結果，還可以用n輸出第n列，.N（總列數，直接在j輸入.N取最后一列）,:=（直接在data.table上添加列，沒有copy過程，所以快，有需要的話注意備份），.SD輸出子集，.SD[n]輸出子集的第n列，DT[,.(a = .(), b = .())] 輸出一個a、b列的數據框，.()就是要輸入的a、b列的內容,還可以將一系列處理放入大括號,如{tmp <- mean(y);.(a = a-tmp, b = b-tmp)}
DT[,y] #返回y列，矢量 DT[,.(y)] #返回y列，返回data.table DT[, sum(y)] #對y列求和 DT[, .(sv=sum(v))] #對y列求和，輸出sv列，列中的內容就是sum(v) DT[, .(sum(y)), by=x] # 對x列進行分組后對各分組y列求總和 DT[, sum(y), keyby=x] #對x列進行分組后對各分組y列求和，並且結果按照x排序 DT[, sum(y), by=x][order(x)] #和上面一樣，采取data.table的鏈接符合表達式 DT[v>1, sum(y), by=v] #對v列進行分組后,取各組中v>1的行出來，各組分別對定義的行中的y求和 DT[, .N, by=x] #用by對DT 用x分組后，取每個分組的總列數 DT[, .SD, .SDcols=x:y] #用.SDcols 定義SubDadaColums（子列數據)，這里取出x到之間的列作為子集，然后.SD 輸出所有子集 DT[2:5, cat(y, "\n")] #直接在j 用cat函數，輸出2到5列的y值 DT[, plot(a,b), by=x] #直接在j用plot函數畫圖，對於每個x的分組畫一張圖 DT[, m:=mean(v), by=x] #對DT按x列分組，直接在DT上再添加一列m,m的內容是mean(v)，直接修改並且不輸出到屏幕上 DT[, m:=mean(v), by=x] [] #加[]將結果輸出到屏幕上 DT[,c("m","n"):=list(mean(v),min(v)), by=x][] # 按x分組后同時添加m,n 兩列，內容是分別是mean(v)和min(v)，並且輸出到屏幕 DT[, `:=`(m=mean(v),n=min(v)),by=x][] #內容和上面一樣，另外的寫法 DT[,(seq = min(y):max(v)), by=x] #輸出seq列，內容是min(a)到max(b) DT[, c(.(y=max(y)), lapply(.SD, min)), by=x, .SDcols=y:v] #對DT取y:v之間的列，按x分組，輸出max(y),對y到v之間的列每列求最小值輸出。
by，on，with等參數
by 對數據進行分組
on DT[D,on=c("x","y")]取DT上"x","y"列上與D上"x","y”列相關聯的行，並與D進行merge
DT[X, on="x"] #左聯接 X[DT, on="x"] #右聯接 DT[X, on="x", nomatch=0] #內聯接,nomatch=0表示不返回不匹配的行,nomatch=NA表示以NA返回不匹配的值
with 默認是TRUE，列名能夠當作變量使用，即x相當於DT$"x",當是FALSE時，列名僅僅作為字符串，可以用傳統data.frame方法並且返回data.table，x[, cols, with=FALSE] 和x[, .SD, .SDcols=cols]一樣
mult 當有i 中匹配到的有多行時，mult控制返回的行，"all"返回全部（默認），"first",返回第一行，"last"返回最后一行
roll 當i中全部行匹配只有某一行不匹配時，填充該行空白，+Inf(或者TRUE)用上一行的值填充，-Inf用下一行的值填充，輸入某數字時，表示能夠填充的距離，near用最近的行填充
rollends 填充首尾不匹配的行，TRUE填充，FALSE不填充，與roll一同使用
which TRUE返回匹配的行號，NA返回不匹配的行號，默認FALSE返回匹配的行
.SDcols 取特定的列，然后.SD就包括了頁寫選定的特定列，可以對這些子集應用函數處理
allow.cartesian FALSE防止結果超出nrow(x)+nrow(i)行，常常因為i中有重復的列而超出。這里的cartesian和傳統上的cartesian不一樣。