版權聲明：本文為博主原創文章，轉載請注明出處
R語言data.table包是自帶包data.frame的升級版，用於數據框格式數據的處理，最大的特點快。包括兩個方面，一方面是寫的快，代碼簡潔，只要一行命令就可以完成諸多任務，另一方面是處理快，內部處理的步驟進行了程序上的優化，使用多線程，甚至很多函數是使用C寫的，大大加快數據運行速度。因此，在對大數據處理上，使用data.table無疑具有極高的效率。這里我們主要講的是它對數據框結構的快捷處理。
和data.frame的高度兼容
DT = data.table(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9)
下面DT都是用這個data.table
可見它是屬於data.table和data.frame類，並且取列，維數，都可以采用data.frame的方法。
DF = data.frame(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9)
DT = data.table(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9)
DF
DT
identical(dim(DT), dim(DF)) # TRUE
identical(DF$a, DT$a) # TRUE
is.list(DF) # TRUE
is.list(DT) # TRUE
is.data.frame(DT) # TRUE
不過data.frame默認將非數字轉化為因子；而data.table 會將非數字轉化為字符
data.table數據框也可使用dplyr包的管道，這里不作闡述。
data.table常用的函數
as.data.table(x, keep.rownames=FALSE, ...) 將一個R對象轉化為data.table，R可以時矢量，列表，data.frame等，keep.rownames決定是否保留行名或者列表名，默認FALSE,如果TRUE,將行名存在"rn"行中，keep.rownames="id",行名保存在"id"行中。
DF = data.frame(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9) #新建data.frame DF
DT=as.data.table(DF,keep.rownames=TRUE)
setDT(x, keep.rownames=FALSE, key=NULL, check.names=FALSE) 把一個R對象轉化為data.table，比as.data.table快，因為以傳地址的方式直接修改原對象，沒有拷貝
copy(x) 深度拷貝一個data.table，x即data.table對象。data.table為了加快速度，會直接在對象地址修改，因此如果需要就要在修改前copy，直接修改的命令有:=添加一列，set系列命令比如下面提到的setattr,setnames,setorder等；當使用dt_names = names(DT)的時候，修改dt_names會修改原data.table的列名，如果不想被修改，這個時候應copy原data.table，也可以使用dt_names <- copy(names(DT))直接copy列名，這樣不必copy整個data.table。
kDT=copy(DT) #kDT時DT的一個copy
**rowid(..., prefix=NULL) ** 產生unique的id，prefix參數在id前面加前綴
setattr 設置DT的屬性，setattr(x,name,value) x時data.table,list或者data.frame,而name時屬性名，value時屬性值，setnames(x,old,new)，設置x的列名，old是舊列名或者數字位置，new是新列名
setcolorder(x,neworder) 重新安排列的順序，neworder字符矢量或者行數
set(DT,rownum,colnum,value)直接修改某個位置的值，rownum行號，colnum，列號，行號列號推薦使用整型，保證最快速度，方法是在數字后面加L，比如1L，value是需要賦予的值。比：=還快，通常和循環配合使用
至於這個操作究竟有多快，可以看一下(參照官方manual的命令），另外個人覺得最牛的三個函數是set(）,fread,和fwrite
fread
fread(input, sep="auto", sep2="auto", nrows=-1L, header="auto", na.strings="NA", file,
stringsAsFactors=FALSE, verbose=getOption("datatable.verbose"), autostart=1L,
skip=0L, select=NULL, drop=NULL, colClasses=NULL,
integer64=getOption("datatable.integer64"),
# default: "integer64"
dec=if (sep!=".") "." else ",", col.names,
check.names=FALSE, encoding="unknown", quote="\"",
strip.white=TRUE, fill=FALSE, blank.lines.skip=FALSE, key=NULL,
showProgress=getOption("datatable.showProgress"), # default: TRUE
data.table=getOption("datatable.fread.datatable") # default: TRUE
)
input輸入的文件，或者字符串（至少有一個"\n")；
sep列之間的分隔符；
sep2，分隔符內再分隔的分隔符，功能還沒有應用；
nrow，讀取的行數，默認-l全部，nrow=0僅僅返回列名；
header第一行是否是列名；
na.strings,對NA的解釋；
file文件路徑，再確保沒有執行shell命令時很有用，也可以在input參數輸入;
stringsASFactors是否轉化字符串為因子，
verbose，是否交互和報告運行時間；
autostart，機器可讀這個區域任何行號，默認1L,如果這行是空，就讀下一行;
skip跳過讀取的行數，為1則從第二行開始讀，設置了這個選項，就會自動忽略autostart選項，也可以是一個字符,skip="string",那么會從包含該字符的行開始讀；
select,需要保留的列名或者列號，不要其它的；
drop,需要取掉的列名或者列號，要其它的；
colClasses，類字符矢量，用於罕見的覆蓋而不是常規使用，只會使一列變為更高的類型，不能降低類型；
integer64,讀如64位的整型數;
dec,小數分隔符，默認"."不然就是","
col.names,給列名，默認試用header或者探測到的，不然就是V+列號;
encoding，默認"unknown"，其它可能"UTF-8"或者"Latin-1"，不是用來重新編碼的，而是允許處理的字符串在本機編碼;
quote,默認"""，如果以雙引開頭，fread強有力的處理里面的引號，如果失敗了就會用其它嘗試，如果設置quote="",默認引號不可用
strip.white，默認TRUE，刪除結尾空白符，如果FALSE,只取掉header的結尾空白符；
fill,默認FALSE，如果TRUE，不等長的區域可以自動填上，利於文件順利讀入；
blank.lines.skip,默認FALSE,如果TRUE，跳過空白行
key，設置key，用一個或多個列名，會傳遞給setkey
showProgress,TRUE會顯示腳本進程，R層次的C代碼
data.table,TRUE返回data.table，FALSE返回data.frame
實例如下，1.8GB的數據讀入94秒，可見讀入文件速度非常快，
fwrite
fwrite(x, file = "", append = FALSE, quote = "auto",
sep = ",", sep2 = c("","|",""),
eol = if (.Platform$OS.type=="windows") "\r\n" else "\n",
na = "", dec = ".", row.names = FALSE, col.names = TRUE,
qmethod = c("double","escape"),
logicalAsInt = FALSE, dateTimeAs = c("ISO","squash","epoch","write.csv"),
buffMB = 8L, nThread = getDTthreads(),
showProgress = getOption("datatable.showProgress"),
verbose = getOption("datatable.verbose"))
x,具有相同長度的列表，比如data.frame和data.table等；
file，輸出文件名,""意味着直接輸出到操作台；
append，如果TRUE,在原文件的后面添加；
quote，如果"auto",因子和列名只有在他們需要的時候才會被加上雙引號，例如該部分包括分隔符，或者以"\n"結尾的一行，或者雙引號它自己，如果FALSE，那么區域不會加上雙引號，如果TRUE，就像寫入CSV文件一樣，除了數字，其它都加上雙引號；
sep,列之間的分隔符；
sep2,對於是list的一列，寫出去時list成員間以sep2分隔，它們是處於一列之內，然后內部再用字符分開；
eol，行分隔符，默認Windows是"\r\n",其它的是"\n"；
na,na值的表示，默認""；
dec，小數點的表示，默認"."；
row.names，是否寫出行名，因為data.table沒有行名，所以默認FALSE；
col.names ，是否寫出列名，默認TRUE，如果沒有定義，並且append=TRUE和文件存在，那么就會默認使用FALSE;
qmethod,怎樣處理雙引號，"escape",類似於C風格，用反斜杠逃避雙引，“double",默認，雙引號成對；
logicalAsInt,邏輯值作為數字寫出還是作為FALSE和TRUE寫出；
dateTimeAS, 決定 Date/IDate,ITime和POSIXct的寫出，"ISO"默認，-2016-09-12, 18:12:16和2016-09-12T18:12:16.999999Z;"squash",-20160912,181216和20160912181216999;"epoch",-17056，65536和1473703936;"write.csv"，就像write.csv一樣寫入時間，僅僅對POSIXct有影響，as.character將digits.secs轉化字符並通過R內部UTC轉回本地時間。前面三個選項都是用新的特定C代碼寫的，較快
buffMB,每個核心給的緩沖大小，在1到1024之間，默認80MB
nThread,用的核心數。
showProgress，在工作台顯示進程，當用file==""時，自動忽略此參數
verbose，是否交互和報告時間
data.table數據框結構處理語法
data.table[ i , j , by]
i 決定顯示的行,可以是整型，可以是字符，可以是表達式，j 是對數據框進行求值，決定顯示的列，by對數據進行指定分組，除了by ，也可以添加其它的一系列參數：
keyby，with,nomatch,mult,rollollends,which,.SDcols,on。
i 決定顯示的行
DT = data.table(x=rep(c("b","a","c"),each=3), y=c(1,3,6), v=1:9) #新建data.table對象DT
DT[2] #取第二行
DT[2:3] #取第二到第三行
DT[order(x)] #將DT按照X列排序，簡化操作,另外排序也可以setkey(DT,x)，出來的DT就已經是按照x列排序的了。用haskey(DT)判斷DT是否已經設置了key，可以設置多個列作為key
DT[y>2] # DT$y>2的行
DT[!2:4] #除了2到4行剩余的行
DT["a",on="x"] #on 參數，DT[D,on=c("x","y")]取DT上"x","y"列上與D上“x"、"y"的列相關聯的行，與D進行merge。比如此例取出DT 中 X 列為"a"的行，和"a"進行merge。on參數的第一列必須是DT的第一列
DT[.("a"), on="x"] #和上面一樣.()有類似與c()的作用
DT["a", on=.(x)] #和上面一樣
DT[x=="a"] # 和上面一樣,和使用on一樣，都是使用二分查找法，所以它們速度比用data.frame的快。也可以用setkey之后的DT,輸入DT["a"]或者DT["a",on=.(x)]如果有幾個key的話推薦用on
DT[x!="b" | y!=3] #x列不等於"b"或者y列不等於3的行
DT[.("b", 3), on=.(x, v)] #取DT的x,v列上x="b",v=3的行
j 對數據框進行求值輸出
j 參數對數據進行運算，比如sum,max,min,tail等基本函數，輸出基本函數的計算結果，還可以用n輸出第n列，.N（總列數，直接在j輸入.N取最后一列）,:=（直接在data.table上添加列，沒有copy過程，所以快，有需要的話注意備份），.SD輸出子集，.SD[n]輸出子集的第n列，DT[,.(a = .(), b = .())] 輸出一個a、b列的數據框，.()就是要輸入的a、b列的內容,還可以將一系列處理放入大括號,如{tmp <- mean(y);.(a = a-tmp, b = b-tmp)}
DT[,y] #返回y列，矢量
DT[,.(y)] #返回y列，返回data.table
DT[, sum(y)] #對y列求和
DT[, .(sv=sum(v))] #對y列求和，輸出sv列，列中的內容就是sum(v)
DT[, .(sum(y)), by=x] # 對x列進行分組后對各分組y列求總和
DT[, sum(y), keyby=x] #對x列進行分組后對各分組y列求和，並且結果按照x排序
DT[, sum(y), by=x][order(x)] #和上面一樣，采取data.table的鏈接符合表達式
DT[v>1, sum(y), by=v] #對v列進行分組后,取各組中v>1的行出來，各組分別對定義的行中的y求和
DT[, .N, by=x] #用by對DT 用x分組后，取每個分組的總行數
DT[, .SD, .SDcols=x:y] #用.SDcols 定義SubDadaColums（子列數據)，這里取出x到之間的列作為子集，然后.SD 輸出所有子集
DT[2:5, cat(y, "\n")] #直接在j 用cat函數，輸出2到5列的y值
DT[, plot(a,b), by=x] #直接在j用plot函數畫圖，對於每個x的分組畫一張圖
DT[, m:=mean(v), by=x] #對DT按x列分組，直接在DT上再添加一列m,m的內容是mean(v)，直接修改並且不輸出到屏幕上
DT[, m:=mean(v), by=x] [] #加[]將結果輸出到屏幕上
DT[,c("m","n"):=list(mean(v),min(v)), by=x][] # 按x分組后同時添加m,n 兩列，內容是分別是mean(v)和min(v)，並且輸出到屏幕
DT[, `:=`(m=mean(v),n=min(v)),by=x][] #內容和上面一樣，另外的寫法
DT[,.(seq = min(y):max(v)), by=x] #輸出seq列，內容是min(a)到max(b)
DT[, c(.(y=max(y)), lapply(.SD, min)), by=x, .SDcols=y:v] #對DT取y:v之間的列，按x分組，輸出max(y),對y到v之間的列每列求最小值輸出。
by，on，with等參數
by 對數據進行分組
on DT[D,on=c("x","y")]取DT上"x","y"列上與D上"x","y”列相關聯的行，並與D進行merge
DT[X, on="x"] #左聯接
X[DT, on="x"] #右聯接
DT[X, on="x", nomatch=0] #內聯接,nomatch=0表示不返回不匹配的行,nomatch=NA表示以NA返回不匹配的值
with 默認是TRUE，列名能夠當作變量使用，即x相當於DT$"x",當是FALSE時，列名僅僅作為字符串，可以用傳統data.frame方法並且返回data.table，x[, cols, with=FALSE] 和x[, .SD, .SDcols=cols]一樣
mult 當有i 中匹配到的有多行時，mult控制返回的行，"all"返回全部（默認），"first",返回第一行，"last"返回最后一行
roll 當i中全部行匹配只有某一行不匹配時，填充該行空白，+Inf(或者TRUE)用上一行的值填充，-Inf用下一行的值填充，輸入某數字時，表示能夠填充的距離，near用最近的行填充
rollends 填充首尾不匹配的行，TRUE填充，FALSE不填充，與roll一同使用
which TRUE返回匹配的行號，NA返回不匹配的行號，默認FALSE返回匹配的行
.SDcols 取特定的列，然后.SD就包括了頁寫選定的特定列，可以對這些子集應用函數處理
allow.cartesian FALSE防止結果超出nrow(x)+nrow(i)行，常常因為i中有重復的列而超出。這里的cartesian和傳統上的cartesian不一樣。
參考文獻
data.table包manual：https://cran.r-project.org/web/packages/data.table/data.table.pdf