情景：當一個文件非常大，而內存無法一次性處理時，怎么對它進行有效的去重操作
打開大文件，每次只讀一行；
對讀入的行字符串hash(string) = F(string) mod x, x要保證mod完之后不沖突，將此字符串寫入對應號碼的文件中；
....
處理完之后，我們對大小超出一行的文件進行去重；
最后再讀取逐個文件，寫入到外存中的一個大文件中。
或者，我們可以對每個小文件只讀取其第一行（后面的行都是經過計算后重復的），寫入結果文件中。
這樣就避免了使用map時內存無法存儲海量的數據的問題。