本文原名“Don't use Hadoop when your data isn't that big ”，出自有着多年從業經驗的數據科學家Chris Stucchio，紐約大學柯朗研究所博士后，搞過高頻交易平台，當過創業公司的CTO，更習慣稱自己為統計學者。對了，他現在自己創業，提供數據分析、推薦優化咨詢服務，他的郵件是：stucchio@gmail.com 。
“你有多少大數據和Hadoop的經驗？”他們問我。我一直在用Hadoop，但很少處理幾TB以上的任務。我基本上只是一個大數據新手——知道概念，寫過代碼，但是沒有大規模經驗。
接下來他們會問：“你能用Hadoop做簡單的group by和sum操作嗎？”我當然會，但我會說需要看看具體文件格式。
他們給我一個U盤，里面有所有的數據，600MB，對，他們所有的數據。不知道為什么，我用pandas.read_csv（Pandas是一種Python數據分析庫）而不是Hadoop完成了這個任務后，他們顯得很不滿意。
Hadoop其實是挺局限的。它無非是運行某個通用的計算，用SQL偽代碼表示就是： SELECT G(...) FROM table GROUP BY F(...) 你只能改變G和F操作，除非要在中間步驟做性能優化（這可不怎么好玩！）。其他一切都是死的。
（關於MapReduce，之前作者寫過一篇“41個詞講清楚MapReduce”，可以參考。）
Hadoop里，所有計算都必須按照一個map、一個group by、一個aggregate或者這種計算序列來寫。這和穿上緊身衣一樣，多憋得慌啊。許多計算用其他模型其實更適合。忍受緊身衣的唯一原因就是，可以擴展到極大極大的數據集。可你的數據集實際上很可能根本遠遠夠不上那個數量級。
可是呢，因為Hadoop和大數據是熱詞，世界有一半的人都想穿上緊身衣，即使他們根本不需要。
可我的數據有好幾百MB呢！Excel都裝不下
對Excel很大可不是什么大數據。有很多好工具——我喜歡用的是基於Numpy的Pandas。它可以將幾百MB數據以高效的向量化格式加載到內存，在我已經3年的老筆記本上，一眨眼的功夫，Numpy就能完成1億次浮點計算。Matlab和R也是很棒的工具。
數百MB數據一般用一個簡單的Python腳本逐行讀取文件、處理，然后寫到了一個文件就行了。
可我的數據有10G呢！
我剛買了一台筆記本電腦。16G內存花了141.98美元，256GB SSD多收200美元。另外，如果在Pandas里加載一個10GB的csv文件，實際在內存里並沒有那么大——你可以將 “17284932583” 這樣的數值串存為4位或者8位整數，“284572452.2435723”存為8位雙精度。
最差情況下，你還可以不同時將所有數據都一次加載到內存里。
可我的數據有100GB/500GB/1TB！
一個2T的硬盤才94.99美元，4T是169.99。買一塊，加到桌面電腦或者服務器上，然后裝上PostgreSQL。
Hadoop的適用范圍遠小於SQL和Python腳本
從計算的表達能力來說，Hadoop比SQL差多了。Hadoop里能寫的計算，在SQL或者簡單的Python腳本都可以更輕松地寫出來。
SQL是直觀的查詢語言，沒有太多抽象，業務分析師和程序員都很常用。SQL查詢往往非常簡單，而且一般也很快——只要數據庫正確地做了索引，要花幾秒鍾的查詢都不太多見。
Hadoop沒有任何索引的概念，它只知道全表掃描。而且Hadoop抽象層次太多了——我之前的項目盡在應付Java內存錯誤、內存碎片和集群競用了，實際的數據分析工作反而沒了時間。
如果你的數據結構不是SQL表的形式（比如純文本、JSON、二進制），一般寫一小段Python或者Ruby腳本按行處理更直接。保存在多個文件里，逐個處理即可。SQL不適用的情況下，從編程來說Hadoop也沒那么糟糕，但相比Python腳本仍然沒有什么優勢。
除了難以編程，Hadoop還一般總是比其他技術方案要慢。只要索引用得好，SQL查詢非常快。比如要計算join，PostgreSQL只需查看索引（如果有），然后查詢所需的每個鍵。而Hadoop呢，必須做全表掃描，然后重排整個表。排序通過多台機器之間分片可以加速，但也帶來了跨多機數據流處理的開銷。如果要處理二進制文件，Hadoop必須反復訪問namenode。而簡單的Python腳本只要反復訪問文件系統即可。
可我的數據超過了5TB！
你的命可真苦——只能苦逼地折騰Hadoop了，沒有太多其他選擇（可能還能用許多硬盤容量的高富帥機器來扛），而且其他選擇往往貴得要命（腦海中浮現出IOE等等字樣……）。
用Hadoop唯一的好處是擴展。如果你的數據是一個數TB的單表，那么全表掃描是Hadoop的強項。此外的話，請關愛生命，盡量遠離Hadoop。它帶來的煩惱根本不值，用傳統方法既省時又省力。
附注：Hadoop也是不錯的工具
我可不是成心黑Hadoop啊。其實我自己經常用Hadoop來完成其他工具無法輕易完成的任務。（我推薦使用Scalding，而不是Hive或者Pig，因為你可以用Scala語言來寫級聯Hadoop任務，隱藏了MapReduce底層細節。）我本文要強調的是，用Hadoop之前應該三思而行，別500MB數據這樣的蚊子，你也拿Hadoop這樣的大炮來轟。
已有35條評論
說得有理啊