hive mapjoin使用

今天遇到一個hive的問題，如下hive sql：

 

select f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)  

該語句中B表有30億行記錄，A表只有100行記錄，而且B表中數據傾斜特別嚴重，有一個key上有15億行記錄，在運行過程中特別的慢，而且在reduece的過程中遇有內存不夠而報錯。

 

為了解決用戶的這個問題，考慮使用mapjoin,mapjoin的原理：

MAPJION會把小表全部讀入內存中，在map階段直接拿另外一個表的數據和內存中表數據做匹配，由於在map是進行了join操作，省去了reduce運行的效率也會高很多

這樣就不會由於數據傾斜導致某個reduce上落數據太多而失敗。於是原來的sql可以通過使用hint的方式指定join時使用mapjoin。

select /*+ mapjoin(A)*/ f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802) 

再運行發現執行的效率比以前的寫法高了好多。

 

mapjoin還有一個很大的好處是能夠進行不等連接的join操作，如果將不等條件寫在where中，那么mapreduce過程中會進行笛卡爾積，運行效率特別低，如果使用mapjoin操作，在map的過程中就完成了不等值的join操作，效率會高很多。

例子：

select A.a ,A.b from A join B where A.a>B.a

 

簡單總結一下，mapjoin的使用場景：

1. 關聯操作中有一張表非常小

2.不等值的鏈接操作