HIVE調優之MapJoin

如果不指定MapJoin或者不符合MapJoin的條件，那么Hive解析器會將Join操作轉換成Common Join，即：在Reduce階段完成join。容易發生數據傾斜。可以用MapJoin把小表全部加載到內存在map端進行join，避免reducer處理

開啟MapJoin參數設置

• 設置自動選擇Mapjoin（ 默認為true）：set hive.auto.convert.join = true;

• 大表小表的閾值設置（默認25M一下認為是小表）：set hive.mapjoin.smalltable.filesize=25000000;