hive查詢不加分區的一個異常

今天下午有同事反饋她提交了了一個SQL后，hive 查詢就停止響應了。

我看了下，發現hiveserver確實hug住了。聽過查看日志，發現了一個牛逼的SQL，
這個SQL很簡單：

select
    a.column1,
    b.column2
from
    a
left join
    b
on a.id = b.id

這兩張表都是很大的表，保存了好多年的數據，表b按照日期和類目進行了分區。
因為沒有加限制，所以HiveMetaStore在獲取分區的時候，會從mysql中獲取這個表所有的分區信息，SQL如下：

select "PARTITIONS"."PART_ID", "SDS"."SD_ID", "SDS"."CD_ID",
"SERDES"."SERDE_ID", "PARTITIONS"."CREATE_TIME",
"PARTITIONS"."LAST_ACCESS_TIME", "SDS"."INPUT_FORMAT",
"SDS"."IS_COMPRESSED", "SDS"."IS_STOREDASSUBDIRECTORIES",
"SDS"."LOCATION", "SDS"."NUM_BUCKETS", "SDS"."OUTPUT_FORMAT",
"SERDES"."NAME", "SERDES"."SLIB" from "PARTITIONS"  left outer join
"SDS" on "PARTITIONS"."SD_ID" = "SDS"."SD_ID"   left outer join
"SERDES" on "SDS"."SERDE_ID" = "SERDES"."SERDE_ID" 
where "PART_ID" in (8881686,8881687,8881688,8881689,8881690,8881691,8881692,8881693,
8881694,8881695,8881696,8881697,8881698,8881699,8881700,8881701,
8881702,8881703,8881704,8881705,8881706,8881707,8881708,8881709,
8881710,8881711,8881712,8881713,8881714,8881715,8881716,8881717,
8881718,8881719,8881720,8881721,8881722,8881723,8881724,8881725,
8881726,8881727,8881728,8881729,8881730,888173,
.........
.........
.........
,33429217,33429218) order by "PART_NAME" asc".

解釋下里面的表：

• SDS ： 保存了每個表的分區的輸入、輸出格式、CD_ID 和SERDE_ID
• PARTITIONS ： 保存了分區的信息，包括名字，創建時間，最后訪問時間，通過CD_ID和SDS表進行關聯
• SERDES ： 保存了每個分區對應的序列化和反序列化的類名

上面的PART_ID從8881686 到 33429218，一共有2千多萬，直接導致mysql拋出了異常，

com.mysql.jdbc.PacketTooBigException: Packet for query is too large
(1299572 > 1048576). You can change this value on the server by setting
the max_allowed_packet' variable.

解決辦法就是重新設置max_allowed_packet的大小，並且在上面的sql中添加分區的限制。

后續還要看看問什么這個異常會導致后面的任務都無法提交到hiveserver了。

參考：
[1] http://blog.csdn.net/loseinworld/article/details/6856261
[2] http://blog.csdn.net/dabokele/article/details/51647332